Abstract

在 LSVRC-2010 數(shù)據(jù)集上我們訓(xùn)練了分成 120 萬張分成 1000 類的高分辨率圖片，在測(cè)試集上分別獲得了top-1，top-5 錯(cuò)誤率分別是37.5%和17.0%。本神經(jīng)網(wǎng)絡(luò)包含6千萬個(gè)參數(shù)，65萬個(gè)神經(jīng)元，由 5 個(gè)卷積層加 3 個(gè)全連接層組成。為了減少過擬合，使用了Dropout策略。同時(shí)我們使用這個(gè)模型參加了ILSVRC-2012 比賽，相較于第二名 TOP-5 錯(cuò)誤率為 26.2%，我們以 15.3% 贏得了比賽。

1.PROLOGUE

Ynn LeCun和他的伙伴有一篇關(guān)于神經(jīng)網(wǎng)絡(luò)的文章在頂級(jí)會(huì)議上被拒了，那時(shí)的研究者相信更多地還是需要人為地去設(shè)計(jì)特征。 1980s 神經(jīng)學(xué)家和物理學(xué)家相信分層的結(jié)構(gòu)特征檢測(cè)器更具有魯棒性，但具體不知道分層結(jié)構(gòu)會(huì)學(xué)習(xí)到什么樣的特征。那時(shí)候部分研究者發(fā)現(xiàn)可以通過BP算法去有效的訓(xùn)練多層特征檢測(cè)器，對(duì)于每個(gè)圖像，分類器的性能取決于每個(gè)連接點(diǎn)上的權(quán)值。

BP推出雖然解決了訓(xùn)練的問題，但是還是不能滿足當(dāng)時(shí)人們的期望，特別是網(wǎng)絡(luò)結(jié)構(gòu)很深的時(shí)候，不能得到很好的結(jié)果，所以那時(shí)人們都覺得很難，但 2 年后，我們發(fā)現(xiàn)這是錯(cuò)誤的，主要原因是沒有足夠多的數(shù)據(jù)集和足夠大的計(jì)算能力。

2.Introduction

本文主要貢獻(xiàn)如下：

1. 我們?cè)贗mageNet上訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，并且取得了目前最高的準(zhǔn)確率

2. 我們寫了一個(gè)基于2D卷積的GPU優(yōu)化實(shí)施方案，并開源了它

3. 用了 ReLU，多 GPU 訓(xùn)練，局部泛化來提升性能并縮短訓(xùn)練時(shí)間

4. 用了 Dropout，數(shù)據(jù)增廣來防止過擬合

5. 使用了5層卷積加3層全連接層，結(jié)構(gòu)也很重要，減少網(wǎng)絡(luò)深度性能會(huì)變差

（因?yàn)橛?jì)算能力的限制，用了2塊3GB的 GTX580 GPU 訓(xùn)練了5-6天）

3. The Dataset

ImageNet是一個(gè)有超過1500萬張帶有標(biāo)簽的高分辨率圖片，這些圖片被分成22000類，這些圖片主要來自網(wǎng)上，人工打標(biāo)簽。 ILSVRC 比賽用了它的一個(gè)子集，接近1000類，平均每一類包含1000張圖片，共有120萬張訓(xùn)練圖片，5萬張驗(yàn)證圖片，15萬張測(cè)試集圖片。

ILSVRC-2010是唯一一個(gè)測(cè)試集也有標(biāo)簽的版本，所以我們主要用這個(gè)數(shù)據(jù)集來進(jìn)行實(shí)驗(yàn)，不過我們也參加了 ILSVRC-2012 的比賽。

ImageNet 只要有 2 個(gè)指標(biāo)， top-1 和 top-5 。 top-5 是指正確的類別沒有出現(xiàn)在前5個(gè)最有可能的類別中。因?yàn)?ImageNet 包含了不同分辨率的圖片，而系統(tǒng)需要固定尺寸的圖片，所以我們將數(shù)據(jù)集下采樣成 256x256 的大小。對(duì)于長(zhǎng)方形的圖片，我們首先將短邊編程256，然后在中心截取一個(gè) 256x256 的區(qū)域，除了訓(xùn)練時(shí)減去每個(gè)像素的均值意外，我們不對(duì)圖片做任何的預(yù)處理。

4. The Architecture

結(jié)構(gòu)主要包含了8層，5層卷積層，3層全連接層，下面就介紹一些新的，不常見的我們網(wǎng)絡(luò)的特征。我們根據(jù)它們的重要程度，順序說明。

4.1. Rectified Linear Unit nonlinearity

在一個(gè)簡(jiǎn)單的 4 層卷積網(wǎng)絡(luò)上比 tanh 函數(shù)訓(xùn)練達(dá)到25%錯(cuò)誤率的速度快了6倍，所以這里我們使用了 ReLUs 來訓(xùn)練神經(jīng)網(wǎng)絡(luò)加快訓(xùn)練速度以應(yīng)對(duì)過擬合（overfitting）的情況。

4.2. Training on multiple GPUs

一個(gè)單 GTX580 只有3GB內(nèi)存，（因?yàn)橛?xùn)練訓(xùn)練圖像大小已經(jīng)固定成256了）所以這就限制了我們神經(jīng)網(wǎng)絡(luò)的最大尺寸。實(shí)驗(yàn)證明 120 萬個(gè)訓(xùn)練樣本對(duì)訓(xùn)練網(wǎng)絡(luò)來說是足夠了，但是對(duì)一個(gè) GPU 來說太大了，因此我們用了兩個(gè)平行的 GPU 進(jìn)行訓(xùn)練，將訓(xùn)練參數(shù)一分為二，并且只讓它們之間在固定的層通信，例如第三層卷積層的輸入來自整個(gè)第二層，而，第四層輸入只來自和它在同一個(gè) GPU 的第三層，這樣的做法，相較于只在一塊 GPU 上訓(xùn)練一般的參數(shù)，分別降低了 1.7%，1.2% 的 top-1，top-5，并且還能稍微有加快訓(xùn)練速度的效果。

4.3. Local response normalization

雖然 ReLUs 不需要再對(duì)輸入進(jìn)行泛化來防止飽和，當(dāng)輸入都是正例時(shí)，學(xué)習(xí)也能進(jìn)行，但是，我們還是發(fā)現(xiàn)加入局部正規(guī)化可以幫助提升模型的泛化能力。

用以上公式，相關(guān)參數(shù)用驗(yàn)證機(jī)來調(diào)節(jié)。在文中用了 k = 2 ， n = 5，α = 10e-4 ， β = 0.75。我們?cè)谀承┨囟ǖ膶訉⒄?guī)化應(yīng)用在 ReLUs 之后。實(shí)驗(yàn)證明，這樣分別可以降低1.4%，1.2% 的 top-1 ， top-5。并且簡(jiǎn)單的4層卷積網(wǎng)絡(luò)在 Cifar10 上使用正規(guī)話錯(cuò)誤率從13%降到了11%。

4.4. Overlapping pooling

就是采用有重疊區(qū)域的 pooling 操作，分別降低 0.4%，0.2% 的 top-1，top-5，并且有輕微的降低過擬合的可能。

4.5. Overall architecture

因?yàn)槭请p GPU 訓(xùn)練，第 2，4，5的卷積層只與同一個(gè) GPU 的卷積相連，第 3 層卷積層完全連接第 2 層。LRN層用在第1，2卷積層。最大值池化層用在了第1，2，5層。ReLU在每個(gè)卷積層和全卷積層都有使用。

5. Reducing Overfitting

5.1. Data augmentation

第一種增廣方式是我們?cè)?256x256 的圖像上隨機(jī)剪切一個(gè) 224x224 大小的圖像，并將他們水平翻轉(zhuǎn)后的樣本也用來訓(xùn)練網(wǎng)絡(luò)。在測(cè)試時(shí)，我們以4個(gè)角以及中心同樣剪切成 224x224 大小的圖片并水平翻轉(zhuǎn)（一張圖片變 10 張圖片）輸入網(wǎng)絡(luò)后，將10張圖片的softmax值加起來求平均，輸出最終結(jié)果。

第二種增廣方式是改變圖像 RGB 通道的值。這個(gè)方法降低了 1% 的 top-1 準(zhǔn)確率。

5.2. Dropout

被dropout掉的層不參與前向傳播和反向傳播，這樣每一個(gè)樣本訓(xùn)練的時(shí)候網(wǎng)絡(luò)的結(jié)構(gòu)都是不同的，我們?cè)谇?層的全連接層使用了 0.5 概率的 dropout，這也使迭代次數(shù)需要翻倍，訓(xùn)練才能收斂。

6. Details of learning

才用了隨機(jī)梯度下降（SGD）算法進(jìn)行訓(xùn)練，batch size = 128，momentum = 0.9， weight decay = 0.0005，實(shí)驗(yàn)證明，這里加入小數(shù)值的 weight dacay 對(duì)訓(xùn)練很重要，它不僅僅是一個(gè)正則化器，它還可以降低訓(xùn)練的錯(cuò)誤率。

我們初始化為零均值，標(biāo)準(zhǔn)差為0.01的高斯分布，并且將第2，4，5卷積層和全卷積層的偏置設(shè)置成常數(shù)1，其他層設(shè)置成常數(shù)0，學(xué)習(xí)率從0.01開始，從訓(xùn)練開始到訓(xùn)練結(jié)束，學(xué)習(xí)率以10的倍數(shù)下降了3次（基本30 epoches下降一次），訓(xùn)練了 90 epoches 。

7. Results

還有一點(diǎn)很有取的是，兩塊 GPU 訓(xùn)練一塊主要是色彩信息，一塊主要是輪廓信息。

8.Discussion

值得一提的是，我們的網(wǎng)絡(luò)移除任何一個(gè)卷積層性能都會(huì)下降。移除任意中間層都會(huì)降低 2% 的 top-1 準(zhǔn)確率，所以網(wǎng)絡(luò)的深度對(duì)于我們的結(jié)果也很重要。