今天的文章是有關(guān) “高級卷積神經(jīng)” 的教程。我們希望您能夠以本文為起點(diǎn)，在 TensorFlow 上構(gòu)建更大的 CNN 來處理視覺任務(wù)。

概述

CIFAR-10 分類問題是機(jī)器學(xué)習(xí)領(lǐng)域一種常見的基準(zhǔn)問題，其任務(wù)是將 RGB 32x32 像素的圖像分為以下 10 類：

airplane, automobile, bird, cat, deer, dog, frog, horse, ship, and truck.

有關(guān)詳情，請參閱CIFAR-10 頁面 （https://www.cs.toronto.edu/~kriz/cifar.html）及 Alex Krizhevsky 發(fā)表的一篇 技術(shù)報告 （https://tensorflow.google.cn/tutorials/images/deep_cnn?hl=zh-CN）。

目標(biāo)

本文的目標(biāo)是構(gòu)建一個相對較小的圖像識別卷積神經(jīng)網(wǎng)絡(luò)(CNN)。在此過程中，本文將：

重點(diǎn)介紹網(wǎng)絡(luò)架構(gòu)、訓(xùn)練和評估的規(guī)范結(jié)構(gòu)

提供一個用于構(gòu)建更大、更為復(fù)雜的模型的模板

選擇 CIFAR-10 的原因是它足夠復(fù)雜，可以用來練習(xí) TensorFlow 的大部分功能，進(jìn)而擴(kuò)展到大型模型。同時，該模型足夠小，可以快速訓(xùn)練，是嘗試新想法以及實(shí)驗新技術(shù)的理想之選。

本文的要點(diǎn)

CIFAR-10 教程介紹了幾個用于在 TensorFlow 中設(shè)計更大、更為復(fù)雜的模型的重要結(jié)構(gòu)：

核心數(shù)學(xué)組件，包括卷積（維基百科頁面）、修正線性激活函數(shù)（維基百科頁面）、最大池化（維基百科頁面）和局部響應(yīng)歸一化（AlexNet 論文的第 3.3 節(jié)）

訓(xùn)練期間網(wǎng)絡(luò)活動（包括輸入圖像、損失以及激活函數(shù)和梯度的分布）的可視化

例行程序，用于計算已學(xué)參數(shù)的移動平均值，并在評估期間使用這些平均值提升預(yù)測性能

實(shí)施學(xué)習(xí)速率計劃（隨時間的推移系統(tǒng)性地降低）

輸入數(shù)據(jù)的預(yù)取隊列，使模型避開磁盤延遲和代價高的圖像預(yù)處理過程

此外，我們還提供了模型的多 GPU 版本，它會展示：

如何配置模型以跨多個 GPU 卡并行訓(xùn)練

如何在多個 GPU 間共享和更新變量

模型架構(gòu)

本 CIFAR-10 教程中的模型是一個多層架構(gòu)，由卷積層和非線性層交替排列后構(gòu)成。這些層后面是全連接層，然后通向 softmax 分類器。該模型除了最頂部的幾層外，基本跟Alex Krizhevsky描述的模型架構(gòu)一致。

在 GPU 上經(jīng)過幾個小時的訓(xùn)練后，該模型的準(zhǔn)確率達(dá)到峰值（約 86%）。詳情請參閱下文和相應(yīng)代碼。模型中包含 1068298 個可學(xué)習(xí)參數(shù)，對一張圖像進(jìn)行推理計算大約需要 1950 萬個乘加操作。

代碼結(jié)構(gòu)

本教程使用的代碼位于models/tutorials/image/cifar10/中。

CIFAR-10 模型

CIFAR-10 網(wǎng)絡(luò)主要包含在cifar10.py中。完整的訓(xùn)練圖大約包含 765 個操作。我們發(fā)現(xiàn)，使用以下模塊構(gòu)建訓(xùn)練圖可最大限度地提高代碼的重復(fù)使用率：

模型輸入：inputs()和distorted_inputs()分別可添加讀取和預(yù)處理 CIFAR 圖像以用于評估和訓(xùn)練的操作

模型預(yù)測：inference()可添加對提供的圖像進(jìn)行推理（即分類）的操作

模型訓(xùn)練：loss()和train()可添加計算損失和梯度、更新變量和呈現(xiàn)可視化匯總的操作

模型輸入

模型的輸入部分由inputs()和distorted_inputs()函數(shù)構(gòu)建，這兩種函數(shù)會從 CIFAR-10 二進(jìn)制數(shù)據(jù)文件中讀取圖像。這些文件包含字節(jié)長度固定的記錄，因此我們可以使用tf.FixedLengthRecordReader。如需詳細(xì)了解Reader類的工作原理，請參閱 讀取數(shù)據(jù)（https://tensorflow.google.cn/api_guides/python/reading_data?hl=zh-CN#reading-from-files）。

圖像按以下方式處理：

從中心（用于評估）或隨機(jī)（用于訓(xùn)練）剪裁成 24 x 24 像素

進(jìn)行近似白化處理，使模型對圖像的動態(tài)范圍變化不敏感

對于訓(xùn)練，我們還會額外向圖像應(yīng)用一系列隨機(jī)失真，以人為增加數(shù)據(jù)集的大小：

從左到右隨機(jī)翻轉(zhuǎn)圖像

隨機(jī)對圖像亮度進(jìn)行失真處理

隨機(jī)對圖像對比度進(jìn)行失真處理

要查看可采用的失真列表，請訪問圖像頁面（https://tensorflow.google.cn/api_guides/python/image?hl=zh-CN）。此外，我們還向圖像附加了tf.summary.image，以便在TensorBoard中可視化它們。這對驗證輸入的構(gòu)建是否正確十分有用。

從磁盤讀取圖像并進(jìn)行失真處理需要不少時間。為了防止這些操作影響訓(xùn)練速度，我們在 16 個獨(dú)立的線程中執(zhí)行這些操作，而這些線程會不斷填充一個 TensorFlow隊列。

模型預(yù)測

模型的預(yù)測部分由inference()函數(shù)構(gòu)建，該函數(shù)可添加計算預(yù)測對數(shù)的操作。模型這一部分的結(jié)構(gòu)如下：

下圖是從 TensorBoard 生成的圖表，描述了推理操作的過程：

練習(xí)：inference的輸出為非歸一化對數(shù)。請嘗試使用tf.nn.softmax修改網(wǎng)絡(luò)架構(gòu)以返回歸一化預(yù)測結(jié)果。

inputs()和inference()函數(shù)提供了評估模型所需的所有組件。我們現(xiàn)在將重點(diǎn)轉(zhuǎn)向構(gòu)建訓(xùn)練模型所需的操作。

練習(xí)：inference()中的模型架構(gòu)與cuda-convnet中指定的 CIFAR-10 模型的架構(gòu)略有不同。具體而言，Alex 的初始模型的頂層是局部連接層，而非全連接層。請嘗試修改架構(gòu)以在頂層中完全重現(xiàn)局部連接層。

模型訓(xùn)練

訓(xùn)練網(wǎng)絡(luò)執(zhí)行 N 元分類的常用方法是多項邏輯回歸（又稱 Softmax 回歸）。Softmax 回歸向網(wǎng)絡(luò)輸出應(yīng)用Softmax非線性函數(shù)，并計算歸一化預(yù)測與標(biāo)簽索引之間的交叉熵。在正則化過程中，我們還會對所有已學(xué)變量應(yīng)用常見的權(quán)重衰減損失。模型的目標(biāo)函數(shù)是求交叉熵?fù)p失和所有權(quán)重衰減項的和并由loss()函數(shù)返回。

我們通過tf.summary.scalar在 TensorBoard 中對其進(jìn)行可視化：

我們使用標(biāo)準(zhǔn)的梯度下降法訓(xùn)練模型（有關(guān)其他方法，請參閱 訓(xùn)練https://github.com/tensorflow/docs/tree/master/site/en/api_guides/python），其中學(xué)習(xí)速率隨時間的推移呈指數(shù)級衰減。

train()函數(shù)會添加一些最小化目標(biāo)所需的操作，包括計算梯度、更新學(xué)習(xí)變量（詳情請參閱tf.train.GradientDescentOptimizerhttps://tensorflow.google.cn/api_docs/python/tf/train/GradientDescentOptimizer?hl=zh-CN）。它會返回一項用以對一批圖像執(zhí)行所有計算的操作，以便訓(xùn)練并更新模型。

啟動并訓(xùn)練模型

我們已構(gòu)建了模型，現(xiàn)在使用腳本cifar10_train.py啟動該模型并執(zhí)行訓(xùn)練操作。

python cifar10_train.py

注意：首次運(yùn)行 CIFAR-10 教程中的任何目標(biāo)時，系統(tǒng)都會自動下載 CIFAR-10 數(shù)據(jù)集。該數(shù)據(jù)集大約為 160MB，因此首次運(yùn)行時您可以喝杯咖啡小棲一會。

您應(yīng)該會看到以下輸出：

Filling queue with 20000 CIFAR images before starting to train. This will take a few minutes.

2015-11-04 11:45:45.927302: step 0, loss = 4.68 (2.0 examples/sec; 64.221 sec/batch)2015-11-04 11:45:49.133065: step 10, loss = 4.66 (533.8 examples/sec; 0.240 sec/batch)2015-11-04 11:45:51.397710: step 20, loss = 4.64 (597.4 examples/sec; 0.214 sec/batch)2015-11-04 11:45:54.446850: step 30, loss = 4.62 (391.0 examples/sec; 0.327 sec/batch)2015-11-04 11:45:57.152676: step 40, loss = 4.61 (430.2 examples/sec; 0.298 sec/batch)2015-11-04 11:46:00.437717: step 50, loss = 4.59 (406.4 examples/sec; 0.315 sec/batch)...

該腳本每隔 10 步報告一次總損失值及最后一批數(shù)據(jù)的處理速度。需要注意以下幾點(diǎn)：

第一批數(shù)據(jù)的處理速度可能會非常慢（例如，需要幾分鐘），因為預(yù)處理線程需要將 20000 張?zhí)幚磉^的 CIFAR 圖像填充到隨機(jī)化處理隊列中

報告的損失是最近一批數(shù)據(jù)的平均損失。請注意，該損失是交叉熵和所有權(quán)重衰減項的和

請留意一批數(shù)據(jù)的處理速度。上述數(shù)字是在 Tesla K40c 上得出的結(jié)果。如果您是在 CPU 上運(yùn)行，速度可能會慢些

練習(xí)：進(jìn)行實(shí)驗時，有時候第一個訓(xùn)練步持續(xù)時間比較長。請嘗試減少最初填充隊列的圖像數(shù)量。在cifar10_input.py中搜索min_fraction_of_examples_in_queue。

cifar10_train.py會定期將所有模型參數(shù)保存在檢查點(diǎn)文件中，但不會對模型進(jìn)行評估。cifar10_eval.py將使用檢查點(diǎn)文件衡量預(yù)測性能（請參閱下文中的評估模型部分）。

如果您按照上述步驟進(jìn)行操作，那么現(xiàn)在已開始訓(xùn)練 CIFAR-10 模型了。恭喜！

cifar10_train.py返回的終端文本幾乎不提供任何有關(guān)模型訓(xùn)練情況的信息。我們希望在訓(xùn)練期間更深入地了解模型的以下信息：

損失是真的在減小，還是只是噪點(diǎn)？

為模型提供的圖像是否合適？

梯度、激活函數(shù)和權(quán)重的值是否合理？

當(dāng)前的學(xué)習(xí)速率是多少？

TensorBoard可提供此功能，它會通過tf.summary.FileWriter顯示定期從cifar10_train.py導(dǎo)出的數(shù)據(jù)。

例如，我們可以觀看local3特征中激活函數(shù)的分步及稀疏程度在訓(xùn)練過程中的變化情況：

跟蹤各個損失函數(shù)以及總損失在不同時間段的情況尤為有用。不過，由于訓(xùn)練所用的批次較小，因此損失中夾雜的噪點(diǎn)相當(dāng)多。在實(shí)踐中，我們發(fā)現(xiàn)除了原始值之外，可視化損失的移動平均值也非常有用。了解腳本如何將tf.train.ExponentialMovingAverage用于此用途。

評估模型

現(xiàn)在，我們來評估一下經(jīng)過訓(xùn)練的模型在保留數(shù)據(jù)集上的表現(xiàn)如何。該模型由腳本cifar10_eval.py進(jìn)行評估。它通過inference()函數(shù)構(gòu)建模型，并使用 CIFAR-10 評估數(shù)據(jù)集中的全部 10000 張圖像。它會計算 precision @ 1，表示得分最高的一項預(yù)測與圖像的真實(shí)標(biāo)簽一致的頻率。

為了監(jiān)控模型在訓(xùn)練過程中的改進(jìn)情況，評估腳本會定期在cifar10_train.py創(chuàng)建的最新檢查點(diǎn)文件上運(yùn)行。

python cifar10_eval.py

注意不要在同一 GPU 上同時運(yùn)行評估和訓(xùn)練二進(jìn)制文件，否則可能會耗盡內(nèi)存。您可以考慮在其他 GPU（如可用）上單獨(dú)運(yùn)行評估二進(jìn)制文件，或在同一 GPU 上運(yùn)行評估二進(jìn)制文件時暫停訓(xùn)練二進(jìn)制文件的運(yùn)行。

您應(yīng)該會看到以下輸出：

2015-11-06 08:30:44.391206: precision @ 1 = 0.860...

該腳本只是定期返回 precision @ 1，在本例中，返回的準(zhǔn)確率為 86%。cifar10_eval.py還會導(dǎo)出可以在 TensorBoard 中可視化的匯總。在評估期間，您可通過這些匯總進(jìn)一步了解模型。

訓(xùn)練腳本會計算所有已學(xué)變量的移動平均值。評估腳本會將所有已學(xué)模型參數(shù)替換為移動平均值。這種替換可以在評估時提升模型的性能。

練習(xí)：根據(jù) precision @ 1，采用平均參數(shù)可以使預(yù)測性能提升 3% 左右。修改cifar10_eval.py，使模型不采用平均參數(shù)，然后驗證預(yù)測性能是否會下降。

使用多個 GPU 卡訓(xùn)練模型

現(xiàn)代工作站可能會包含多個用于科學(xué)計算的 GPU。TensorFlow 可利用此環(huán)境在多個卡上同時運(yùn)行訓(xùn)練操作。

如果要以并行的分布式方式訓(xùn)練模型，則需要協(xié)調(diào)訓(xùn)練過程。在接下來的內(nèi)容中，術(shù)語 “模型副本” 指在數(shù)據(jù)子集上訓(xùn)練的模型副本。

簡單地采用模型參數(shù)異步更新方法會導(dǎo)致訓(xùn)練性能無法達(dá)到最佳，因為單個模型副本在訓(xùn)練時使用的可能是過時的模型參數(shù)。反之，如果采用完全同步的更新后參數(shù)，其速度堪比最慢的模型副本。

在具有多個 GPU 卡的工作站中，每個 GPU 的速度大致相當(dāng)，且具有足夠的內(nèi)存來運(yùn)行整個 CIFAR-10 模型。因此，我們選擇按照以下方式設(shè)計訓(xùn)練系統(tǒng)：

在每個 GPU 上放一個模型副本

等待所有 GPU 完成一批數(shù)據(jù)的處理工作，然后同步更新模型參數(shù)

模型示意圖如下所示：

請注意，每個 GPU 都會針對一批唯一的數(shù)據(jù)計算推理和梯度。這種設(shè)置可以有效地將一大批數(shù)據(jù)劃分到各個 GPU 上。

這種設(shè)置要求所有 GPU 都共享模型參數(shù)。眾所周知，將數(shù)據(jù)傳輸?shù)?GPU 或從中向外傳輸數(shù)據(jù)的速度非常慢。因此，我們決定在 CPU 上存儲和更新所有模型參數(shù)（如綠色方框所示）。當(dāng)所有 GPU 均處理完一批新數(shù)據(jù)時，系統(tǒng)會將一組全新的模型參數(shù)傳輸給相應(yīng) GPU。

GPU 會同步運(yùn)行。GPU 的所有梯度將累積并求平均值（如綠色方框所示）。模型參數(shù)會更新為所有模型副本的梯度平均值。

將變量和操作放到多個設(shè)備上

將操作和變量放到多個設(shè)備上需要一些特殊的抽象操作。

第一個抽象操作是計算單個模型副本的推理和梯度的函數(shù)。在代碼中，我們將此抽象操作稱為 “tower”。我們必須為每個 tower 設(shè)置兩個屬性：

tower 中所有操作的唯一名稱。tf.name_scope通過添加作用域前綴提供唯一的名稱。例如，第一個 tower 中的所有操作都會附帶tower_0前綴，例如tower_0/conv1/Conv2D

運(yùn)行 tower 中操作的首選硬件設(shè)備。tf.device會指定該屬性。例如，第一個 tower 中的所有操作都位于device('/device:GPU:0')作用域內(nèi)，表示它們應(yīng)在第一個 GPU 上運(yùn)行

為了在多 GPU 版本中共享變量，所有變量都固定到 CPU 上且通過tf.get_variable訪問。了解如何共享變量。

在多個 GPU 卡上啟動并訓(xùn)練模型

如果計算機(jī)上安裝了多個 GPU 卡，您可以使用cifar10_multi_gpu_train.py腳本借助它們加快模型的訓(xùn)練過程。此版訓(xùn)練腳本可在多個 GPU 卡上并行訓(xùn)練模型。

python cifar10_multi_gpu_train.py --num_gpus=2

請注意，使用的 GPU 卡數(shù)量默認(rèn)為 1。此外，如果計算機(jī)上僅有一個 GPU，則所有計算都會在該 GPU 上運(yùn)行，即使您設(shè)置的是多個 GPU。

練習(xí)：cifar10_train.py的默認(rèn)設(shè)置是在大小為 128 的批次數(shù)據(jù)上運(yùn)行。請嘗試在 2 個 GPU 上運(yùn)行cifar10_multi_gpu_train.py，批次大小為 64，然后比較這兩種方式的訓(xùn)練速度。

后續(xù)學(xué)習(xí)計劃

如果您有興趣開發(fā)并訓(xùn)練您自己的圖像分類系統(tǒng)，我們建議您分叉本教程的代碼，并替換組件以解決您的圖像分類問題。

練習(xí)：下載Street View House Numbers (SVHN)數(shù)據(jù)集（http://ufldl.stanford.edu/housenumbers/）。分叉 CIFAR-10 教程的代碼并將輸入數(shù)據(jù)替換為 SVHN。嘗試調(diào)整網(wǎng)絡(luò)架構(gòu)以提高預(yù)測性能。