“如何用一個GPU實現八個GPU的水平。”

在上一篇文章結尾，我們在256秒內將模型在CIFAR10上訓練到94%的測試精確度。相比之下，基于單個V100 GPU上100%的計算效率，初始基線為341秒，而我們理想中的40秒的目標略微不切實際。今天，我們將定一個適中的目標——超越fast.ai在DAWNBench中的獲勝記錄，其中使用了8個GPU，訓練了174秒。我們會繼續使用單個GPU，因為距離使用所有FLOP，我們還離得很遠。

對于目前的設置，我們能得對所需要的時間進行大致對比，我們選擇性地刪除了計算中的某些部分，并運行了剩下部分。例如，我們可以現在GPU上預裝隨機訓練數據，省去數據下載和遷移的時間。我們還能刪除優化器步驟和ReLU以及批規范層，只留下卷積層。如果這樣做，不同batch size所用時間如下：

這里有幾點明顯特征。首先，批標準化占用了很大一部分時間。其次，卷積的主要部分也占用了超過一半的計算時間，比我們預計的在100%計算力上用掉一半的時間還要長。第三，優化器和數據下載步驟并不是主要問題。

在GPU專家Graham Hazel的幫助下，我們查看了一些配置文件，迅速發現了批標準化的一些問題——用PyTorch（0.4版本）將模型轉換為半精度的默認方法會觸發一個慢速代碼路徑，該路徑不使用優化的CuDNN例程。如果我們將批標準化的權重轉換回單精度，那么快速代碼就被激發，所用時間看起來就更正常了：

經過改進，在35個epoch內訓練達到94%的精度只需要186秒，越來越接近我們的目標了！

除此之外，還有很多方法能改進訓練，將時間縮短至174秒。GPU代碼還可以進一步優化，例如，當前的激活數據以NCHW格式存儲，但TensorBoard中的快速CuDNN卷積例程希望數據遵循NHWC的順序。所以，在卷積前后執行前向和后向轉置需要占用很大一部分運行時間。由于PyTorch 0.4不支持原生NHWC計算，并且在其他框架中似乎沒有成熟的支持，這一問題會在之后的文章中重點關注。

將訓練時間減少到30個epoch，時間也會減少到161秒，輕松打破目前的記錄。但如果僅僅加速基準學習速率，在5次運行中沒有能達到94%的案例。

在CIFAR10上一中有效的簡單正則化策略就是“Cutout”正則化，它可以清除每張訓練圖片中的隨機子集。我們在訓練圖像選取隨機8×8方形子集進行實驗，除此之外還有標準的數據增強，用于填補、裁剪、隨機翻轉。

在基線35個epoch訓練后的結果都達到了94%的精確度，其中還有一次達到了94.3%，這也是在基線上的小進步。對學習率進行手動優化后，運行精度達到了94.5%（將峰值學習速率提前，用簡單的線性衰減替換衰減相位）。

如果我們在30個epoch上提高學習速率，4/5的運行次數會達到94%的精度，中間值為94.13%。我們可以將batch size提高到768，4/5也能達到94%，中值為94.06%。當batch size為512時，30epoch運行時間為161秒，當batch size為768時，時間為154秒，所有都只在一個GPU上，打破了我們的目標！折線圖如下：

現在我們達到了文章開頭設定的目標，想要復現這一過程，可以點擊鏈接查看代碼：github.com/davidcpage/cifar10-fast/blob/master/experiments.ipynb。不過我們的新紀錄應該能很容易打破，首先，我們一直將單個GPU的計算能力維持在25%以下，之后還有對其優化的方法。第二，可以用相關技術減少訓練epoch，例如Mixup正則化和AdamW訓練。我們尚未研究如何對參數平均以加速最終收斂，如果我們打算在推理時做更多工作，則可以使用測試時間增強來進一步縮短訓練時間。還有人提出在更大的網絡中進行小于20個epoch的實驗訓練，結合fast.ai的技術，進一步研究也許會發現更有趣的結果。

但是，目前我們將不繼續探索這些未開發的途徑，而是重點觀察目前我們一直使用的網絡，就會發現意想不到的收獲。