微軟和谷歌一直在積極研究用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新框架，并且在最近將各自的成果開源——微軟的 PipeDream 和谷歌的 GPipe。

原則上看，他們都遵循了類似的原則來(lái)訓(xùn)練深度學(xué)習(xí)模型。這兩個(gè)項(xiàng)目已在各自的研究論文（PipeDream，GPipe）中進(jìn)行了詳細(xì)介紹，這篇文章將對(duì)此進(jìn)行總結(jié)。

先放上 GitHub 開源地址：

微軟：

https://github.com/msr-fiddle/pipedream

谷歌：

https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py

眾所周知，在實(shí)驗(yàn)過程中，雖然訓(xùn)練基本模型比較瑣碎，但復(fù)雜度卻隨模型的質(zhì)量和大小線性增加。例如，2014 年 ImageNet 視覺識(shí)別挑戰(zhàn)賽的冠軍是 GoogleNet，它通過 400 萬(wàn)個(gè)參數(shù)獲得了 74.8% 的 top1 準(zhǔn)確性，而僅僅三年之后，2017 年 ImageNet 挑戰(zhàn)賽的冠軍就使用 1.458 億個(gè)參數(shù)（多了 36 倍）的最新神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了 top1 準(zhǔn)確率——82.7%。但是，在同一時(shí)期，GPU 內(nèi)存僅增加了約 3 倍。

隨著模型縮放以達(dá)到更高的準(zhǔn)確性，對(duì)這些模型的訓(xùn)練變得越來(lái)越具有挑戰(zhàn)性。前面的樣本也顯示了，依靠 GPU 基礎(chǔ)結(jié)構(gòu)的改進(jìn)來(lái)實(shí)現(xiàn)更好的訓(xùn)練是不可持續(xù)的。我們需要分布式計(jì)算方法，這些方法可以并行化跨不同節(jié)點(diǎn)的訓(xùn)練工作量，以擴(kuò)展訓(xùn)練規(guī)模。分布式訓(xùn)練的概念聽起來(lái)很瑣碎，但實(shí)際上卻極其復(fù)雜。

谷歌的 GPipe GPipe

專注于擴(kuò)展深度學(xué)習(xí)計(jì)劃的訓(xùn)練工作量。從基礎(chǔ)架構(gòu)的角度來(lái)看，訓(xùn)練過程的復(fù)雜性是深度學(xué)習(xí)模型經(jīng)常被忽視的一個(gè)方面。訓(xùn)練數(shù)據(jù)集越來(lái)越大，越來(lái)越復(fù)雜。例如，在醫(yī)療保健領(lǐng)域，需要使用數(shù)百萬(wàn)個(gè)高分辨率圖像進(jìn)行訓(xùn)練的模型并不罕見。結(jié)果，訓(xùn)練過程通常要花費(fèi)很長(zhǎng)時(shí)間才能完成，并且內(nèi)存和 CPU 消耗非常大。

思考深度學(xué)習(xí)模型的分布式的有效方法是將其劃分為數(shù)據(jù)分布式和模型分布式。數(shù)據(jù)分布式方法采用大型機(jī)器集群，將輸入數(shù)據(jù)拆分到它們之間。模型分布式嘗試將模型移至具有特定硬件的加速器，例如 GPU 或 TPU，以加速模型訓(xùn)練。

概念上看，幾乎所有訓(xùn)練數(shù)據(jù)集都可以按照一定的邏輯進(jìn)行分布式訓(xùn)練，但是關(guān)于模型的說(shuō)法卻不盡相同。例如，一些深度學(xué)習(xí)模型由可以獨(dú)立訓(xùn)練的并行分支組成。在那種情況下，經(jīng)典策略是將計(jì)算劃分為多個(gè)分區(qū)，并將不同的分區(qū)分配給不同的分支。但是，這種策略在按順序堆疊各層的深度學(xué)習(xí)模型中是不足的。

GPipe 通過利用一種稱為流水線的技術(shù)將數(shù)據(jù)和模型分布式結(jié)合在一起。從概念上講，GPipe 是一個(gè)分布式機(jī)器學(xué)習(xí)庫(kù)，它使用同步隨機(jī)梯度下降和流水線分布式進(jìn)行訓(xùn)練，適用于由多個(gè)連續(xù)層組成的任何 DNN。

GPipe 在不同的加速器之間劃分模型，并自動(dòng)將一小批訓(xùn)練樣本拆分為較小的微批。該模型允許 GPipe 的加速器并行運(yùn)行，從而最大限度地提高了訓(xùn)練過程的可擴(kuò)展性。

下圖說(shuō)明了具有連續(xù)層的神經(jīng)網(wǎng)絡(luò)的 GPipe 模型在四個(gè)加速器之間分配。Fk 是第 k 個(gè)分區(qū)的復(fù)合正向計(jì)算函數(shù)。Bk 是相應(yīng)的反向傳播函數(shù)。Bk 取決于上層的 Bk + 1 和 Fk 的中間激活。在頂級(jí)模型中，我們可以看到網(wǎng)絡(luò)的順序性質(zhì)如何導(dǎo)致資源利用不足。下圖顯示了 GPipe 方法，其中將輸入的迷你批處理分為較小的宏批處理，這些宏批處理可由加速器同時(shí)處理。

圖片來(lái)源：

https://arxiv.org/pdf/1811.06965.pdf

微軟的 PipeDream

幾個(gè)月前，微軟研究院宣布創(chuàng)建 Project Fiddle，這是一系列旨在簡(jiǎn)化分布式深度學(xué)習(xí)的研究項(xiàng)目。PipeDreams 是 Fiddle 項(xiàng)目首次發(fā)布的版本之一，專注于深度學(xué)習(xí)模型訓(xùn)練的并行化。

PipeDream 采用與其他方法不同的方法來(lái)利用稱為管道分布式的技術(shù)來(lái)擴(kuò)展深度學(xué)習(xí)模型的訓(xùn)練。這種方法試圖解決數(shù)據(jù)和模型并行技術(shù)的一些挑戰(zhàn)，例如 GPipe 中使用的技術(shù)。

通常，在云基礎(chǔ)架構(gòu)上進(jìn)行訓(xùn)練時(shí)，數(shù)據(jù)并行方法在規(guī)模上會(huì)承受較高的通信成本，并且隨著時(shí)間的推移會(huì)提高 GPU 計(jì)算速度。類似地，模型分布式技術(shù)通常在利用硬件資源上更加效率低下，程序員需要決定如何在給定硬件部署的情況下拆分其特定模型，給他們帶來(lái)了不必要的負(fù)擔(dān)。

圖片來(lái)源：

http://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf

PipeDream 嘗試通過使用稱為管道分布式的技術(shù)來(lái)克服數(shù)據(jù)模型分布式方法的一些挑戰(zhàn)。

從概念上講，管道分布計(jì)算涉及將 DNN 模型的各層劃分為多個(gè)階段，其中每個(gè)階段均由模型中的一組連續(xù)層組成。每個(gè)階段都映射到一個(gè)單獨(dú)的 GPU，該 GPU 對(duì)該階段中的所有層執(zhí)行正向傳遞（和反向傳遞）。

給定一個(gè)特定的深度神經(jīng)網(wǎng)絡(luò)，PipeDream 會(huì)基于在單個(gè) GPU 上執(zhí)行的簡(jiǎn)短概要分析，自動(dòng)確定如何對(duì) DNN 的運(yùn)算符進(jìn)行分區(qū)，在不同階段之間平衡計(jì)算負(fù)載，同時(shí)最大程度地減少與目標(biāo)平臺(tái)的通信。即使存在模型多樣性（計(jì)算和通信）和平臺(tái)多樣性（互連拓?fù)浜头謱訋挘琍ipeDream 也會(huì)有效地實(shí)現(xiàn)負(fù)載平衡。PipeDream 訓(xùn)練分布式的方法的原理比數(shù)據(jù)模型分布式方法具有多個(gè)優(yōu)點(diǎn)。

對(duì)于初學(xué)者而言，PipeDream 需要在工作程序節(jié)點(diǎn)之間進(jìn)行較少的通信，因?yàn)楣艿缊?zhí)行中的每個(gè)工作程序僅需要將漸變的子集和輸出激活信息傳達(dá)給單個(gè)其他工作程序。

圖片來(lái)源：

https://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf

訓(xùn)練分布式是構(gòu)建更大、更準(zhǔn)確的深度學(xué)習(xí)模型的關(guān)鍵挑戰(zhàn)之一。分布式訓(xùn)練方法是深度學(xué)習(xí)社區(qū)中一個(gè)活躍的研究領(lǐng)域，需要將有效的并發(fā)編程技術(shù)與深度學(xué)習(xí)模型的本質(zhì)相結(jié)合。盡管仍處于早期階段，但 Google 的 GPipe 和 Microsoft 的 PipeDream 本身已經(jīng)是很優(yōu)秀的產(chǎn)品，它是深度學(xué)習(xí)開發(fā)人員可用的兩種最具創(chuàng)造性的分布式訓(xùn)練方法。
責(zé)任編輯：PSY