一年前，我和幾個小伙伴一起開始在構建機器學習API的開源平臺Cortex上工作。起初，我們假設所有用戶，包括所有把機器學習（ML）運用于生產(chǎn)的公司，都是擁有成熟數(shù)據(jù)科學團隊的大公司。

但我們大錯特錯了。

一年中，我們看見學生、獨立工程師以及小型團隊紛紛把模型投入生產(chǎn)。出乎意料，他們提供的通常都是最先進的大型深度學習模型，可用于日常應用程序。一個兩人組成的團隊最近建立了一個500個GPU推理集群，以支持其應用程序的1萬個并發(fā)用戶。

僅僅在不久之前，只有預算高、數(shù)據(jù)量大的公司才能做到這樣的事情。現(xiàn)在，任何團隊都可以做到。這種轉(zhuǎn)變是多種因素共同作用的結(jié)果，但其中一個重要因素是遷移學習。

什么是遷移學習

廣義上講，遷移學習是指將經(jīng)過一項任務訓練的深度神經(jīng)網(wǎng)絡的知識“遷移”到訓練相關任務的另一個網(wǎng)絡的技術。例如，可以使用遷移學習來獲取用于對象檢測模型，然后使用少量數(shù)據(jù)對其進行“微調(diào)”來檢測更具體的事物。

這些技術之所以能起作用是因為深度神經(jīng)網(wǎng)絡的體系結(jié)構。網(wǎng)絡的低層負責更多的基礎知識，而特定任務知識則通常在頂層：

圖源：Stanford

較低層訓練完后，可以用少量數(shù)據(jù)微調(diào)較高的層。例如，對象檢測模型（比如說YOLOv4）進行微調(diào)后可以識別具有很小數(shù)據(jù)集的特定事物（例如車牌）。

在網(wǎng)絡之間遷移知識的技術各不相同，但不約而同的是，最近有許多新項目旨在簡化這個過程。例如，gpt-2-simple庫允許任何人微調(diào)GPT-2，還可以使用Python函數(shù)生成預測：https://gist.github.com/caleb-kaiser/dd40d16647b1e4cda7545837ea961272。

遷移學習是如何打通機器學習的

大部分團隊不會因為缺乏某類知識而無法使用機器學習。如果要構建圖像分類器，有許多知名的模型可以使用，使用現(xiàn)代化框架會讓訓練變得非常簡單。對于大多數(shù)團隊來說，機器學習因其成本因素所以從未被視為一個現(xiàn)實的選擇。

讓我們用OpenAI的（到目前為止）最佳語言模型GPT-2為例來說明。

如果使用公有云，單就估算GPT-2訓練成本就已超過4萬美元，除了這一費用，GPT-2還需要訓練40GB的文本內(nèi)容（保守估計超過2000萬頁），抓取和整理大量文本本身就是一個巨大的項目。這讓大多數(shù)團隊無法訓練自己的GPT-2。

但如果只是對其進行微調(diào)呢？來看一個相關項目。

AI Dungeon是一款可自行選擇的冒險游戲，其風格延續(xù)之前的命令游戲地牢爬行者。玩家通過輸入指令進行游戲，游戲通過推進冒險作為回應。這款冒險游戲是由訓練后的GPT-2模型編寫的，你可以編寫自己選擇的冒險文本：

AI Dungeon是由獨立工程師尼克·沃頓開發(fā)的，他利用gpt-2-simple和從chooseyourstory.com網(wǎng)站上提取的文本微調(diào)GPT。沃爾頓表示微調(diào)GPT-2需要30MB的文本和12小時左右的時間來訓練DGX-1——大約花費了374.62美元，但做出來的產(chǎn)品效果和AWS的p3dn.24xlarge差不多。

也許大部分團隊只能對著4萬美元的云服務費和40GB的文本提取量望洋興嘆，但是375美元和30MB即便對小團隊來說也不成問題。

遷移學習的應用領域超越了語言模型。在藥物發(fā)現(xiàn)中，通常沒有足夠的特定疾病數(shù)據(jù)來從零開始訓練模型。DeepScreening是一個解決此類問題的免費平臺，它允許用戶上傳自己的數(shù)據(jù)庫和微調(diào)模型，然后利用該平臺來篩選可能會發(fā)生反應的化合物庫。

圖源：unsplash

從零開始訓練一個這樣的模型超出大多數(shù)研究人員的能力范圍，但是由于有了遷移學習，突然間人人都可以做到。

新一代深度學習模型取決于遷移學習

必須強調(diào)的一點是，盡管筆者目前給出的例子都偏重經(jīng)濟效益，但遷移學習并不是小型團隊用來湊數(shù)的一個工具，所有團隊無論大小都在使用遷移學習來訓練深度學習模型。事實上，一些新發(fā)布的模型都是專門針對遷移學習的。

還記得GPT-2首次發(fā)布時，因其原始內(nèi)存而霸占各大頭版頭條，我們以前從未聽說過有15億參數(shù)的模型。然而和GPT-3相比則是小巫見大巫了，后者參數(shù)量達到1750億。

除了OpenAI之外，幾乎沒有哪家公司能訓練擁有1750億個參數(shù)的語言模型。即便是部署這么大的模型也存在諸多問題。OpenAI打破了他們發(fā)布開源的傳統(tǒng)，預訓練新模型版本，將GPT-3作為API發(fā)行—用戶可以使用自己的數(shù)據(jù)微調(diào)GPT-3。

換句話說，GPT-3的龐大讓遷移學習不再是訓練新任務的一個經(jīng)濟實惠的方法，而是唯一可行的方法。

遷移學習優(yōu)先方法已經(jīng)變得越來越普遍。Google剛剛發(fā)布的Big Transfer是一個先進計算機視覺模型開源存儲庫。盡管計算機視覺模型通常要比語言模型小，但它們已經(jīng)開始追趕了——預訓練過的ResNet-152x4接受了1400萬張圖像的訓練，容量為4.1 GB。

顧名思義，Big Transfer旨在鼓勵利用這些模型來使用轉(zhuǎn)移學習。作為存儲庫的一部分，Google還提供了可以輕松微調(diào)每個模型的代碼。正如下圖所示，模型容量會隨著時間不斷增大（GPT-3會將圖表的大小增加10倍）：

圖源：Microsoft

如果這種趨勢持續(xù)下去（沒有跡象表明這種趨勢不會持續(xù)），那么遷移學習將成為團隊使用前沿深度學習的主要方式。

隨著模型變得越來越大，遷移學習使得每個團隊都能使用這些模型，投入生產(chǎn)的大型深度學習模型的數(shù)量猛增。訓練這些模型是一個挑戰(zhàn)——它們需要大量空間和內(nèi)存來進行推理，而且通常無法一次處理多個請求。

圖源：unsplash

因為這些模型（GPU / ASIC推斷，基于請求的彈性伸縮，spot實例支持），我們已經(jīng)給Cortex引入了幾個主要功能，并且隨著模型的擴大，我們將不斷添加新的功能。

然而，與讓世界上每個工程師都可以使用最先進的深度學習解決問題的潛力相比，基礎架構挑戰(zhàn)性的難度微不足道。人人可使用的深度學習，已經(jīng)觸手可及。