兩年前，吳恩達在 NIPS 2016 的 Tutorial 上曾說“在監(jiān)督學習之后，遷移學習將引領(lǐng)下一波機器學習技術(shù)商業(yè)化浪潮。”現(xiàn)實中不斷有新場景的出現(xiàn)，遷移學習可以幫助我們更好地處理遇到的新場景。遷移學習到底有哪些優(yōu)點，能夠成為現(xiàn)在機器學習算法的新焦點？本文將通過與深度學習進行對比，讓大家在應用層面了解遷移學習的原理及其優(yōu)勢。

前言

深度學習在許多很難用其它方法解決的問題上取得了長足的進步。深度學習的成功歸功于它與傳統(tǒng)的機器學習的幾個關(guān)鍵不同點，這使得它在處理非結(jié)構(gòu)化數(shù)據(jù)的時候能夠大放異彩。如今，深度學習模型可以玩游戲，檢測癌癥，與人類交談，以及駕駛汽車。

但是，使深度學習強大的這幾個不同點同時也使得其成本巨大。你可能聽說過深度學習的成功需要龐大的數(shù)據(jù)量，昂貴的硬件設(shè)施，甚至更加昂貴的精英工程人才。現(xiàn)在，一些公司開始對那些可以減少成本的創(chuàng)新想法和技術(shù)特別興奮。比如多任務(wù)學習（Multi-task learning），這是一種可以讓機器學習模型一次性從多個任務(wù)中進行學習的方法。這種方法的其中一種好處就是，可以減少對訓練數(shù)據(jù)量的需求。

在這篇文章中，我們將會介紹遷移學習（transfer learning），一種可以讓知識從一個任務(wù)遷移到另一個任務(wù)中的機器學習方法。遷移學習不需要為你的問題重新開發(fā)一個完全定制的解決方案，而是允許你從相關(guān)問題中遷移知識，以幫助你更輕松地解決您的自定義問題。通過遷移知識，你可以利用用于獲取這些知識所需的昂貴資源，包括訓練數(shù)據(jù)，硬件設(shè)備，研究人員，而這些成本并不需要你來承擔。下面讓我們看看遷移學習何時以及是怎樣起作用的。

深度學習與傳統(tǒng)機器學習的不同點

遷移學習并不是一項新技術(shù)，它也不是專門為深度學習服務(wù)的，但是鑒于最近在深度學習方面取得的進展，它很令人興奮。所以首先，我們需要闡明深度學習究竟和傳統(tǒng)的機器學習在哪些方面有所不同。

深度學習進行底層抽象

機器學習是機器自動學習把預測值或者標簽分配給數(shù)值型輸入（即數(shù)據(jù)）的一種方式。這里的難點是，如何確切地確定這個函數(shù)，使得其對于給定輸入可以生成輸出。不對函數(shù)添加任何限制條件的話，其可能性（復雜性）是無窮無盡的。為了簡化這個任務(wù)，根據(jù)我們正在解決的問題的類型，相關(guān)領(lǐng)域的專業(yè)知識，或者簡單的試錯方法，我們通常會在函數(shù)上強加某種類型的結(jié)構(gòu)。一種結(jié)構(gòu)定義了某一類型的機器學習模型。

理論上，有無限種可能的結(jié)構(gòu)可供選擇，但在實踐中，大多數(shù)機器學習用例可以通過應用少數(shù)幾種結(jié)構(gòu)中的其中一種來解決：線性模型，樹的組合分類器，和支持向量機是其中的核心。數(shù)據(jù)科學家的工作就是從這一小組可能的結(jié)構(gòu)中選擇正確的結(jié)構(gòu)。這些模型作為黑盒對象，可以從許多成熟的機器學習庫中獲得，并且只需幾行代碼即可訓練。舉個例子，你可以用 Python 的 scikit-learn 庫像以下這樣訓練一個隨機森林模型：

或者用 R 來訓練一個線性回歸模型：

與此不同的是，深度學習在更加底層運行。深度學習不是從一小組的模型結(jié)構(gòu)中進行選擇，而是允許開發(fā)人員組成任意結(jié)構(gòu)。構(gòu)建塊是一些模塊或者層，可以將其想象成基本的基礎(chǔ)數(shù)據(jù)轉(zhuǎn)換。這意味著當我們應用深度學習時，我們需要打開黑盒子了解數(shù)據(jù)轉(zhuǎn)換，而不是把它當做被算法固定的一堆參數(shù)。

這種做法使得我們可以構(gòu)建更加強大的模型，但是同時它也給整個模型構(gòu)建過程添加了一種全新的挑戰(zhàn)。盡管深度學習社區(qū)已經(jīng)發(fā)表了大量研究，到處都有實用的深度學習指南，或者一些經(jīng)驗之談，如何有效地組合這些數(shù)據(jù)轉(zhuǎn)換依然是一個很困難的過程。

下面我們考慮一個極其簡單的卷積神經(jīng)網(wǎng)絡(luò)圖像分類器，這里是用一個流行的深度學習庫 PyTorch 來進行定義的。

因為我們使用的是底層的構(gòu)建塊，我們可以輕松改變模型的某個單一部件（例如，將F.relu變?yōu)镕.sigmoid）。這樣做可以得到一個全新的模型架構(gòu)，它可能會產(chǎn)生截然不同的結(jié)果，而且它的可能性，毫不夸張地說，是無止境的。

深度學習還沒有被充分地理解

即使給定了一個固定的神經(jīng)網(wǎng)絡(luò)架構(gòu)，訓練它也是眾所周知的極其困難。首先，深度學習的損失函數(shù)通常不是凸函數(shù)，這意味著訓練并不一定產(chǎn)生最優(yōu)的可能解。第二，深度學習現(xiàn)在還是非常新的技術(shù)，它的許多組成部分仍未被充分理解。舉個例子，批標準化（Batch Normalization）最近備受關(guān)注，因為似乎將其包含在某些模型中是取得良好結(jié)果的關(guān)鍵，但是專家無法就其原因達成一致。研究人員 Ali Rahimi 最近在一場機器學習會議上甚至把深度學習與煉金術(shù)相提并論，引發(fā)了一場論戰(zhàn)。

自動特征工程

深度學習的復雜性促進了一門叫表示學習（representation learning）的技術(shù)的發(fā)展，這也是為什么經(jīng)常有人說神經(jīng)網(wǎng)絡(luò)做的是“自動特征工程”。簡單來說就是，我們不是讓人類來手動從數(shù)據(jù)集中提取有效特征，而是構(gòu)建一個模型，讓模型可以自己學習對于當前任務(wù)來說哪些是需要的和有用的特征。把特征工程的任務(wù)交給模型來處理非常有效，但是代價是模型需要龐大的數(shù)據(jù)量，也因此需要龐大的計算能力。

你可以做什么？

和其他機器學習方法相比，深度學習太過于復雜，看上去似乎無法將其整合到你的業(yè)務(wù)中。對于那些資源有限的組織機構(gòu)來說，這種感覺更加強烈。

對于那些需要走在前沿的組織機構(gòu)來說，可能的確需要聘請專家和購買專業(yè)的硬件設(shè)施。但是很多情況下這不是必需的。有方法可以讓你不需要進行大量的投資就可以有效地應用深度學習技術(shù)。這里就是遷移學習可以大展拳腳的地方了。

遷移學習可以讓知識從一個機器學習模型遷移到另一個模型上。這些模型可能是對模型結(jié)構(gòu)進行了長年研究、用相當多數(shù)據(jù)集對模型進行訓練、用數(shù)以年計的計算時間對模型進行優(yōu)化而得到的結(jié)果。利用遷移學習，你不需要承擔上面說的任何成本就能獲得這項工作的大部分好處！

什么是遷移學習

大多數(shù)機器學習任務(wù)始于零知識，意思是它的結(jié)構(gòu)和模型的參數(shù)是從隨機猜測開始的。當我們說模型是從頭開始學習的時候，意思也是如此。

隨機猜測開始訓練的一個貓檢測模型。通過它見過的許多不同的貓，該模型從中整合出相同的模式，逐漸學習到貓是什么。

在這種情況下，該模型學習到的所有內(nèi)容都來自于你展示給它的數(shù)據(jù)。但是，這是解決問題的唯一方法嗎？在某些情況下，看上去的確如此。

貓檢測模型在不相關(guān)的應用中，例如欺詐檢測，很有可能沒有什么用處。它只知道如何應付貓的圖片，而不是信用卡交易。

但是在某些情況下，我們似乎可以在不同任務(wù)之間共享信息。

貓檢測模型在相關(guān)任務(wù)中作用很大，例如貓的臉部定位。該檢測器已經(jīng)知道怎么檢測貓胡子，鼻子，以及眼睛，所有這些對于定位貓的臉部都很有用處。

這就是遷移學習的本質(zhì)：采用一種模型，學習如何很好地完成某項任務(wù)，將其部分或者所有知識遷移到一個相關(guān)的任務(wù)。

想想我們自己的學習經(jīng)驗，就會發(fā)現(xiàn)這其實很有道理：我們經(jīng)常遷移以往習得的技能，這樣可以更快地學習新的技能。舉個例子，學過投擲棒球的人不需要重新學習拋東西的機制就能很好地學習到怎么扔一個足球。這些任務(wù)本質(zhì)上是相通的，能夠處理其中一件任務(wù)的話自然而然可以把學習到的能力遷移到另一項任務(wù)。

在機器學習領(lǐng)域，可能過去 5 年最好的例子就是計算機視覺領(lǐng)域。現(xiàn)在幾乎沒人會從頭開始訓練一個圖像模型。相反，我們會從一個預訓練好的模型開始，這個模型已經(jīng)知道怎么區(qū)分一些簡單的對象，例如貓，狗，還有雨傘。學習區(qū)分圖像的模型首先學習如何檢測一些通用圖像特征，例如邊緣，形狀，文本，以及臉部。預訓練模型具有以上這些的基本技能（還有更加具體的技能，例如區(qū)分狗和貓的能力）。

此時，預訓練的分類模型可以通過添加層或者在一個新的數(shù)據(jù)集上重新訓練，來繼承那些花費巨大而獲得的基本技能，然后將其延伸到新的任務(wù)。這就是遷移學習。

這種方法的好處很明顯。

遷移學習訓練數(shù)據(jù)量需求量更小

當你在一個與貓相關(guān)的新任務(wù)中重復使用你最喜愛的貓檢測模型時，你的模型已經(jīng)擁有了“一百萬只貓的智慧”，這意味著你不需要再使用那么多的貓圖片來訓練新任務(wù)了。減少訓練數(shù)據(jù)量可以讓你在只有很少數(shù)據(jù)，或者要獲得更多數(shù)據(jù)的成本過高或者不可能獲得更多數(shù)據(jù)的情況下也能訓練，同時可以讓你在比較廉價的硬件設(shè)施上更快地訓練模型。

遷移學習訓練模型泛化能力更強

遷移學習可以改進模型的泛化能力，或者說增強其在非訓練數(shù)據(jù)上分類良好的能力。這是因為在訓練預訓練模型時，是有目的性地讓模型可以學習到對相關(guān)任務(wù)都很有用的通用特征。當模型遷移到一個新任務(wù)時，它將很難過擬合新的訓練數(shù)據(jù)，因為它將僅從一個很一般的知識庫中繼續(xù)學習而已。構(gòu)建一個泛化能力強的模型是機器學習中最難以及最重要的部分之一。

遷移學習訓練過程更加魯棒

從一個預訓練的模型開始，也可以避免訓練一個帶有數(shù)百萬參數(shù)的復雜模型，這個過程非常令人沮喪，非常不穩(wěn)定，而且令人困惑。遷移學習可以將可訓練參數(shù)的數(shù)量減少多達 100%，使得訓練更穩(wěn)定，而且更容易調(diào)試。

遷移學習降低深度學習的入門門檻

最后，遷移學習降低深度學習的門檻，因為你不需要成為專家就能獲得專家級的結(jié)果。舉例來說，流行的圖像分類模型 Resnet-50，這個特定的結(jié)構(gòu)是怎么選擇的呢？這是許多深度學習專家的多年研究和實驗的結(jié)果。這個復雜的結(jié)構(gòu)中包含有 2500 萬個權(quán)重，如果沒有對這個模型中各個部件的深入了解，從頭優(yōu)化這些權(quán)重可以說是幾乎不可能的任務(wù)。幸運的是，有了遷移學習，你可以重用這個復雜的結(jié)構(gòu)，以及這些優(yōu)化過的權(quán)重，因此顯著降低了深度學習的入門門檻。

多任務(wù)學習又是什么？

遷移學習是用于訓練機器學習模型的知識共享技術(shù)的其中一種，已被證明是非常有效的。目前，知識共享技術(shù)中最有趣的兩種就是遷移學習和多任務(wù)學習。在遷移學習中，模型首先在單個任務(wù)中進行訓練，然后可以用于相關(guān)任務(wù)的起始點。在學習相關(guān)任務(wù)時，原始的被遷移模型會學習如何專門處理新的任務(wù)，而不需要擔心會不會影響其在原來任務(wù)上的效果。而在多任務(wù)學習中，單個模型一次性學習處理多個任務(wù)，對模型的性能評估則取決于它學習之后能夠多好地完成這些任務(wù)。后續(xù)我們也會分析討論更過有關(guān)多任務(wù)學習的好處以及其何時能起作用。

結(jié)論

遷移學習是一項知識共享技術(shù)，其可以減少構(gòu)建深度學習模型時對訓練數(shù)據(jù)量，計算能力，以及工程人才的依賴。由于深度學習可以提供與傳統(tǒng)機器學習相比的顯著改進，遷移學習成為一項必不可少的工具。