編者按：Microsoft Semantic Machines資深研究科學家、UC Berkeley計算機科學博士Jacob Andreas對比了機器學習和程序語言的發(fā)展史，提出可組合性、模塊化是神經(jīng)網(wǎng)絡的重要發(fā)展方向。

應用機器學習簡史：

每當我們用能力更強、特征更簡單、結(jié)構(gòu)性限制更少的模型替換能力更弱、附帶手工編寫的結(jié)構(gòu)性限制的模型時，模型質(zhì)量提升了（模型更小，開發(fā)用時更短，在未見數(shù)據(jù)上的概括性更好）。

從NLP領域我們就能舉出很多例子：線性模型取代了決策列表；Jelinek說：“我每開掉一個語言學家，語音識別系統(tǒng)的表現(xiàn)就會提高一點”；基于統(tǒng)計的機器翻譯；最近一大波論文的實質(zhì)是“將log-linear模型（雙層神經(jīng)網(wǎng)絡）替換為一個三層神經(jīng)網(wǎng)絡”。

程序語言簡史：

每當我們用帶有少量高層構(gòu)件的語言替換帶有大量簡單構(gòu)件的語言時，程序質(zhì)量提升了（同等復雜度的程序更短了，開發(fā)用時更短，包含bug的可能性降低）。

所有人都不寫匯編了，接著，所有人都不寫C了。（顯然這是粗暴的過度概括，因為還有很多人在寫匯編和C。爭議更少的說法是使用底層語言寫程序的人越來越少，使用底層語言更難寫對程序。）

不知道你注意到了沒有，在以上兩個情形中，我們移動的都是同一個滑塊——只不過方向不同。機器學習和程序語言設計最終目標是一致的：讓特定的問題求解機器（不管是人類還是優(yōu)化算法）產(chǎn)生正確的代碼。在現(xiàn)實世界中，我們并不是因為機器學習內(nèi)在地比手寫代碼更純粹或者更美才偏愛機器學習——我們使用機器學習是因為它高效。如果今天有人發(fā)布了一個包含一些可組合的視覺原語的庫，接著突然之間Facebook發(fā)現(xiàn)實習生可以比神經(jīng)網(wǎng)絡更高效地解決所有的圖像標記問題，那么明天神經(jīng)網(wǎng)絡就會被棄之門外。

實際上，我們現(xiàn)在能夠?qū)懗鲞@樣的庫嗎？

澄清一下，我指的不是類似OpenCV的東西，讓你選擇為特定任務預先實現(xiàn)的模型，然后在后處理部分加上你想要的操作。相反，我想要的是一些視覺原語，基于這些原語我們可以這樣編寫一個分類器：

load(image) andThen

detectObjects andThen

orderBy(salience) andThen

head andThen

name

或者這樣給圖像自動加上說明：

load(image) andThen

detectObjects andThen

describeAll

或者這樣識別人臉：

load(image) andThen

detectObjects andThen

filter(name(_) == Face) andThen

drawBoundaries

detectObjects、describeAll等函數(shù)看起來是什么樣？目前的經(jīng)驗提示它們應該是神經(jīng)網(wǎng)絡，但不是特定種類的神經(jīng)網(wǎng)絡：它們并不是為完成某個具體任務（比如給圖像加上說明）而訓練的，而是以可自由組合的方式進行訓練：describeAll承諾可以接受任何“檢測結(jié)果列表之類”的輸入（可以直接來自detectObjects，也可以是經(jīng)過后續(xù)過濾的），并生成一個字符串。這些函數(shù)的輸入和輸出都是實向量。無法結(jié)構(gòu)化地強制“檢測結(jié)果列表之類”的東西實際具有所需的語義，相反，我們完全依賴訓練過程。

在當前的真實世界實現(xiàn)中，將網(wǎng)絡層視為模塊化、預先規(guī)定的單元，而將網(wǎng)絡視為為特定任務定制的單一模型（需要端到端訓練）。不過，一旦我們轉(zhuǎn)移到模塊化網(wǎng)絡上，我們可以開始進行不存在訓練數(shù)據(jù)的任務。例如，使用上面指定的原語“為圖像中的人添加說明”：

load(image) andThen

detectObjects andThen

filter(name(_) == Face)

andThen describeAll

其實我們已經(jīng)向這個方向邁步了：人們使用圖像分類網(wǎng)絡的前若干層初始化幾乎所有視覺任務；盡管“注意力”是一系列組合多個網(wǎng)絡層的復雜操作，人們在描述模型時突然開始將其用作原語。Roger Grosse關于矩陣分解模型的語法的出色論文（arXiv:1210.4856）也多少是這個風格，還有Christopher Olah對視作可復用模塊組合的神經(jīng)網(wǎng)絡的類型理論細節(jié)的討論（git.io/fAn4J）。

回到我們之前的程序語言討論，我們觀察到：

手工編寫人類檢測器對人類來說很難，但對神經(jīng)網(wǎng)絡而言很容易。

給定功能恰當?shù)囊曈X原語，編寫人類描述器很容易。但從頭訓練完成這一任務的神經(jīng)網(wǎng)絡需要大量人類描述的樣本。（我們也許可以說，對人類來說“容易”，對神經(jīng)網(wǎng)絡來說“困難”。）

更進一步，有很多更類似人類而不是神經(jīng)網(wǎng)絡的機器學習技術，使用很小的數(shù)據(jù)集以及良好的預先指定的原語，比如，程序推導和語義解析。如果我們真的只在乎最少的人類干預，我們可以將指定的視覺原語交給機器學習子系統(tǒng)自動推導。

所以讓我們編寫這個庫！這里有一些問題需要研究：首先，提供給人們的功能原語（或用于程序推導的模塊）的正確組合是什么？接著，這些共享的表示真的可以被學習嗎？我們?nèi)绾位诂F(xiàn)有的標記數(shù)據(jù)為這些模塊搜尋參數(shù)配置？

作為概念證明，我和一些研究人員合作，寫了三篇關于可組合模塊化神經(jīng)網(wǎng)絡的論文：

Neural Module Networks（arXiv:1511.02799）

Learning to Compose Neural Networks for Question Answering（arXiv:1601.01705）

Modeling Relationships in Referential Expressions with Compositional Modular Networks（arXiv:1611.09978）