我們分析了16625篇論文，以洞察AI下一步的發展方向

我們深入研讀了25年來的AI研究論文，結果表明深度學習的時代即將結束。

如今你聽到的關于AI的幾乎所有內容都歸功于深度學習。這類算法的工作原理是使用統計方法來查找數據中的模式；事實證明，深度學習在模仿人類技能（比如我們的視覺和聽覺能力）方面功能異常強大，它甚至可以模仿我們推理的能力。這些功能在幕后支持谷歌的搜索、Facebook的新聞源和Netflix的推薦引擎，并正在徹底改變醫療保健和教育等行業。

不過雖然深度學習憑一己之力將AI推入了公眾視野，但它只是全人類竭力復制自身智慧的歷史長河中的一小朵浪花。它在不到10年的時間里處于這方面的最前沿。如果你綜觀這個領域的整個歷史，很容易意識到深度學習可能很快行將消失。

華盛頓大學的計算機科學教授、《終極算法》一書的作者Pedro Domingos說：“要是有人在2011年撰文稱，深度學習很快消失的言論幾年后會出現在報刊雜志的頭版，我們可能會這么說‘哇，你是不是吃錯藥了。’”

他表示，長期以來，不同技術的突然興衰起落已成為AI研究領域的特征。每隔十年，不同想法之間就會出現一番激烈的競爭。之后，偶爾會出現大反轉，這個圈子中的每個人就某一種特定的想法達成共識。

《麻省理工學院科技評論》雜志（MIT Technology Review）想要直觀地呈現這些變化。于是，我們將目光投向最龐大的科學論文開源數據庫之一：arXiv。我們下載了2018年11月18日之前歸屬“AI”部分的所有16625篇論文的摘要，跟蹤分析了這些年來提及的單詞，看看這個領域是如何演變的。

從arXiv下載的論文數量

我們通過一番分析，發現了三個主要的趨勢：20世紀90年代末和21世紀初向機器學習轉變，2010年初開始神經網絡日漸普及，以及近幾年強化學習大行其道。

有幾個地方需要注意。首先，arXiv的AI部分只追溯到1993年，而“AI”這個術語可以追溯到20世紀50年代，所以這個數據庫只代表該領域發展史的幾個最新章節。其次，每年添加到數據庫中的論文只代表當時該領域所做工作的一小部分。不過，arXiv還是提供了出色的資源，便于匯集一些較大的研究趨勢，并了解不同想法的角力。

一種機器學習范式

我們發現的最大轉變是21世紀初期離基于知識的系統漸行漸遠。這種計算機程序基于這個想法：你可以使用規則來編碼所有的人類知識。研究人員求助于機器學習，這個大類的算法包括深度學習。

在提及的前100個單詞中，與基于知識的系統相關的那些單詞（比如“邏輯”、“約束”和“規則”）跌勢最猛。而與機器學習有關的那些單詞（比如“數據”、“網絡”和“性能”）增勢最猛。

機器學習讓基于知識的推理相形見絀

每1000個單詞的單詞頻率

這種巨大變化的原因相當簡單。在80年代，由于試圖在機器中重現常識的雄心勃勃的項目激動人心，基于知識的系統積累了一大批擁躉。但隨著那些項目逐漸展開來，研究人員遇到了一大問題：如果一個系統要做任何有用的事情，需要編寫的規則實在太多了。這增加了成本，并嚴重阻礙了后期的日常工作。

機器學習成為了解決這個問題的答案。這種方法不是要求人們手動編碼成千上萬條規則，而是對機器編程，以便從一堆數據中自動提取那些規則。正因為如此，這個領域擯棄了基于知識的系統，改而轉向完善機器學習。

神經網絡的繁榮期

在新的機器學習范式下，并沒有立即出現向深度學習轉變的一幕。相反，正如我們對關鍵術語的分析顯示的那樣，除了深度學習的核心機制神經網絡外，研究人員還測試了眾多方法。另外一些流行的技術包括貝葉斯網絡、支持向量機和進化算法，所有這些技術都采用了不同的方法來查找數據中的模式。

神經網絡取代其他機器學習方法

在20世紀90年代和2000年代，所有這些方法之間存在著穩定的競爭。然后在2012年，一項關鍵的突破導致了另一次巨大變化。在旨在推動計算機視覺發展的一年一度的ImageNet比賽期間，一位名叫Geoffrey Hinton的研究人員及其在多倫多大學的同事在圖像識別方面獲得了最佳準確度，整整高出10個百分點。

他使用的技術即深度學習引發了一波新的研究：先是在視覺領域內部，然后擴大到另外的領域。隨著越來越多的研究人員開始使用深度學習來獲得令人印象深刻的結果，深度學習的受歡迎程度急劇提高，神經網絡隨之走紅。

加強學習方興未艾

我們的分析表明，在深度學習崛起后的幾年里，AI領域出現了第三次也是最后一次轉變。

除了機器學習中的不同技術外，還有三種不同的類型：監督學習、非監督學習和強化學習。監督學習是最常用的一種，也是迄今為止最實用的應用，它需要為機器饋送經過標記的數據。然而在過去幾年，強化學習在論文摘要中的提及率迅速增加，它模仿通過獎懲機制訓練動物的過程。

強化學習發展勢頭正猛

這并不是什么新想法，但幾十年來它其實沒有真正奏效過。Domingos說：“搞監督學習的人會取笑搞強化學習的人。”但是正如深度學習一樣，一個關鍵時刻突然讓強化學習家喻戶曉。

那個時刻發生在2015年10月，當時DeepMind研發的AlphaGo用強化學習經過訓練后，在古老的圍棋比賽中擊敗了世界冠軍。這立即對研究界產生了影響。

下一個十年

我們的分析只不過對AI研究領域的幾種主要想法之間的激烈競爭給出了最近寫照，但它表明了竭力復制智慧這條道路上的變幻莫測。Domingos說：“認識到沒有人知道如何解決這個問題很重要。”

過去25年中使用的許多技術起源于大概同一個時期，即20世紀50年代，因每十年的挑戰和成功而失寵和受寵。比如說，神經網絡在60年代達到頂峰，80年代回光返照、奄奄一息，但隨后因深度學習而重新獲得了目前的人氣。

換句話說，每十年實際上看到不同技術輪流唱主角：50年代末和60年代的神經網絡，70年代的各種象征方法，80年代基于知識的系統，90年代的貝葉斯網絡，2000年代的支持向量機，以及2010年代的神經網絡。

Domingos表示，20世紀20年代應該沒什么不同，這意味著深度學習時代可能很快就會結束。但研究界對于接下來會發生什么莫衷一是、眾說紛紜——到底一種舊技術重新獲得青睞，還是這個領域會創造一種全新的范式。

Domingos說：“如果你回答了這個問題，我想為這個答案申請專利。”