本文結合了近三年技術和產業(yè)發(fā)展的回顧，再論“深度學習已死”。作者認為，深度學習對于大多數(shù)問題來說不是正確方法，無法為所有問題尋找一個通用AI解決方案。

許多人認為，算法能以認知意識超越人性。機器可以在沒有人工干預的情況下了解和學習任務，并大規(guī)模地替換人類工人。它們完全可以“思考”。許多人甚至提出我們是否可以將機器人視作配偶的問題。

但我今天不是討論這些。如果我告訴你這些想法在20世紀60年代時就已廣泛流傳，AI先驅Jerome Wiesner、Oliver Selfridge和克勞德·香農(Claude Shannon)都曾堅持認為這在不久的將來就會發(fā)生，你怎么想？如果你對此感到驚訝，請看看下面這個視頻，你會驚訝于這些情緒是多么的熟悉。

快進到1973年，AI的炒作和夸大適得其反。英國議會派數(shù)學家詹姆斯·萊特希爾爵士(Sir James Lighthill)編寫英國人工智能研究的現(xiàn)狀報告。該報告對AI研究的許多核心方面給出了非常悲觀的預測，指出 “在該領域的任何部分迄今為止都沒有產生重大影響”。有趣的是，萊特希爾還指出專門的程序(或人類)如何比他們的“AI”同行表現(xiàn)得更好，以及AI如何在現(xiàn)實環(huán)境中沒有前景。因此，英國政府取消了所有的AI研究經費。

Lighthill Debate, BBC, 1973

在大西洋彼岸，美國國防部曾在AI研究上投入巨資，但后來又因為同樣的挫折取消了幾乎所有的資助：對AI能力的夸大，高成本卻沒有回報，以及AI在現(xiàn)實世界中的價值令人懷疑。

在20世紀80年代，日本在“AI”上進行大膽的嘗試，推出“第五代電腦項目”(Fifth generation computer)。然而，這最終也只是造成了8.5億美元的損失。

第一個AI冬天

80年代末出現(xiàn)了AI冬天(AI Winter)，這是計算機科學的一個黑暗時期，“人工智能”研究給組織和政府帶來沉沒成本。這種失敗使人工智能研究停滯了數(shù)十年。

到了1990年代，“AI”成了一個貶義詞，這種情況持續(xù)到2000年代。人們普遍認為“AI根本不能起作用”。編寫看似智能的程序的軟件公司會使用“搜索算法”、“業(yè)務規(guī)則引擎”、“約束求解器”和“運算研究”等術語。值得一提的是，這些有用的工具的確來自AI研究，但由于未能實現(xiàn)更宏偉的目標，它們被打上了非AI的標簽。

但在2010年前后，情況開始發(fā)生變化。人們對AI的興趣再次迅速增長，圖像分類競賽引起了媒體的大量關注。硅谷擁有大量的數(shù)據(jù)，這是第一次有足夠的數(shù)據(jù)足以使神經網絡變得有用。

到2015年，“AI”研究已成為許多財富500強企業(yè)的巨額預算去向，他們擔心自己會被自動化競爭對手甩在后面。畢竟，讓一個神經網絡來識別圖像中的物體真的令人印象深刻！對于外行來說，下一步肯定就是天網能力了。

但這真的是邁向真正的人工智能的一步嗎？或許歷史在重演，但這一次確實是受到了一些成功用例的鼓舞。

AI的定義不斷發(fā)展，經常與“神經網絡”聯(lián)系在一起

很長一段時間以來，我一直不喜歡“AI”這個詞。它是模糊而遙遠的，它更多的是由營銷人員而不是科學家定義的。當然，營銷和流行語對于刺激積極的變革和接受新思維是必要的。然而，流行語不可避免地會導致混淆。我的新智能手機有一個“人工智能鈴聲”(AI Ringtone)功能，可以動態(tài)地調節(jié)鈴聲音量，使其剛好超過環(huán)境噪音。我猜可以用一系列“if”語句或簡單的線性函數(shù)來編程的東西都被稱為“AI”。

鑒于此，“AI”的定義受到廣泛爭議或許就不足為奇了。我喜歡Geoffrey De Smet的定義，它指出AI解決方案是針對具有不確定性答案和/或不可避免的誤差范圍的問題。在這個定義下，AI包括大量的工具，從機器學習到概率到搜索算法。

也可以說，AI的定義在不斷發(fā)展，但只包括突破性的發(fā)展，而過去的成功(如光學字符識別或語言翻譯)不再被認為是“AI”。因此，“AI是一個相對的術語，而不是絕對的。

近年來，“AI”經常與“神經網絡”聯(lián)系在一起，這也是本文的重點。其他的“AI”解決方案，包括其他機器學習模型(樸素貝葉斯、支持向量機、XGBoost)，搜索算法，等等。然而，神經網絡可以說是目前最熱門、最經常被炒作的技術。

AI文藝復興？

2010年之后AI熱潮的復蘇，僅僅是因為AI掌握了一類新的任務：分類。更具體地說，是多虧了神經網絡，科學家們已經開發(fā)出有效的方法來對大多數(shù)類型的數(shù)據(jù)進行分類，包括圖像和自然語言。甚至自動駕駛汽車也屬于一種分類任務，其中周圍道路的每個圖像都可以轉化為一組獨立的動作(加油、剎車、左轉、右轉等)。

在我看來，自然語言處理比單純的分類更令人印象深刻。人們很容易相信這些算法是有感知能力的，但如果你仔細研究算法，就會發(fā)現(xiàn)它們依賴于語言模式，而不是依賴于有意識構建的思想。這些可以帶來一些有趣的結果。

Google Duplex可能是最令人印象深刻的自然語言處理技術，它能讓你的Android手機代替你打電話，甚至進行預約。但是，Google Duplex是僅僅為了完成這個任務而訓練、構造甚至硬編碼的“AI”。當然，Google Duplex打的電話聽起來很自然，有停頓，有“啊”和“嗯”……但是，這也是通過對語音模式的操作來實現(xiàn)的，而不是通過實際的推理和思考。

這一切都非常令人印象深刻，并且肯定有一些是有用的應用程序。但我們確實需要調整我們的期望值，停止炒作夸大“深度學習”能力。如果不這樣做，我們可能會發(fā)現(xiàn)我們進入了另一個“AI冬天”。

歷史總是在重演

康奈爾大學的Gary Marcus寫了一篇關于深度學習局限性的文章，并提出了幾個發(fā)人深省的觀點。Rodney Brooks也寫了一篇文章，整理了時間軸，并通過引用的研究跟蹤他對AI炒作周期的預測。

懷疑論者通常有幾個共同觀點。神經網絡需要大量的數(shù)據(jù)，即使在今天，數(shù)據(jù)也是有限的。這也是為什么你在YouTube上看到的“游戲”AI的例子經常需要幾天不斷的訓練，并且不斷地失敗，直到神經網絡找到一個讓它獲勝的模式。

神經網絡之所以“深”，是因為它們在技術上有很多層的節(jié)點，而不是因為它對問題的理解有多深刻。這些層也使得神經網絡難以理解，甚至對它的開發(fā)者來說也是如此。最重要的是，當神經網絡冒險進入其他問題空間(如旅行推銷員問題)時，它們的回報就會減少。這是有道理的。為什么我要用神經網絡來解決旅行推銷員的問題，明明搜索算法更加有效、可擴展而且成本低？當然，有些人希望將神經網絡推廣到更多問題空間，盡管這很有趣，但神經網絡在這些問題上似乎很少能勝過任何專門的算法。

正如MIT教授Luke Hewitt所說：

僅僅基于一項任務，憑直覺去了解一臺機器的智能范圍有多廣，或者它具備多少智能能力，這不是一個好主意。20世紀50年代的跳棋機器讓研究人員感到驚訝，許多人認為這是AI走向人類水平推理的巨大飛躍，但我們現(xiàn)在意識到，在這個游戲中達到人類水平或超越人類水平遠比實現(xiàn)人類水平的一般智能要容易得多。事實上，即使是最優(yōu)秀的人也很容易被簡單的啟發(fā)式搜索算法打敗。在一項任務中達到或超越人類的表現(xiàn)，不一定是能夠在大多數(shù)任務中接近人類表現(xiàn)的墊腳石。

— Luke Hewitt

我認為同樣值得指出的是，神經網絡需要大量的硬件和能量才能進行訓練。我認為這不是可持續(xù)的。當然，神經網絡的預測效率要高得多。然而，我認為人們對神經網絡的期待使得它需要不斷的訓練，因此需要指數(shù)級的能量和成本。當然，計算機是越來越快了，但是芯片制造商能繼續(xù)維持摩爾定律嗎?

正是由于這些原因，我認為另一個AI冬天即將來臨。越來越多的專家站出來指出這些局限性。公司在爭奪“深度學習”和“人工智能”人才方面仍然不遺余力，但我認為許多公司會意識到深度學習并不是它們需要的，這只是時間問題。更糟糕的是，如果你的公司沒有谷歌那樣高的研究預算，沒有那么多的博士人才，或者沒有能夠從用戶那里收集到大量數(shù)據(jù)，你很快就會發(fā)現(xiàn)實際的“深度學習”前景非常有限。

每一個AI冬季來臨之前，科學家都會夸大它們的創(chuàng)造潛力。僅僅說他們的算法能很好地完成一項任務是不夠的。他們希望AI能適應任何任務，或者至少能給人留下這樣的印象。例如，AlphaZero是一種更好的國際象棋算法。媒體的反應是“天哪，通用AI來了。大家快跑！機器人來了！”而科學家們不是費心去糾正他們，而是鼓勵他們使用更聰明的詞語。畢竟，降低預期對VC融資沒有幫助。

下一步是什么？

當然，并不是每一家使用“機器學習”或“人工智能”的公司實際上都在使用“深度學習”。一位優(yōu)秀的數(shù)據(jù)科學家可能被雇來構建一個神經網絡，但當他真正研究這個問題時，他會選擇構建一個更適合的樸素貝葉斯分類器。對于那些已經成功地使用圖像識別和語言處理的公司來說，他們將繼續(xù)愉快地這樣做。但我確實認為神經網絡不會在其他問題空間取得進展。

上一個AI冬天對計算機科學的發(fā)展是毀滅性的。值得指出的是，這樣的研究也產生了一些有用的東西，比如搜索算法，它可以有效地在國際象棋中獲勝，或者用最小的成本解決交通問題。簡單地說，創(chuàng)新的算法往往在某項特定任務上表現(xiàn)出色。

我想說的是，對于很多類型的問題，都有很多行之有效的解決方案。為了避免AI冬天，你能做的最好的事情就是把你試圖解決的問題具體化，并理解它的本質。在此之后，尋找為特定問題提供解決方案的直觀路徑。比如，如果要對文本消息進行分類，可能需要使用樸素貝葉斯。如果要優(yōu)化交通網絡，可能應該使用離散優(yōu)化。不管來自同行的壓力有多大，你都可以帶著適當?shù)膽岩蓱B(tài)度來處理復雜的模型，并質疑它是否是正確的方法。

希望這篇文章清楚地表明，深度學習對于大多數(shù)問題來說不是正確方法。不要為所有問題尋找一個通用AI解決方案，因為你找不到的。