深度學習處于所謂的AI革命的前沿至今已有好幾年；許多人過去認為，深度學習是神奇的“銀彈”，會把我們帶到技術奇點（general AI）的奇妙世界。許多公司在2014年、2015年和2016年紛紛下豪賭，那幾年業界在開拓新的邊界，比如Alpha Go等。特斯拉等公司通過各自的門面（CEO）來宣布，完全自動駕駛的汽車指日可待，以至于特斯拉開始向客戶兜售這種愿景（有依賴于未來的軟件更新）。

我們現在進入到2018年年中，情況已發生了變化。這表面上暫時還看不出來，NIPS大會仍一票難求，許多公司的公關人員仍在新聞發布會上竭力鼓吹AI，埃隆·馬斯克仍不斷承諾會推出自動駕駛汽車，谷歌的首席執行官仍不斷高喊吳恩達的口號（AI比電力更具革命性）。但這種論調開始站不住腳。正如我在之前的文章中預測，最站不住腳的地方就是自動駕駛――即這項技術在現實世界中的實際應用。

深度學習方面塵埃已落定

ImageNet得到有效地解決（注意：這并不意味著視覺已得到解決）時，這個領域的杰出研究人員、甚至包括通常低調的杰夫?辛頓（Geoff Hinton）都在積極接受媒體采訪，在社交媒體上大造聲勢，比如雅恩?樂坤（Yann Lecun）、吳恩達和李飛飛等人。大意無非是，我們正面臨一場巨大的革命；從現在開始，革命的步伐只會加快。多年過去了，這些人的推文變得不那么活躍了，下面以吳恩達的推文為例來說明：

2013年：每天0.413條推文

2014年：每天0.605條推文

2015年：每天0.320條推文

2016年：每天0.802條推文

2017年：每天0.668條推文

2018年：每天0.263條推文（截至5月24日）

也許這是由于吳恩達的大膽言論現在受到了IT界會更嚴厲的拷問，正如下面這條推文所示：

顯而易見，AI方面的聲勢已大幅減弱，現在盛贊深度學習是終極算法的推文少多了，論文也少了“革命性”的論調，多了“演進性”的論調。自推出Alpha Go zero以來，Deepmind還沒有拿出任何激動人心的成果。

OpenAI相當安靜，它上一次在媒體上大放異彩是玩《刀塔2》（Dota2）游戲的代理，我想它原本是為了營造與Alpha Go一樣大的聲勢，但很快就沒有了動靜。實際上這時開始出現了好多文章，認為連谷歌實際上都不知道如何處理Deepmind，因為它們的結果顯然不如最初預期的那樣注重實際……

至于那些聲名顯赫的研究人員，他們通常在四處會見加拿大或法國的政府官員，確保將來拿到撥款，雅恩?樂坤甚至辭去了Facebook AI實驗室主任一職，改任Facebook首席AI科學家。從財大氣粗的大公司逐漸轉向政府資助的研究機構，這讓我意識到，這些公司（我指谷歌和Facebook）對此類研究的興趣實際上在慢慢減弱。這些同樣是早期的征兆，不是大聲說出來，只是肢體語言。

深度學習不具有擴展性

深度學習方面老生常談的重要口號之一是，它幾乎毫不費力就能擴展。我們在2012年有了約有6000萬個參數的AlexNet，現在我們可能擁有至少是參數是這個數1000倍的模型，是不是？也許我們有這樣的模型，可是問題是，這種模型的功能強1000倍嗎？或者甚至強100倍？OpenAI的一項研究派上了用場：

所以，從視覺應用這方面來看，我們看到VGG和Resnets在運用的計算資源大約高出一個數量級后趨于飽和（從參數的數量來看實際上更少）。Xception是谷歌Inception架構的一種變體，實際上只是在ImageNet方面比Inception略勝一籌，可能比其他各種架構略勝一籌，因為實際上AlexNet解決了ImageNet。

所以在計算資源比AlexNet多100倍的情況下，我們實際上在視覺（準確地說是圖像分類）方面幾乎讓架構趨于飽和。神經機器翻譯是各大互聯網搜索引擎大力開展的一個方向，難怪它獲取所能獲取的所有計算資源（不過谷歌翻譯仍很差勁，不過有所改進）。

上面圖中最近的三個點顯示了與強化學習有關的項目，適用于Deepmind和OpenAI玩的游戲。尤其是Alpha Go Zero和更通用一點的Alpha Go獲取的計算資源非常多，但它們并不適用于實際應用，原因是模擬和生成這些數據密集型模型所需的數據需要這些計算資源中的大部分。OK，現在我們可以在幾分鐘內、而不是幾天內訓練AlexNet，但是我們可以在幾天內訓練大1000倍的AlexNet，并獲得性質上更好的結果嗎？顯然不能……。

所以實際上，旨在顯示深度學習擴展性多好的這張圖恰恰表明了其擴展性多差。我們不能簡單地通過擴展AlexNet來獲得相應更好的結果，我們不得不調整特定的架構，如果不能在數據樣本的數量上獲得數量級的提升，實際額外的計算資源無法換來太大的效果，而這種量級的數據樣本實際上只有在模擬游戲環境中才有。

自動駕駛事故不斷

對深度學習名聲打擊最大的無疑是自動駕駛車輛這個領域（我很早以前就預料到這一點，比如2016年的這篇文章：https://blog.piekniewski.info/2016/11/15/ai-and-the-ludic-fallacy/）。

起初，人們認為端到端深度學習有望以某種方式解決這個問題，這是英偉達大力倡導的一個觀點。我認為世界上沒有哪個人仍相信這一點，不過也許我是錯的?？纯慈ツ昙永Ｄ醽喼蒈囕v管理局（DMV）的脫離（disengagement）報告，英偉達汽車實際上開不了10英里就脫離一次。

我在另一篇文章（https://blog.piekniewski.info/2018/02/09/a-v-safety-2018-update/）中討論了這方面的總體情況，并與人類駕駛員的安全性進行了比較（爆料一下情況不太好）。自2016年以來，特斯拉自動駕駛系統已發生了幾起事故，幾起還是致命的。

特斯拉的自動駕駛系統不該與自動駕駛混為一談，但至少它在核心層面依賴同一種技術。到今天為止，除了偶爾的嚴重錯誤外，它還是無法在十字路口停車，無法識別紅綠燈，甚至無法繞環島正確行駛。

現在是2018年5月，離特斯拉承諾來一次西海岸到東海岸的自動駕駛（這一幕沒有出現，不過傳聞稱特斯拉有過嘗試，但無法成行）已有好幾個月。幾個月前（2018年2月），被問及西海岸到東海岸的自動駕駛時，埃隆·馬斯克在電話會議上重申了這點：

“我們本可以進行西海岸到東海岸的駕駛，但那需要太多專門的代碼來進行有效地改動，但這適用于一條特定的路線，但不是通用的解決方案。于是我認為我們可以重復它，但如果它根本無法適用于其他路線上，那不是真正意義上的解決方案?！?/p>

“我為我們在神經網絡方面取得的進展而感到激動。它是很小的進展，似乎不是多大的進展，但突然讓人大為驚嘆?！?/p>

嗯，看一看上圖（來自OpenAI），我似乎沒有看到那個長足的進步。對于這個領域的幾乎各大玩家來說，出現脫離之前的英里數也沒有顯著增加。實際上，上述聲明可以理解為：“我們目前沒有能夠安全地將人們從西海岸載到東海岸的技術，不過如果我們真愿意的話，其實可以做手腳……我們熱切地希望，神經網絡功能方面很快會出現某種突飛猛進，好讓我們從恥辱和大堆訴訟中脫身出來?！?/p>

但是給AI泡沫最猛力一戳的是優步（Uber）自動駕駛汽車在亞利桑那州撞死行人的事故。從美國國家運輸安全委員會（NTSB）的初步報告來看，我們可以看到一些令人震驚的聲明：

除了這份報告中明顯提到的總體系統設計失敗外，令人吃驚的是，系統花了好幾秒的時間來確定看到的前方到底是什么（無論是行人、自行車、汽車還是其他什么），而不是這種情形下做出唯一的合理決定，從而旨在確保沒有撞上。這有幾個原因：第一，人們常常會事后會用言語表達其決定。

因此，一個人通常會說:“我看到了一個騎車的人，于是我轉向左邊以避開他?！贝罅康木裆韺W文獻會給出一番截然不同的解釋：一個人看到了被其神經系統的快速感知回路迅速理解成障礙物的東西后，迅速采取行動來避開它，過了好多秒后才意識到所發生的事情，并提供口頭解釋。”

我們每天做不是用言語表達的眾多決定，而駕駛包括許多這樣的決定。用言語表達開銷很大，又耗費時間，實際情形常常很緊迫，不允許這么做。這種機制已進化了10億年來確保我們的安全，而駕駛環境（盡管現代）利用了許多這樣的反射。由于這些反射沒有專門針對駕駛而進化，可能會導致錯誤。

一只黃蜂在汽車里嗡嗡作響，引起駕駛員條件反射，可能會導致多起車禍和死亡。但是我們對于三維空間和速度的基本理解、預測代理的行為和路上迎面而來的實際物體的行為這種能力卻是很原始的技能，跟1億年前一樣，這些技能在今天一樣有用，它們因進化而得到了顯著的增強。

但是由于這些東西大多不容易用言語表達，它們很難來測量，因而我們根本無法針對這些方面來優化機器學習系統……現在這將認同英偉達的端到端方法――學習圖像－＞動作映射，跳過任何言語表達，在某些方面這是正確的做法，但問題是，輸入空間是高維的，而動作空間卻是低維的。

因此，與輸入的信息量相比，“標簽”（讀出）的“數量”極小。在這種情況下，極容易學習虛假關系（spurious relation），深度學習中的對抗樣本（adversarial example）就表明了這點。我們需要一種不同的范式，我假設預測整個感知輸入以及動作是讓系統能夠提取現實世界語義的第一步，而不是提取虛假關系是第一步。欲知詳情，請參閱我的第一個提議的架構：預測視覺模型（Predictive Vision Model，https://blog.piekniewski.info/2016/11/04/predictive-vision-in-a-nutshell/）。

實際上，如果說我們從深度學習的大流行中學到什么東西，那就是（10k+維度）圖像空間里面有足夠多的虛假模式，它們實際上在許多圖像上具有共性，并留下印象，比如我們的分類器實際上理解它們看到的東西。連在這個領域浸淫多年的頂尖研究人員都承認，事實遠非如此。

加里?馬庫斯對炒作說不

我應該提到一點，更多的知名人士認識到了這種傲慢自大，有勇氣公開炮轟。這個領域最活躍的人士之一是加里?馬庫斯（Gary Marcus）。雖然我并不同意加里在AI方面提出的每個觀點，但我們無疑一致認為：AI還沒有像深度學習炒作宣傳機器描繪的那么強大。實際上，相距甚遠。他寫過出色的博文/論文：

《深度學習：批判性評估》（https://arxiv.org/abs/1801.00631）

《為深度學習的質疑聲辯護》（https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1）

他非常深入細致地解析了深度學習炒作。我很敬重加里，他的表現像是真正的科學家，大多數被稱為“深度學習明星”的人其表現就像三流明星。

結束語

預測AI的冬天就像預測股市崩盤――不可能準確地預測何時發生，但幾乎可以肯定的是，它會在某個時候點發生。就像股市崩盤之前，有跡象預示股市即將崩盤，但是對前景的描繪是如此的誘人，以至于很容易忽視這些跡象，哪怕這些跡象清晰可見。

在我看來，已經有這類明顯的跡象表明，深度學習將大幅降溫（可能在AI行業，這個術語已被企業宣傳機器沒完沒了地濫用），這類跡象已經清晰可見，不過大多數人被越來越誘人的描繪蒙蔽了雙眼。那個冬天會有多“深”？我不知道。接下來會發生什么？我也不知道。但我很肯定AI冬天會到來，也許更早到來，而不是更晚到來。