當(dāng)下的人工智能發(fā)展到了哪一步？未來又會怎樣發(fā)展？本文作者對過去幾年的 AI 發(fā)展進(jìn)行了梳理總結(jié)，并對未來的 AI 發(fā)展進(jìn)行了展望。

過去一年，關(guān)于人工智能的事件、發(fā)現(xiàn)和發(fā)展比比皆是。很難從這些嘈雜的環(huán)境里分辨出關(guān)于 AI 的真實(shí)信號，即便可以，很多人也不知道那些信號表達(dá)的是什么信息。因此，我將盡力提煉過去一年里人工智能大環(huán)境中的一些模式來讓你明確這一點(diǎn)。甚至，我們會在不久的將來見證其中的一些趨勢。

孔子曾說：「知其不可而為之。」他真是個(gè)智者啊。

你從圖中發(fā)現(xiàn)貓了嗎？

別誤會，本文只是一片評論類文章。我不會全面記錄 AI 2018 年的成就，只是概括其中一些趨勢。而且我的描述是圍繞美國展開的，因?yàn)槲也惶私馄渌麌野l(fā)生的事，比如中國。本文的目標(biāo)讀者包括工程師、企業(yè)家以及技術(shù)支持者。

算法

算法篇主要由深度神經(jīng)網(wǎng)絡(luò)主導(dǎo)。當(dāng)然，你也會零零落落地聽到有人部署了「經(jīng)典的」機(jī)器學(xué)習(xí)模型（如梯度提升樹或者多臂老虎機(jī)），并且聲稱這是每個(gè)人唯一需要的東西。也有一些質(zhì)疑說深度學(xué)習(xí)正在做瀕死掙扎。甚至還有頂尖的研究者也在質(zhì)疑一些深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的有效性和魯棒性。但是，無論你喜不喜歡，深度神經(jīng)網(wǎng)絡(luò)無處不在：在自動(dòng)駕駛中，自然語言處理系統(tǒng)中，機(jī)器人中——你可以這么說。深度神經(jīng)網(wǎng)絡(luò)中沒有能夠與自然語言處理、生成對抗網(wǎng)絡(luò)以及深度強(qiáng)化學(xué)習(xí)匹敵的進(jìn)展。

深度 NLP：BERT等

雖然在 2018 年之前就有一些突破性研究將深度神經(jīng)網(wǎng)絡(luò)用于文本（如 word2vec，GLOVE 和基于LSTM的模型），但它們忽略了一個(gè)關(guān)鍵的概念：遷移學(xué)習(xí)。即在大規(guī)模的公開數(shù)據(jù)集上訓(xùn)練好一個(gè)模型，然后在你正在使用的數(shù)據(jù)集上對其進(jìn)行「微調(diào)」。在計(jì)算機(jī)視覺中，用著名的 ImageNet 數(shù)據(jù)集上發(fā)現(xiàn)的模式來解決特定問題通常是解決方案的一部分。

問題在于，用于遷移學(xué)習(xí)的技術(shù)并不真正適用于自然語言處理問題。從某種意義上講，像 word2vec 這樣預(yù)訓(xùn)練的嵌入就起了這個(gè)作用，但是它們只在單個(gè)詞匯上起作用，并不能捕獲到語言的高級結(jié)構(gòu)。

然而，在 2018 年，情況有所改變。語境化嵌入 ELMo 成為了自然語言處理中改進(jìn)遷移學(xué)習(xí)的重要第一步。ULMFiT 則更進(jìn)一步：不滿意嵌入的語義捕獲能力，它的作者提出了為整個(gè)模型進(jìn)行遷移學(xué)習(xí)的方法。

但是最有趣的進(jìn)展肯定是 BERT 的引入。通過讓語言模型從英文維基百科的所有文章集合中學(xué)習(xí)，BERT 團(tuán)隊(duì)在 11 項(xiàng)自然語言處理任務(wù)中達(dá)到了當(dāng)前最先進(jìn)的結(jié)果——了不起！而且，BERT 的代碼和預(yù)訓(xùn)練模型都發(fā)布在網(wǎng)上了——所以你可以將這項(xiàng)突破用于自己的問題中。

GAN 的很多方面

CPU 的速度不再呈指數(shù)增長了，但是關(guān)于生成對抗網(wǎng)絡(luò)的學(xué)術(shù)論文卻在持續(xù)增加。生成對抗網(wǎng)絡(luò)一直是學(xué)術(shù)界的寵兒。盡管它的實(shí)際應(yīng)用似乎很少，并且在 2018 年也鮮有變化。但是生成對抗網(wǎng)絡(luò)還是有著待實(shí)現(xiàn)的驚人潛力。

出現(xiàn)了一種新的方法，就是逐步增加生成對抗網(wǎng)絡(luò)：讓生成器在整個(gè)訓(xùn)練過程中持續(xù)增加輸出的分辨率。使用該方法的一篇更加令人印象深刻的論文是使用風(fēng)格遷移技術(shù)來生成逼真的照片。請告訴我，下面的這些照片有多逼真？

這些照片中哪張是真人？答案是一張都沒有。

GAN 是如何工作的呢？為何 GAN 會起作用？我們目前還沒有深入的了解，但是已經(jīng)有人邁出了重要的步伐：MIT 的一個(gè)團(tuán)隊(duì)對這個(gè)問題做了高質(zhì)量的研究。

另一個(gè)有趣的進(jìn)展就是 Adversarial Patch。雖然技術(shù)上來說它不是 GAN，但它使用黑盒（基本來說，就是不看神經(jīng)網(wǎng)絡(luò)的內(nèi)部狀態(tài)）和白盒的方法來制作一個(gè)「補(bǔ)丁」，這個(gè)補(bǔ)丁能夠欺騙基于卷積神經(jīng)網(wǎng)絡(luò)的分類器。這是一個(gè)重要的結(jié)果：它能讓我們更好地理解深度神經(jīng)網(wǎng)絡(luò)的工作原理，以及認(rèn)識到我們距離實(shí)現(xiàn)具有人類感知級別的 AI 還有多遠(yuǎn)。

你很容易分清楚烤面包機(jī)和香蕉，但人工智能還不行。

我們需要強(qiáng)化

自從 AlphaGo 在 2016 年戰(zhàn)勝李世石之后，強(qiáng)化學(xué)習(xí)就成了一個(gè)熱點(diǎn)。人工智能已經(jīng)主宰了最后的「經(jīng)典」游戲，還有什么可讓它來征服呢？也許，剩下的其它所有游戲！

在訓(xùn)練的時(shí)候，強(qiáng)化學(xué)習(xí)依靠的是「激勵(lì)」信號，這是對它上一次嘗試動(dòng)作的打分。與現(xiàn)實(shí)生活相反，計(jì)算機(jī)游戲提供了一個(gè)自然的環(huán)境，其中這種信號很容易獲得。因此強(qiáng)化學(xué)習(xí)研究者把所有的注意力都給了教人工智能如何玩雅達(dá)利游戲上。

談到 DeepMind，他們的新創(chuàng)造 AlphaStar 又制造了一個(gè)大新聞。這個(gè)新模型擊敗了一名星際爭霸 II 的頂級玩家。星際爭霸比圍棋和象棋復(fù)雜得多，與絕大多數(shù)棋類游戲不同，它有巨大的動(dòng)作空間和隱藏在玩家身上的重要信息。這場勝利對整個(gè)領(lǐng)域而言都是一次巨大的飛躍。

強(qiáng)化學(xué)習(xí)領(lǐng)域的另一個(gè)重量級玩家OpenAI也沒閑著。他們的系統(tǒng) OpenAI Five 在 8 月?lián)魯×艘粋€(gè)領(lǐng)先 99.95% 玩家的 Dota 2 團(tuán)隊(duì)，一戰(zhàn)成名，要知道 Dota 2 是一款非常復(fù)雜的電子游戲。

雖然 OpenAI 花了這么多注意力在電子游戲上，但他們并沒忽略強(qiáng)化學(xué)習(xí)的一個(gè)潛在的實(shí)際應(yīng)用：機(jī)器人。在現(xiàn)實(shí)世界中，人給予機(jī)器人的反饋非常稀少，并且創(chuàng)造這種反饋也很昂貴：你需要人來照看你的 R2D2，不過 OpenAI 也在嘗試著邁出第一步。你會需要上百萬的數(shù)據(jù)點(diǎn)。為了彌補(bǔ)這種差距，最新的一種趨勢是在把機(jī)器人放到真實(shí)世界之前，先學(xué)習(xí)模擬一個(gè)環(huán)境然后并行運(yùn)行大量場景來教機(jī)器人學(xué)習(xí)一些基本技巧。OpenAI 和谷歌都在使用這種方法。

重大突破：Deepfakes

Deepfakes 是一些圖片或者視頻，上面顯示某公眾人物說一些從未說過的話或者做一些從未做過的事。它們是通過在大量的鏡頭數(shù)據(jù)上針對某個(gè)目標(biāo)人物訓(xùn)練一個(gè) GAN 來創(chuàng)建的，然后使用期望的動(dòng)作來生成新的媒體文件。2018 年 1 月發(fā)布的一款桌面應(yīng)用 FakeApp 允許任何一個(gè)不具備計(jì)算機(jī)科學(xué)知識的人只需要一臺電腦就可以創(chuàng)建 deepfakes。盡管很容易發(fā)現(xiàn)它生成的視頻是假的，但這項(xiàng)技術(shù)已經(jīng)走得很遠(yuǎn)了。

基礎(chǔ)框架

TensorFlow vs Pytorch

我們已經(jīng)有很多深度學(xué)習(xí)框架了。這個(gè)領(lǐng)域很廣闊，這種多樣性在表面看來也是說得通的。但實(shí)際上，最近大多數(shù)人不是使用 TensorFlow 就是在使用 Pytorch。如果你和 SRE 工程師（網(wǎng)站可靠性工程師）一樣，關(guān)心的是可靠性、易于部署以及模型的重載，那你很有可能會選擇 TensorFlow。如果你在寫研究論文，并且沒有在 Google 工作——你很有可能使用 PyTorch。

機(jī)器學(xué)習(xí)：一種隨處可見的服務(wù)

過去一年里，我們見證了更多的人工智能解決方案被打包成 API，供沒有斯坦福大學(xué)機(jī)器學(xué)習(xí)博士學(xué)位的軟件工程師使用。Google Cloud 和 Azure 都已經(jīng)改進(jìn)了舊服務(wù)并添加了新服務(wù)。AWS 機(jī)器學(xué)習(xí)服務(wù)列表也開始看起來有點(diǎn)嚇人了。

AWS 很快就需要 2 級層次結(jié)構(gòu)來展示它們的服務(wù)了。

盡管這種狂熱已經(jīng)冷卻了一點(diǎn)點(diǎn)，但是多家初創(chuàng)公司已經(jīng)開始放手一搏了。大家都在承諾模型訓(xùn)練的速度、調(diào)用過程的易用性以及驚人的性能。僅需要輸入你的信用卡賬號，上傳你的數(shù)據(jù)，給模型一些訓(xùn)練或者微調(diào)的時(shí)間，調(diào)用一下 REST（或者，對于更具前瞻性的初創(chuàng)公司而言是 GraphQL 類型）API，你就可以在不用弄清楚到底發(fā)生了什么的情況下成為人工智能的主人。

既然已經(jīng)有這么多的選擇，為啥還會有人煞費(fèi)苦心地自己去創(chuàng)建一個(gè)模型和基礎(chǔ)框架呢？事實(shí)上，貌似拿來即用的 MLaaS 產(chǎn)品在 80% 的情況中是可以很好地工作的。而剩下 20% 的情況則沒那么好運(yùn)了：你非但無法實(shí)際選擇模型，甚至連超參數(shù)都不能控制。或者你需要在云端之外進(jìn)行推理，通常也是做不到的。

重大突破：AutoML 和 AI Hub

2018 年推出的兩款非常有趣的服務(wù)都是由 Google 發(fā)布的。

第一個(gè)，Google Cloud 的 AutOML 是一個(gè)定制的自然語言處理和計(jì)算機(jī)視覺模型訓(xùn)練產(chǎn)品的集合。這意味著什么呢？AutoML 的設(shè)計(jì)者通過自動(dòng)微調(diào)幾個(gè)預(yù)訓(xùn)練模型就能進(jìn)行模型定制化，然后選擇一個(gè)性能最好的。這意味著你不再需要因?yàn)樽约憾ㄖ颇Ｐ投鵁馈．?dāng)然，如果你想做一些真的新穎和與眾不同的事情，他們的服務(wù)并不適合你。但是，作為一個(gè)附帶的好處，Google 在大量的專有數(shù)據(jù)上預(yù)訓(xùn)練了他們的模型。想一下那些貓的圖片；那些肯定要比僅僅使用 ImageNet 的泛化性能更好。

第二個(gè)是 AI Hub 和 TensorFlow Hub。在這兩個(gè)之前，重用別人的模型真的是很繁瑣的事情。GitHub 上隨機(jī)找到的代碼很少有能用的，沒有很好的文檔，通常不好處理。還有為了遷移學(xué)習(xí)而預(yù)訓(xùn)練的權(quán)重....... 可能你根本不想做這些。這正是開發(fā) TF Hub 所要解決的問題：它是一個(gè)可靠的、精選的倉庫，包含了你可以在進(jìn)行微調(diào)或基于它們進(jìn)行構(gòu)建的模型。僅需要包含幾行代碼和 TF Hub 客戶端，你就可以從 Google 服務(wù)器上獲取代碼和對應(yīng)的權(quán)重。AI Hub 則更進(jìn)一步：它允許你分享整個(gè)機(jī)器學(xué)習(xí)流程，而不僅僅是模型！盡管它還是一個(gè)預(yù)覽版本，但是早已比某個(gè)最新文件是「三年前修改的」隨機(jī)倉庫好多了。

硬件

Nvidia 英偉達(dá)

如果 2018 年你認(rèn)真學(xué)了機(jī)器學(xué)習(xí)，尤其是深度神經(jīng)網(wǎng)絡(luò)，那么你可能會使用一個(gè)或多個(gè) GPU。相對來說，GPU 的領(lǐng)先生產(chǎn)商則度過了忙碌的一年。隨著數(shù)字加密狂潮的冷卻和緊接其后的股市暴跌，英偉達(dá)發(fā)布了基于圖靈架構(gòu)的全新一代消費(fèi)級顯卡。與發(fā)布于 2017 年的基于 Volta 芯片的顯卡相比，新卡包含被稱之為張量核心（Tensor Cores）的新高速矩陣乘法硬件。矩陣乘法是深度神經(jīng)網(wǎng)絡(luò)運(yùn)算的核心，所以加速這些運(yùn)算能夠很大程度地加速神經(jīng)網(wǎng)絡(luò)在新一代 GPU 上的訓(xùn)練。

英偉達(dá)為那些不滿于「小」而「慢」的游戲級顯卡的用戶升級了他們的企業(yè)級「超級計(jì)算機(jī)」。DGX-2 是一個(gè)擁有 16 塊 Tesla V 卡的魔法盒，它支持 FP16 的 480 TFLOPs 運(yùn)算。當(dāng)然價(jià)格也升級了，真的是令人印象深刻，40 萬美元。

自動(dòng)硬件也進(jìn)行了升級。Jetson AGX Xavier 是一款英偉達(dá)希望能夠推動(dòng)下一代自動(dòng)駕駛技術(shù)的板級模塊。具有 8 個(gè)內(nèi)核的 CPU、視覺加速器、深度學(xué)習(xí)加速器——所有這一切都是日益增長的自動(dòng)駕駛行業(yè)所需要的。

在一次有趣的發(fā)展中，英偉達(dá)發(fā)布了為他們的游戲卡設(shè)計(jì)的基于深度神經(jīng)網(wǎng)絡(luò)的功能：深度學(xué)習(xí)超采樣（Deep Learning Super Sampling）。這個(gè)思想是為了代替抗鋸齒的圖像保真功能，這一功能一般是通過將一張圖片渲染到比真正需要的分辨率（比如 4k）還要高的分辨率，然后再縮放到本機(jī)顯示器的分辨率來完成的。現(xiàn)在英偉達(dá)允許開發(fā)者在發(fā)布游戲之前以極高的質(zhì)量在運(yùn)行的游戲上訓(xùn)練圖像轉(zhuǎn)換模型。然后，將游戲與預(yù)訓(xùn)練的模型一起發(fā)送給終端用戶。在一次游戲會話中，并不存在舊式的抗鋸齒消耗，圖像幀運(yùn)行在那個(gè)模型中來提高畫質(zhì)。

英特爾

英特爾確實(shí)不是 2018 年人工智能硬件世界的先驅(qū)。但是它似乎想改變這一點(diǎn)。

令人驚訝的是，英特爾的絕大多數(shù)活動(dòng)發(fā)生在軟件領(lǐng)域內(nèi)。英特爾在努力使他們現(xiàn)有的以及即將問世的硬件變得對開發(fā)者更加友好。基于這個(gè)精神，他們發(fā)布了一對（令人驚訝而有競爭力的）工具包：OpenVINO 和 nGraph。

他們升級了神經(jīng)計(jì)算棒：這是一個(gè)小型 USB 設(shè)備，它可以用一個(gè) USB 端口加速運(yùn)行在任何設(shè)備上的深度神經(jīng)網(wǎng)絡(luò)，甚至是在樹莓派上。

關(guān)于英特爾獨(dú)立 GPU 的傳言越來越多。雖然八卦愈演愈烈，但是新設(shè)備在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上的可用性還有待觀察。而傳聞中的專用深度學(xué)習(xí)卡是確定可用的，代號分別是 Spring Hill 和 Spring Crest，后者是基于 Nervana 的技術(shù)開發(fā)的，這是英特爾早在幾年前收購的一家初創(chuàng)公司。

尋常和不尋常的定制硬件

Google 發(fā)布了第三代 TPU：基于 ASIC 的深度神經(jīng)網(wǎng)絡(luò)專用加速器，具有 128Gb 的超大存儲空間。256 塊這種設(shè)備被組裝到一個(gè) pod 容器中，最終達(dá)到了超過 100 petaflops 的性能。這一年，Google 不僅將這些設(shè)備的力量大秀于世界，它還讓 TPU 在 Google Cloud 上普遍公開。

Amazon 以一種類似但不是直接面向最終應(yīng)用的動(dòng)作部署了 AWS Inferentia（亞馬遜推理芯片）：這是一個(gè)在生產(chǎn)中更低廉、更有效的運(yùn)行模型的方式。

Google 還發(fā)布了 Edge TPU：它是我們上面討論過的大卡的小兄弟。這款芯片體積很小：一個(gè) 1 美分硬幣的表面可以放 10 張 Edge TPU。同時(shí)，可以用它進(jìn)行實(shí)時(shí)的視頻分析，幾乎不耗能量。

一個(gè)有趣的潛在新入者是 Graphcore。這家英國公司完成了 3.1 億美元的融資，并且在 2018 年發(fā)布了他們的第一款產(chǎn)品——GC2 芯片。基準(zhǔn)測試顯示，GC2 在顯著的更低功耗下?lián)魯×擞ミ_(dá)的服務(wù)器 GPU。

重大突破：AWS Deep Racer

Amazon 發(fā)布了一款小型無人駕駛汽車 DeepRacer 及其聯(lián)盟，雖然始料未及，但是也從某種程度上反映了他們之前的 DeepLens。400 美元就可以配備 Atom 處理器，4MP 的相機(jī)，WiFi，幾個(gè) USB 借口，以及足以運(yùn)行數(shù)小時(shí)的電源。自動(dòng)駕駛模型可以在云端使用 3D 模擬環(huán)境進(jìn)行訓(xùn)練，然后直接部署到車內(nèi)。如果你一直夢想著構(gòu)建自己的自動(dòng)駕駛車汽車，這就是一次機(jī)會，你不用啟動(dòng)一個(gè)有風(fēng)投支持的公司就能做這件事。

接下來是什么？

將注意力轉(zhuǎn)移到?jīng)Q策智能上

算法、基礎(chǔ)框架、硬件相關(guān)的部分已經(jīng)涉及到了——為了讓 AI 比以往任何時(shí)候更有用，業(yè)界開始意識到，讓 AI 開始應(yīng)用的最大阻礙在實(shí)用方面：你如何在生產(chǎn)中將 AI 從一個(gè)想法變成有效、安全、可靠的系統(tǒng)？應(yīng)用 AI，或者應(yīng)用機(jī)器學(xué)習(xí)，也被稱作決策智能，它是在現(xiàn)實(shí)世界中創(chuàng)造 AI 解決方案的科學(xué)。盡管過去人們已經(jīng)將很多注意力放在算法背后的科學(xué)上面，但是未來很可能會將同等的注意力放在領(lǐng)域內(nèi)的端到端應(yīng)用方面。

相比被它毀掉的工作崗位，AI 似乎在創(chuàng)造更多的工作

「AI 將會替代我們所有的工作」，這是媒體老生常談的論調(diào)，也是廣大白領(lǐng)和藍(lán)領(lǐng)共同的擔(dān)憂。并且，從表面來看，這似乎是有道理的。但是到目前為止，它的反面似乎才是事實(shí)。例如，很多人都在通過創(chuàng)建標(biāo)記數(shù)據(jù)集而獲得報(bào)酬。

它超越了低收入國家的普通數(shù)據(jù)承包商：一些 app，例如 LevelApp，它可以讓難民在自己的手機(jī)上標(biāo)記數(shù)據(jù)來掙錢。Harmoni 則更進(jìn)一步，他們甚至提供了設(shè)備來讓難民營的移民工作以謀生計(jì)。

在數(shù)據(jù)標(biāo)記的頂層，整個(gè)行業(yè)都是通過新的 AI 技術(shù)來創(chuàng)建的。我們可以做那些數(shù)年之前都想不到的事情，就像自動(dòng)駕駛或者醫(yī)藥發(fā)現(xiàn)一樣。

與機(jī)器學(xué)習(xí)更加相關(guān)的計(jì)算將發(fā)生在邊緣

數(shù)據(jù)導(dǎo)向的系統(tǒng)，其工作方式是，更多的數(shù)據(jù)通常是在系統(tǒng)中非常邊緣的地方，在輸入側(cè)。流程中靠后的階段通常都在做下采樣或者以其它方式來減少信號的保真度。另一方面，越來越復(fù)雜的 AI 模型正在借助更多的數(shù)據(jù)獲得更好的性能。讓 AI 組件更靠近數(shù)據(jù)的邊緣是不是很有意義？

一個(gè)簡單的例子：想象一下能夠產(chǎn)生 30fps 的高質(zhì)量視頻的高分辨率相機(jī)。處理這些視頻的計(jì)算機(jī)視覺模型運(yùn)行在服務(wù)器上。相機(jī)將視頻流式傳輸?shù)椒?wù)器，但是上行鏈路的帶寬是有限的，所以視頻被做了高度壓縮。為什么不將視覺模型放在相機(jī)上，讓它來處理原始視頻呢？

做這件事總是面臨著多個(gè)障礙，主要是：邊緣設(shè)備上可用的計(jì)算力和管理的復(fù)雜性（例如在邊緣更新模型）。專用硬件（例如 Google 的 Edge TPU，蘋果的 Neural Engine 等等）、更高效的模型和優(yōu)化算法的出現(xiàn)讓計(jì)算力的限制不再是問題。管理的復(fù)雜性也在通過機(jī)器學(xué)習(xí)框架和工具在不斷地解決。

整合 AI 基礎(chǔ)框架的空間

前幾年滿是與 AI 基礎(chǔ)設(shè)施相關(guān)的活動(dòng)：盛大的宣言、豐厚的資金回合以及高尚的承諾。在 2018 年，這個(gè)空間的競賽冷卻下來了，盡管仍然有新入場的，但是絕大多數(shù)貢獻(xiàn)都是由現(xiàn)有的大玩家做出的。

其中一個(gè)可能的解釋或許就是：我們對理想的人工智能系統(tǒng)是什么樣子還不夠理解。因?yàn)閱栴}是復(fù)雜的，所以這將會需要長期、持久、專注、資源充足的努力來產(chǎn)生可行的解決方案——這是初創(chuàng)公司和小公司不擅長的事情。如果一家初創(chuàng)公司出其不意地「解決」了 AI 基礎(chǔ)設(shè)施的問題，這將會是極其驚人的事情。

另一方面，機(jī)器學(xué)習(xí)基礎(chǔ)框架工程師是特別稀缺的。一個(gè)擁有幾個(gè)這種員工的苦苦掙扎的初創(chuàng)公司會成為更大玩家的珍貴收購目標(biāo)。至少有幾個(gè)玩家在參與這場競賽，開發(fā)內(nèi)部和外部的工具。例如，對 AWS 和 Google Cloud 而言，AI 基礎(chǔ)設(shè)施服務(wù)成為了一個(gè)主要的賣點(diǎn)。

將它們放在一起，做一個(gè)主要的整合成為了一個(gè)合理的預(yù)測。

更加定制化的硬件

摩爾定律已經(jīng)失效了，至少對 CPU 是失效了，而且已經(jīng)很多年了。GPU 很快也會面臨相似的命運(yùn)。盡管我們的模型變得越來越有效，但是為了解決某些更加高級的問題，我們將會需要有更多的計(jì)算力。這個(gè)可以通過分布式訓(xùn)練來解決，但是它也會有自己的局限性和權(quán)衡。

此外，如果你想在資源有限的設(shè)備上運(yùn)行更大的模型，分布式訓(xùn)練是沒有幫助的。進(jìn)入到定制化 AI 加速器時(shí)代，根據(jù)你想要的或者能夠達(dá)到的定制化需求，你可以節(jié)省一個(gè)數(shù)量級的功率、成本或者延遲。

從某種程度來說，英偉達(dá)的 Tensor Core 就是這種趨勢的一個(gè)例子。以后我們會看到更多這種硬件，而不是通用硬件。

對訓(xùn)練數(shù)據(jù)更少的依賴

有標(biāo)簽的數(shù)據(jù)通常都是既昂貴又不可訪問的。這條規(guī)則下很少有例外。像 MNIST、ImageNet、COCO、Netflix prize 和 IMDB reviews 這種開放的高質(zhì)量數(shù)據(jù)集并不多見。但是很多問題都沒有對應(yīng)的數(shù)據(jù)集可供使用。盡管對于研究人員而言，構(gòu)建數(shù)據(jù)集并不是偉大的職業(yè)發(fā)展方向，但是那些可以贊助或者發(fā)布數(shù)據(jù)集的大公司卻并不著急：他們正在構(gòu)建龐大的數(shù)據(jù)集，但卻讓這一切都不露聲色。

所以，像初創(chuàng)公司或者大學(xué)的研究團(tuán)隊(duì)一樣比較小的獨(dú)立個(gè)體如何來解決這種難題呢？開發(fā)越來越少依賴監(jiān)督信號和越來越多依賴無標(biāo)簽和非結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)——這得益于互聯(lián)網(wǎng)和廉價(jià)傳感器的普及。

這從某種程度上解釋了人們對 GAN、遷移學(xué)習(xí)和強(qiáng)化學(xué)習(xí)興趣的增長：所有的這些技術(shù)都是不需要或者需要較少的訓(xùn)練數(shù)據(jù)投資。

所以這一切全都是泡沫嗎？

所以那個(gè)黑屋里有沒有貓呢？我認(rèn)為肯定是有的，而且不是一只，而是很多只。雖然有一些是正常的貓，具有四條腿、尾巴和胡須，而但有些則是奇怪的動(dòng)物，我們才開始看到它們的基本輪廓而已。

這個(gè)行業(yè)已經(jīng)進(jìn)入了第七個(gè)人工智能的「夏天」。這些年來，很多的研究精力、學(xué)術(shù)資助、風(fēng)險(xiǎn)投資、媒體關(guān)注、代碼都涌入這個(gè)領(lǐng)域。但是人們有理由指出，大部分人工智能的承諾仍然沒有實(shí)現(xiàn)。他們上一次的 Uber 乘車背后仍然有一個(gè)人類駕駛員。仍然沒有機(jī)器人在早上幫助我們做雞蛋。我甚至不得不自己系鞋帶，暴風(fēng)哭泣！

然而，不計(jì)其數(shù)的研究生和軟件工程師的努力并非徒勞。似乎每家大公司都已經(jīng)嚴(yán)重依賴于人工智能，或者有未來的相關(guān)計(jì)劃。AI 藝術(shù)品也開始出售。雖然自動(dòng)駕駛汽車尚未出現(xiàn)在這里，但他們很快就會出現(xiàn)。