2018，仍是AI領(lǐng)域激動(dòng)人心的一年。這一年成為NLP研究的分水嶺，各種突破接連不斷；CV領(lǐng)域同樣精彩紛呈，與四年前相比GAN生成的假臉逼真到讓人不敢相信；新工具、新框架的出現(xiàn)，也讓這個(gè)領(lǐng)域的明天特別讓人期待。

近日，Analytics Vidhya發(fā)布了一份2018人工智能技術(shù)總結(jié)與2019趨勢(shì)預(yù)測(cè)報(bào)告，原文作者PRANAV DAR。量子位在保留這個(gè)報(bào)告架構(gòu)的基礎(chǔ)上，對(duì)內(nèi)容進(jìn)行了重新編輯和補(bǔ)充。

這份報(bào)告總結(jié)和梳理了全年主要AI技術(shù)領(lǐng)域的重大進(jìn)展，同時(shí)也給出了相關(guān)的資源地址，以便大家更好的使用、查詢。

報(bào)告共涉及了五個(gè)主要部分：

自然語(yǔ)言處理（NLP）

計(jì)算機(jī)視覺

工具和庫(kù)

強(qiáng)化學(xué)習(xí)

AI道德

下面，我們就逐一來盤點(diǎn)和展望，嘿喂狗~

自然語(yǔ)言處理（NLP）

2018年在NLP歷史上的特殊地位，已經(jīng)毋庸置疑。

這份報(bào)告認(rèn)為，這一年正是NLP的分水嶺。2018年里，NLP領(lǐng)域的突破接連不斷：ULMFiT、ELMo、最近大熱的BERT……

遷移學(xué)習(xí)成了NLP進(jìn)展的重要推動(dòng)力。從一個(gè)預(yù)訓(xùn)練模型開始，不斷去適應(yīng)新的數(shù)據(jù)，帶來了無盡的潛力，甚至有“NLP領(lǐng)域的ImageNet時(shí)代已經(jīng)到來”一說。

■ ULMFiT

這個(gè)縮寫，代表“通用語(yǔ)言模型的微調(diào)”，出自ACL 2018論文：Universal Language Model Fine-tuning for Text Classification。

正是這篇論文，打響了今年NLP遷移學(xué)習(xí)狂歡的第一槍。

論文兩名作者一是Fast.ai創(chuàng)始人Jeremy Howard，在遷移學(xué)習(xí)上經(jīng)驗(yàn)豐富；一是自然語(yǔ)言處理方向的博士生Sebastian Ruder，他的NLP博客幾乎所有同行都在讀。

兩個(gè)人的專長(zhǎng)綜合起來，就有了ULMFiT。想要搞定一項(xiàng)NLP任務(wù)，不再需要從0開始訓(xùn)練模型，拿來ULMFiT，用少量數(shù)據(jù)微調(diào)一下，它就可以在新任務(wù)上實(shí)現(xiàn)更好的性能。

他們的方法，在六項(xiàng)文本分類任務(wù)上超越了之前最先進(jìn)的模型。

詳細(xì)的說明可以讀他們的論文：

https://arxiv.org/abs/1801.06146

Fast.ai網(wǎng)站上放出了訓(xùn)練腳本、模型等：

http://nlp.fast.ai/category/classification.html

■ ELMo

這個(gè)名字，當(dāng)然不是指《芝麻街》里那個(gè)角色，而是“語(yǔ)言模型的詞嵌入”，出自艾倫人工智能研究院和華盛頓大學(xué)的論文Deep contextualized word representations，NLP頂會(huì)NAACL HLT 2018的優(yōu)秀論文之一。

ELMo用語(yǔ)言模型（language model）來獲取詞嵌入，同時(shí)也把詞語(yǔ)所處句、段的語(yǔ)境考慮進(jìn)來。

這種語(yǔ)境化的詞語(yǔ)表示，能夠體現(xiàn)一個(gè)詞在語(yǔ)法語(yǔ)義用法上的復(fù)雜特征，也能體現(xiàn)它在不同語(yǔ)境下如何變化。

當(dāng)然，ELMo也在試驗(yàn)中展示出了強(qiáng)大功效。把ELMo用到已有的NLP模型上，能夠帶來各種任務(wù)上的性能提升。比如在機(jī)器問答數(shù)據(jù)集SQuAD上，用ELMo能讓此前最厲害的模型成績(jī)?cè)谔岣?.7個(gè)百分點(diǎn)。

這里有ELMo的更多介紹和資源：

https://allennlp.org/elmo

■ BERT

說BERT是2018年最火的NLP模型，一點(diǎn)也不為過，它甚至被稱為NLP新時(shí)代的開端。

它由Google推出，全稱是BidirectionalEncoderRepresentations fromTransformers，意思是來自Transformer的雙向編碼器表示，也是一種預(yù)訓(xùn)練語(yǔ)言表示的方法。

從性能上來看，沒有哪個(gè)模型能與BERT一戰(zhàn)。它在11項(xiàng)NLP任務(wù)上都取得了最頂尖成績(jī)，到現(xiàn)在，SQuAD 2.0前10名只有一個(gè)不是BERT變體：

如果你還沒有讀過BERT的論文，真的應(yīng)該在2018年結(jié)束前補(bǔ)完這一課：

https://arxiv.org/abs/1810.04805

另外，Google官方開源了訓(xùn)練代碼和預(yù)訓(xùn)練模型：

https://github.com/google-research/bert

如果你是PyTorch黨，也不怕。這里還有官方推薦的PyTorch重實(shí)現(xiàn)和轉(zhuǎn)換腳本：

https://github.com/huggingface/pytorch-pretrained-BERT

■ PyText

BERT之后，NLP圈在2018年還能收獲什么驚喜？答案是，一款新工具。

就在上周末，F(xiàn)acebook開源了自家工程師們一直在用的NLP建模框架PyText。這個(gè)框架，每天要為Facebook旗下各種應(yīng)用處理超過10億次NLP任務(wù)，是一個(gè)工業(yè)級(jí)的工具包。

（Facebook開源新NLP框架：簡(jiǎn)化部署流程，大規(guī)模應(yīng)用也OK）

PyText基于PyTorch，能夠加速?gòu)难芯康綉?yīng)用的進(jìn)度，從模型的研究到完整實(shí)施只需要幾天時(shí)間。框架里還包含了一些預(yù)訓(xùn)練模型，可以直接拿來處理文本分類、序列標(biāo)注等任務(wù)。

想試試？開源地址在此：

https://github.com/facebookresearch/pytext

■Duplex

如果前面這些研究對(duì)你來說都太抽象的話，Duplex則是NLP進(jìn)展的最生動(dòng)例證。

名字有點(diǎn)陌生？不過這個(gè)產(chǎn)品你一定聽說過，它就是Google在2018年I/O開發(fā)者大會(huì)上展示的“打電話AI”。

它能主動(dòng)打電話給美發(fā)店、餐館預(yù)約服務(wù)，全程流暢交流，簡(jiǎn)直以假亂真。Google董事長(zhǎng)John Hennessy后來稱之為“非凡的突破”，還說：“在預(yù)約領(lǐng)域，這個(gè)AI已經(jīng)通過了圖靈測(cè)試。”

Duplex在多輪對(duì)話中表現(xiàn)出的理解能力、合成語(yǔ)音的自然程度，都是NLP目前水平的體現(xiàn)。

如果你還沒看過它的視頻……

■2019年展望

NLP在2019年會(huì)怎么樣？我們借用一下ULMFiT作者Sebastian Ruder的展望：

預(yù)訓(xùn)練語(yǔ)言模型嵌入將無處不在：不用預(yù)訓(xùn)練模型，從頭開始訓(xùn)練達(dá)到頂尖水平的模型，將十分罕見。

能編碼專業(yè)信息的預(yù)訓(xùn)練表示將會(huì)出現(xiàn)，這是語(yǔ)言模型嵌入的一種補(bǔ)充。到時(shí)候，我們就能根據(jù)任務(wù)需要，把不同類型的預(yù)訓(xùn)練表示結(jié)合起來。

在多語(yǔ)言應(yīng)用、跨語(yǔ)言模型上，將有更多研究。特別是在跨語(yǔ)言詞嵌入的基礎(chǔ)上，深度預(yù)訓(xùn)練跨語(yǔ)言表示將會(huì)出現(xiàn)。

計(jì)算機(jī)視覺

今年，無論是圖像還是視頻方向都有大量新研究問世，有三大研究曾在CV圈掀起了集體波瀾。

■ BigGAN

今年9月，當(dāng)搭載BigGAN的雙盲評(píng)審中的ICLR 2019論文現(xiàn)身，行家們就沸騰了：簡(jiǎn)直看不出這是GAN自己生成的。

在計(jì)算機(jī)圖像研究史上，BigGAN的效果比前人進(jìn)步了一大截。比如在ImageNet上進(jìn)行128×128分辨率的訓(xùn)練后，它的Inception Score（IS）得分166.3，是之前最佳得分52.52分3倍。

除了搞定128×128小圖之外，BigGAN還能直接在256×256、512×512的ImageNet數(shù)據(jù)上訓(xùn)練，生成更讓人信服的樣本。

在論文中研究人員揭秘，BigGAN的驚人效果背后，真的付出了金錢的代價(jià)，最多要用512個(gè)TPU訓(xùn)練，費(fèi)用可達(dá)11萬美元，合人民幣76萬元。

不止是模型參數(shù)多，訓(xùn)練規(guī)模也是有GAN以來最大的。它的參數(shù)是前人的2-4倍，批次大小是前人的8倍。

相關(guān)地址

研究論文：https://openreview.net/pdf?id=B1xsqj09Fm

■ Fast.ai 18分鐘訓(xùn)練整個(gè)ImageNet

在完整的ImageNet上訓(xùn)練一個(gè)模型需要多久？各大公司不斷下血本刷新著記錄。

不過，也有不那么燒計(jì)算資源的平民版。

今年8月，在線深度學(xué)習(xí)課程Fast.ai的創(chuàng)始人Jeremy Howard和自己的學(xué)生，用租來的亞馬遜AWS的云計(jì)算資源，18分鐘在ImageNet上將圖像分類模型訓(xùn)練到了93%的準(zhǔn)確率。

前前后后，F(xiàn)ast.ai團(tuán)隊(duì)只用了16個(gè)AWS云實(shí)例，每個(gè)實(shí)例搭載8塊英偉達(dá)V100 GPU，結(jié)果比Google用TPU Pod在斯坦福DAWNBench測(cè)試上達(dá)到的速度還要快40%。

這樣拔群的成績(jī)，成本價(jià)只需要40美元，F(xiàn)ast.ai在博客中將其稱作人人可實(shí)現(xiàn)。

相關(guān)地址：

Fast.ai博客介紹：https://www.fast.ai/2018/08/10/fastai-diu-imagenet/

■vid2vid技術(shù)

今年8月，英偉達(dá)和MIT的研究團(tuán)隊(duì)高出一個(gè)超逼真高清視頻生成AI。

只要一幅動(dòng)態(tài)的語(yǔ)義地圖，就可獲得和真實(shí)世界幾乎一模一樣的視頻。換句話說，只要把你心中的場(chǎng)景勾勒出來，無需實(shí)拍，電影級(jí)的視頻就可以自動(dòng)P出來：

除了街景，人臉也可生成：

這背后的vid2vid技術(shù)，是一種在生成對(duì)抗性學(xué)習(xí)框架下的新方法：精心設(shè)計(jì)的生成器和鑒別器架構(gòu)，再加上時(shí)空對(duì)抗目標(biāo)。

這種方法可以在分割蒙版、素描草圖、人體姿勢(shì)等多種輸入格式上，實(shí)現(xiàn)高分辨率、逼真、時(shí)間相干的視頻效果。

好消息，vid2vid現(xiàn)已被英偉達(dá)開源。

相關(guān)地址

研究論文：https://tcwang0509.github.io/vid2vid/paper_vid2vid.pdf

GitHub地址https://github.com/NVIDIA/vid2vid

■2019趨勢(shì)展望

Analytics Vidhya預(yù)計(jì)，明年在計(jì)算機(jī)視覺領(lǐng)域，對(duì)現(xiàn)有方法的改進(jìn)和增強(qiáng)的研究可能多于創(chuàng)造新方法。

在美國(guó)，政府對(duì)無人機(jī)的限令可能會(huì)稍微“松綁”，開放程度可能增加。而今年大火的自監(jiān)督學(xué)習(xí)明年可能會(huì)應(yīng)用到更多研究中。

Analytics Vidhya對(duì)視覺領(lǐng)域也有一些期待，目前來看，在CVPR和ICML等國(guó)際頂會(huì)上公布最新研究成果，在工業(yè)界的應(yīng)用情況還不樂觀。他希望在2019年，能看到更多的研究在實(shí)際場(chǎng)景中落地。

Analytics Vidhya預(yù)計(jì)，視覺問答（Visual Question Answering，VQA）技術(shù)和視覺對(duì)話系統(tǒng)可能會(huì)在各種實(shí)際應(yīng)用中首次亮相。

工具和框架

哪種工具最好？哪個(gè)框架代表了未來？這都是一個(gè)個(gè)能永遠(yuǎn)爭(zhēng)論下去的話題。

沒有異議的是，不管爭(zhēng)辯的結(jié)果是什么，我們都需要掌握和了解最新的工具，否則就有可能被行業(yè)所拋棄。

今年，機(jī)器學(xué)習(xí)領(lǐng)域的工具和框架仍在快速的發(fā)展，下面就是這方面的總結(jié)和展望。

■ PyTorch 1.0

根據(jù)10月GitHub發(fā)布的2018年度報(bào)告，PyTorch在增長(zhǎng)最快的開源項(xiàng)目排行上，名列第二。也是唯一入圍的深度學(xué)習(xí)框架。

作為谷歌TensorFlow最大的“勁敵”，PyTorch其實(shí)是一個(gè)新兵，2017年1月19日才正式發(fā)布。2018年5月，PyTorch和Caffe2整合，成為新一代PyTorch 1.0，競(jìng)爭(zhēng)力更進(jìn)一步。

相較而言，PyTorch速度快而且非常靈活，在GitHub上有越來越多的開碼都采用了PyTorch框架。可以預(yù)見，明年P(guān)yTorch會(huì)更加普及。

至于PyTorch和TensorFlow怎么選擇？在我們之前發(fā)過的一篇報(bào)道里，不少大佬站PyTorch。

實(shí)際上，兩個(gè)框架越來越像。前Google Brain深度學(xué)習(xí)研究員，Denny Britz認(rèn)為，大多數(shù)情況下，選擇哪一個(gè)深度學(xué)習(xí)框架，其實(shí)影響沒那么大。

相關(guān)地址

PyTorch官網(wǎng)：https://pytorch.org/

■ AutoML

很多人將AutoML稱為深度學(xué)習(xí)的新方式，認(rèn)為它改變了整個(gè)系統(tǒng)。有了AutoML，我們就不再需要設(shè)計(jì)復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)。

今年1月17日，谷歌推出Cloud AutoML服務(wù)，把自家的AutoML技術(shù)通過云平臺(tái)對(duì)外發(fā)布，即便你不懂機(jī)器學(xué)習(xí)，也能訓(xùn)練出一個(gè)定制化的機(jī)器學(xué)習(xí)模型。

不過AutoML并不是谷歌的專利。過去幾年，很多公司都在涉足這個(gè)領(lǐng)域，比方國(guó)外有RapidMiner、KNIME、DataRobot和H2O.ai等等。

除了這些公司的產(chǎn)品，還有一個(gè)開源庫(kù)要介紹給大家：

Auto Keras！

這是一個(gè)用于執(zhí)行AutoML任務(wù)的開源庫(kù)，意在讓更多人即便沒有人工智能的專家背景，也能搞定機(jī)器學(xué)習(xí)這件事。

這個(gè)庫(kù)的作者是美國(guó)德州農(nóng)工大學(xué)（Texas A&M University）助理教授胡俠和他的兩名博士生：金海峰、Qingquan Song。Auto Keras直擊谷歌AutoML的三大缺陷：

第一，還得付錢。

第二，因?yàn)樵谠粕希€得配置Docker容器和Kubernetes。

第三，服務(wù)商(Google)保證不了你數(shù)據(jù)安全和隱私。

相關(guān)地址

官網(wǎng)：https://autokeras.com/

GitHub：https://github.com/jhfjhfj1/autokeras

■ TensorFlow.js

今年3月底的TensorFlow開發(fā)者會(huì)峰會(huì)2018上，TensorFlow.js正式發(fā)布。

這是一個(gè)面向JavaScript開發(fā)者的機(jī)器學(xué)習(xí)框架，可以完全在瀏覽器中定義和訓(xùn)練模型，也能導(dǎo)入離線訓(xùn)練的TensorFlow和Keras模型進(jìn)行預(yù)測(cè)，還對(duì)WebGL實(shí)現(xiàn)無縫支持。

在瀏覽器中使用TensorFlow.js可以擴(kuò)展更多的應(yīng)用場(chǎng)景，包括展開交互式的機(jī)器學(xué)習(xí)、所有數(shù)據(jù)都保存在客戶端的情況等。

實(shí)際上，這個(gè)新發(fā)布的TensorFlow.js，就是基于之前的deeplearn.js，只不過被整合進(jìn)TensorFlow之中。

谷歌還給了幾個(gè)TensorFlow.js的應(yīng)用案例。比如借用你的攝像頭，來玩經(jīng)典游戲：吃豆人（Pac-Man）。

相關(guān)地址

官網(wǎng)：https://js.tensorflow.org/

■2019趨勢(shì)展望

在工具這個(gè)主題中，最受關(guān)注的就是AutoML。因?yàn)檫@是一個(gè)真正會(huì)改變游戲規(guī)則的核心技術(shù)。在此，引用H2O.ai的大神Marios Michailidis（KazAnova）對(duì)明年AutoML領(lǐng)域的展望。

以智能可視化、提供洞見等方式，幫助描述和理解數(shù)據(jù)

為數(shù)據(jù)集發(fā)現(xiàn)、構(gòu)建、提取更好的特征

快速構(gòu)建更強(qiáng)大、更智能的預(yù)測(cè)模型

通過機(jī)器學(xué)習(xí)可解釋性，彌補(bǔ)黑盒建模帶來的差距

推動(dòng)這些模型的產(chǎn)生

強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)還有很長(zhǎng)的路要走。

除了偶爾成為頭條新聞之外，目前強(qiáng)化學(xué)習(xí)領(lǐng)域還缺乏真正的突破。強(qiáng)化學(xué)習(xí)的研究非常依賴數(shù)學(xué)，而且還沒有形成真正的行業(yè)應(yīng)用。

希望明年可以看到更多RL的實(shí)際用例。現(xiàn)在我每個(gè)月都會(huì)特別關(guān)注一下強(qiáng)化學(xué)習(xí)的進(jìn)展，以期看到未來可能會(huì)有什么大事發(fā)生。

■ OpenAI的強(qiáng)化學(xué)習(xí)入門教程

全無機(jī)器學(xué)習(xí)基礎(chǔ)的人類，現(xiàn)在也可以迅速上手強(qiáng)化學(xué)習(xí)。

11月初，OpenAI發(fā)布了強(qiáng)化學(xué)習(xí) (RL) 入門教程：Spinning Up。從一套重要概念，到一系列關(guān)鍵算法實(shí)現(xiàn)代碼，再到熱身練習(xí)，每一步都以清晰簡(jiǎn)明為上，全程站在初學(xué)者視角。

團(tuán)隊(duì)表示，目前還沒有一套比較通用的強(qiáng)化學(xué)習(xí)教材，RL領(lǐng)域只有一小撮人進(jìn)得去。這樣的狀態(tài)要改變啊，因?yàn)閺?qiáng)化學(xué)習(xí)真的很有用。

相關(guān)地址

教程入口：https://spinningup.openai.com/en/latest/index.html

GitHub傳送門：https://github.com/openai/spinningup

■ 谷歌的強(qiáng)化學(xué)習(xí)新框架「多巴胺」

Dopamine（多巴胺），這是谷歌今年8月發(fā)布的強(qiáng)化學(xué)習(xí)開源框架，基于TensorFlow。

新框架在設(shè)計(jì)時(shí)就秉承著清晰簡(jiǎn)潔的理念，所以代碼相對(duì)緊湊，大約是15個(gè)Python文件，基于Arcade Learning Environment (ALE)基準(zhǔn)，整合了DQN、C51、 Rainbow agent精簡(jiǎn)版和ICML 2018上的Implicit Quantile Networks。

為了讓研究人員能快速比較自己的想法和已有的方法，該框架提供了DQN、C51、 Rainbow agent精簡(jiǎn)版和Implicit Quantile Networks的玩ALE基準(zhǔn)下的那60個(gè)雅達(dá)利游戲的完整訓(xùn)練數(shù)據(jù)。

另外，還有一組Dopamine的教學(xué)colab。

相關(guān)地址

Dopamine谷歌博客：https://ai.googleblog.com/2018/08/introducing-new-framework-for-flexible.html

Dopamine github下載：https://github.com/google/dopamine/tree/master/docs#downloads

colabs：https://github.com/google/dopamine/blob/master/dopamine/colab/README.md

游戲訓(xùn)練可視化網(wǎng)頁(yè)：https://google.github.io/dopamine/baselines/plots.html

■2019趨勢(shì)展望

DataHack Summit 2018發(fā)言人、ArxivInsights創(chuàng)始人Xander Steenbrugge，也是一名強(qiáng)化學(xué)習(xí)專家，以下是來自他的總結(jié)和展望。

1、由于輔助學(xué)習(xí)任務(wù)越來越多，增加了稀疏的外在獎(jiǎng)勵(lì)，樣本的復(fù)雜性將繼續(xù)提高。在非常稀疏的獎(jiǎng)勵(lì)環(huán)境中，效果非常好。

2、正因如此，直接在物理世界訓(xùn)練將越來越可行，替代當(dāng)前大多先在虛擬環(huán)境中訓(xùn)練的方法。我預(yù)測(cè)2019年，會(huì)出現(xiàn)第一個(gè)只由深度學(xué)習(xí)訓(xùn)練，沒有人工參與而且表現(xiàn)出色的機(jī)器人demo出現(xiàn)。

3、在DeepMind把AlphaGo的故事延續(xù)到生物領(lǐng)域之后（AlphaFold），我相信強(qiáng)化學(xué)習(xí)將逐步在學(xué)術(shù)領(lǐng)域外創(chuàng)造實(shí)際的商業(yè)價(jià)值。例如新藥探索、電子芯片架構(gòu)優(yōu)化、車輛等等……

4、強(qiáng)化學(xué)習(xí)會(huì)有一個(gè)明顯的轉(zhuǎn)變，以前在訓(xùn)練數(shù)據(jù)上測(cè)試智能體的行為將不再視為“允許”。泛化指標(biāo)將成為核心，就像監(jiān)督學(xué)習(xí)一樣。

AI道德

AI被濫用事故在2018年被頻頻爆出：Facebook AI助特朗普當(dāng)選美國(guó)總統(tǒng)、Goggle與美國(guó)軍方聯(lián)手開發(fā)AI武器、微軟為移民和海關(guān)執(zhí)法局（ICE）提供云計(jì)算和人臉識(shí)別服務(wù)……

每一次事故都會(huì)重新掀起一波對(duì)AI道德準(zhǔn)則的討論高潮，一些硅谷科技公司也再次期間制定了企業(yè)AI準(zhǔn)則。

Analytics Vidhya認(rèn)為，AI道德現(xiàn)在還是一個(gè)灰色地帶，目前還沒有所有人可以遵循的框架，2019年將有更多企業(yè)和政府制定相關(guān)條例。

AI道德規(guī)范的制定，現(xiàn)在才剛剛起步。