Topbots總結(jié)了他們眼中 2018年里 10篇最為重要的AI研究論文，帶領(lǐng)大家領(lǐng)略過去的一年中機(jī)器學(xué)習(xí)領(lǐng)域的關(guān)鍵進(jìn)展。現(xiàn)在點(diǎn)開了這份清單的人顯然是極為幸運(yùn)的，獲得了一個精彩瞬間回放的機(jī)會。

不得不說，考慮到這個領(lǐng)域極快的發(fā)展速度和極多的論文數(shù)量，肯定還有一些值得閱讀的突破性論文沒能包括在這份榜單中。不過這份清單是一個好的開始。

1. Universal Language Model Fine-tuning for Text Classification

「用于文本分類的通用語言模型的精細(xì)調(diào)節(jié)」

論文地址

https://arxiv.org/abs/1801.06146

內(nèi)容概要

兩位作者 Jeremy Howard和Sebastian Ruder提出了可以用預(yù)訓(xùn)練的模型解決多種NLP任務(wù)的想法。通過這種方法，研究人員不需要為自己的任務(wù)從零開始訓(xùn)練模型，只需要對已有的模型做精細(xì)調(diào)節(jié)。他們的方法，通用語言模型精細(xì)調(diào)節(jié)ULMFiT ，得到了當(dāng)時最好的結(jié)果，比其他模型的錯誤率降低了 18%到 24%。更令人欽佩的是，ULMFiT 只用了 100個有標(biāo)簽樣本得到的結(jié)果就可以和用 10K有標(biāo)簽數(shù)據(jù)從零開始訓(xùn)練的模型一樣好。

論文思想要點(diǎn)

為了應(yīng)對缺乏標(biāo)注數(shù)據(jù)的問題，以及讓NLP分類任務(wù)更輕松、更省時，他們提出了把遷移學(xué)習(xí)用在NLP問題中。這樣，研究人員們不再需要從零開始訓(xùn)練新模型，只需要找到一個已經(jīng)在相似的任務(wù)上訓(xùn)練完畢的模型作為基礎(chǔ)，然后為新的具體問題微調(diào)這個模型即可。

然而，為了讓這樣的做法發(fā)揮出理想的效果，這個微調(diào)過程有幾個細(xì)節(jié)需要注意：

網(wǎng)絡(luò)中不同的層應(yīng)該為不同的內(nèi)容進(jìn)行微調(diào)，因為它們捕捉的信息的類別也是有所不同的；

把模型參數(shù)向新的具體任務(wù)適配時，讓學(xué)習(xí)率先線性增加，再線性衰減，學(xué)習(xí)的效率會比較高；

一次微調(diào)所有的層會帶來災(zāi)難性的遺忘問題。所以，比較好的做法是一開始只更新最后一層的參數(shù)，然后逐步讓前面的層也參與到微調(diào)中來。

領(lǐng)域內(nèi)學(xué)者評價

可以輕易得到的預(yù)訓(xùn)練ImageNet模型已經(jīng)給整個計算機(jī)視覺界帶來了巨大的改變。ULMFiT也可以在NLP任務(wù)中起到同樣的重要作用；

這種方法可以用于任意語言上的任意NLP任務(wù)。全世界的研究人員們已經(jīng)在德語、波蘭語、海地語、印度尼西亞語、中文、馬來語等許多語言上進(jìn)行了嘗試，同樣得到了大幅進(jìn)步的結(jié)果。

未來可能的相關(guān)研究

繼續(xù)改善語言模型預(yù)訓(xùn)練以及精細(xì)調(diào)節(jié)；

把這種方法用于其它新的任務(wù)以及模型上（比如序列標(biāo)注，自然語言生成，概括或者問答）。

2. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

「模糊梯度防御帶來的只是安全的假象：繞過對抗性樣本的防御」

論文地址

https://arxiv.org/abs/1802.00420

內(nèi)容概要

研究人員們發(fā)現(xiàn)，對于對抗性樣本的防御，目前主要使用的是梯度模糊方法，但這種方法并不能帶來真正的安全，因為它可以被輕松規(guī)避。這篇論文了研究了三種使用了梯度模糊的防御方法，并展示了可以繞過梯度模糊防御的技巧。他們的發(fā)現(xiàn)可以幫助目前使用了梯度模糊防御的組織機(jī)構(gòu)考慮如何強(qiáng)化自己的方法。

論文思想要點(diǎn)

目前有三種常見的梯度模糊做法：

梯度破碎（shattered gradients），防御方法會有意地（通過不可微的運(yùn)算）或者無意地（通過數(shù)值的不穩(wěn)定性）提供不正確的梯度，或者不提供梯度；

通過隨機(jī)防御提供隨機(jī)梯度；

通過非常深的深度神經(jīng)網(wǎng)絡(luò)評估帶來消失梯度/爆炸梯度。

基于梯度的方法有一些問題，我們可以看到下面這些跡象：

一步式的攻擊比迭代式的攻擊效果更好；

黑盒攻擊比白盒攻擊的效果更好；

無限制攻擊也無法達(dá)到 100% 成功率；

隨機(jī)采樣也可以找到對抗性樣本；

提高圖像扭曲的容忍度并不能提高攻擊成功率。

論文的關(guān)鍵成果是，通過實驗表明如今使用的大多數(shù)防御技術(shù)都還很脆弱。ICLR 2018 接收論文中的 9 種防御技術(shù)中，有 7 種都使用了梯度模糊，而論文作者們提出的新攻擊方法可以完全繞過 7 種中的 6 種防御，并部分繞過最后 1 種。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文獲得了 ICML 2018 的最佳論文獎；

這篇論文清晰地展示出了我們現(xiàn)有技術(shù)的優(yōu)點(diǎn)和缺點(diǎn)

未來可能的相關(guān)研究

我們需要考慮在細(xì)致、全面的評價方式下構(gòu)建新的防御技術(shù)，目標(biāo)是不僅能夠防御現(xiàn)有的攻擊方式，還要能夠防御以后有可能開發(fā)出的新的防御方式。

3. Deep Contextualized Word Representations

「深度上下文依賴的單詞表征」

論文地址

https://arxiv.org/abs/1802.05365

內(nèi)容概要

來自艾倫人工智能研究院（Allen Institute for Artificial Intelligence）的作者們介紹了一種新型的深度上下文依賴單詞表征：Embeddings from Language Models (ELMo)。在使用了 ELMo 強(qiáng)化的模型中，每個單詞的向量化都是基于它所在的整篇文本而進(jìn)行的。把 ELMo 添加到現(xiàn)有的 NLP 系統(tǒng)中可以帶來的效果有：1，錯誤率相對下降 6% 到 20%；2，訓(xùn)練模型所需的 epoch 數(shù)目顯著降低；3，訓(xùn)練模型達(dá)到基準(zhǔn)模型表現(xiàn)時所需的訓(xùn)練數(shù)據(jù)量顯著減小

論文思想要點(diǎn)

在很大的文本語料庫上預(yù)訓(xùn)練一個深度雙向語言模型（biLM），用它生成單詞嵌入，這些嵌入來自這個模型的內(nèi)部狀態(tài)的加權(quán)和；

嵌入中包括了 biLM 的所有層的表征，因為網(wǎng)絡(luò)中不同的層表征了不同類型的信息；

ELMo 的表征被設(shè)計為基于字符的，這樣網(wǎng)絡(luò)還可以利用單詞拼寫的信息，更好地理解訓(xùn)練中未曾見過的超出詞匯表的單詞的意思。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文獲得了 NAACL 的杰出論文獎；

這篇論文提出的方法也被認(rèn)為是近幾年來 NLP 領(lǐng)域最大的突破之一。

未來可能的相關(guān)研究

可以把這種方法集成到特定任務(wù)中，方式是把 ELMo 和不依賴上下文的單詞嵌入級聯(lián)起來；

也可以嘗試把 ELMo 和模型輸出級聯(lián)起來。

4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

「一般卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)用語序列建模的實證評價研究」

論文地址

https://arxiv.org/abs/1803.01271

內(nèi)容概要

領(lǐng)域內(nèi)有種常見的假設(shè)：對于序列建模問題來說，選擇一個循環(huán)網(wǎng)絡(luò)架構(gòu)作為出發(fā)點(diǎn)是默認(rèn)的做法。這篇論文的作者們就對這種假設(shè)提出了質(zhì)疑。他們的結(jié)果表明，一般的時序卷積網(wǎng)絡(luò)（TCN）能在許多種不同的序列建模任務(wù)中穩(wěn)定地超出 LSTM 以及 GRU 之類的典型的循環(huán)神經(jīng)網(wǎng)絡(luò)。

論文思想要點(diǎn)

在近期發(fā)現(xiàn)的最佳實踐做法（比如空洞卷積和殘差連接）的幫助下設(shè)計出的時序卷積網(wǎng)絡(luò)（Temporal convolutional networks）可以許多復(fù)雜的序列建模任務(wù)中發(fā)揮出超過一般循環(huán)網(wǎng)絡(luò)架構(gòu)的表現(xiàn)；

TCN 表現(xiàn)出的記憶能力比循環(huán)網(wǎng)絡(luò)明顯更長，也就更適合那些需要很長的歷史記錄的序列建模任務(wù)。

領(lǐng)域內(nèi)學(xué)者評價

特斯拉 AI 總監(jiān)Andrej Karpathy 評論：「在用 RNN 之前一定要先試試 CNN。CNN 的表現(xiàn)會好到你驚訝的。」

未來可能的相關(guān)研究

為了在不同的序列建模任務(wù)上進(jìn)一步提高 TCN 的表現(xiàn)，我們還需要更多的架構(gòu)探索、算法探索方面的合作。

5. Delayed Impact of Fair Machine Learning

「公平的機(jī)器學(xué)習(xí)的影響是有延遲的」

論文地址

https://arxiv.org/abs/1803.04383

內(nèi)容概要

這篇論文的目標(biāo)是想要確保，當(dāng)使用一個機(jī)器學(xué)習(xí)算法生成分?jǐn)?shù)來決定不同的人是否能夠得到某些機(jī)會（比如貸款、獎學(xué)金、工作等）時，人口統(tǒng)計學(xué)角度分出的不同族群可以被公平地對待。UC伯克利人工智能實驗室（BAIR）的研究人員們表明，使用常見的公平性條件實際上有可能傷害到弱勢群體，這是由于某些后果的出現(xiàn)是有延遲的。通過這項研究他們希望鼓勵大家在設(shè)計公平的機(jī)器學(xué)習(xí)系統(tǒng)時考慮它的長期后果。

論文思想要點(diǎn)

作者們考慮了施加公平性條件之后出現(xiàn)的有延遲的結(jié)果，結(jié)果表明，這些條件對于想要保護(hù)的群體來說可能長期看來是有害的（比如借款人的信用分?jǐn)?shù)長期來看會變低，因為他會還不上貸款，而這筆貸款在無限制的條件下其實一開始就不會發(fā)放給他）；

由于公平性條件有可能會主動地給弱勢群體帶來傷害，可以考慮一些額外的解決方案，比如使用一個會顯式地最大化結(jié)果的決策規(guī)則，或者使用一個結(jié)果模型。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文獲得了ICML 2018的最佳論文獎；

這項研究澄清了一個誤區(qū)：即便是好的出發(fā)點(diǎn)的區(qū)別對待也有可能會起到壞的效果。

未來可能的相關(guān)研究

對于結(jié)果評價的考量，可以考慮群體均值變化之外的其它因素（比如方差、個體級別的結(jié)果）；

針對建模和測量誤差，研究結(jié)果優(yōu)化方法的魯棒性。

6. World Models

「世界模型」

論文地址

https://arxiv.org/abs/1803.10122

內(nèi)容概要

DavidHa和JurgenSchmidhuber開發(fā)了一個世界模型，它可以用無監(jiān)督的方式快速訓(xùn)練，學(xué)到所處環(huán)境的空間和時間表示。這個智能體可以成功地在賽車地圖中導(dǎo)航，并且在VizDoom環(huán)境中躲開怪物發(fā)射的火球。而這些任務(wù)對于此前的方法來說都難以解決。

論文思想要點(diǎn)

論文所提的解決方案包含三個獨(dú)立的部分：

一個變分自動編碼器（VAE），它負(fù)責(zé)捕捉視覺信息。它會把RGB形式表示的輸入圖像壓縮為一個服從 高斯分布的 32維隱含向量。這樣，這個智能體只需要處理一個環(huán)境的很小的表示，從而大幅提高了學(xué)習(xí)效率。

一個循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它負(fù)責(zé)前饋思考。這是一個起到記憶作用的組件，它會在給定前一幀圖像和前一個動作的條件下嘗試預(yù)測視覺部分看到的下一幀圖像可能是什么樣子。

一個控制器，它負(fù)責(zé)選擇動作。它是一個非常簡單的神經(jīng)網(wǎng)絡(luò)，它把VAE的輸出和RNN的隱含狀態(tài)級聯(lián)起來，然后選擇一個好的動作。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文在AI研究者間得到了廣泛的討論，它是一項設(shè)計優(yōu)美的使用神經(jīng)網(wǎng)絡(luò)做強(qiáng)化學(xué)習(xí)的研究，而且讓智能體在自己「幻想」出的世界中進(jìn)行訓(xùn)練。

未來可能的相關(guān)研究

為了讓智能體探索更加復(fù)雜的世界，可以把小的RNN換成有更大容量的模型，或者集成一個外部存儲模塊。

論文中使用的規(guī)劃方法是逐時間步的，可以考慮嘗試更通用化的方法，也就可以使用層次化的規(guī)劃方法。

7. Taskonomy: Disentangling Task Transfer Learning

「任務(wù)學(xué)：任務(wù)遷移學(xué)習(xí)的解耦」

論文地址

https://arxiv.org/abs/1804.08328

內(nèi)容概要

自從現(xiàn)代計算機(jī)科學(xué)發(fā)展的早期以來，就有許多研究者們提出不同的視覺任務(wù)之間具有某種結(jié)構(gòu)。現(xiàn)在，Amir Zamir和他的團(tuán)隊終于做出了尋找這種結(jié)構(gòu)的嘗試。他們使用一個完全計算性的方式進(jìn)行建模，發(fā)現(xiàn)了不同視覺任務(wù)之間的許多有用的聯(lián)系（甚至包括一些非平凡的視覺任務(wù)）。他們也表明了可以利用這些相互依賴關(guān)系進(jìn)行遷移學(xué)習(xí)，只需要大約 1/3的標(biāo)注數(shù)據(jù)就可以達(dá)到相同的模型表現(xiàn)。

論文思想要點(diǎn)

一個了解不同視覺任務(wù)之間關(guān)系的模型需要的監(jiān)督可以更少，需要的計算量可以更小，而且它的行為也更容易預(yù)測。

人們更喜歡用這樣的完全計算性的方法發(fā)現(xiàn)不同視覺任務(wù)之間的關(guān)系，因為它可以避免引入人類的先驗假設(shè)。人類的先驗假設(shè)來自于直覺或者分析性的知識；這些假設(shè)完全可能是錯誤的，而神經(jīng)網(wǎng)絡(luò)可能是以完全不同的法則運(yùn)行的。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文獲得了 CVPR2018最佳論文獎；

論文的結(jié)果意義重大，因為大多數(shù)的真實世界任務(wù)中都沒辦法獲得大規(guī)模標(biāo)注數(shù)據(jù)集。

未來可能的相關(guān)研究

目前論文中研究的常見視覺任務(wù)都是完全由人類定義的，下一步可以嘗試新的模式，那就是首先用計算性的方法發(fā)掘一些隱含的子任務(wù)，而人類定義的視覺任務(wù)就是對它們觀察后得到的采樣；

探索是否有可能把模型學(xué)到的東西遷移到不完全屬于視覺領(lǐng)域的任務(wù)中，比如遷移到機(jī)器人控制。

8. Know What You Don't Know: Unanswerable Questions for SQuAD

「知道你不知道的：SQuAD 中無法回答的問題」

論文地址

https://arxiv.org/abs/1806.03822

內(nèi)容概要

斯坦福大學(xué)的一組研究人員們拓展了著名的斯坦福問答數(shù)據(jù)集 SQuAD，在其中增加了超過 5萬個無法回答的問題。這些問題的答案是無法從給出的文本段落中找到的，無法給出回答，但這些問題又和那些可以回答的問題看起來非常相似。更進(jìn)一步的是，給出的文本段落中會含有仿佛相符但實際上并不正確的答案，這進(jìn)一步提高了數(shù)據(jù)集的難度。升級后得到的 SQuAD 2.0也就成為了現(xiàn)有頂尖模型的重大挑戰(zhàn)：一個在原版的SQuAD上可以得到 86%準(zhǔn)確率的強(qiáng)有力的神經(jīng)網(wǎng)絡(luò)模型，如今在SQuAD 2.0上只能得到 66%的準(zhǔn)確率。

論文思想要點(diǎn)

目前的自然語言理解系統(tǒng)與真正的語言理解還相距甚遠(yuǎn)，其中一項根本原因就是目前的問答數(shù)據(jù)集都是僅僅針對「給出的文本段落里必然包含了正確答案」這一種情況設(shè)計的；

為了讓問答數(shù)據(jù)集變得真正有難度，「無法回答的問題」應(yīng)當(dāng)滿足這兩種條件：

它們和給出的文本段落之間有一些聯(lián)系；

給出的文本段落中包含了看起來仿佛相符的答案，它包含的信息和提問想要獲得的信息是同一類型的，但并不正確。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文獲得了 ACL2018最佳短論文獎；

這個新數(shù)據(jù)集提高了自然語言理解領(lǐng)域研究的問題的復(fù)雜度，會為這個領(lǐng)域的模型訓(xùn)練結(jié)果提升起到直接的推動作用。

未來可能的相關(guān)研究

未來可以繼續(xù)開發(fā)出新種類的模型，它們要能夠「知道自己不知道什么」，從而對自然語言有更好的理解。

9. Large Scale GAN Training for High Fidelity Natural Image Synthesis

「用于高保真度自然圖像生成的大規(guī)模 GAN的訓(xùn)練」

論文地址

https://arxiv.org/abs/1809.11096

內(nèi)容概要

DeepMind 的一個研究團(tuán)隊認(rèn)為目前的深度學(xué)習(xí)技術(shù)就已經(jīng)足以從現(xiàn)有的ImageNet、JFT-300M之類的圖形數(shù)據(jù)集生成高分辨率的、多樣化的圖像。具體來說，他們展示了生成式對抗性網(wǎng)絡(luò)（GANs）如果以非常大的規(guī)模訓(xùn)練的話，可以生成看起來非常真實的圖像。這個「非常大的規(guī)模」有多大呢？相比于以往的實驗，他們的模型的參數(shù)數(shù)量是 2到 4倍，訓(xùn)練所用的批量大小也達(dá)到了 8倍。這種大規(guī)模的GANs，他們稱為BigGANs，已經(jīng)稱為了分類別圖像生成的最新頂級模型。

論文思想要點(diǎn)

選取更大的批量大小和參數(shù)數(shù)目以后，GANs的表現(xiàn)可以得到明顯的提升；

在生成器中加入正交正則化可以讓模型對某種特定的技術(shù)更為敏感（就是「截斷法」），這讓研究人員們有辦法控制樣本保真度和樣本多變性之間的平衡。

領(lǐng)域內(nèi)學(xué)者評價

這篇論文已經(jīng)投遞到了ICLR 2019；

BigGAN的生成器自從在TFHub上發(fā)布就受到了全世界AI研究人員們的追捧，（研究以及娛樂性質(zhì)地）用它生成貓狗、手表、泳裝、蒙娜麗莎、海岸等等各種內(nèi)容的圖像。

未來可能的相關(guān)研究

嘗試用更大的數(shù)據(jù)集訓(xùn)練模型，進(jìn)一步緩和GAN的穩(wěn)定性問題；

探索是否有可能降低GANs生成的奇怪樣本的數(shù)量。

10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

「BERT：用于語言理解的深度雙向Transformer模型的預(yù)訓(xùn)練」

論文地址

https://arxiv.org/abs/1810.04805

內(nèi)容概要

谷歌AI團(tuán)隊展示了一個新的用于自然語言處理的前沿模型：BERT（BidirectionalEncoderRepresentations fromTransformers，用于Transformer模型的雙向編碼器表征）。它的設(shè)計可以讓模型同時從左以及從右處理文本內(nèi)容。雖然概念上說起來很簡單，但BERT帶來了驚人的實際表現(xiàn)，它刷新了 11項不同的自然語言處理任務(wù)的最好成績，包括問答、命名實體識別以及其他一些和通用語言理解相關(guān)的任務(wù)。

論文思想要點(diǎn)

訓(xùn)練一個深度雙向模型，在訓(xùn)練過程中隨機(jī)地遮蔽一定比例的輸入字符。這種做法避免了在不同的訓(xùn)練循環(huán)中模型可以間接地看到曾經(jīng)被掩蔽的字符。

同時也預(yù)訓(xùn)練了一個句子關(guān)系模型，這個模型需要做一個二分類任務(wù)，預(yù)測句子B是否緊接著句子A。這種設(shè)計讓BERT能夠更好地理解不同句子之間的關(guān)系。

用大量的數(shù)據(jù)（33億詞的語料庫）訓(xùn)練一個非常大的模型（24個Transformer模塊，1024個隱層，3.4億個參數(shù)）。

領(lǐng)域內(nèi)學(xué)者評價

BERT模型標(biāo)志了NLP領(lǐng)域內(nèi)一個新時代的到來；

簡單來說，僅僅需要同時做兩個無監(jiān)督學(xué)習(xí)任務(wù)（「單詞填空」和「猜 B 是不是在 A 后面」）就可以在許多自然語言處理任務(wù)中取得良好成績；

使用經(jīng)過預(yù)訓(xùn)練的語言模型也成為了新的標(biāo)準(zhǔn)做法。

未來可能的相關(guān)研究

在更多不同的任務(wù)上測試BERT；

測試BERT模型是否捕捉到了各種各樣的語言現(xiàn)象。