Sebastian Ruder 是一位 NLP 方向的博士生、研究科學家，目前供職于一家做 NLP 相關(guān)服務的愛爾蘭公司 AYLIEN，同時，他也是一位活躍的博客作者，發(fā)表了多篇機器學習、NLP 和深度學習相關(guān)的文章。最近，他基于十幾篇經(jīng)典論文盤點了 2018 年 NLP 領(lǐng)域十個令人激動并具有影響力的想法，并將文章發(fā)布在 Facebook 上。

今年，我發(fā)現(xiàn)了 十個令人激動并具有影響力的想法，并將其匯總成了這篇文章。在未來，我們可能還會對它們有更多了解。

對于每個想法，我都挑選 1-2 篇對該想法執(zhí)行良好的論文。我試圖保持這份清單的簡潔性，因此如果沒有覆蓋到所有相關(guān)工作，還請大家見諒。這份清單包含主要與遷移學習相關(guān)的想法及其概述，不過也必然會帶有一定的主觀性。其中的大部分（一些例外）并不是一種趨勢（但我預測其中的一些想法在 2019 年會變得更具趨勢性）。

最后，我希望在評論區(qū)中看到你的精彩評論或者其他領(lǐng)域的精彩文章。

1）無監(jiān)督的機器翻譯翻譯（Unsupervised MT）

ICLR 2018 收錄的兩篇關(guān)于無監(jiān)督機器翻譯翻譯的論文（https://arxiv.org/abs/1710.11041）中，無監(jiān)督機器翻譯的整個過程的表現(xiàn)好得讓人感到驚訝，但結(jié)果卻不如監(jiān)督系統(tǒng)。在 EMNLP 2018，兩篇同樣來自這兩個團隊的論文（https://arxiv.org/abs/1809.01272）顯著改進了之前的方法，讓無監(jiān)督的機器翻譯取得了進展。代表性論文：

《基于短語和神經(jīng)的無監(jiān)督機器翻譯》（EMNLP 2018）

Phrase-Based & Neural Unsupervised Machine Translation

論文地址：https://arxiv.org/abs/1804.0775

這篇論文很好地為無監(jiān)督機器翻譯提取了三個關(guān)鍵要求：良好的初始化、語言建模以及你想任務建模（通過反向翻譯）。我們在下文中會看到，這三項要求同樣對其他的無監(jiān)督場景有益。反向任務建模要求循環(huán)的一致性，其已在不同方法（尤其是 CycleGAN，https://arxiv.org/abs/1703.10593）中得到應用。這篇論文甚至在兩個低資源語言對——英語-烏爾都語以及英語-羅馬尼亞語上進行了廣泛的實驗和評估。未來我們有希望看到更多針對資源匱乏類語言的工作。

無監(jiān)督機器翻譯三項原則的插圖說明：A）兩個單語數(shù)據(jù)集；B）初始化；C）語言建模；D）反向翻譯(Lample et al., 2018)。

2）預訓練的語言模型（Pretrained language models）

使用預訓練的語言模型可能是今年最重要的 NLP 趨勢，因此我在這里就不過多描述。針對預訓練的語言模型，這里有很多讓人印象深刻的方法：ELMo（https://arxiv.org/abs/1802.05365）, ULMFiT（https://arxiv.org/abs/1801.06146）、 OpenAI Transformer以及 BERT（https://arxiv.org/abs/1810.04805）。代表性論文：

《深度的語境化詞語表示》（NAACL-HLT 2018）

《Deep contextualized word representations》

論文地址：https://arxiv.org/abs/1802.05365

這篇論文介紹了 ELMo，頗受好評。除了實證結(jié)果讓人印象深刻，這篇論文的詳細的分析部分也非常顯眼，該部分梳理了各類因素的影響，并且分析了在表示中所捕獲的信息。詞義消歧（WSD）分析自身（下圖左）也執(zhí)行得很好。這兩者都表明，機器學習本身就提供了接近最新技術(shù)的詞義消歧和詞性標注性能。

與基線相比的第一層和第二層雙向語言模型的詞義消歧(左)和詞性標注(右)結(jié)果（Peters et al., 2018）。

3）常識推理數(shù)據(jù)集（Common sense inference datasets）

將常識融入模型是向前發(fā)展的最重要方向之一。然而，創(chuàng)建好的數(shù)據(jù)集并不容易，甚至最常用的那些好的數(shù)據(jù)集還存在很大的偏差。今年出現(xiàn)了一些執(zhí)行良好的數(shù)據(jù)集，它們試圖教模型一些常識，比如同樣都源自華盛頓大學的 Event2Mind（https://arxiv.org/abs/1805.06939）和 SWAG（https://arxiv.org/abs/1808.05326）。其中，SWAG 學到常識的速度出乎意料地快。代表性論文：

《視覺常識推理》（arXiv 2018）

Visual Commonsense Reasoning

論文地址：http://visualcommonsense.com/

這是第一個包含了每個答案所對應的基本原理（解釋）的視覺 QA 數(shù)據(jù)集。此外，問題要求復雜的推理。創(chuàng)建者通過確保每個答案正確的先驗概率為 25％（每個答案在整個數(shù)據(jù)集中出現(xiàn) 4 次，其中，錯誤答案出現(xiàn) 3 次，正確答案出現(xiàn) 1 次）來不遺余力地解決可能存在的偏差；這就要求使用計算相關(guān)性和相似性的模型來解決約束優(yōu)化問題。我希望，在創(chuàng)建數(shù)據(jù)集時預防可能的偏倚可以成為未來研究人員們的常識。最終，看看數(shù)據(jù)精彩地呈現(xiàn)出來就可以了。

VCR：給定一張圖片、一個區(qū)域列表和一個問題，模型必須回答這個問題，并給出一個可解釋其答案為何正確的理由。(Zellers et al., 2018).

4）元學習（Meta-learning）

元學習已在小樣本學習、強化學習和機器人技術(shù)中得到廣泛應用——最突出的例子是與模型無關(guān)的元學習（MAML，https://arxiv.org/abs/1703.03400），但其很少在 NLP 中得到成功應用。元學習對于訓練示例數(shù)量有限的問題非常有用。代表性論文：

《低資源神經(jīng)機器翻譯的元學習》（EMNLP 2018）

Meta-Learning for Low-Resource Neural Machine Translation

論文地址：http://aclweb.org/anthology/D18-1398

作者使用 MAML 方法學習翻譯的良好初始化，將每一個語言對都視為單獨的元任務。適應低資源語言對，可能是對 NLP 中的元學習最有用的設(shè)置。特別地，將多語種遷移學習（例如多語種 BERT，https://github.com/google-research/bert/blob/master/multilingual.md）、無監(jiān)督學習和元學習結(jié)合起來是一個有前景的研究方向。

遷移學習、多語言遷移學習與元學習之間的區(qū)別。 實線：初始化學習。 虛線：調(diào)整路徑(Gu et al., 2018).

5）穩(wěn)健的無監(jiān)督方法（Robust unsupervised methods）

今年，我們（http://aclweb.org/anthology/P18-1072）和其他研究者（http://aclweb.org/anthology/D18-1056）都已經(jīng)觀察到，當語言不同時，無監(jiān)督的跨語言詞向量方法就會失效。這是遷移學習中的常見現(xiàn)象，其中源和目標設(shè)置（例如，域適應中的域https://www.cs.jhu.edu/~mdredze/publications/sentiment_acl07.pdf、連續(xù)學習https://arxiv.org/abs/1706.08840和多任務學習http://www.aclweb.org/anthology/E17-1005中的任務）之間的差異會導致模型的退化或失敗。因此，讓模型對于這些變化更加穩(wěn)健非常重要。代表性論文：

《用于完全無監(jiān)督的跨語言詞向量的穩(wěn)健自學習方法》（ACL 2018）

A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings

論文地址：http://www.aclweb.org/anthology/P18-1073

該論文利用他們對問題的理解來設(shè)計更好的初始化，而不是在初始化上應用元學習。特別地，他們將兩種語言中與相似詞具有相似的詞分布的詞進行配對。這是利用領(lǐng)域?qū)I(yè)知識和分析見解來使模型變得更穩(wěn)健的非常好的案例。

三個詞的相似度分布。 等效翻譯（「two」和「due」)的分布比非相關(guān)詞(「two」和「cane」——意思是「dog」)的分布更為相似。（Artexte et al., 2018）

6）理解表示（Understanding representations）

研究者們未來更好地理解表示，已經(jīng)做了很多努力。特別是「診斷分類器」（diagnostic classifiers，https://arxiv.org/abs/1608.04207）(旨在評估學習到的表示能否預測某些屬性的任務) 已經(jīng)變得非常常用（http://arxiv.org/abs/1805.01070）了。代表性論文：

《語境化詞向量解析：架構(gòu)和表示》（EMNLP 2018）

Dissecting Contextual Word Embeddings: Architecture and Representation

論文地址：http://aclweb.org/anthology/D18-1179

該論文對預訓練語言模型表示實現(xiàn)了更好的理解。作者在精心設(shè)計的無監(jiān)督和有監(jiān)督的任務上對詞和跨度表示進行了廣泛的學習研究。結(jié)果表明：預訓練的表示可以在較低的層中學習到低級形態(tài)和句法任務相關(guān)的任務，并且可以在較高的層中學習到更長范圍的語義相關(guān)的任務。

對我來說，這個結(jié)果真正表明了，預訓練語言模型確實捕獲到了與在 ImageNet 上預訓練的計算機視覺模型（https://thegradient.pub/nlp-imagenet/）相類似的屬性。

BiLSTM 和 Transformer預訓練表示在詞性標注、選區(qū)分析和無監(jiān)督共指解析（(從左到右)上每層的性能。(Peters et al., 2018)

7）巧妙的輔助任務（Clever auxiliary tasks）

在許多場景下，我們看到研究者越來越多地將精心挑選的輔助任務與多任務學習一起使用。一個好的輔助任務來說，它必須是易于獲取數(shù)據(jù)的。最重要的例子之一是 BERT（https://arxiv.org/abs/1810.04805），它使用下一個句子的預測（該預測方法在 Skip-thoughts，https://papers.nips.cc/paper/5950-skip-thought-vectors.pdf以及最近的 Quick-thoughts，https://arxiv.org/pdf/1803.02893.pdf中應用過）來產(chǎn)生很大的效果。代表性論文：

《語義結(jié)構(gòu)的句法框架》(EMNLP 2018)

Syntactic Scaffolds for Semantic Structures

論文地址：http://aclweb.org/anthology/D18-1412

該論文提出了輔助任務，它通過預測每個跨度對應的句法成分類型，來對跨度表示進行預訓練。輔助任務雖然在概念上非常簡單，但它為語義角色標注和共指解析等跨級別預測任務帶來了大幅的改進。這篇論文表明，在目標任務（這里是指跨度任務）所要求的級別上所學到的特定的表示是效益巨大的。

pair2vec：用于跨句推理的組合詞對嵌入（arXiv 2018）

pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference

論文地址：https://arxiv.org/abs/1810.08854

類似地，本論文通過最大化詞對與其語境間的點互信息（pointwise mutual information），來對詞對表示進行預訓練。這就激勵了模型學習更有意義的詞對表示，而不使用語言建模等更通用的目標。在 SQuAD 和 MultiNLI 等要求跨句推理的任務中，預訓練表示是有效的。

我們可以期望未來，看到更多的預訓練任務，能夠捕獲特別適用于某些下游任務的屬性，并且能夠與語言建模等更多通用任務相輔相成。

OntoNotes的句法、PropBank和共指注釋。PropBank SRL參數(shù)和共指提及被標注在了句法成分的頂部。幾乎每一個參數(shù)都與一個句法成分有關(guān)。(Swayamdipta et al., 2018)

8）半監(jiān)督學習和遷移學習相結(jié)合（Combining semi-supervised learning with transfer learning）

伴隨著遷移學習的最新進展，我們不應該忘記使用特定的目標任務數(shù)據(jù)的更明確的方法。事實上，預訓練表示與許多半監(jiān)督學習方法是相輔相成的。我們已經(jīng)探索了一種半監(jiān)督學習的特殊方法——自我標注的方法（http://aclweb.org/anthology/P18-1096）。代表性論文：

《基于交叉視點訓練的半監(jiān)督序列建模》(EMNLP 2018)

Semi-Supervised Sequence Modeling with Cross-View Training

論文地址：http://aclweb.org/anthology/D18-1217

這篇論文表明，一個能確保對輸入的不同視點的預測與主模型的預測一致的概念上非常簡單的想法，可以在大量的任務上得到性能的提高。這個想法與詞 dropout 類似，但允許利用未標記的數(shù)據(jù)讓模型變得更穩(wěn)健。與 mean teacher（https://arxiv.org/abs/1703.01780）等其他自集成模型相比，它是專門針對特定的 NLP 任務設(shè)計的。

隨著對半監(jiān)督學習的研究越越來越多，我們將有望看到有更多明確地嘗試對未來目標預測進行建模的研究工作。

輔助預測模塊看到的輸入：輔助1 :They traveled to__________________. 輔助2：They traveled toWashington_______. 輔助3：_____________Washingtonby plane.輔助4：_____________by plane。(Clark et al., 2018)

9）大型文檔的問答和推理（QA and reasoning with large documents）

隨著一系列新的問答（QA）數(shù)據(jù)集（http://quac.ai/）的出現(xiàn)，問答系統(tǒng)有了很大的發(fā)展。除了對話式問答和多步推理，問答最具挑戰(zhàn)性的方面是對敘述和大體量信息進行合成。代表性論文：

《敘述答閱讀理解挑戰(zhàn)》（TACL 2018）

The NarrativeQA Reading Comprehension Challenge

論文地址：http://aclweb.org/anthology/Q18-1023

這篇論文基于對完整的電影劇本和書籍的提問和回答，提出了一個具有挑戰(zhàn)性的新的問答數(shù)據(jù)集。雖然依靠當前的方法還無法完成這項任務，但是模型可以選擇使用摘要（而不是整本書籍）作為選擇答案（而不是生成答案）的語境。這些變體讓任務的實現(xiàn)更加容易，也使得模型可以逐步擴展到整個語境設(shè)置。

我們需要更多這樣的數(shù)據(jù)集，它們能體現(xiàn)具有挑戰(zhàn)性的問題，并且有助于解決這些問題。

QA 數(shù)據(jù)集比較

10）歸納偏差（Inductive bias）

CNN 中的卷積、正則化、dropout 以及其他機制等歸納偏差，是神經(jīng)網(wǎng)絡模型的核心部分，它們充當調(diào)節(jié)器的角色，使模型更具樣本效率。然而，提出一個應用更加廣泛的歸納偏差方法，并將其融入模型，是具有挑戰(zhàn)性的。代表性論文：

《基于人類注意力的序列分類》（CoNLL 2018）

Sequence classification with human attention

論文地址：http://aclweb.org/anthology/K18-1030

這篇論文提出利用視覺跟蹤語料庫中的人類注意力，來 RNN 中的注意力進行規(guī)則化處理。鑒于 Transformer 等當前許多模型都使用注意力這一方法，找到更有效得訓練它的方法是一個重要的方向。同時，論文還證明了另外一個案例——人類語言學習可以幫助改進計算模型。

《語義角色標注的語言學信息的自我注意力》(EMNLP 2018)

Linguistically-Informed Self-Attention for Semantic Role Labeling

論文地址：http://aclweb.org/anthology/D18-1548

這篇論文有很多亮點：一個在句法和語義任務上進行聯(lián)合訓練的Transformer 模型；在測試時注入高質(zhì)量語法分析的能力；以及域外評估。論文還通過訓練注意力頭來關(guān)注每個標注的句法 parents，來使轉(zhuǎn)換器的多頭注意力統(tǒng)一對句法更加敏感。

未來我們有望看到更多針對輸入特定場景，將 Transformer 注意力頭用作輔助預測器的案例。

PropBank語義角色標注的十年。語言學信息的自我注意力( LISA )與其他域外數(shù)據(jù)方法的比較。