自然語(yǔ)言處理（NLP）是一門集語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、人工智能于一體的科學(xué)，解決的是“讓機(jī)器可以理解自然語(yǔ)言”——這一到目前為止都還只是人類獨(dú)有的特權(quán)，因此被譽(yù)為人工智能皇冠上的明珠。

近日，采訪到了 NLP 領(lǐng)域的華人新星——加州大學(xué)圣巴巴拉分校助理教授王威廉，向他請(qǐng)教了 NLP 領(lǐng)域最前沿的研究問題，以及 NLP 研究方向的一些建議。

關(guān)于王威廉：2009 年畢業(yè)于深圳大學(xué)，隨后赴美留學(xué)，并先后在哥倫比亞大學(xué)和卡耐基梅隆大學(xué)獲得碩士和博士學(xué)位。他的研究范圍包括統(tǒng)計(jì)關(guān)系學(xué)習(xí)、信息提取、社交媒體、語(yǔ)音和視覺等等。2016 年博士畢業(yè)之后，王威廉加盟加州大學(xué)圣巴巴拉分校。如今，王威廉已經(jīng)是該校 NLP 小組的負(fù)責(zé)人，同時(shí)也是計(jì)算機(jī)科學(xué)系的助理教授。近幾年來(lái)，王威廉在一些重要的 NLP/AI/ ML 等會(huì)議和期刊上發(fā)表了 60 多篇論文，并多次獲得知名學(xué)術(shù)會(huì)議的最佳論文獎(jiǎng)及提名。

1）您現(xiàn)在的主要研究領(lǐng)域是什么？有哪些最新進(jìn)展？

王威廉：我的主要研究領(lǐng)域現(xiàn)在有三個(gè)：自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、人工智能。

在自然語(yǔ)言處理領(lǐng)域，我們實(shí)驗(yàn)室主要關(guān)注的方向是信息抽取，社交媒體，語(yǔ)音、語(yǔ)言處理，以及語(yǔ)言與視覺方面的研究；

在機(jī)器學(xué)習(xí)領(lǐng)域，我們比較關(guān)注的是強(qiáng)化學(xué)習(xí)、對(duì)抗學(xué)習(xí)以及深度學(xué)習(xí)技術(shù)的突破；

在人工智能總體領(lǐng)域，我們對(duì)知識(shí)的表示、推理、知識(shí)圖譜非常關(guān)注。

我們最近的一些突破，比如發(fā)表在 EMNLP 2017 上 DeepPath 首先提出了用強(qiáng)化學(xué)習(xí)的方法去做知識(shí)圖譜上的推斷，這項(xiàng)工作取得了很大的關(guān)注。我們還有一些相關(guān)的工作，比如用變分推理的方法去進(jìn)一步提高知識(shí)圖譜路徑找尋的效率。

此外，我們還有不少在語(yǔ)言與視覺方面的嘗試，包括 video captioning，video storytelling，以及如何把深度強(qiáng)化學(xué)習(xí)技術(shù)與這些復(fù)雜的語(yǔ)言與視覺的技術(shù)相結(jié)合。我們嘗試了逆向的強(qiáng)化學(xué)習(xí)，去學(xué)習(xí)生成文本描述的多樣性，主動(dòng)學(xué)習(xí)它的一些獎(jiǎng)勵(lì)函數(shù)。我們最近也做了一些 language grounding 的工作，比如教機(jī)器人根據(jù)語(yǔ)言與視覺的信息來(lái)完成路徑的找尋，到達(dá)目的地。同時(shí)我們也在社交媒體領(lǐng)域做了不少關(guān)于假新聞、仇恨言論檢測(cè)的工作。

2）NLP 領(lǐng)域目前有哪些突破？未來(lái)的研究難點(diǎn)有哪些？

王威廉：在 NLP 領(lǐng)域，實(shí)體標(biāo)注等工作的結(jié)果都非常好了，基本上都超過 90% 的準(zhǔn)確率。現(xiàn)在的一些工作，包括大家很關(guān)心的閱讀理解，在 SQuAD 上面第一版的結(jié)果已經(jīng)非常好了。在未來(lái)，我認(rèn)為語(yǔ)言的生成還是一個(gè)很難的問題，就是如何去做一些可以控制的生成，如何保證語(yǔ)義的連貫性以及語(yǔ)法的正確性，這些都是在神經(jīng)網(wǎng)絡(luò)框架下難以做到的。

還有一個(gè)是推理的問題。我們?nèi)绾芜M(jìn)一步地在分類、在序列標(biāo)注等任務(wù)的基礎(chǔ)上設(shè)計(jì)一些算法以及機(jī)器學(xué)習(xí)的模型，然后讓機(jī)器能夠在一些復(fù)雜的任務(wù)上，尤其是一些推理的相關(guān)的任務(wù)上取得一些突破，這些還是相當(dāng)難的問題。

3）NLP 領(lǐng)域里比較流行的 SQuAD 數(shù)據(jù)集的局限性在哪？NLP 領(lǐng)域需要怎樣的數(shù)據(jù)集？以及怎樣的評(píng)價(jià)標(biāo)準(zhǔn)？

王威廉：它的局限性有幾個(gè)，第一是數(shù)據(jù)量還不大，第二是機(jī)器做閱讀理解的時(shí)候其實(shí)并不需要完全理解這個(gè)問題，也不需要完全理解這個(gè)篇章，它可以用很簡(jiǎn)單的模式識(shí)別的方法去找 pattern。比如說這個(gè)問題里面的哪個(gè)詞和篇章里面的哪個(gè)詞比較匹配，然后來(lái)回答答案。所以它并不能真正地理解語(yǔ)言，不能很好地理解問題，遇到復(fù)雜的問題就回答不了。

NLP 領(lǐng)域需要更加復(fù)雜的數(shù)據(jù)集，比如說多個(gè)文本，需要在知識(shí)圖譜里做一些推斷，需要根據(jù)上下文不同的假設(shè)去做一些推測(cè)，這樣的數(shù)據(jù)集可能會(huì)有更多的幫助。

評(píng)價(jià)標(biāo)準(zhǔn)是很多人在討論的一個(gè)話題，像 BLEU 等已經(jīng)用了一二十年了，它局限性非常大，比如說它不是通過語(yǔ)義的方法來(lái)做評(píng)價(jià)，而是是通過詞之間的 overlap（重疊）做的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)，所以它不能代替人類的評(píng)價(jià)。

4）Salesforce 開發(fā)了一個(gè)針對(duì)十大自然語(yǔ)言常見任務(wù)（問答、機(jī)器翻譯、摘要、自然語(yǔ)言推理、情感分析、語(yǔ)義角色標(biāo)注、關(guān)系抽取、任務(wù)驅(qū)動(dòng)多輪對(duì)話、數(shù)據(jù)庫(kù)查詢生成器和代詞消解）通用模型 decaNLP，這種通用模型有哪些優(yōu)缺點(diǎn)？

王威廉：個(gè)人認(rèn)為多任務(wù)學(xué)習(xí)、是非常有意思的一個(gè)方向。你可以看一下 decaNLP 的單項(xiàng)結(jié)果，確實(shí)是比各個(gè)單項(xiàng)的 SOTA 還是有一些距離的。總體來(lái)說，這是非常有意思的一個(gè)研究方向，但是在實(shí)際應(yīng)用中，每一個(gè)單項(xiàng)的成績(jī)比單項(xiàng)的 SOTA 還是有不小的距離。

5）基于 Attention 的網(wǎng)絡(luò)真的可以取代 RNN 及其變種嗎？為什么？

王威廉：不一定。RNN 及其變種確實(shí)有一些優(yōu)勢(shì)，比如它能夠把握 非常準(zhǔn)確的本地語(yǔ)義關(guān)系，像LSTM 在 sequence tagging 等任務(wù)上還是能取得非常不錯(cuò)的結(jié)果。總體來(lái)說，Transformer 還是很有意思的研究角度，但是實(shí)際情況是，它并沒有在除了機(jī)器翻譯之外的 NLP 任務(wù)上面取得最好的結(jié)果。

6）強(qiáng)化學(xué)習(xí)和 GAN 現(xiàn)在非常熱門，但在 NLP 任務(wù)中又有很多限制，面對(duì)這種現(xiàn)狀，科研人員應(yīng)該怎么做？

王威廉：我覺得首先你要搞清楚為什么要用強(qiáng)化學(xué)習(xí)。在我看來(lái)，強(qiáng)化學(xué)習(xí)在 NLP 中可以做三件事情。第一件事情，你可以用它去做 learning to search，learning to rank，然后用強(qiáng)化學(xué)習(xí)作為解決傳統(tǒng)方法解決不了的問題的一種手段。第二件，我們發(fā)現(xiàn)在 reinforcedco-training 這個(gè)工作中，強(qiáng)化學(xué)習(xí)可以學(xué)習(xí)選擇數(shù)據(jù)，然后我們可以用強(qiáng)化學(xué)習(xí)去做 denoiser（去噪）。此外，還可以用強(qiáng)化學(xué)習(xí)去優(yōu)化 BLEU Score，ROUGE Score，我們最近發(fā)表在 ACL 2018 上的工作也有用逆向強(qiáng)化學(xué)習(xí)去學(xué)它的評(píng)價(jià)標(biāo)準(zhǔn)。總之，還是有不少值得研究的空間。

GAN 更是一個(gè)很有意思的方向。GAN 在 CV 領(lǐng)域取得了很好的結(jié)果，在 NLP 領(lǐng)域，由于語(yǔ)言是離散的，所以大家還在研究如何通過更好地設(shè)計(jì)對(duì)抗網(wǎng)絡(luò)，讓判別器可以去反向傳播錯(cuò)誤，從而更好地更新生成器。我們?cè)谪?fù)例生成與遠(yuǎn)程監(jiān)督去噪上也做了一些嘗試，包括今年的 KBGAN 和 DSGAN 。

總體來(lái)說，首先要搞清楚你為什么要做這個(gè)事情？你到底要做什么事情？強(qiáng)化學(xué)習(xí)跟 GAN 適不適合這個(gè)任務(wù)？搞清楚了這幾點(diǎn)，然后才有可能使得你的 NLP 的結(jié)果得到提升。如果搞不清楚就盲目應(yīng)用 GAN 和強(qiáng)化學(xué)習(xí)，是是很難在你的任務(wù)中取得很好的結(jié)果的。

7）對(duì)于科研人員來(lái)說，NLP 里哪些研究方向更容易取得突破？

王威廉：自然語(yǔ)言研究有兩塊，一個(gè)是生成，一個(gè)是理解。生成和理解這兩塊其實(shí)都非常重要，比較難說哪一塊更容易取得突破。

但是生成的任務(wù)肯定是非常難的，因?yàn)槭紫仍~匯量是無(wú)窮無(wú)盡的，然后 latent space 和詞的映射關(guān)系也是非常難做的，所以生成會(huì)是比較難一點(diǎn)。

至于理解任務(wù)，要看你做到哪一步了。如果你是做文本分類這些簡(jiǎn)單一點(diǎn)的 任務(wù)，當(dāng)然也有難一點(diǎn)的，比如說結(jié)構(gòu)化預(yù)測(cè)，sequence tagging 會(huì)更難一點(diǎn)，那最難的可能就是比如說句法樹的生成，比如依存句法分析或者是語(yǔ)義分析。

8）面對(duì)目前 NLP 領(lǐng)域的研究困境，以往我們會(huì)在數(shù)據(jù)、ML 或 DL 等方法上做創(chuàng)新或改變，現(xiàn)在是否依然是這個(gè)思路？是否需要懂得語(yǔ)言學(xué)知識(shí)或者融合其他學(xué)科知識(shí)？

王威廉：在早些年，大家做 NLP 研究可能是研究計(jì)算語(yǔ)言學(xué)，就是怎樣用計(jì)算的方法去更好地理解語(yǔ)言學(xué)。現(xiàn)在基本上已經(jīng)變了，過去 10-15年，NLP 基本上是計(jì)算機(jī)科學(xué)家為主，他們可能會(huì)關(guān)心一些更加實(shí)用的任務(wù)，比如說機(jī)器翻譯，對(duì)話系統(tǒng)。大家可以看到，很多的 NAACL 、EMNLP 論文，往往是在數(shù)據(jù)、任務(wù)或者是機(jī)器學(xué)習(xí)的方法上做一些創(chuàng)新。

這其實(shí)也跟計(jì)算機(jī)學(xué)科有關(guān)，因?yàn)橛?jì)算機(jī)學(xué)科本身喜歡在算法層面上做創(chuàng)新。至于需不需要語(yǔ)言學(xué)知識(shí)？在深度學(xué)習(xí)之前，大家覺得是需要的，有了深度學(xué)習(xí)之后，大家覺得可能不需要。但是現(xiàn)在大家又發(fā)現(xiàn)，像 Seq2Seq 模型的結(jié)果非常差，語(yǔ)義連貫性、語(yǔ)法正確性也都沒有保證，而大家又想把結(jié)構(gòu)融合到深度學(xué)習(xí)模型里。所以我個(gè)人認(rèn)為還是需要掌握一些語(yǔ)言學(xué)知識(shí)，至少對(duì)你學(xué)習(xí)和研究的語(yǔ)言要有一些基本的知識(shí)，而其他學(xué)科的知識(shí)，根據(jù)你不同的應(yīng)用也是非常重要的。比如說你做計(jì)算社會(huì)科學(xué)，你當(dāng)然是需要知道一些社會(huì)科學(xué)，包括心理學(xué)、社會(huì)學(xué)一些相關(guān)的知識(shí)，然后才能更好地讓你的研究取得突破。

9）近幾年中國(guó)在 NLP 領(lǐng)域的發(fā)展?fàn)顩r？

王威廉：最近幾年中國(guó)在 NLP 領(lǐng)域的發(fā)展是非常迅猛的，主要體現(xiàn)在下以下幾個(gè)方面。第一，大家可以看到，在 NLP領(lǐng)域的 ACL、NAACL、EMNLP 這三大會(huì)議上，中國(guó)人基本上已經(jīng)撐起了半邊天。現(xiàn)在有一半的論文至少都是來(lái)自于國(guó)內(nèi)的高校，然如果看第一作者，華人作者的比例可能會(huì)更高。國(guó)內(nèi)工業(yè)界的發(fā)展也非常迅猛，尤其在自然語(yǔ)言處理領(lǐng)域。另外，現(xiàn)在國(guó)內(nèi)是百花齊放，不光是傳統(tǒng)的清華、北大、中科院、哈工大，很多其他的學(xué)校都陸陸續(xù)續(xù)有很多的優(yōu)秀的教授以及一些非常優(yōu)秀的研究。相比美國(guó)，中國(guó)的增速肯定是快很多的。總體來(lái)說，中美已經(jīng)是 NLP 領(lǐng)域的兩個(gè)強(qiáng)國(guó)了，接下來(lái)就希望更多的中國(guó)論文能夠獲得最佳論文獎(jiǎng)。

10）中文 NLP 和英文 NLP 的區(qū)別在哪？

王威廉：中文 NLP 難點(diǎn)在于它的處理單元不是詞，而是字符。不管是做強(qiáng)化學(xué)習(xí)，還是做 Seq2Seq ，在詞級(jí)別來(lái)做和字符級(jí)別還是差很遠(yuǎn)的。如果是做字符級(jí)別的話，你的 sequence 可能會(huì)變得非常長(zhǎng)，并不太容易做。所以中文的挑戰(zhàn)在于語(yǔ)言本身比較難。除了漢語(yǔ)，也有其他少數(shù)民族的語(yǔ)言非常值得關(guān)注和留意。