具有語(yǔ)言能力的深度學(xué)習(xí)系統(tǒng)已經(jīng)廣泛應(yīng)用于人們的生活當(dāng)中。其中一些系統(tǒng)使用了 Google 發(fā)布的特定深度學(xué)習(xí)模型 —— 多語(yǔ)言 BERT（Multilingual BERT，簡(jiǎn)稱(chēng) mBERT）。mBERT 模型可以同時(shí)接受大約 100 種語(yǔ)言的訓(xùn)練，這種多語(yǔ)言的訓(xùn)練使模型可以完成各種語(yǔ)言任務(wù)，例如，將文本內(nèi)容從一種語(yǔ)言翻譯成另一種語(yǔ)言。

雖然已經(jīng)發(fā)現(xiàn) mBERT 模型在許多語(yǔ)言任務(wù)中表現(xiàn)良好，但是

人們對(duì) mBERT 模型 “如何創(chuàng)建文本并如何做出預(yù)測(cè)” 的相關(guān)信息并不清楚。

為此，來(lái)自斯坦福大學(xué)、加州大學(xué)歐文分校和加州大學(xué)圣巴巴拉分校的研究人員聯(lián)合開(kāi)展了一項(xiàng)新的研究，研究目的是為了更好地理解基于 mBERT 模型的技術(shù)是如何運(yùn)行的，以及它是如何創(chuàng)建語(yǔ)法特征的。

相關(guān)研究結(jié)果以 “Deep Subjecthood： Higher-Order Grammatical Features in Multilingual BERT” 為題，已發(fā)表在論文預(yù)印本網(wǎng)站 arXiv 上。該論文為這些常用模型的基礎(chǔ)以及它們?cè)谕瓿筛鞣N任務(wù)時(shí)如何分析語(yǔ)言提供了寶貴的線(xiàn)索。

神秘莫測(cè)的 mBERT 模型

在過(guò)去的幾十年中，研究人員開(kāi)發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的模型，它們可以完成各種各樣的任務(wù)。其中一些技術(shù)專(zhuān)門(mén)設(shè)計(jì)用于處理和生成多種語(yǔ)言的連貫文本、翻譯文本，并可以回答有關(guān)文本的問(wèn)題，以及創(chuàng)建新聞文章或其他在線(xiàn)內(nèi)容的摘要。

比較典型的代表是 Siri、Alexa、Bixby、Google Assistant 和 Cortana 等應(yīng)用程序，這些程序?yàn)閷?shí)時(shí)翻譯、分析文本提供了極大的便利。

而這些應(yīng)用程序大部分采用了 Google 發(fā)布的 mBERT 模型，用戶(hù)可以使用多種語(yǔ)言（比如英語(yǔ)、西班牙語(yǔ)、法語(yǔ)、巴斯克語(yǔ)和印尼語(yǔ)等）與基于 mBERT 的系統(tǒng)進(jìn)行交互。

雖然像 mBERT 這樣的模型非常強(qiáng)大，但是與經(jīng)過(guò)預(yù)先訓(xùn)練的深度學(xué)習(xí)模型不同，它們實(shí)際上包含的信息并不明顯，甚至對(duì)它們的創(chuàng)造者來(lái)說(shuō)也是如此。

這是由于這些模型是經(jīng)過(guò)訓(xùn)練的，而不是經(jīng)過(guò)編程得到的。因此，探究 mBERT 模型的工作原理，成為了許多使用者關(guān)心的問(wèn)題 。理解 mBERT 模型如何對(duì)語(yǔ)言進(jìn)行編碼與嘗試?yán)斫馊祟?lèi)如何處理語(yǔ)言并沒(méi)有太大不同。

此次研究的主要目的是，確定 mBERT 矢量模型是否包含關(guān)于人類(lèi)語(yǔ)言及其結(jié)構(gòu)的一些更深層次的信息。更具體地說(shuō)，他們想確定這些模型，是否能夠自動(dòng)地揭示幾十年來(lái)語(yǔ)言學(xué)研究已經(jīng)確定的概括，這些概括信息對(duì)語(yǔ)言分析來(lái)講是十分有用的。

致力于理解 mBERT 模型

本質(zhì)上，mBERT 模型將文本表示為一系列矢量，每個(gè)矢量包含數(shù)千個(gè)數(shù)字。每個(gè)矢量都對(duì)應(yīng)一個(gè)單詞，而單詞之間的關(guān)系則被編碼為高維空間的幾何關(guān)系。

加州大學(xué)圣巴巴拉分校的語(yǔ)言學(xué)家、指導(dǎo)這項(xiàng)研究的高級(jí)研究員之一 Kyle Mahowald 表示：“由于這些模型在處理人類(lèi)語(yǔ)言方面做得很好，因此我們知道這些數(shù)字向量一定代表了語(yǔ)言知識(shí)。但是它們是如何編碼這些信息的，這與人類(lèi)大腦中知識(shí)的表達(dá)方式有什么相似之處？我們的工作是努力理解語(yǔ)言的深層神經(jīng)模型表示和使用語(yǔ)言信息的方式的一部分。”

加州大學(xué)歐文分校的語(yǔ)言科學(xué)家、該項(xiàng)目的另一位高級(jí)顧問(wèn) Richard Futrell 說(shuō)：“這是研究計(jì)算語(yǔ)言學(xué)特別令人興奮的時(shí)刻。多年來(lái)，語(yǔ)言學(xué)家一直在談?wù)撝T如‘語(yǔ)義空間（semantic space）’之類(lèi)的概念，認(rèn)為單詞和短語(yǔ)的意義是某個(gè)空間中的點(diǎn)，但這都顯得有點(diǎn)模糊和印象主義。如今，這些理論已經(jīng)變得非常精確：我們實(shí)際上有一個(gè)模型，其中一個(gè)單詞的含義是空間中的某一個(gè)點(diǎn)，并且這個(gè)模型確實(shí)以一種暗示其理解某些人類(lèi)語(yǔ)言的方式表現(xiàn)。”

為了處理人類(lèi)語(yǔ)言，在深入分析人類(lèi)語(yǔ)言之后，mBERT 模型和其他基于深度學(xué)習(xí)的語(yǔ)言分析框架，實(shí)際上可能已經(jīng)重新發(fā)現(xiàn)了語(yǔ)言學(xué)研究者在深入分析人類(lèi)語(yǔ)言之后所設(shè)計(jì)的理論。或者，它們可能基于全新的語(yǔ)言理論或規(guī)則進(jìn)行預(yù)測(cè)。

對(duì)此，Mahowald 和他的同事們希望進(jìn)一步探索這兩種可能性，因?yàn)槔斫膺@些計(jì)算技術(shù)如何對(duì)語(yǔ)言進(jìn)行編碼可能對(duì)計(jì)算機(jī)科學(xué)和語(yǔ)言學(xué)的研究具有重要的意義。

Futrell 說(shuō)：“了解這些模型的工作原理，即它們學(xué)到了什么信息以及如何使用這些信息，不僅在科學(xué)上很有趣，而且也對(duì)于我們想要開(kāi)發(fā)可以使用和信任的 AI 系統(tǒng)至關(guān)重要。如果我們不知道語(yǔ)言模型知道什么，那么我們就不能相信它會(huì)做正確的事。也就是說(shuō)，我們不相信它的翻譯是正確的或者它的總結(jié)是準(zhǔn)確的，我們也不能相信它沒(méi)有學(xué)到種族或性別偏見(jiàn)等不良信息。”

由于 mBERT 模型通常是在人類(lèi)編譯的數(shù)據(jù)集中進(jìn)行訓(xùn)練的，因此它們可能會(huì)發(fā)現(xiàn)一些人類(lèi)在處理與語(yǔ)言相關(guān)的問(wèn)題時(shí)常犯的一些錯(cuò)誤。這項(xiàng)由多學(xué)科團(tuán)隊(duì)進(jìn)行的研究可能有助于發(fā)現(xiàn) AI 工具在分析語(yǔ)言時(shí)所犯的一些錯(cuò)誤和其他錯(cuò)誤。

識(shí)別不同語(yǔ)言的主語(yǔ)和賓語(yǔ)

為了更加深入地理解 mBERT 模型，研究人員著手研究 mBERT 模型如何代表不同語(yǔ)言中主語(yǔ)和賓語(yǔ)之間的差異。

Mahowald 說(shuō)：“當(dāng)在 mBERT 中輸入一個(gè)句子時(shí)，每個(gè)單詞都會(huì)得到一個(gè)矢量表示。我們建立了一個(gè)新模型，這個(gè)模型比 mBERT 要小得多，然后我們問(wèn)：如果我們從 mBERT 得到一個(gè)單詞矢量，這個(gè)模型能告訴我們它是一個(gè)主語(yǔ)還是賓語(yǔ)嗎？也就是說(shuō)，該模型能否告訴我們，‘狗’這個(gè)字用法是不是句子的主語(yǔ)，就像‘狗追貓’中那樣，或句子的賓語(yǔ)，如‘貓追狗’。”

人們可能會(huì)假設(shè)所有語(yǔ)言都描述了主語(yǔ)和賓語(yǔ)的關(guān)系，并且它們以相似的方式表示。但是，在不同的語(yǔ)言中，主語(yǔ)和賓語(yǔ)的構(gòu)成實(shí)際上存在巨大的差異。

該論文的作者之一、斯坦福大學(xué)計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的研究生 Isabel Papadimitriou 和她的同事們?cè)噲D利用這些差異來(lái)更好地理解 mBERT 模型是如何處理句子。

Papadimitriou 說(shuō)：“如果人們使用英語(yǔ)，那么‘狗追貓’中的‘狗’字似乎與‘狗跑了’中的‘狗’字扮演相同的成分。在第一種情況下，動(dòng)詞有賓語(yǔ)‘貓’，在第二種情況下，它沒(méi)有賓語(yǔ)。但在兩種情況下，‘狗’是主語(yǔ)、主體、行為者，而在第一句中，‘貓’是賓語(yǔ)，是正在做的事情。但是，并非所有語(yǔ)言都如此。”

圖 | 研究過(guò)程說(shuō)明

英語(yǔ)和歐洲人所說(shuō)的大多數(shù)語(yǔ)言，都有一種被稱(chēng)為主格對(duì)齊的結(jié)構(gòu)，這種結(jié)構(gòu)清楚地描述了句子中的主語(yǔ)和賓語(yǔ)。

但是，包括巴斯克語(yǔ)，北印度語(yǔ)和格魯吉亞語(yǔ)在內(nèi)的語(yǔ)言，使用的是一種代名詞對(duì)齊。在代名詞對(duì)齊中，在沒(méi)有賓語(yǔ)的句子中，主語(yǔ)在某種意義上被視為賓語(yǔ)，因?yàn)樗裱糜谫e語(yǔ)的語(yǔ)法結(jié)構(gòu)。例如，句子 “狗在奔跑” 中的 “狗” 字某種程度上即是主語(yǔ)也是賓語(yǔ)。

Papadimitriou 說(shuō)：“我們工作的主要目標(biāo)是測(cè)試 mBERT 是否理解這種對(duì)齊、代名詞或主語(yǔ)的概念。換句話(huà)說(shuō)，我們問(wèn)：mBERT 能否深入理解動(dòng)詞的主語(yǔ)和賓語(yǔ)是什么構(gòu)成的，以及不同的語(yǔ)言如何將空間分割成主語(yǔ)和賓語(yǔ)？事實(shí)證明，同時(shí)接受大約 100 種語(yǔ)言培訓(xùn)的 mBERT 會(huì)以有趣的語(yǔ)言方式意識(shí)到這些區(qū)別。”

機(jī)器可以理解人類(lèi)語(yǔ)言

這些發(fā)現(xiàn)為 mBERT 模型以及其他用于語(yǔ)言分析的計(jì)算模型如何表示語(yǔ)法信息提供了新的有趣見(jiàn)解。有趣的是，研究人員研究的基于 mBERT 向量表示的檢驗(yàn)?zāi)Ｐ鸵舶l(fā)現(xiàn)會(huì)產(chǎn)生一致的錯(cuò)誤，這些錯(cuò)誤可能與處理語(yǔ)言的人類(lèi)所犯的錯(cuò)誤一致。

Papadimitriou 說(shuō)：“在不同的語(yǔ)言中，當(dāng)一個(gè)主語(yǔ)是一個(gè)無(wú)生命的名詞時(shí)，我們的模型更有可能錯(cuò)誤地將該主體稱(chēng)為主語(yǔ)，這意味著該名詞不是人類(lèi)或動(dòng)物。這是因?yàn)榫渥又械拇蠖鄶?shù)行為者往往是有生命的名詞：人類(lèi)或動(dòng)物。實(shí)際上，一些語(yǔ)言學(xué)家認(rèn)為主觀性實(shí)際上是一個(gè)范圍。與人類(lèi)相比，作為人類(lèi)的受試者比作為動(dòng)物的受試者更‘主觀’，作為動(dòng)物的受試者比既不是人類(lèi)也不是動(dòng)物的受試者更‘主觀’，這正是我們?cè)?mBERT 模型中發(fā)現(xiàn)的。”

總體而言，研究表明 mBERT 模型可以識(shí)別句子中的主語(yǔ)和賓語(yǔ)，并以與現(xiàn)有語(yǔ)言學(xué)文獻(xiàn)一致的方式表示兩者之間的關(guān)系。

在未來(lái)，這一重要發(fā)現(xiàn)可以幫助計(jì)算機(jī)科學(xué)家更好地理解深度學(xué)習(xí)技術(shù)是如何處理人類(lèi)語(yǔ)言的，從而幫助他們進(jìn)一步提高性能。

Mahowald 表示：“我們現(xiàn)在希望繼續(xù)探索語(yǔ)言的深層神經(jīng)模型，在它們的連續(xù)向量空間中表示語(yǔ)言類(lèi)別（如主語(yǔ)和賓語(yǔ)）的方式。具體來(lái)說(shuō)，我們認(rèn)為語(yǔ)言學(xué)的工作可以告訴我們?nèi)绾慰创@些模型以及它們?cè)谧鍪裁矗Z(yǔ)言學(xué)的工作試圖將主語(yǔ)和賓語(yǔ)等角色描述為一組特征，而不是離散的類(lèi)別。”

參考資料：https://arxiv.org/abs/2101.11043v1
責(zé)編AJX