最近，一些網(wǎng)友使用的 Google 翻譯“水逆”了。

在Reddit上，有網(wǎng)友截圖顯示，在 Google 翻譯中當(dāng)某些語種的詞匯翻譯成英語時，輸出的卻是毫無由頭的宗教語言。比如鍵入 19 個 dog，將其從毛利語翻譯成英語時，輸出的卻是“距離十二點的世界末日時鐘還差三分鐘，我們正在經(jīng)歷世界上的人物和戲劇性發(fā)展，這預(yù)示著我們正在無線接近末日，耶穌回歸時日將近。”

但這只是眾多無厘頭翻譯的其中之一。還有網(wǎng)友放出了很多“不詳”的翻譯內(nèi)容。例如，在索馬里語中，“ag”這個詞被翻譯成了“Gershon 的兒子（sons of Gershon）”，“耶和華的名字（name of the LORD）”，并且會引用圣經(jīng)里的“cubits”（計量單位）和Deuteronomy（《申命記》）。

有網(wǎng)友留言稱其為“惡魔”或者“幽靈”，猜測這是 Google 員工的惡作劇，也有人建議設(shè)置“建議編輯”功能，讓用戶可以進(jìn)行修改為正確內(nèi)容。Google 發(fā)言人 Justin Burr 在一封電子郵件中稱：這只是一個將無意義的話語輸入系統(tǒng)然后產(chǎn)生無意義輸出的功能。

不過 Justin Burr 并未透露 Google 翻譯使用的訓(xùn)練數(shù)據(jù)是否有宗教文本。但上述詭異輸出內(nèi)容很可能已被 Google 翻譯修正，AI科技大本營編輯輸入上述相同內(nèi)容后也并未發(fā)現(xiàn)異常。

但人們對探討 Google 翻譯出現(xiàn)如此結(jié)果的背后原因熱情不減，更專業(yè)的聲音在不斷發(fā)出。哈佛大學(xué)助理教授 Andrew Rush 認(rèn)為，這很可能與 2 年前 Google 翻譯技術(shù)的改變有關(guān)，它目前使用了的是“神經(jīng)機(jī)器翻譯（NMT）”的技術(shù)。

BBN Technologies 的科學(xué)家 Sean Colbath 從事機(jī)器翻譯工作，他同意奇怪的輸出可能是由于 Google 翻譯的算法試圖在混亂中尋找秩序。他還指出，索馬里語、夏威夷語以及毛利語等產(chǎn)生最奇怪結(jié)果的語言，它們用于訓(xùn)練的翻譯文本比英語或漢語等更廣泛使用的語言要少很多。所以他認(rèn)為，Google 可能會使用像圣經(jīng)等被翻譯成多種語言的宗教文本來訓(xùn)練小語種的模型，這也解釋了為什么會最終輸出宗教內(nèi)容。

前 Google 員工 Delip Rao 在其博客上則指出，當(dāng)談到平行語料庫時，宗教文本是最低層次的共同標(biāo)準(zhǔn)資源，像“圣經(jīng)”和“古蘭經(jīng)”這樣的主要宗教文本有各種語言版本。

比如，如果你為政府部署一個 Urdu-to-English （烏爾都語——英語）的機(jī)器翻譯系統(tǒng)，那么很容易將一堆已經(jīng)翻譯成烏爾都語的宗教文本組合在一起。因此，可以合理地假設(shè) Google 的平行語料庫中包含所有的宗教文本，而對于許多資源不足的語言，它們不只是訓(xùn)練語料庫中微不足道的部分。

那么，為什么我們看到 Google 翻譯會輸出宗教文本，尤其是以那些資源不足的語言對作為輸入時 ，如上文中的毛利語？一種解釋是，因為宗教文本包含許多只會在宗教文本中出現(xiàn)的罕見詞，而這些詞在其他任何地方都不會出現(xiàn)。因此，罕見的詞語可能會觸發(fā)解碼器中的宗教情境，尤其是當(dāng)這些文本的比例很大時。另一種解釋是該模型對輸入的內(nèi)容沒有太多的統(tǒng)計支持，而輸出也只是解碼器模型的無意義采樣。

更重要的是，他想要指出現(xiàn)在的神經(jīng)機(jī)器翻譯 (NMT) 真正存在的問題。

他特意總結(jié)了2017 年 Philipp Koehn 和 Rebecca Knowles 撰寫的一篇論文，內(nèi)容如下：

1.NMT 在域外數(shù)據(jù)上表現(xiàn)很差：像 Google 翻譯這樣的通用 MT 系統(tǒng)在法律或金融等專業(yè)領(lǐng)域的表現(xiàn)尤其糟糕。此外，與基于短語的翻譯系統(tǒng)等傳統(tǒng)方法相比，NMT 系統(tǒng)的效果更差。到底有多糟糕？如下圖所示，其中非對角線元素表示域外結(jié)果，綠色是 NMT 的結(jié)果，藍(lán)色是基于短語的翻譯系統(tǒng)的結(jié)果。

MT 系統(tǒng)在一個域 (行) 上訓(xùn)練并在另一個域 (列) 上進(jìn)行測試。藍(lán)色表示基于短語翻譯系統(tǒng)的表現(xiàn)，而綠色表示 NMT 的表現(xiàn)。

2.NMT 在小數(shù)據(jù)集上的表現(xiàn)很差：雖然這算是機(jī)器學(xué)習(xí)的通病，但這個問題在 NMT 中體現(xiàn)尤其明顯。相比基于短語的 MT 系統(tǒng)，雖然 NMT 隨著數(shù)據(jù)量的增加能進(jìn)行更好地概括 ，但在小數(shù)據(jù)量情況下 NMT 的表現(xiàn)確實更糟糕。

引用作者的話來說，“在資源較少的情況下，NMT 會產(chǎn)生與輸入無關(guān)的輸出，盡管這些輸出是流暢的。”這可能也是 Motherboard 那篇文章中探討 NMT 表現(xiàn)怪異的另一個原因。

3.Subword NMT 在罕見詞匯上的表現(xiàn)很糟糕：雖然它的表現(xiàn)仍然要好過基于短語的翻譯系統(tǒng)，但對于罕見或未見過的詞語，NMT 的表現(xiàn)不佳。例如，那些系統(tǒng)只觀察到一次的單詞就會被 drop 掉。像 byte-pair encoding 這樣的技術(shù)對解決這個問題有所幫助，但我們有必要對此進(jìn)行更詳細(xì)的研究。

我們可以看到圖中像土耳其語 (Turkish) 這樣的語言，遇到詞的變形形式是很常見的。

4.長句：以長句編碼并產(chǎn)生長句，這仍然是一個開放的、值得研究的話題。在法律等領(lǐng)域，冗長復(fù)雜的句子是很常見的。MT 系統(tǒng)的性能將隨句子長度而降級，而 NMT 系統(tǒng)亦是如此。引入注意力機(jī)制可能會有所幫助，但問題還遠(yuǎn)未解決。

5.注意力機(jī)制 != 對齊：這是一個非常微妙但又很重要的問題。在傳統(tǒng)的 SMT 系統(tǒng)中，如基于短語的翻譯系統(tǒng)，語句對齊能夠提供有用的調(diào)試信息來檢查模型。但即便論文中經(jīng)常將軟注意力機(jī)制視為“軟對齊”，注意力機(jī)制并不是傳統(tǒng)意義上的對齊。在 NMT 系統(tǒng)中，除了源域中的動詞外，目標(biāo)中的動詞也可以作為主語和賓語。

6.難以控制翻譯質(zhì)量：每個單詞都有多種翻譯，并且典型的 MT 系統(tǒng)對源句的翻譯好于lattice of possible translations。為了保持后者的大小合理，我們使用集束搜索 (beam search)。通過改變波束的寬度，來找到低概率但正確的翻譯。而對于 NMT 系統(tǒng)，調(diào)整集束尺寸似乎沒有任何不利影響。

當(dāng)你擁有大量數(shù)據(jù)時，NMT 系統(tǒng)的翻譯性能依然還是難以被擊敗的，而且它們?nèi)匀辉诖罅康乇皇褂谩ｊP(guān)于通常我們所說的神經(jīng)網(wǎng)絡(luò)模型的黑盒性，也有待進(jìn)一步說明，如今的 NMT 模型 (基于 LSTM 和 Transformer 模型) 也都受此影響。