來源：互聯(lián)網(wǎng)  (轉(zhuǎn)載協(xié)議)   發(fā)布日期：2019-02-26 17:22   瀏覽：4126次 專欄投稿 值班編輯：QQ281688302

新智元報(bào)道 來源：TensorFlow 作者：Jonathan Shen 編輯：肖琴 【新智元導(dǎo)讀】谷歌近日開源了一個(gè)強(qiáng)大的NLP深度學(xué)習(xí)框架Lingvo，側(cè)重于語言相關(guān)任務(wù)的序列模型，如機(jī)器翻譯、語音識(shí)別和語音合成。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用Lingvo獲得SOTA結(jié)果的

贊助本站

新智元報(bào)道

來源：TensorFlow

作者：Jonathan Shen 編輯：肖琴

【新智元導(dǎo)讀】谷歌近日開源了一個(gè)強(qiáng)大的NLP深度學(xué)習(xí)框架Lingvo，側(cè)重于語言相關(guān)任務(wù)的序列模型，如機(jī)器翻譯、語音識(shí)別和語音合成。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用Lingvo獲得SOTA結(jié)果的論文。

近日，谷歌開源了一個(gè)內(nèi)部 NLP 的秘密武器 ——Lingvo。

這是一個(gè)強(qiáng)大的 NLP 框架，已經(jīng)在谷歌數(shù)十篇論文的許多任務(wù)中實(shí)現(xiàn) SOTA 性能！

Lingvo 在世界語中意為 “語言”。這個(gè)命名暗指了 Lingvo 框架的根源 ——它是使用 TensorFlow 開發(fā)的一個(gè)通用深度學(xué)習(xí)框架，側(cè)重于語言相關(guān)任務(wù)的序列模型，如機(jī)器翻譯、語音識(shí)別和語音合成。

Lingvo 框架在谷歌內(nèi)部已經(jīng)獲得青睞，使用它的研究人員數(shù)量激增。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用 Lingvo 獲得 SOTA 結(jié)果的論文，未來還會(huì)有更多。

包括 2016 年機(jī)器翻譯領(lǐng)域里程碑式的《

谷歌神經(jīng)機(jī)器翻譯系統(tǒng)

》論文 (Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation)，也是使用 Lingvo。該研究開啟了機(jī)器翻譯的新篇章，宣告機(jī)器翻譯正式從 IBM 的統(tǒng)計(jì)機(jī)器翻譯模型 (PBMT，基于短語的機(jī)器翻譯)，過渡到了神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型。該系統(tǒng)使得機(jī)器翻譯誤差降低了 55%-85% 以上，極大地接近了普通人的翻譯水平。

除了機(jī)器翻譯之外，Lingvo 框架也被用于語音識(shí)別、語言理解、語音合成、語音 - 文本轉(zhuǎn)寫等任務(wù)。

谷歌列舉了 26 篇使用 Lingvo 框架的 NLP 論文，發(fā)表于 ACL、EMNLP、ICASSP 等領(lǐng)域頂會(huì)，取得多個(gè) SOTA 結(jié)果。全部論文見文末列表。

Lingvo 支持的架構(gòu)包括傳統(tǒng)的RNN 序列模型、Transformer 模型以及包含 VAE 組件的模型，等等。

谷歌表示：“為了表明我們對(duì)研究界的支持并鼓勵(lì)可重復(fù)的研究工作，我們公開了該框架的源代碼，并開始發(fā)布我們論文中使用的模型。”

此外，谷歌還發(fā)布了一篇概述 Lingvo 設(shè)計(jì)的論文，并介紹了框架的各個(gè)部分，同時(shí)提供了展示框架功能的高級(jí)特性的示例。

相關(guān)論文：

https://arxiv.org/pdf/1902.08295.pdf

摘要

Lingvo 是一個(gè) Tensorflow 框架，為協(xié)作式深度學(xué)習(xí)研究提供了一個(gè)完整的解決方案，特別側(cè)重于 sequence-to-sequence 模型。Lingvo 模型由靈活且易于擴(kuò)展的模塊化構(gòu)建塊組成，實(shí)驗(yàn)配置集中且高度可定制。該框架直接支持分布式訓(xùn)練和量化推理，包含大量實(shí)用工具、輔助函數(shù)和最新研究思想的現(xiàn)有實(shí)現(xiàn)。論文概述了 Lingvo 的基礎(chǔ)設(shè)計(jì)，并介紹了框架的各個(gè)部分，同時(shí)提供了展示框架功能的高級(jí)特性的示例。

為協(xié)作研究設(shè)計(jì)、靈活、快速

Lingvo 是在考慮協(xié)作研究的基礎(chǔ)下構(gòu)建的，它通過在不同任務(wù)之間共享公共層的實(shí)現(xiàn)來促進(jìn)代碼重用。此外，所有層都實(shí)現(xiàn)相同的公共接口，并以相同的方式布局。這不僅可以生成更清晰、更易于理解的代碼，還可以非常簡(jiǎn)單地將其他人為其他任務(wù)所做的改進(jìn)應(yīng)用到自己的任務(wù)中。強(qiáng)制實(shí)現(xiàn)這種一致性的代價(jià)是需要更多的規(guī)則和樣板，但是 Lingvo 試圖將其最小化，以確保研究期間的快速迭代時(shí)間。

協(xié)作的另一個(gè)方面是共享可重現(xiàn)的結(jié)果。Lingvo 為檢入模型超參數(shù)配置提供了一個(gè)集中的位置。這不僅可以記錄重要的實(shí)驗(yàn)，還可以通過訓(xùn)練相同的模型，為其他人提供一種簡(jiǎn)單的方法來重現(xiàn)你的結(jié)果。