谷歌人工智能(Google Ai)和芝加哥豐田技術研究所(Toyota technology institute of Chicago)的研究人員創建了一種人工智能模型ALBERT，它在主要的NLP性能排行榜上，GLUE和SQuAD 2.0等基準測試以及高RACE性能得分方面，均名列第一。

在斯坦福問答數據集基準(SQUAD)上，ALBERT得分為92.2，在通用語言理解評估(GLUE)基準上，ALBERT得分為89.4，在通過英語考試獲得的理解(RACE)基準上，ALBERT分數為89.4%。

ALBERT是基于BERT的轉換衍生版本，根據OpenReview.net周三發表的一篇論文介紹，它可以“使用參數約簡技術，來降低內存的消耗，提高BERT的訓練速度”。據可靠消息，該論文將于2020年的4月份，與其他被接受發表的論文一起，在埃塞俄比亞亞的斯亞貝巴舉行的國際學習表征會議上，供各國代表參考。

論文中寫道，“我們提出的方法使模型的規模比原來好得多。此外，我們還使用了一種自我監督的模式，該模式側重于對句子間的連貫性進行建模，并表明它始終有助于下游任務的多句輸入。”

ALBERT是BERT的最新衍生品，在主要的基準測試中全都名列前茅。5月，微軟的人工智能研究人員引入了多任務深度神經網絡(MT-DNN)，該模型在9個GLUE基準測試中有7個取得了高分;7月底，Facebook的人工智能研究引入了RoBERTa模型，效果顯著。

每個模型的性能都超過了人類的平均水平。在其他與變壓器相關的新聞中，初創公司Hug Face的PyTorch庫可以很方便地使用像BERT這樣的主流變壓器模型，Open AI的GPT-2和谷歌的XLNet通過長時間的研究，使該庫可用于TensorFlow。該公司首席執行官克萊門特·德蘭古告訴VentureBeat網站，自今年年初以來，PyTorch-Transformers已經安裝了超過50萬臺Pip，實際效果令人非常滿意。