幾個月前，OpenAI推出了一種自然語言處理模型，能夠從維基百科以及亞馬遜的產(chǎn)品評價中生產(chǎn)連貫的文本段落。

最近，其開放的OpenAI Five 人工智能系統(tǒng)在全網(wǎng)公開賽中放出了驕人戰(zhàn)績——擊敗了99.4%的玩家。在和3萬多名人類玩家的對壘中，只輸了42場。

OpenAI的大招還不止如此。今日凌晨，OpenAI發(fā)博文表示，在這些和其他研究的基礎(chǔ)上，他們開發(fā)了一種深度神經(jīng)網(wǎng)絡(luò)稀疏 Transformer（Sparse Transformer），可以實現(xiàn)生成式模型，在文本、圖像、聲音等序列預(yù)測上都創(chuàng)造了新紀錄。并且可預(yù)測的序列長度比之前可能的長度長了30倍。

“人工智能研究的一個現(xiàn)有挑戰(zhàn)是如何對復(fù)雜數(shù)據(jù)中遠距離，且較精細的相互依賴性進行建模，”O(jiān)penAI技術(shù)人員Rewon Child和軟件工程師Scott Gray在博客文章中寫道。“過去，在這些數(shù)據(jù)上使用的模型往往只是針對一個域?qū)ｉT設(shè)計的，或者是很難擴展到超過幾千個元素的序列。相比之下，我們的模型可以使用上百層對有上萬元素的序列進行建模，并且在多個域中實現(xiàn)最先進的性能。

這次稀疏 Transformer 研究的基礎(chǔ)源于17年Google Brain設(shè)計的一種新型的網(wǎng)絡(luò)結(jié)構(gòu)，即《Attention Is All You Need》中提出的Transformer。不使用 RNN、CNN 模型，只使用 attention 機制構(gòu)成的解碼編碼結(jié)構(gòu)就達到了很好的效果。為谷歌團隊于前年 6 月所提出的 NLP 經(jīng)典之作，同時被 2017 NIPS 接收(2017 錄取率約 20 %)，引用次數(shù)已達1566次，并還在持續(xù)增加中。

與所有深度神經(jīng)網(wǎng)絡(luò)一樣， Transformer包含排列在互連層中的神經(jīng)元（本質(zhì)用數(shù)學(xué)函數(shù)模擬生物神經(jīng)元），這些層從輸入數(shù)據(jù)傳入“信號”，并緩慢調(diào)整每個連接的權(quán)重。這是模型如何提取特征并學(xué)習(xí)以及如何進行預(yù)測的關(guān)鍵點。在 Transformer 中，每個輸出元素與每個輸入元素都相連，它們之間的權(quán)重是動態(tài)計算出來的，而過程稱為注意力。

上圖：用稀疏 Tansformer 重計算(recomputaing)注意力矩陣前后的內(nèi)存使用情況。

注意力機制通常需要為每個層和每個所謂的注意頭創(chuàng)建一個注意力矩陣，從計算的角度來看這不是特別有效。例如，包含24,000個樣本的2秒音頻片段或64低分辨率圖像的語料庫可能分別占用590GB和154GB內(nèi)存，而這遠遠高于用于訓(xùn)練AI模型的GPU的負載。

OpenAI的方法通過重新計算矩陣來最小化內(nèi)存使用量，上面描述的590GB的內(nèi)存需求在重新計算后僅需9.2GB；154GB可壓縮到2.4GB。于是，實際上最大的內(nèi)存開銷就變得與層數(shù)無關(guān)了，因此就允許所述模型進行“非常深”的深度來進行訓(xùn)練。

由于單個注意力矩陣對于龐大的數(shù)據(jù)量輸入并不是特別實用，因此本文提出的深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)了稀疏注意力模式，其中每個輸出僅從輸入子集計算權(quán)重，對于跨越較大子集的神經(jīng)元層，通過矩陣因子分解來轉(zhuǎn)換矩陣，他們認為這是保持神經(jīng)網(wǎng)絡(luò)層學(xué)習(xí)數(shù)據(jù)模式能力所必需的一步。

上圖：使用稀疏Transformer生成圖像

通常，實現(xiàn)稀疏注意力需要將查詢和關(guān)鍵矩陣進行“切片”，因此為了簡化實驗，OpenAI 實現(xiàn)了一組塊稀疏核，這些核在 GPU 上高效地執(zhí)行這些操作。另外，OpenAI開源了這些內(nèi)核，并在Github上提供示例稀疏注意函數(shù)。

https://github.com/openai/sparse_attention

根據(jù)OpenAI的博客介紹到，即使經(jīng)過改進，自回歸序列生成對于非常高分辨率的圖像或視頻來說仍然是不切實際的。不過，提出的優(yōu)化注意力操作可能是一次有益的探索，可以和其他（如多尺度方法）方法相結(jié)合來對高維數(shù)據(jù)進行建模。