OpenAI研究人員日前發布了一個工具庫，該工具庫可以幫助研究人員在圖形處理器（graphics-processor-unit，GPU）上建立更快、更高效、占內存更少的神經網絡。

OpenAI研究人員日前發布了一個工具庫，可以幫助研究人員在圖形處理器上建立更快、更高效、占內存更少的神經網絡。神經網絡由多層相連的節點構成。這類網絡的架構根據數據和應用變化很多，但是所有模型都受到它們在圖形處理器上運行方式的限制。

以更少的計算能力訓練更大模型的一種辦法是引入稀疏矩陣。如果一個矩陣里面有很多零，那就視為稀疏矩陣。陣列中的空元素可以在矩陣乘法中壓縮和跳過，就在圖形處理器中占用的內存更少。進行運算的計算成本與矩陣中非零條目的數量成比例,有了稀疏矩陣就意味著節省了多的計算能力用于構建更廣或更深的網絡，能訓練更高效，進行推斷的速度可提高十倍。

研究人員指出，英偉達并不支持塊稀疏模型。所以，OpenAI的團隊決定開發核——將軟件匯集在硬件上運行的微程序，優化用于為更大的研究圈構建塊稀疏網絡。

伊隆·馬斯克（Elon Musk）的人工智能研究部門的研究人員內部使用這種程序訓練長的短時記憶網絡，對亞馬遜網（Amazon）和互聯網電影資料庫（IMDB）的評論文本進行情感分析。

“我們的稀疏模型將互聯網電影資料庫數據集文本水平的藝術狀態誤差從5.91%降低到5.01%。從我們以往的結果來看，這個提高很有前景，因為之前最好的結果也只是在更短句子水平的數據集運算。”OpenAI在博文中表示。

核心程序在英偉達的統一計算設備架構(CUDA)運算平臺編寫，OpenAI最近只開發了TensorFlow的服務運行，所以在不同框架下工作的研究人員要編寫自己的服務運行,它也只支持英偉達圖形處理器。OpenAI的技術人員表示：這確實可以擴展到支持小型塊矩陣乘法的其他架構，包含了我知道的大多數架構，但是谷歌的TPU2不在其中。雖然結果很有前景，“但是由于這些核程序仍然很新，我們還沒有確定它們能在何時何處幫助“神經網絡架構”。實驗中，我們提供了一些情景，它能幫助向模型增加稀疏。我們鼓勵研究圈幫助進一步探索這個領域。”該研究人員表示。

英偉達知道了這項工作，正在等著代碼發布，以便為其提供更廣的支持，這名技術人員補充說。OpenAI的工作與麻省理工學院研究人員開發的軟件Taco相似，后者產生了自動處理稀疏矩陣所需的代碼。