處理人工生成的文本數據一直是一項重要但具有挑戰性的任務，因為人類語言對于機器理解往往具有自然的魯棒性。

盡管如此，仍然有許多高效的 NLP 模型，例如 Google 的 BERT 和 Open AI 的 GPT2，它們的功能是通過高級處理和計算來理解這些數據。這些模型在搜索引擎中找到了它們的應用，因為搜索命令需要與相關的來源和頁面匹配，而與術語的性質無關。

麻省理工學院的 SpAtten 學習系統通過其優化的軟件硬件設計專注于高效的搜索預測，從而以更少的計算能力進行高級自然語言處理。因此，SpAtten 系統的架構取代了高端 CPU 和 GPU 的組合，它們共同輸出類似于 MIT 的 SpAtten 學習系統的效率。

SpAtten 學習系統中的注意力機制

當數據量大時，注意力機制在自然語言處理中起著至關重要的作用。特別是在文本數據包含對建模可能不是很重要的各種特征的情況下。這可能會浪費系統的整體計算。因此，神經網絡輸入層中的注意力機制從文本數據中動態提取相關特征，可以優化算法在廣泛數據集上的處理。

SpAtten 使用注意力機制算法去除在 NLP 方面權重較小的單詞。因此，它有選擇地從輸入的文本數據中挑選出相關的關鍵詞。這避免了對不必要的文本數據的實時處理，從而節省了系統的整體計算時間。然而，這種處理提供了效率和準確性，但它的代價是設計良好的硬件與這種復雜的算法兼容。

因此，麻省理工學院一直致力于其新 SpAtten 學習系統的軟件和硬件方面。設計的硬件致力于優化這些復雜的算法，以減少處理和內存訪問。這些技術在用于文本數據時克服了構建具有高效處理速度和能力的系統的挑戰。因此，硬件“以更少的計算能力實現了精簡的 NLP”。

SpAtten 架構的優化技術

循環和卷積神經網絡被認為是深度學習模型的理想選擇，但麻省理工學院關于“SpAtten： Efficient Sparse Attention Architecture with Cascade Token and Head Pruning”的研究論文讓我們注意到注意力機制可以比這些網絡表現更好，如前一部分所述。

該架構支持級聯修剪技術，該技術對令牌??和頭進行操作，而不是傳統方法中使用的權重。正如術語“剪枝”暗示移除令牌一樣，一旦從層中移除令牌/頭，那么它將永遠不會在后續層中被處理，因為它被永久“剪枝”或從系統中移除。這就是為什么優化數據的實時處理并且系統適應輸入實例的原因。

該系統使用漸進式量化技術來減少 DRAM 訪問。僅當 MSB 不足以執行量化時，該技術才對 LSB 起作用。然而，這是以計算為代價的，但內存訪問顯著減少。因此，它使注意力層動態和自適應以優化 DRAM 訪問。該系統還帶有內置的 SRAM，用于存儲可在眾多查詢中重復使用的已刪除令牌。

通用的 AI 加速器、GPU、TPU 和 NPU 即使支持高計算能力也無法實現這些技術，因為這些組件只能增強現有的傳統神經網絡，包括 CNN 和 RNN。因此，麻省理工學院設計了專門的硬件來實現這些優化算法。

SpAtten 學習系統的分析

SpAtten 硬件架構的模擬揭示了其與競爭處理器相比的高處理能力。麻省理工學院表示：“SpAtten 的運行速度比第二好的競爭對手（TITAN Xp GPU）快 100 倍以上。此外，SpAtten 的能源效率是其競爭對手的 1000 多倍，這表明 SpAtten 可以幫助減少 NLP 的大量電力需求。”

Google 的 BERT 和 Open AI 的 GPT2 模型也使用類似的注意力機制，但是復雜的判別和生成技術會導致延遲和延遲。MIT 的 SpAtten 是 NLP 算法和專用于注意力機制的專用硬件的組合。這種組合控制了標準 CPU 在 GPT-2 或 BERT 上運行時消耗的高功耗。

審核編輯：郭婷