用模擬電路在存儲器中進行神經網絡處理將有助于節能。

機器學習和人工智能（AI）已經深入到日常生活和工作中，我們可能已經忘記與機器的交互曾經是什么樣子。以前，我們通過數字鍵盤、電子表格或編程語言求得的都是精確的定量答案，比如“10的平方根是多少？”“按照這種利率，未來五年我的收益是多少？”等。 但在過去的10年里，我們已經習慣了機器回答那些只向他人提出過的模糊定性問題，比如“我會喜歡這部電影嗎？”“今天的交通狀況如何？”“這筆交易是否存在欺詐？”等。 深度神經網絡（DNN）實現了這些新功能。深度神經網絡是一種通過正確答案訓練并學習如何對類似的新問題做出響應的系統，根據國際數據公司（IDC）的統計數據，深度神經網絡是推動全球人工智能硬件、軟件和服務市場快速增長的主要力量，去年該市場的估值為3275億美元，預計到2024年將超過5000億美元。 首先推動這場革命的是卷積神經網絡，它提供了非凡的圖像識別能力。在過去10年里，用于自然語言處理、語音識別、強化學習和推薦系統的深度神經網絡新模型實現了許多其他的商業應用。 但不僅是應用數量在增長，網絡規模和所需的數據也在增長。深度神經網絡具有內在可擴展性——隨著它們變大，訓練數據增多，它們提供的答案也更加可靠。但這樣做是有代價的。2010年至2018年間，訓練最佳深度神經網絡模型所需的計算增長了10億倍，這意味著能耗大幅增加。雖然每次對已受過訓練的深度神經網絡模型使用新數據（稱為“推理”）比訓練深度神經網絡模型本身所需要的計算量少得多，消耗的能量也少很多，但這種推理計算的數量非常大而且在不斷增加。人工智能如果要繼續改變人們的生活，就必須提高效率。 我們認為，可能需要從數字計算轉變到模擬計算。利用非易失性存儲設備和電氣工程的兩個基本物理定律，使用簡單的電路就可以實現深度學習最基本的計算，而且只需要千萬億分之一焦耳的能量。在這項技術能夠應用于復雜的人工智能之前，還有大量的工程工作要做，但我們已經取得了很大的進步，并規劃出了一條前進的道路。

對大多數計算機來說，在外部存儲器和計算資源（如CPU和GPU）之間移動大量數據耗費的時間成本和能源成本最高。這就是被稱為“馮?諾依曼瓶頸”的存儲與邏輯分離的經典計算機結構。要大大減少深度學習所需要的能量，有一種方法是避免移動數據，即在存儲數據的地方進行計算。

深度神經網絡由多層人工神經元組成。每一層神經元根據神經元的“激活值”和連接下一層神經元的突觸“權值”這兩個值驅動下一層神經元的輸出。 大多數深度神經網絡計算由向量矩陣乘法（VMM）運算組成，即向量（一維數字數組）與二維數組相乘。在電路級，這些運算為乘積累加運算（MAC）。對于每個下游神經元，所有上游激活值必須與相應的權值相乘，然后將這些乘積相加。 大多數有用的神經網絡太大，無法存放在處理器內存中，計算每一層網絡時，都必須從外部存儲器導入權值，每一次計算都要受到馮?諾依曼瓶頸的束縛。這使得數字計算硬件更支持更少從存儲器中移動權值并能積極重復使用這些權值的深度神經網絡。

2014年，我們在IBM研究實驗室提出了一種全新的深度神經網絡硬件節能方式。我們和其他研究人員一直在研究非易失性存儲器（NVM）設備的交錯陣列。交錯陣列是一種將器件（例如存儲單元）構建在兩組正交水平導體（即所謂的“位線”和“字線”）之間的垂直空間的結構。我們意識到，只要稍作修改，我們的存儲系統將非常適合深度神經網絡計算，尤其是那些現有權值重復使用效果不佳的計算。我們將這一機遇稱為“模擬人工智能”，其他從事類似工作的研究人員也將其稱為“存儲計算一體化”（processing-in-memory）或“存內計算”（compute-in-memory）等。

非易失性存儲器有幾種不同的類型，每種類型的數據存儲方式不盡相同，但都通過測量設備的電阻（或者電阻倒數，即電導）從這些設備中讀出數據。磁阻式隨機存取存儲器（MRAM）使用的是電子自旋，而閃存使用的是陷阱電荷。電阻式隨機存取存儲器（RRAM）設備通過在微小的金屬-絕緣體-金屬器件內產生并隨后中斷導電細絲來存儲數據。相變存儲器（PCM）利用熱量在高導電晶相和低導電非晶相之間引發快速可逆的轉換。 閃存、電阻式隨機存取存儲器和相變存儲器能夠提供傳統數字數據存儲所需的低電阻和高電阻狀態，以及模擬人工智能所需的中間電阻。但在高性能邏輯中，只有隨機存取存儲器和相變存儲器能夠放置在硅晶體管上方布線的交錯陣列中，將存儲和邏輯之間的距離縮到最短。 我們將這些非易失性存儲器存儲單元組織在一個二維陣列中，稱為“瓦片”（tile）。瓦片上有控制非易失性存儲器設備讀寫的晶體管或其他器件。對于存儲應用而言，讀數電壓尋址到一行（字線），會產生與非易失性存儲器電導成正比的電流，在陣列邊緣的列（位線）上可檢測到這些電流，從而讀出存儲的數據。 為了讓這樣一個瓦片成為深度神經網絡的一部分，每一行都需要用一個電壓持續驅動一段時間，形成一個上游神經元激活值的編碼。每一行的每個非易失性存儲器設備則用其電導系數形成一個突觸權值編碼。通過歐姆定律（在這種情況下表示為“電流等于電壓乘以電導”），產生的讀電流就是勵磁和權值的有效乘積。然后，根據基爾霍夫電流定律將每個位線上的各個電流相加。這些電流產生的電荷隨時間積聚在電容器上，產生乘積累加運算結果。

這些相同的模擬存內求和方法也可以使用閃存甚至是靜態隨機存儲器（SRAM）單元來執行。靜態隨機存儲器單元可以存儲多個數字位，但不能存儲模擬電導值。雖然我們不能將歐姆定律用于乘法那一步，但是我們可以使用一種方法獲取這些存儲設備的一位或兩位的動態范圍。然而，這種方法對噪聲非常敏感，因此我們在IBM一直堅持研究基于相變存儲器和電阻式隨機存取存儲器的模擬人工智能。

與電導不同，深度神經網絡權值和激活值可以為正，也可以為負。為了實現有正負之分的權值，我們使用了兩條電流路徑，一條向電容器添加電荷，另一條減去電荷。為了實現有正負之分的勵磁，我們允許每行設備根據需要轉換其連接路徑。 每列每執行一次乘積累加運算，瓦片會并行執行整個向量矩陣乘法。對于一個具有1024×1024權值的瓦片，意味著一次執行100萬次乘積累加運算。 在我們設計出來的系統中，我們預計所有這些計算只需32納秒。由于每個乘積累加運算執行的計算相當于兩次數字運算（一次乘法和一次加法），因此每32納秒執行100萬次模擬乘積累加運算代表著每秒65萬億次運算。 我們已制作出能夠完成這一壯舉的瓦片，每次運算僅用36毫微微焦耳能量（相當于每焦耳28萬億次運算）。而我們最新的瓦片設計將這一數字降到了10毫微微焦耳以下，其效率是商用硬件的100倍，比最新定制的數字加速器系統級能效高10倍，那些加速器為了能效甚至要犧牲精度。 對我們來說，提高每個瓦片的能效非常重要，因為一個完整的系統也會在其他任務上消耗能量，比如移動激活值和支持數字電路。

要使這種模擬人工智能方法真正取得成功，還有許多重要挑戰需要克服。首先，根據定義，深度神經網絡具有多層結構。要實現多層級聯，我們必須通過人工神經元的激活作用（一種非線性函數）處理向量矩陣乘法瓦片的輸出，并將其傳遞給下一個瓦片。非線性有可能通過模擬電路執行，并且以下一層所需的持續時間形式傳達結果，但除了向量矩陣乘法的簡單級聯之外，大多數網絡還需要其他運算。這意味著我們需要高效的模數轉換（ADC），以及和瓦片之間進行適量的并行數字計算。新穎、高效的數模轉換有助于避免這些電路對整體效率產生過多影響。最近，我們推出了一種基于相變存儲器的高性能瓦片，使用了一種新型模數轉換方法，可以幫助瓦片實現每瓦10萬億次以上的運算。

第二個挑戰與非易失性存儲器設備的特性有關，且更棘手。即使用相當低精度的數字描述它們的權值，數字深度神經網絡的準確性也已經得到了證明。CPU經常使用的32位浮點數對深度神經網絡是不必要的。使用8位浮點數甚至4位整數，深度神經網絡通常也能工作得很好，能耗也很低。這為模擬計算帶來了希望，只要我們能夠保持類似的精度即可。

鑒于電導精度的重要性，需要將表示模擬神經網絡中的權值的電導值慢慢地、仔細地寫入非易失性存儲設備。與傳統存儲器（如靜態隨機存取存儲器和電阻式隨機存取存儲器）相比，相變存儲器和電阻式隨機存取存儲器的編程速度較慢，幾個編程周期后會出現磨損。幸運的是，推理不需要經常重新編程權值。因此，模擬人工智能可以使用耗時的寫驗證技術來提高相變存儲器和電阻式隨機存取存儲器的編程精度，且不必擔心設備磨損。 這種提升是非常必要的，因為非易失性存儲器具有內在的編程噪聲。電阻式隨機存取存儲器的導電性取決于幾個原子形成細絲的運動；相變存儲器的導電性取決于多晶材料中晶粒的隨機形成。這兩種隨機性給數值的寫入、驗證和讀取帶來了挑戰。此外，在大多數非易失性存儲器中，電導會隨溫度和時間而變化。除此之外，還有相變存儲器中的非晶相結構漂移、電阻式隨機存取存儲器中的細絲松弛或閃存單元中捕獲的電荷泄漏等影響。

有幾種方式可以巧妙地解決這個問題。使用兩個電導對可以顯著改善權值編程問題。其中，一對用于保存大部分信號，而另一對用于糾正主對上的編程錯誤。由于噪聲在多個設備間平均，所以噪聲降低了。

我們最近對基于多相變存儲器的芯片測試了這種方法，每個權值使用一個和兩個電導對。我們用這種方法在多個深度神經網絡上證明了其具有卓越的準確性，甚至包括通常對權值編程錯誤很敏感的循環神經網絡。 不同的技術可以幫助改善讀數噪聲和漂移效應。但由于漂移是可預測的，也許最簡單的方法是在讀數過程中用與時間相關的增益來放大信號，這能夠抵消大部分誤差。另一種方法是開發同一技術，訓練深度神經網絡適應低精度數字推理。這些方法可調整神經網絡模型以匹配底層硬件的噪聲局限。 正如我們提到的，網絡正變得很龐大。在數字系統中，如果網絡與加速器不適配，你可以從外部存儲芯片給每層深度神經網絡導入權值。但是非易失性存儲器的寫入限制使得這一機制變得很糟糕。不過，可將多個模擬人工智能芯片組合在一起，將部分網絡的中間結果從一塊芯片傳遞到下一塊芯片。這種機制會帶來一些額外的通信延遲和能耗，但其代價遠遠小于本身移動權值。

到目前為止，我們只討論了推理，即將新數據作用于已經過訓練的神經網絡。但是，模擬人工智能還有幫助訓練深度神經網絡的其他機會。

深度神經網絡訓練使用的是反向傳播算法。它結合了成熟的正向推理運算和另外兩個重要步驟——誤差反向傳播和權值更新。誤差反向傳播就像反向運行推理一樣，由網絡的最后一層到第一層；權值更新將運行原始正向推理的信息與這些反向傳播誤差結合起來，調整網絡權值，使模型更加準確。 反向傳播步驟可以在瓦片上進行，但與推理的方式相反——按列施加電壓，按行積累電流。更新權值則是用正向推理的原始激活數據驅動行，同時使用反向傳播期間產生的誤差信號驅動列。 訓練涉及必須消除的眾多微小權值增減，但實現起來很困難，原因有兩個。首先回想一下，非易失性存儲器會因編程太多而產生損耗。其次，相同的電壓脈沖以相反極性施加給非易失性存儲器，存儲單元的電導變化量可能不同；它的反應是不對稱的。但是，對稱特性對于反向傳播產生精確網絡而言至關重要。由于訓練所需的電導變化幅度接近非易失性存儲器材料的固有隨機水平，這將變得更具挑戰性。 有幾種辦法可以幫助解決這方面的問題。例如，有許多方法可累積多個訓練案例的權值更新，然后在訓練期間定期將這些更新傳輸給非易失性存儲設備。我們在IBM開發了一種叫做“Tiki-Taka”的新算法，通過這種技術，成功使用高度不對稱的電阻式隨機存儲設備對深度神經網絡進行了訓練。最后，我們正在開發一種名為“電化學隨機存取存儲器”（ECRAM）的設備，它可以提供不僅對稱而且高度線性和漸進的電導更新。

模擬人工智能能否成功將取決于能否同時實現高密度、高吞吐量、低延遲和高能效。密度取決于非易失性存儲器集成到芯片晶體管上方布線的緊密程度。瓦片級別的能源效率將受到模數轉換電路的限制。

但是，即使這些因素得到改善，越來越多的瓦片連接在一起，阿姆達爾定律（關于并行計算局限性的論點）也將對系統能效優化提出新的挑戰。先前不是特別重要的內容，如瓦片之間所需的數據通信和剩余的數字計算，將產生越來越高的能耗預算，導致瓦片本身的峰值能源效率與整個模擬人工智能系統的持續能源效率產生差距。當然，無論模擬還是數字人工智能，每一個人工智能加速器最終都將面臨這個問題。

前進的道路必然與數字人工智能加速器不同。數字的方法可降低精度，直到準確性衰降。但是，模擬人工智能必須首先提高內部模擬模塊的信噪比（SNR），直到足以證明其與數字系統的準確性相當。信噪比提高以后，可改進提高密度和能源效率。

這些令人振奮的問題都需要解決，而解決這些問題需要材料科學家、設備專家、電路設計師、系統架構師和深度神經網絡專家的共同努力。人們對更節能的人工智能加速器有強烈且持續的需求，同時又沒有其他有吸引力的替代方式來滿足這一需求。考慮到各種各樣的潛在存儲設備和實現途徑，某種程度的模擬計算很可能會進入未來的人工智能加速器。

審核編輯 ：李倩