隨著AI功能逐漸向邊緣端發展，它們將推動更多的AI應用，而且這些應用將越來越需要更強大的分析能力和智能，以便讓系統在本地即可做出操作決策，無論是部分還是完全自主的，就像在自動駕駛汽車中一樣。

機器學習有兩個基本階段：訓練和推理。人工神經網絡，旨在模仿大腦的工作方式，首先要面對大量的已知數據（例如狗和貓的圖片），這樣才能學會識別每個物體的樣子以及它們的不同之處。然后，經過訓練的神經網絡或模型就可以利用所學到的知識，對呈現在面前的新數據進行推理以推斷出新的事物，比如，確定一個圖像是狗還是貓。

目前大多數訓練都是在數據中心進行的，但也有少數是在邊緣端進行。像谷歌、Facebook、亞馬遜、蘋果和微軟這樣的大公司都擁有海量的用戶數據，因此可以為他們的服務器農場提供足夠多的數據，進行工業規模的AI訓練，以便改進其算法。訓練階段需要非常快的處理器，例如GPU或Google TPU（張量處理器）。

邊緣設備收集到數據（例如建筑物圖片或面部照片）后，將其傳送到推理引擎進行分類時，就會發生推理。基于云端的AI因為其固有的延遲缺點，對許多應用來說是不可接受的。例如，自動駕駛汽車需要對其看到的對象做出實時決策，對基于云端的AI架構來說，這是不可能實現的。

隨著AI功能逐漸向邊緣端發展，它們將推動更多的AI應用，而且這些應用將越來越需要更強大的分析能力和智能，以便讓系統在本地即可做出操作決策，無論是部分還是完全自主的，就像在自動駕駛汽車中一樣。

傳統的CPU不是很擅長這類任務，而且高端GPU耗能很大且價格昂貴。邊緣端推理就要求更便宜、功率更低的芯片，可快速通過神經網絡來識別一個動物，識別一張臉，鎖定一個腫瘤，或將德語翻譯成英語。

如今，有超過30家公司正在研發專用的AI硬件，以用于智能手機、平板電腦和其他邊緣設備中，來提高完成這些專業計算任務的效率。

據市場分析預測，從2017到2021年，全球AI芯片市場將以高達54%的年復合增長率而增長。這一增長的關鍵驅動因素就在于能夠滿足機器學習要求的強大硬件性能。

消除存儲器瓶頸

所有AI處理器都依賴于數據集，即代表“學過的”對象類別（比如圖像和聲音等）的模型，來識別對象。每個對象的識別和分類都需要多次訪問內存。當今工程師面臨的最大挑戰是如何克服現有架構中的內存訪問速度和功耗瓶頸，以獲得更快的數據訪問，同時降低數據存取的能源成本。

通過盡可能靠近AI處理器內核來存放訓練數據，可以獲得最快的速度和最大能效。但是，目前的設計所采用的存儲架構都是幾年前還沒有其他實用解決方案時創建的，仍然是快速但小容量的嵌入式SRAM與大容量但較慢的外部DRAM的傳統組合。當訓練模型以這種方式存儲時，嵌入式SRAM、外部DRAM和神經網絡之間頻繁和大規模的數據交換會增加能耗及傳輸延遲。此外，SRAM和DRAM都是易失性存儲器，限制了在待機狀態實現節能的能力。

圖1：存儲器位于AI架構的中心。

利用高密度、高速和低功耗的非易失性存儲器將整個訓練模型直接存儲在AI處理器裸片上，這樣就可以實現更高的能效和速度。通過啟用以存儲器為中心的新架構，整個訓練模型或知識庫就可以放在芯片上，直接連接到神經網絡，這樣就有潛力實現大規模節能和性能大幅提升，從而大大延長電池壽命并提供更好的用戶體驗。今天，已經有幾種新一代存儲器技術正在競相實現這一目標。

ReRAM的潛力

針對AI應用的理想非易失性嵌入式存儲器應該具備如下特點：容易制造，易于集成到熟知的CMOS工藝的后端，可輕松擴展到高級節點，可以大批量供應，并且能夠滿足這些應用對能耗和速度的要求。

電阻式RAM（ReRAM）比磁性RAM（MRAM）或相變存儲器（PCM）方案具有更強的可擴展性能，這在考慮14、12甚至7nm晶圓工藝時是一個重要的因素。其他技術都要求比ReRAM更復雜和昂貴的制造工藝，而且還更耗能。

圖2：ReRAM可以填補存儲器技術的空白。

例如，Crossbar公司的ReRAM納米絲技術可以在不影響性能的情況下縮小到10nm以下。ReRAM基于簡單的器件結構，采用適合CMOS工藝的材料和標準制造流程，可在現有CMOS晶圓廠生產。由于它是一種低溫、后端工藝集成，因此可以在CMOS邏輯晶圓上集成多層ReRAM陣列，以構建3D ReRAM存儲空間。

AI需要最佳的每瓦性能，尤其對于小功率的邊緣設備。ReRAM的能效可達到DRAM的五倍——每納焦高達1,000位讀取——同時表現出比DRAM更好的整體讀取性能，高達12.8GB/s，而隨機延遲小于20ns。

以內存為中心的架構

科學家們一直在探索各種新穎的大腦啟發思維范式，試圖通過模仿中樞神經系統的神經元和突觸交互的方式來實現更高的能效。基于ReRAM技術的人工神經突觸是一種非常有前途的方法，可用于在神經形態結構中實現這些高密度和可縮放的突觸陣列。通過在邊緣端啟用AI，ReRAM有可能在當前和全新的AI探索中發揮重要作用。