已完本玄幻小说排行榜,遮天辰东小说笔趣阁,有声小说下载

半導體技術、算法和數據科學的持續創新使得在越來越多的邊緣設備中融入一定程度的人工智能推理功能成為可能。今天，我們在計算機視覺應用中看到了它，例如從手機和筆記本電腦到安全攝像頭的產品上的物體識別、面部識別和圖像分類。在工業系統中，推理可以實現預測性設備維護，并允許機器人獨立執行任務。對于物聯網和智能家居產品，人工智能推理可以實時監控和響應各種傳感器輸入。

目前支持AI推理的最低成本處理解決方案是用于物聯網系統的現成單芯片微控制器。這種芯片將通用CPU、SRAM和IO功能與非易失性存儲器（NVM）相結合。然而，這些芯片在CPU上運行的軟件中實現了AI算法，這些算法只能提供適度的性能，并且僅適用于基本推理。擴展單芯片解決方案以提供更高性能的推理對設計人員來說是一個挑戰。

如今，有望為要求苛刻的推理算法提供多個 Teraflops 性能的解決方案必須使用專用的 AI 加速硬件。為了在實現所需性能的同時將功耗降至最低，它們必須采用領先的工藝制造。事實上，如今市場上有許多片上系統（SoC）采用先進的工藝幾何形狀開發的專用 AI 加速硬件，效率相當高。

但是，這些通常是雙芯片解決方案，其中AI計算引擎采用高級工藝（通常為22nm或更低）實現，NVM設備采用較舊的工藝技術。這是因為嵌入式閃存在 40nm 以下無法很好地擴展;在28nm時，成本對于大多數應用來說變得令人望而卻步，因此在28nm時不存在嵌入式閃存。這意味著無法將閃存和高性能推理引擎集成到單個 SoC 中。

對于成本次于性能的應用，這種雙芯片解決方案可能是可行的（想想像自動駕駛汽車這樣的產品，它們需要存儲在固態硬盤［SSD］中并通過DRAM運行的大型AI模型）。然而，對于低功耗邊緣AI產品，雙芯片解決方案的成本可能令人望而卻步。在雙芯片解決方案中，還需要連續從外部存儲器獲取權重，從而導致延遲和功耗增加。此外，雙芯片解決方案存在潛在的安全風險，因為通過外部總線讀取或修改NVM更有可能破解系統。

低成本、低功耗系統的“圣杯”是將加速器、NVM、SRAM 和 IO 組合在單個 SoC 上的單芯片（SoC 或 MCU）。從資源的角度來看，大多數小型低功耗物聯網和其他AI邊緣應用實際上并不需要雙芯片解決方案。在這些應用中，AI 模型可以足夠小，以適應 SoC 的內部 NVM。只有閃存有限的可擴展性才是挑戰。

單芯片解決方案不僅可以節省成本;這將有可能實現更高的性能和更低的功耗，這既是因為存儲器和執行單元之間的帶寬更高，也是因為不需要跨芯片邊界獲取權重。而且，由于這些應用程序中的AI模型相對較小并且更新頻率不高，因此片上NVM不僅可以用于代碼存儲的傳統NVM任務;它還可用于保存AI權重和CPU固件。

如今，AI權重和CPU固件是從片上SRAM讀取的。這種方法有幾個缺點。首先，將權重存儲在SRAM中意味著需要比其他方式更大的SRAM陣列。這增加了成本，因為SRAM本身就很昂貴，而且還增加了整體芯片尺寸，導致進一步的成本。此外，由于SRAM是一種易失性存儲器技術，因此在啟動時仍需要從外部閃存加載代碼。沒有即時啟動。

利用 ReRAM 實現單芯片解決方案

電阻式 RAM（ReRAM 或 RRAM）是一種創新的 NVM 技術，可實現用于邊緣 AI 推理的低成本、低功耗單芯片解決方案的愿景。ReRAM可以與芯片的其余部分一起擴展到高級工藝節點，因此它可以在與AI引擎相同的高級工藝上實現。

ReRAM可用于取代大型片上SRAM，以存儲AI權重和CPU固件。由于該技術是非易失性的，因此無需在啟動時等待從外部 NVM 加載 AI 模型。它比SRAM密度大得多，這使得它的每比特成本低于SRAM，因此可以在片上集成更多的存儲器，以支持更大的神經網絡，而芯片尺寸和成本相同。雖然數據存儲仍然需要片上SRAM，但陣列將更小，整體解決方案更具成本效益。