? 從廣義上講，能運行AI算法的芯片都叫AI芯片。CPU、GPU、FPGA、NPU、ASIC都能執行AI算法，但在執行效率層面上有巨大的差異。CPU可以快速執行復雜的數學計算，但同時執行多項任務時，CPU性能開始下降，目前行業內基本確認CPU不適用于AI計算。

CPU+xPU的異構方案成為大算力場景標配，GPU為應用最廣泛的AI芯片。目前業內廣泛認同的AI芯片類型包括GPU、FPGA、NPU等。由于CPU負責對計算機的硬件資源進行控制調配，也要負責操作系統的運行，在現代計算系統中仍是不可或缺的。GPU、FPGA等芯片都是作為CPU的加速器而存在，因此目前主流的AI計算系統均為CPU+xPU的異構并行。CPU+GPU是目前最流行的異構計算系統，在HPC、圖形圖像處理以及AI訓練/推理等場景為主流選擇。IDC數據顯示，2021年中國AI芯片市場中，GPU市占率為89%。

NPU 在人工智能算法上具有較高的運行效率。為了適應某個特定領域中的常見的應用和算法而設計，通常稱之為“特定域架構（Domain Specific Architecture，DSA）”芯片，NPU（神經網絡處理器）屬于其中一種，常被設計用于神經網絡運算的加速。以華為手機 SoC 麒麟 970 為例，NPU 對圖像識別神經網絡的運算起到了顯著加速效果，使其圖像識別速度明顯優于同代競品的表現。

目前已量產的 NPU 或搭載 NPU 模塊的芯片眾多，其他知名的芯片包括谷歌 TPU、華為昇騰、特斯拉 FSD、特斯拉 Dojo 等。各家廠商在計算核心的設計上有其差異，例如谷歌 TPU 的脈動陣列，華為昇騰的達芬奇架構。

以谷歌 TPU 及計算核心結構脈動陣列為例，對比其相較于 CPU、GPU 的區別：

CPU 和 GPU 均具有通用性，但以頻繁的內存訪問導致資源消耗為代價。CPU 和 GPU 都是通用處理器，可以支持數百萬種不同的應用程序和軟件。對于 ALU 中的每一次計算，CPU、GPU 都需要訪問寄存器或緩存來讀取和存儲中間計算結果。由于數據存取的速度往往大大低于數據處理的速度，頻繁的內存訪問，限制了總吞吐量并消耗大量能源。

谷歌 TPU 并非通用處理器，而是將其設計為專門用于神經網絡工作負載的矩陣處理器。TPU 不能運行文字處理器、控制火箭引擎或執行銀行交易，但它們可以處理神經網絡的大量乘法和加法，速度極快，同時消耗更少的能量，占用更小的物理空間。TPU 內部設計了由乘法器和加法器構成的脈動陣列。在計算時，TPU 將內存中的參數加載到乘法器和加法器矩陣中，每次乘法執行時，結果將傳遞給下一個乘法器，同時進行求和。所以輸出將是數據和參數之間所有乘法結果的總和。在整個海量計算和數據傳遞過程中，完全不需要訪問內存。這就是為什么 TPU 可以在神經網絡計算上以低得多的功耗和更小的占用空間實現高計算吞吐量。

脈動陣列本質上是在硬件層面多次重用輸入數據，在消耗較小的內存帶寬的情況下實現較高的運算吞吐率。

脈動陣列結構簡單，實現成本低，但它靈活性較差，只適合特定運算。然而，AI 神經網絡需要大量卷積運算，卷積運算又通過矩陣乘加實現，正是脈動陣列所適合的特定運算類型。脈動陣列理論最早在 1982 年提出，自谷歌 2017 年首次將其應用于 AI 芯片 TPU 中，這項沉寂多年的技術重回大眾視野，多家公司也加入了脈動陣列行列，在自家加速硬件中集成了脈動陣列單元。

NPU 已經在 AI 運算加速領域獲得了廣泛應用。在數據中心獲得大規模應用的 NPU 案例即 TPU，已被谷歌用于構建數據中心的超級計算機，執行特定神經網絡的訓練任務。在用戶端，手機、汽車、智能安防攝像頭等設備開始搭載 AI 計算功能，通常是利用訓練好的神經網絡模型執行圖像處理等工作，此時 NPU 通用性差的劣勢被縮小，高算力、高能耗比的優勢被放大，因而得到了廣泛的應用。在終端設備中，NPU 常以模塊的形式包含在 SoC 內部，對 AI 運算進行加速，例如特斯拉自動駕駛芯片 FSD 均包含 NPU。

模型訓練需要規模化的算力芯片部署于智能服務器，CPU 不可或缺，但性能提升遭遇瓶頸，CPU+xPU 異構方案成為大算力場景標配。其中 GPU 并行計算優勢明顯，CPU+GPU 成為目前最流行的異構計算系統，而NPU 在特定場景下的性能、效率優勢明顯，推理端應用潛力巨大，隨著大模型多模態發展，硬件需求有望從GPU 擴展至周邊編解碼硬件。AI 加速芯片市場上，英偉達憑借其硬件產品性能的先進性和生態構建的完善性處于市場領導地位，在訓練、推理端均占據領先地位。根據 Liftr Insights 數據，2022 年數據中心AI 加速市場中，英偉達份額達82%。

編輯：黃飛