過去兩年，隨著AI的興起，還有有志于做人工智能芯片的企業開始在自有的CPU中嵌入類似寒武紀等品牌的NPU，或者如華為這樣自研NPU。蜂擁而起的AI造芯潮使得很多人認為在這個新興的AI市場，Arm已經喪失了先機，甚至有激進者認為Arm在這個即將爆發的人工智能市場將毫無建樹。

但在2018年二月公布代號為Project Trillium的機器學習計劃，2019年10月發布包括Ethos N77/N57/N37，并于日前發布全新的Ethos U55 NPU之后，這家IP巨頭的AI布局開始逐漸浮出水面。

在談Arm的AI芯片布局之前，我們先來了解一下Arm以及當前的AI芯片現狀。

AI時代錯失先機

這家在英國成立，最終被軟銀巨額收購的芯片公司是IP領域的絕對龍頭。

如果統計處理器市場，特別是嵌入式處理器，Arm的IP是當中毫無疑問的大贏家。以大家熟悉的智能手機市場為例，無論是國際知名的蘋果和三星，還是國內的華為、小米，他們使用的處理器無一例外都是基于Arm-Cortex-A系列IP設計。

再看嵌入式MCU，因為ST、NXP和瑞薩的力拱，以及一眾本土廠商的加入，Arm MCU的市場在過去多年里也節節攀升。關于Arm MCU的份額，并不能找到相關數據，但從Arm公司2017年的一份PPT中我們可以看到，物聯網設備中，有90%的控制器都是基于Arm產品設計的，微控制器市場，Arm的份額也高達20%。如果統計整個帶有處理器的芯片，則使用Arm相關IP的產品占比達到39%。

Arm在不同市場的份額和機會（source：Arm）此外，Arm還有GPU和DPU等一系列IP在市場上表現不錯，這也幫助Arm獲得了不錯的市場份額。

據IP Nest的統計數據顯示，整個IP市場2018年的總值為36.02億美元，當中雖然Arm的份額連續第三年下滑，但是他們的占有率還是高達44.7%，遙遙領先于第二位。IP Nest在報告中還談到，高端產品的授權轉向了架構授權，而最低端的處理器則開始擁抱RISC-V。在2018年的IP市場里，還有一個值得關注的點，那就是機器學習和其他專用架構產品的興起。

但在AI發展的前幾年，Arm在這方面是缺失的。

2018年的IP供應商排名回看過去幾年的AI芯片發展，云端市場是GPU、ASIC和FPGA這些大規模芯片的自留地，這是大部分的芯片廠商所無法設計的，但在終端的推理市場，則百花盛開，百家爭鳴。有廠商一開始就通過自研去步入這個領域（如蘋果），在MCU市場，ST也推出了代號為Orlando Project的專用卷積神經網絡加速器；有廠商則依靠第三方IP去進攻這個市場。這就催生了寒武紀和耐能一些新興的NPU IP供應商，也讓一些老牌廠商的產品在AI加速器這個市場尋找了新的機遇，如CEVA、Cadence（Tensilica）和Verisilicon就是當中的代表。

根據ABIRe-search預測，2024年，終端AI芯片市場規模將增長至710億美元，2019年至2024年間的年復合增長率將達31%。考慮到AIoT市場的潛力，當中必然有相當大一部分營收來自于Arm MCU供應商。那就意味著如果Arm握不住這個市場，他們將會錯失一大塊蛋糕。甚至有可能在一些集成了RISC-V 與加速器的MCU的倒逼下，連本身領先的Cortex-M MCU城池也失守。

為此，Arm加速AI部署刻不容緩，這就促使Arm在昨日放了個大招。

投下NPU重磅炸彈

其實Arm NPU并不是什么新鮮事物。在文章開頭我們已經說到，Arm在去年就推出了其Ethos N77/N57/N37系列NPU。Arm的這個家族的NPU是瞄準手機、AR/VR和智能監控等市場。

但很顯然，Arm的NPU在這些市場幾無勝算。

Arm Ethos N77/N57/N37家族首先看手機市場，盤點現在的手機處理器廠商華為、高通、蘋果、三星、MTK和展銳，除了展銳授權了Imagination的AI加速器之外之外，其他所有的廠商都是使用的自研NPU或者使用異構的硬件來做AI加速，當中的華為和MTK等NPU忠實玩家甚至都已經將其AI加速器推進到第三代。在這個發展過程中，他們也同步發展了其AI軟件和生態，這就讓他們沒有任何理由轉向Arm的加速器。上圖的其他市場大多也有這種境況。

但在未來巨大的市場當中，還有一個目前還沒有被大幅挖掘的金礦，那就是低功耗的終端應用。這也是Arm Ethos U55所瞄準的目標。而據行業的專家告訴半導體行業觀察記者，AI加速器能否應用到超低功耗的物聯網市場，首先要關注的一點就是它的功耗表現，這也是Arm在致力于解決的。

日前發布的Ethos U55 和與之搭配的Cortex-M55則是Arm在這個市場的小試牛刀。

Arm為終端AI帶來的全新方案Arm的官方表示，新增的Cortex-M55是Arm歷來AI能力最為強大的Cortex-M處理器，也是首款基于Armv8.1-M架構、內建Arm Helium向量處理技術的處理器，它可以大幅提升DSP與ML的性能，同時更省電。Arm同時指出，在這個新的處理器上，客戶可以使用Arm Custom Instructions （Arm自定義指令集）延伸處理器的能力，對特定工作負載進行優化。來到Ethos-U55，這是一個可從32個MAC擴展到256個MAC的micro NPU，在與Cortex-M55耦合之后，能夠為微控制器帶來480倍的機器學習性能飛躍。

Arm方面還強調，這個全新搭配還得到了Cortex-M軟件開發工具鏈的支持，這就使得其針對傳統DSP與ML等工作負載，有了一致的開發流程；同時從TensorFlow Lite Micro開始，能針對先進機器學習框架進行特定的整合與優化，確保開發人員擁有無縫的開發體驗，并能夠在任何一種Cortex-M與Ethos-U55的配置上，獲取最佳性能。

Arm首款microNPU業內專家也告訴半導體行業觀察記者，考慮到Arm當前的地位和名聲，這套方案帶給市場的影響是顯而易見的。Cortex-M方面自不用多說，這是他們在嵌入式市場安身立命的重要武器。而來到NPU方面，也同樣亮點不少。一方面，這是一個帶兩級SRAM，L2 SRAM可擴展到數MB的產品；另一方面，Ethos-U55自帶DMA+control unit， 可完成異步數據流管理；第三，Ethos-U55的Weight Decoder可將神經網絡中的weights進行壓縮，提高帶寬；第四，這個NPU還有針對element wise運算的特殊加速單元，能幫助矩陣運算。

“還有一點，Arm CMSIS-NN所積聚的生態，也會是一個重要的X因素”，業內專家強調。

據介紹，所謂CMSIS的全稱是Cortex Microcontroller Software Interface Standard （Cortex微處理器軟件接口標準），這是Arm為了解決微處理器生態中軟件無法兼容的問題而推出的。而CMSIS-NN則是Arm為了緩解微處理器神經網絡相關軟件優化壓力而推出的CMSIS新成員。

CMSIS-NN的框架圖行業專家表示，在Arm剛推出這個庫的時候，彼時的Arm Cortex-M還不能跑出讓人眼前一亮的結果。但因為Arm強大的號召力，即使很多廠商并不知道它的真正用途，但都紛紛將其融入了其OS和生態里。

而在上述的M55和U55出來以后，Arm的計劃似乎也明朗了起來。

勝負未知

也許Arm的想法是這樣的——我們有足夠多的MCU客戶，有足夠多終端用戶，過去的十幾年里，我們也構建了無可比擬的生態，只要我們把這套工具磨利，就能讓大家投奔我門下，讓Arm在嵌入式AI領域重現Cortex-A和Cortex-M時代的輝煌。

但市場已經不再是以前的市場。

我們可以看到，無論是Cortex-A所支持的AP或者是Cortex-M所驅動的MCU生態，他們所面對的都是相對單一的需求。換而言之打造一些通用化的方案就能通吃市場。但進入了當前的AIoT市場，市場需求千差萬別，定制化或者會更為一股重要的趨勢，這也是Arm Custom Instructions面世的原因之一。

更重要的是，Arm不但迎來了新的技術，還迎來了更強悍的競爭對手。

首先，以大家過去一兩年常談的RISC-V為例，因為其獨特的開源特性和成本優勢，很多分析人士都認為其可以在AIoT時代大展拳腳。而在最近，RISC-V的領先廠商SiFive也宣布，將攜手IP廠商CEVA，在CPU、DSP、AI處理器和軟件方面進行合作，幫助芯片企業開發出大批量面向智能家居、汽車、機器人、安保、增強現實、工業和物聯等一系列邊緣智能SoC。在官方新聞稿里，他們也強調了面向特定領域的超低功耗Edge AI處理器，這正是Arm新產品所聚焦的。

其次，Lattice這些小容量FPGA供應商，也無限看好這個市場。Lattice方面表示，基于他們的Lattice sensAI可以幫助OEM廠商為下一代毫瓦級智能設備賦予AI和ML功能。對于Arm陣型來說，這也是一個潛在的挑戰者。

第三，類似Greenwaves這些初創企業，也成為嵌入式AI市場的一個不確定因素。資料顯示，他們最新推出的GAP 9可提供41.6 GB /秒的峰值群集內存帶寬和高達50 GOPS的組合計算能力，而總功耗僅僅為50mW，再搭配其完整的工具，這也成為了嵌入式AI市場一股不可忽視的勢力。

第四，在Arm芯片陣型里，有一些大客戶在研發自己的加速器方案，如瑞薩的動態可配置處理器 （DRP） 技術就是當中一個代表。再搭配其SOTB制程來降低功耗，這就讓日本巨頭的嵌入式AI方案變得非常有競爭力。

最后，Arm的嵌入式AI方案是否真的能如他們所說，減輕了很多客戶的開發工作？這是一個值得推敲的問題。行業專家表示，在嵌入式AI這個領域，其實大家在軟件開發上面的難度差不多，迄今為止也沒有人能建立其一個很強大的生態。

而對于那些購買了Arm NPU IP的人，他們除了需要面對數據搬運的挑戰外，還要直面是否有完整的工具，能很好幫助他們完成模型訓練到片上移植的過程。最重要的一點，Arm的這些新IP授權費用怎么收？這也是一個重要考量點。但即使如此，Arm也邁開了嵌入式AI市場的一大步。

從分析師預測看來，AIoT是發展的必然趨勢，這也是一個多個陣營虎視眈眈，但誰都沒有把握穩贏的市場。作為一個擁用強大的生態合作伙伴的Arm，能否憑借新產品成為這個賽道的領跑者，尚待觀察。但對他們來說，這關鍵一戰的沖鋒號已經吹響。
責任編輯：tzh