（電子發燒友網報道 文/章鷹）11月5日，在深圳會展中心7號館內，炬芯科技董事長兼CEO周正宇博士帶來了《端側AI芯片的未來》演講，他對端側AI趨勢進行精彩的分析，并且宣布炬芯科技推出第一代MMSCIM端側AI音頻芯片。

2028年中小型模型端側AI市場迅速增長，技術上有三大挑戰

“近年來，端側AI在技術和應用方面取得顯著進步。相比較云端AI，端側AI具備低延遲、低功耗、不占網絡帶寬、隱私保護和個性化五大優勢。” 炬芯科技董事長兼CEO周正宇表示。

在AI時代，我們特別關注中小型模型在側ML機器學習的應用。根據市場調研公司ABI Research預測，2028年，全球中小型模型端側ML設備銷量將達到40億臺，年復合增長率達到32%。2030年，全球75%的中小模型端側機器學習基于專用硬件。今天，更大的挑戰是在每毫瓦的功耗下打造算力。

中小型模型端側機器學習的應用，主要集中在音頻、語音、視覺和運動健康監測和預測性維護。這種電池驅動的AI裝置，好像是AI系統的耳朵和眼睛，云計算是AI的大腦。我們主要關注的1瓦功耗以下的AI裝置，或者100毫瓦以下的AI裝置。中小型模型端側機器學習的覆蓋范圍，包括存儲空間小于10MB Flash/ROM/RAM，功耗小于10mW為目標，模型大小覆蓋0.01MB到10MB模型參數，算力在0.01到3TOPS之間。

電池供電中小型模型端側機器學習的應用挑戰有哪些？周正宇分享說三大挑戰：一是電池驅動IoT裝置的超低功耗需求；二、低成本預期，需要使用盡量小存儲空間；三、端側AI裝置多樣化，快速變化的技術、新算法，新模型的不斷涌現。當下很多廠商在端側采用CPU+GPU方案，優點是具備很好的彈性，問題是它來自軟件驅動，無論在功耗、能效比以及算力上都無法達到現在端側算力的需求。

他以TWS耳機和手表為例，一個TWS耳機產品需要在4.3V鋰電池下，需要功耗平均為10mW左右，0.1TOPS到10TOPS之間需要能效比是10TOPS/W到100TOPS/W。大多數CPU、DSP在22nm制程芯片都在0.1TOPS/W左右。周正宇表示，如何在每個毫瓦上打造TOPS算力是最大的挑戰。

為了尋求大算力，英偉達采用了HBM和3D封裝的AI芯片—近存計算，成本極高，英偉達芯片達到百美元，端側AI芯片適合在幾美元或1美元以下。端側AI芯片采用存內計算的架構，采用高性價比的路徑，適合采用單芯片的方式來實現。

炬芯科技推出新一代MMSCIM端側AI音頻芯片，能效比和算力大幅度提升

周正宇博士指出，端側AI不需要超大算力，只需要0.1TOPS到3TOPS之間的算力，所以短期SRAM成為低功耗端側AI的最佳技術路徑。長期來講SRAM和RRAM混合技術架構可能為最佳端側AI技術路徑和架構。

在低功耗下打造音頻產品算力的應用里，基于SRAM的CIM具有非常顯著的技術優勢包括：1、能效比高；2、讀寫次數沒有限制；3、工藝成熟，可以大規模量產。

周正宇宣布，炬芯科技推出新一代MMSCIM端側AI音頻芯片，基于CPU+DSP+NPU三核異構的核心架構，包括ATS323X、ATS286X和ATS362X。AI算力達到0.1TOPS，同時有6.4TOPS/W的能效比。

基于該架構，高端藍牙音箱SoC芯片ATS286X和低延遲高音質無線音頻SoC芯片ATS323X已流片，向客戶送樣。周正宇總結說，通過導入存內計算以及NPU和DSP、CPU三核異構的架構，讓端側音頻AI芯片提供了幾十倍的能效比提升和十幾倍的算力提升。

本文由電子發燒友原創，轉載請注明以上來源。微信號zy1052625525。需入群交流，請添加微信elecfans999，投稿爆料采訪需求，請發郵箱[email protected]。