電子發燒友網報道（文/吳子鵬）2024年世界人工智能大會（以下簡稱：WAIC 2024）依然是一場“百模大戰”，不過有一些很明顯的變化是：新推出的AI大模型更加注重用戶體驗；邊側和端側承載AI大模型的方案越來越多。也就是說，AI大模型不僅完成了從“能用”到“好用”的蛻變，也從高高在上的云端，走到更靠近應用場景的邊側和端側，這給作為方案核心的推理芯片提出了非常高的要求。

在愛芯元智于WAIC 2024舉辦的“芯領未來丨智能芯片及多模態大模型論壇”上，愛芯元智創始人、董事長仇肖莘在主旨演講中表示，大模型真正大規模落地需要云邊端三級緊密結合，而邊側和端側結合的關鍵在于高能效的邊端AI芯片。 仇肖莘指出，目前基于愛芯元智AI芯片已經完成非常多款AI大模型的適配，能夠支持的參數規模覆蓋0.3B-7B。“搭載AI處理器的高效推理芯片將是大模型落地更合理的選擇，這也是推進普惠AI的關鍵所在。”

愛芯智眸AI-ISP和愛芯通元NPU
在AI芯片的研發上，愛芯元智打造了廣受業界認可的愛芯智眸AI-ISP和愛芯通元混合精度NPU兩大自研核心技術。其中，愛芯智眸AI-ISP是將深度學習算法與傳統的ISP處理單元相結合，利用像素級AI處理技術，在各種復雜應用場景中，全面提升成像效果，為后期智能處理提供高質量的圖像、視頻素材，作為萬物智能的“眼睛”感知更多信息，特別是暗光全彩的剛需。

愛芯通元混合精度NPU是以算子為原子指令集的AI計算處理器，采用多線程異構多核設計，實現算子、網絡微結構、數據流和內存訪問優化，高效支持混合精度算法設計，原生支持Transformer網絡結構，為大模型在邊緣側、端側的應用提供良好的基礎。

仇肖莘談到，愛芯元智現階段奉行以“AIoT+ADAS”為主的一體兩翼戰略路線，在AI大模型進入邊側和端側的過程中，智慧城市和智能汽車都是非常具有代表性的應用場景。“目前端側大模型落地依然在前期探索階段，我認為智能汽車、AI手機和AIPC將會是第一批落地的場景，智能駕駛之所以需要端側大模型原因在于汽車對實時性的要求更高。”

愛芯智眸AI-ISP作為AI芯片的子系統，為解決很多端側場景圖像問題提供了強力支持。比如在智能駕駛場景中，愛芯智眸AI-ISP提供AI星光全彩、AI HDR成像、AI多光譜融合、AI防抖、AI場景增強、AI多傳感器融合六大技術亮點，能夠幫助智能汽車在大雨、大霧、夜間和隧道等惡劣的駕駛環境中獲取清晰的圖像。

當然，AI技術的發展也在推動AI-ISP的創新。以愛芯智眸AI-ISP來說，目前AI算法已經取代了降噪模塊、防抖模塊。仇肖莘認為，后續AI-ISP發展一個值得探索的方向是，AI-ISP是不是也能夠成為一個“黑盒式”的AI大模型，用AI算法取代更多ISP中的功能單元，使得AI-ISP能夠利用CMOS圖像傳感器的信號直接成像，讓用戶不必再去考慮ISP工作的中間環節。

在AI芯片的打造上，愛芯通元混合精度NPU的優點不只是原生支持Transformer網絡結構，還包括通過可編程數據流DSA架構，能夠覆蓋目前用戶需要的基本算子，成本、效能和運算效率都非常高。仇肖莘說，“AI算法發展至今已經非常成熟，進入一個較為穩定的狀態，因此用戶對于算子的需求不再有日新月異的變化，這是愛芯元智能夠打造通用AI處理器的關鍵。”

根據愛芯元智聯合創始人、副總裁劉建偉的介紹，此次論壇上正式發布的愛芯通元AI處理器在高中低三檔算力中已完成布局，并在智慧城市和輔助駕駛兩個領域實現了規模化量產，能效比較GPGPU芯片提升了一個數量級，而在以文搜圖、通用檢測、以圖生文、AI Agent等通用大模型應用中，愛芯通元AI處理器也可以讓AI開發者以更低的成本進行高效開發。
讓端側更好地承載AI大模型 根據《2024年中國AI大模型產業發展報告》，截至2024年3月，國內部署大模型的企業數量超243家，以通用大模型為主。不過，我們都知道AI大模型成功的關鍵在于行業大模型、端側、端云結合等多種模式并行。 端側大模型的部署所面臨的挑戰和云端是完全不同的，需要克服能耗的限制，還需要在足夠小的參數下，做到大部分日常工作。在WAIC 2024上，愛芯元智在自己的展臺上也展示了其AI芯片在部署端側大模型方面的能力。

案例一是基于愛芯元智端側小芯片AX630C部署語言大模型——阿里云通義千問Qwen2.0。AX630C提供3.2T的算力，通過運載通義千問Qwen2.0，可以流暢地實現人機對話，查詢信息、日常交流等任務。AX630C運載通義千問Qwen2.0每秒能處理超過10個信息單元，但功耗只有1.5瓦。

案例二是愛芯元智端AX650N結合CLIP模型可以實現以文搜圖的功能，只需要一個詞、一句話或一段文字，系統就能迅速準確地從海量圖片中找到匹配項。

案例三是基于愛芯元智端AX650N運轉多模態多維感知大模型OWL-ViT大模型，精準完成對未知目標檢測，實現圖像自動標簽化。

正如上文提到的，愛芯通元AI處理器提供完備的算子集合，因此對于市面上的大模型能夠提供非常好的支持，并且適配的速度是非常快的。比如，今年4月份，Meta發布了Meta Llama 3系列語言模型（LLM），具體包括一個8B模型和一個70B模型。隨后不久，愛芯元智就宣布，愛芯通元AI處理器完成Llama 3和Phi-3大模型適配。在Llama 3模型的適配上，愛芯元智AX650N芯片適配了Llama 3 8B Int8版本，若采用Int4量化，每秒token數還能再翻一倍，能滿足正常的人機交流。仇肖莘強調，愛芯元智的AI芯片對INT2、INT4、INT8、INT16混合精度算力都可以支持。


結語
AI大模型的發展已經進入一個新階段，行業大模型以及云邊端結合的大模型是下一步發展重點。在端側運轉大模型有不一樣的挑戰，能耗和參數規模都會受到限制，但用戶體驗不能打折。愛芯通元AI處理器以及愛芯元智AX650N等AI芯片展示出了非常好的端側大模型支持能力，在普惠AI的道路上邁出了堅實一步。