當前，AI大模型正逐步從云端遷移至邊緣，甚至深入至日常生活中的手機、個人電腦（PC）、汽車等終端。在這場變革中，端側智能正逐漸嶄露頭角，預示著未來的智能設備將能夠更實時、高效地理解和服務用戶。在E維智庫舉辦的第12屆中國硬科技產業鏈創新趨勢峰會暨百家媒體論壇上，安謀科技的產品總監鮑敏祺深入剖析了端側AI應用的廣闊前景，并強調了神經處理單元（NPU）在這一領域中的關鍵作用。

關于端側大模型，鮑敏祺指出，AIGC大模型帶來的算力提升為端側AI帶來了新的發展機遇。這些大模型已經在手機上實現了應用，如圖片理解、關鍵信息提取等，顯著提升了用戶體驗。例如，Apple Intelligence等大模型雖然尚未對國內用戶開放，但已經引起了廣泛的關注和測評。這些應用不僅提高了使用效率，還逐漸融入了人們的日常生活。

然而，鮑敏祺也提到，端側AI的算力是否會像云端一樣持續膨脹仍是一個未知數。由于存儲帶寬的限制以及用戶體驗對實時性的高要求，大模型必須在用戶能接受的時間內（通常是2秒以內）給出反饋。因此，在當前帶寬條件下，部署大模型需要權衡帶寬制約與用戶體驗。

目前，眾多國內外廠商已從商業化角度推出了大模型，并達成共識，認為AI NPU是未來消費類產品的重點投入方向。頭部終端廠商如OPPO、VIVO、小米、榮耀、華為等也都有相應的解決方案。這些方案并非僅依賴端側大模型，而是與云端相輔相成，共同提升用戶體驗。端側的優勢在于時效性和數據本地安全性，而云端則具備更強的理解和計算能力。

在評估端側大模型時，語言類模型或文生圖常被用作參考。但鮑敏祺認為，語言類模型并非端側應用的終點。隨著技術的發展，圖片、音頻、視頻等多模態輸入將成為常態。這些輸入需要經過壓縮和Tokenizer處理，轉換成模型能理解的Token。而大型語言模型（LLM）的基本原理并未改變，只是輸入和輸出過程增加了編碼和解碼步驟。

另一個挑戰在于，上下文長度的增長對模型性能提出了更高要求。衡量語言模型的指標包括每秒處理的Token數和首次響應時間（TTFT）。隨著上下文長度的增加，首次延遲也會線性增長。因此，在端側容量和帶寬有限的情況下，需要優化算法以提升算力效率。

一個明顯的趨勢是，AI的應用將越來越廣泛，涉及多模態場景。隨著AI的發展，人們可能會更多地與智能體進行交互。這些智能體不僅能理解和執行任務，還能通過強化學習不斷優化自己的行為。

在多模態場景下，AI的應用將不再局限于傳統設備。從手持設備到邊緣計算、PC、汽車，再到云端，AI將無處不在。然而，不同場景對AI算力的需求各不相同。手持設備由于功耗和芯片面積的限制，通常只能支持較小規模的模型。而在邊緣計算、PC、汽車等端，模型體量可能更大。在云端，由于有充足的資源和帶寬，模型體量可以更大，從而接受各種知識并進行持續迭代。

AI的賦能不僅限于傳統設備，它還能為以前看似市場前景有限的終端設備帶來新的生命力。例如，通過賦予可穿戴設備簡單的語音控制和視覺拍照功能，這些設備可能會變得非常受歡迎。這種多模態的輸入和直接使用的功能使得這些設備在競爭激烈的市場中脫穎而出。

然而，端側AI也面臨著諸多挑戰。首先是成本、功耗和生態系統的問題。存儲介質的帶寬和成本是制約端側AI發展的關鍵因素之一。盡管存儲技術不斷進步，但端側設備仍然無法像云端那樣擁有TB級別的帶寬。此外，端側設備的芯片面積和計算資源也非常有限。

第二個挑戰是功耗問題。在AI應用中，數據的搬運是功耗的主要來源之一。對于大模型來說，由于顯存占用大，無法像卷積神經網絡（CNN）那樣通過高復用度來提高能效。因此，如何降低數據搬運的功耗成為了一個亟待解決的問題。

此外，軟件和工具的優化也是一大挑戰。AI模型需要不斷迭代優化才能滿足用戶需求。然而，當前的軟件和工具在支持大模型優化方面還存在不足。

針對這些挑戰，安謀科技推出的“周易”NPU采取了一系列應對策略。首先，它在保留CNN能力的同時，增強了對Transformer大模型的支持。通過優化微架構和計算能力，提升了Transformer的運算效率。其次，“周易”NPU注重數據本地化，通過混合精度量化和無損壓縮來減少數據搬運和提升有效帶寬。此外，它還針對大模型進行了總線帶寬的擴展以滿足解碼等場景對帶寬的高需求。

為了進一步提升能效，“周易”NPU還采用了數據并行、模型并行、負載均衡和Tiling等技術。同時，它也支持異構策略，可以獨立執行AI任務，并根據需求自由裁剪。在端側應用中，“周易”NPU還采用了電源門控和低功耗策略以降低不必要的功耗。

通過這些創新技術，“周易”NPU有效應對了端側AI面臨的挑戰，為多模態場景下的AI應用提供了強有力的支持。針對不同應用場景，如智能汽車、手機PC、AIOT等，安謀科技也制定了差異化的策略。

在智能汽車領域，安謀科技關注智艙一體等趨勢，提供了全面的IP解決方案。這包括用于渲染顯示的GPU、用于處理攝像頭數據的前級處理器以及用于安全相關功能的安全處理器（SPU）。特別值得一提的是，“周易”NPU具備20到320TOPS的可擴展性，以滿足不同場景下的算力需求。例如，在汽車信息娛樂系統（IVI）場景中，算力要求相對較低；而在高級駕駛輔助系統（ADAS）場景中，由于需要執行多任務特別是CNN場景下的任務，算力需求則顯著提升。“周易”NPU的靈活性使其能夠適應各種汽車場景并實現完整端到端的解決方案。

對于AI加速卡場景，安謀科技關注輸入與輸出的高效處理特別是圖像和視頻數據的輸入與AI計算的輸出。加速卡具備HOST AP交互能力并強調安全性如JPEG解碼能力和根據實際需求定制的NPU。根據應用場景的不同如NVMe存儲形式、車載或手機等TDP功耗和算力需求也會有所差異。能效比是一個重要考慮因素例如在5瓦TDP功耗下有效算力可達25TOPS左右。整個解決方案多樣不僅針對語言模型還著眼于未來多模態模型的需求。

在AIOT場景中算力需求相對較低但受到AIOT設備面積和功耗的限制。然而對安全性的要求卻更高包括固件和安全性的強化。與服務器或板卡等密封形式不同AIOT場景對安全性的需求進一步提升。安謀科技的“周易”NPU能夠在此類場景中提供20TOPS到320TOPS的算力裁減主要用于聲音和圖象的檢測。考慮到端側可能放置較低精度的模型以保證量化效果整個解決方案在保障安全的同時也通過一定算力的內容對語音類場景進行AI加速。

隨著技術的不斷進步和創新，未來的智能設備將更加智能、高效和便捷。NPU也將在這一過程中發揮更加重要的作用。據悉安謀科技的下一代“周易”NPU在生態上已廣泛部署了Wenxin、Llama、GPT等模型，并在端側覆蓋了平板電腦（PAD）、PC、手機（Mobile）等各類場景。對于智能汽車領域無論是IVI還是ADAS場景都能根據實際算力需求和模型提供針對性的解決方案最高可達320TOPS的算力。