尖端AI推理模型DeepSeek R1一經問世,便在整個科技行業引起波瀾。因其性能能夠媲美甚至超越先進的同類模型,顛覆了關于AI發展的傳統認知。
這一關鍵時刻是更廣泛趨勢的一部分,凸顯了行業在打造高質量小語言模型和多模態推理模型方面的創新,以及這些創新正在為AI的商用應用和終端側推理落地做好準備。這些新模型能夠在終端側運行,將加速強大邊緣側芯片的規模化擴展,并創造對此類芯片的需求。
四大趨勢正在顯著提高目前可在終端側運行的AI模型的質量、性能和效率,從而推動上述變革:
· 當前先進的AI小模型已具有卓越性能。模型蒸餾和新穎的AI網絡架構等新技術能夠在不影響質量的情況下簡化開發流程,讓新模型的表現超越一年前推出的僅能在云端運行的更大模型。
· 模型參數規模正在快速縮小。先進的量化和剪枝技術使開發者能夠在不對準確性產生實質影響的情況下,縮小模型參數規模。
· 開發者能夠在邊緣側打造更豐富的應用。高質量AI模型快速激增,意味著文本摘要、編程助手和實時翻譯等特性在智能手機等終端上的普及,讓AI能夠支持跨邊緣側規模化部署的商用應用。
· AI正在成為新的UI。個性化多模態AI智能體將簡化交互,高效地跨越各種應用完成任務。
高通技術公司在引領并利用從AI訓練向大規模推理轉型,以及AI計算處理從云端向邊緣側擴展方面具有戰略優勢。公司在開發定制CPU、NPU、GPU和低功耗子系統領域取得了廣泛的成就。通過與模型廠商展開合作,以及面向跨不同邊緣終端領域的模型部署提供工具、框架和SDK,高通技術公司賦能開發者在邊緣側加速采用AI智能體和應用。
近期對AI模型訓練方式的顛覆變革和重新評估驗證了AI格局即將向大規模推理轉變的趨勢,這將形成全新邊緣側推理計算的創新和升級周期。盡管模型訓練仍將在云端進行,但推理將受益于采用高通技術的廣泛終端規模,并催生更多邊緣側AI賦能處理器的需求。
-
高通
+關注
關注
77文章
7519瀏覽量
191407 -
AI
+關注
關注
87文章
32007瀏覽量
270844 -
模型
+關注
關注
1文章
3392瀏覽量
49351
原文標題:AI變革正在推動終端側推理創新
文章出處:【微信號:Qualcomm_China,微信公眾號:高通中國】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
AI賦能邊緣網關:開啟智能時代的新藍海
移遠通信邊緣計算模組成功運行DeepSeek模型,以領先的工程能力加速端側AI落地

移遠通信邊緣計算模組成功運行DeepSeek模型,以領先的工程能力加速端側AI落地

研華AI Agent引領工業物聯網應用革新
廣和通Fibocom AI Stack:加速端側AI部署新紀元
聯發科技攜手Cocos共建端側生成式AI游戲開發生態,推動行業升級
高通技術在CES 2025發布AI創新,引領多元終端變革
AI風向標|算力與通信的完美融合,SRM6690解鎖端側AI的智能密碼

評論