廣和通要聞
6月,廣和通宣布:率先完成通義千問Qwen3系列混合推理模型在高通QCS8550平臺端側的適配部署。廣和通通過定制化混合精度量化方案與創新硬件加速算法,成功突破Qwen3新型架構在邊緣側的落地創新,為AIoT設備提供業界領先的端側大模型支持。
通義千問Qwen3自4月底正式發布并全部開源8款「混合推理模型」,其模型性能在代碼、數學、通用能力等多項基準測試中刷新紀錄。其中,Qwen3-4B與早期版本的Qwen2.5-72B能力相當,在提升推理性能的同時,大大降低了端側部署成本。同時,Qwen3系列模型還是首個支持混合推理模式(Hybrid Reasoning)的開源模型。開發者可以根據需求開啟、關閉思考模式或指定思考長度,將人類大腦的“直覺反應”和“深度思考”能力裝進了AI。
廣和通完成了參數規模為0.6B/1.7B/4B/8B的Qwen3模型在邊緣端的部署,以滿足不同下游應用需求。針對Qwen3引入的QK-Norm改進注意力機制和混合推理模式,廣和通設計了定制化的混合精度量化方案,動態識別模型結構特征,對Norm層、注意力模塊等關鍵組件采用差異化量化策略。再者,廣和通結合NPU特點優化推理結構,利用QCS8550芯片Hexagon DSP的矩陣加速單元,顯著提升了大模型在邊緣設備上的落地能力。
目前,廣和通AI Stack已支持通義千問Qwen3- 0.6B/1.7B/4B/8B模型的量化和推理,為用戶提供不同端側場景應用的模型選擇。AI Stack擁有完整AI工具鏈,集成易于部署的代碼,可進行數據標注、模型訓練、模型微調。針對模型移植,AI Stack提供模型轉換、模型量化和算子替換等能力。再者,AI Stack的高性能推理引擎將訓練、轉換完成的模型高效部署在端側并執行推理任務,從而在實際業務場景中實現多樣化的AI應用。
廣和通AI研究院院長劉子威表示:“廣和通率先在端側部署Qwen3,不僅是技術驗證,更是邊緣智能落地的典型案例能力。通過廣和通自研的AI Stack,我們讓機器人、AI眼鏡、翻譯機等端側設備真正具備本地化復雜推理與決策能力。廣和通將強化端側AI的商業落地能力,為更多AIoT設備賦智。”
廣和通始創于1999年,是中國首家上市的無線通信模組企業(股票代碼:300638)。作為全球領先的無線通信模組和AI解決方案提供商,廣和通以無線通信與人工智能為技術底座,提供軟硬件一體、賦能行業應用的全棧式解決方案,加速千行百業從“萬物互聯”到“萬物智聯”。
廣和通全棧式解決方案覆蓋AIoT模組、AI模型、智能體、全球資費和云服務,助力智能機器人、消費電子、低空經濟、智能駕駛、智慧零售、智慧能源等行業數智化升級。
——構筑數字世界基石,豐富智慧生活!
-
高通
+關注
關注
78文章
7624瀏覽量
193236 -
廣和通
+關注
關注
4文章
798瀏覽量
13665 -
通義千問
+關注
關注
1文章
36瀏覽量
438
原文標題:廣和通加速通義千問Qwen3在端側全面落地,破解邊緣AI效能瓶頸
文章出處:【微信號:Fibocom,微信公眾號:廣和通FIBOCOM】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
壁仞科技完成Qwen3旗艦模型適配
Arm CPU適配通義千問Qwen3系列模型
Intel OpenVINO? Day0 實現阿里通義 Qwen3 快速部署

NVIDIA RTX 5880 Ada與Qwen3系列模型實測報告

后摩智能NPU適配通義千問Qwen3系列模型
在openEuler上基于vLLM Ascend部署Qwen3

中科曙光DeepAI深算智能引擎全面支持Qwen3
幾B都有!BM1684X一鍵適配全系列Qwen3

評論