海光DCU實現文心4.5模型高效適配; FLOPs利用率突破47%。
2025年6月30日,在百度文心4.5系列大模型正式開源當日,海光信息技術股份有限公司宣布其深度計算單元(DCU)率先完成對該系列模型的深度技術適配,預訓練模型FLOPs利用率(MFU)達到47%,在多個文本與多模態基準測試中取得SOTA水平。此次合作標志著國產算力基礎設施與大模型技術的協同創新進入新階段。
技術突破:異構計算架構賦能MoE模型高效訓練
海光DCU基于GPGPU通用架構,通過飛槳深度學習框架對文心4.5系列模型實現全流程優化,涵蓋47B/3B混合專家(MoE)模型及0.3B稠密參數模型的高效訓練、推理與部署。其創新性體現在:
-
多模態異構計算:針對MoE架構設計動態負載均衡策略,顯存帶寬利用率提升30%
-
混合精度優化:采用FP8技術降低顯存占用,使424B總參數量模型的訓練效率接近國際一線水平
-
生態兼容性:依托DTK軟件棧實現與文心模型的無縫對接,適配周期縮短50%
行業價值:自主可控技術體系加速AI落地
此次合作驗證了國產DCU在高性能計算領域的三大優勢:
-
效能領先:47%的MFU利用率較行業平均水平提升15%以上
-
多模態支持:文心4.5的跨模態理解能力在DCU平臺上實現無損遷移
-
產業鏈安全:從芯片、框架到模型的完整技術自主權,為金融、制造等行業提供可靠算力選擇
海光DCU與文心模型的深度適配,證明了國產算力支撐前沿AI創新的能力。未來將持續優化千億級參數模型的訓練效率,推動中國智能算力生態建設。
-
DCU
+關注
關注
0文章
15瀏覽量
2832 -
海光信息
+關注
關注
0文章
25瀏覽量
2291 -
文心一言
+關注
關注
0文章
132瀏覽量
1798 -
大模型
+關注
關注
2文章
3095瀏覽量
3988
發布評論請先 登錄
索尼成為美國國家冰球聯盟官方技術合作伙伴
mes工廠管理系統:如何讓設備利用率提升50%?

DeepSeek MoE架構下的網絡負載如何優化?解鎖90%網絡利用率的關鍵策略

評論