芯原股份今日宣布其高性能、可擴展的GPGPU-AI計算IP的最新進展,這些IP現已為新一代汽車電子和邊緣服務器應用提供強勁賦能。通過將可編程并行計算能力與人工智能(AI)加速器相融合,這些IP在熱和功耗受限的環境下,能夠高效支持大語言模型(LLM)推理、多模態感知以及實時決策等復雜的AI工作負載。
芯原的GPGPU-AI計算IP基于高性能通用圖形處理器(GPGPU)架構,并集成專用AI加速器,可為AI應用提供卓越的計算能力。其可編程AI加速器與稀疏感知計算引擎通過先進的調度技術,可加速Transformer等矩陣密集型模型的運行。此外,這些IP支持用于混合精度計算的多種數據格式,包括INT4/8、FP4/8、BF16、FP16/32/64和TF32,并支持多種高帶寬接口,包括3D堆疊內存、LPDDR5X、HBM、PCIe Gen5/Gen6和CXL。該IP還支持多芯片、多卡擴展部署,具備系統級可擴展性,滿足大規模AI應用的部署需求。
芯原的GPGPU-AI計算IP原生支持PyTorch、TensorFlow、ONNX和TVM等主流AI框架,覆蓋訓練與推理流程。此外,它還支持與主流的GPGPU編程語言兼容的通用計算語言(GPCL),以及主流的編譯器。這些能力高度契合當前大語言模型在算力和可擴展性方面的需求,包括DeepSeek等代表性模型。
“邊緣服務器在推理與增量訓練等場景下對AI算力的需求正呈指數級增長。這一趨勢不僅要求極高的計算效率,也對架構的可編程性提出了更高要求。芯原的GPGPU-AI計算處理器在架構設計上實現了GPGPU通用計算與AI加速器的深度融合,可在極細粒度層面實現高效協同,相關優勢已在多個高性能AI計算系統中得到驗證。”芯原首席戰略官、執行副總裁、IP事業部總經理戴偉進表示,“近期DeepSeek的技術突破進一步凸顯出提升AI計算效率以應對日益復雜工作負載的重要性。我們最新一代GPGPU-AI計算IP已全面優化,可高效支持專家混合(MoE)模型,并提升了核間通信效率。同時,通過與多家領先AI計算客戶的深度合作,我們已對處理器架構進行了優化,以充分利用3D堆疊存儲技術所提供的充足帶寬。芯原將持續攜手生態合作伙伴,加速推動這些先進技術在實際應用中的規模化落地。”
審核編輯 黃宇
-
AI
+關注
關注
88文章
34421瀏覽量
275728 -
芯原
+關注
關注
0文章
107瀏覽量
11664 -
邊緣服務器
+關注
關注
0文章
18瀏覽量
2440
發布評論請先 登錄
評論