華為技術(shù)有限公司宣布旗下 ModelEngine AI 平臺(tái)全面支持 DeepSeek 大模型 R1&V3 和蒸餾系列模型的本地部署與優(yōu)化，在 AI 領(lǐng)域引發(fā)廣泛關(guān)注。

華為 ModelEngine 是大模型訓(xùn)練、推理和應(yīng)用開(kāi)發(fā)的 AI 平臺(tái)，提供從數(shù)據(jù)預(yù)處理到模型訓(xùn)練、優(yōu)化及部署的一站式服務(wù)。此次基于昇騰 AI 芯片，ModelEngine 通過(guò)推理框架優(yōu)化和 MoE 存算協(xié)同，提供動(dòng)態(tài)換入換出和全局統(tǒng)一緩存，實(shí)現(xiàn)推理高并發(fā)和低時(shí)延，讓用戶(hù)能更好地體驗(yàn) DeepSeek 的推理能力。

對(duì)于開(kāi)發(fā)者而言，這一支持意義重大。ModelEngine 全面兼容 DeepSeek 系列模型 R1&V3 671B 以及蒸餾系列模型，開(kāi)發(fā)者借助它可實(shí)現(xiàn) “一鍵部署”，免去硬件選型、兼容性驗(yàn)證和環(huán)境配置等繁瑣流程，極大降低企業(yè) AI 應(yīng)用門(mén)檻。并且，ModelEngine 高度的開(kāi)放性和模塊化設(shè)計(jì)，大幅縮短了 DeepSeek 的本地部署時(shí)間。

在實(shí)際操作上，以 DeepSeek-R1 為例，開(kāi)發(fā)者登錄 ModelEngine 模型管理頁(yè)面，上傳 DeepSeek-R1 FP8 權(quán)重并進(jìn)行格式轉(zhuǎn)換，在模型服務(wù)頁(yè)面選擇 BF16 精度的模型權(quán)重版本下發(fā)推理服務(wù)、啟動(dòng)任務(wù)部署，隨后 ModelEngine 使用 MindIE 推理框架啟動(dòng) DeepSeek-R1 推理服務(wù)，支持 OpenAI API 調(diào)用風(fēng)格的推理服務(wù)接口和訪問(wèn)方式，用戶(hù)便可將該 API 集成到對(duì)話、RAG 以及 Agent 應(yīng)用中。

不僅如此，ModelEngine 還提供負(fù)載均衡、模型安全接入、多用戶(hù)配額管理等高階特性，支持大規(guī)模生產(chǎn)環(huán)境下的穩(wěn)定運(yùn)行。某證券公司引入 DCS AI 全棧解決方案后，運(yùn)維成本降低 42%，便是有力證明。