近日,飛騰騰云S5000C和飛騰騰銳D3000成功實(shí)現(xiàn)對(duì)DeepSeek全系列大模型的端到端支持,覆蓋數(shù)據(jù)中心和終端場(chǎng)景,本地部署的推理效率與國(guó)外同類產(chǎn)品架構(gòu)解決方案相當(dāng)。
近年來,飛騰積極擁抱AI浪潮,致力于推動(dòng)國(guó)產(chǎn)芯片與AI技術(shù)的深度融合,去年7月,飛騰攜手生態(tài)伙伴打造并發(fā)布了 全棧國(guó)產(chǎn)化智算中心解決方案,為眾多行業(yè)提供從端到云的智能化算力服務(wù)。2024年,DeepSeek-V2.5 234B大模型便已在飛騰騰云S5000C平臺(tái)成功實(shí)現(xiàn)穩(wěn)定運(yùn)行?;陲w騰騰云S5000C的設(shè)備搭配8塊國(guó)產(chǎn)AI卡,其整體性能可達(dá)到國(guó)外平臺(tái)性能的80%左右,已支撐行業(yè)用戶在項(xiàng)目中使用。
今年春節(jié)期間,DeepSeek發(fā)布了最新的DeepSeek-V3和R1版本后,憑借其卓越的性能和極高的性價(jià)比,迅速成為科技領(lǐng)域的焦點(diǎn),為開發(fā)者和企業(yè)提供了更高效、更靈活的私有化部署解決方案。飛騰技術(shù)團(tuán)隊(duì)第一時(shí)間在AI實(shí)驗(yàn)室進(jìn)行了其在飛騰騰云S5000C平臺(tái)和飛騰騰銳D3000上本地部署驗(yàn)證,形成整體解決方案,助力用戶構(gòu)建端到端國(guó)產(chǎn)平臺(tái)DeepSeek大模型智算環(huán)境。
在數(shù)據(jù)中心側(cè),基于飛騰騰云S5000C的服務(wù)器可以與多款A(yù)I加速卡配合實(shí)現(xiàn)DeepSeek蒸餾版和全量版部署。飛騰AI實(shí)驗(yàn)室在單機(jī)8卡服務(wù)器平臺(tái)已進(jìn)行蒸餾版DeepSeek-R1-Distill-Llama-70B版本測(cè)試,實(shí)測(cè)推理速度可達(dá)到22tokens/s,本地部署的推理效率與國(guó)外同類產(chǎn)品架構(gòu)解決方案相當(dāng)。完整版DeepSeek R1 671B模型采用分布式推理框架,基于四機(jī)32卡AI服務(wù)器集群運(yùn)行可部署成功,為企業(yè)級(jí)私有化部署提供完善的軟硬件解決方案。
在用戶終端側(cè),基于飛騰騰銳D3000的臺(tái)式機(jī)可以本地部署DeepSeek-R1 7B蒸餾版模型,搭配1張國(guó)產(chǎn)推理卡,實(shí)現(xiàn)AI PC能力,助力用戶建立安全可靠的本地知識(shí)助手。
飛騰平臺(tái)已實(shí)現(xiàn)端到端支持DeepSeek全系列、眾多開源和國(guó)產(chǎn)頭部大模型的本地化部署,為企業(yè)級(jí)和個(gè)人應(yīng)用提供全國(guó)產(chǎn)化、軟硬一體、性價(jià)比高、安全、開放的全棧解決方案,與行業(yè)客戶和生態(tài)伙伴一同助力行業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級(jí)!
-
飛騰CPU
+關(guān)注
關(guān)注
0文章
12瀏覽量
1944 -
DeepSeek
+關(guān)注
關(guān)注
1文章
783瀏覽量
1441
原文標(biāo)題:飛騰CPU × DeepSeek大模型,雙芯加持全系列穩(wěn)跑
文章出處:【微信號(hào):TJ_PHYTIUM,微信公眾號(hào):Phytium飛騰】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
如何基于Android 14在i.MX95 EVK上運(yùn)行Deepseek-R1-1.5B和性能
【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】DeepSeek 部署及測(cè)試
RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南
源誠(chéng)技術(shù)M720智能模組成功運(yùn)行DeepSeek模型
移遠(yuǎn)通信邊緣計(jì)算模組成功運(yùn)行DeepSeek模型
添越智創(chuàng)基于 RK3588 開發(fā)板部署測(cè)試 DeepSeek 模型全攻略
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
天數(shù)智芯加速DeepSeek全系列模型適配
飛騰CPU成功支持DeepSeek全系列大模型
中軟國(guó)際科創(chuàng)中心上線DeepSeek模型
龍芯3號(hào)CPU成功運(yùn)行DeepSeek R17B模型
在龍芯3a6000上部署DeepSeek 和 Gemma2大模型
龍芯處理器成功運(yùn)行DeepSeek大模型

云天勵(lì)飛上線DeepSeek R1系列模型

評(píng)論