DeepSeek開源模型的熱度席卷全球,其高效性和易用性正在成為推動AI技術(shù)普惠化的重要力量。后摩智能作為國產(chǎn)存算一體AI芯片的領(lǐng)軍企業(yè),自研的后摩漫界M30芯片成功適配DeepSeek-R1-Distill-Qwen系列模型,包括1.5B、7B、14B等。這一成果不僅證明了存算一體芯片架構(gòu)在大模型高效部署中的顯著優(yōu)勢,也為端邊大模型的廣泛應(yīng)用提供了強大的技術(shù)支撐。
DeepSeek-R1-Distill-Qwen-7B模型在M30上運行
性能數(shù)據(jù):
· 上下文長度:8K
· 首字速度:<1s
· Decode速度:17 tokens/s
后摩智能的M30芯片專為端邊部署大模型而設(shè)計,其低功耗的核心優(yōu)勢使其在端邊應(yīng)用場景中表現(xiàn)出色,M30芯片具備強大的物理算力,達到100~256 TOPS@INT8,同時典型功耗僅為12~35W,能夠在保持高性能的同時顯著降低能耗。此次適配DeepSeek-R1-Distill-Qwen系列模型的成功,進一步驗證了M30芯片在處理復(fù)雜AI任務(wù)時的高效性和穩(wěn)定性。隨著AI技術(shù)向端側(cè)和邊緣側(cè)的快速轉(zhuǎn)移,后摩智能的存算一體技術(shù)的突破為國產(chǎn)AI芯片在端邊大模型領(lǐng)域的應(yīng)用樹立了新的標桿,也為未來更多創(chuàng)新應(yīng)用的落地奠定了堅實基礎(chǔ)。
為了更好地推動端邊大模型的廣泛應(yīng)用,后摩智能推出了基于M30芯片打造的系列產(chǎn)品——力謀SM30計算模組、力謀LM30智能加速卡、力謀BX30 計算盒子,以滿足不同場景下的多樣化需求。
力謀SM30計算模組
以力謀SM30計算模組為例,這是一款是基于M30芯片打造的智算模組(SoM),支持PCIe EP模式。該模組以其小巧的體積、強勁的性能和極低的功耗,成為小型化設(shè)備和功耗敏感嵌入式場景的理想選擇。力謀SM30計算模組的物理算力為50/100 TOPS@INT8,典型功耗低于23W,支持8路FHD的編解碼,并兼容PCIe 4.0接口。其低功耗和高性能的特點使其能夠在資源受限的環(huán)境中高效運行,為邊緣計算和端側(cè)設(shè)備提供了強大的算力支持。
DeepSeek開源模型以其高效的推理能力和較低的部署成本,正在推動AI技術(shù)的普惠化。后摩智能自研的存算一體架構(gòu),突破了傳統(tǒng)馮·諾依曼架構(gòu)的瓶頸,將存儲與計算緊密結(jié)合,大幅減少了數(shù)據(jù)傳輸延遲,呈現(xiàn)出大算力、低功耗的獨特優(yōu)勢,顯著提升了模型運行效率。通過后摩智能存算一體芯片與DeepSeek模型的架構(gòu)級協(xié)同,不僅驗證了國產(chǎn)技術(shù)棧的完整競爭力,更創(chuàng)造了AI普惠化的中國范式——讓每瓦特算力都能承載最前沿的智能。
全球AI大模型賽道進入戰(zhàn)略窗口期,DeepSeek通過模型創(chuàng)新構(gòu)建輕量化智能基座,后摩智能的存算一體芯片則以物理級能效突破重構(gòu)計算邊界。這種從底層芯片到頂層模型的顛覆式創(chuàng)新,必將催生大模型落地新定律,期待國產(chǎn)技術(shù)組合能夠“改寫天命”,開辟出超越摩爾定律的進化路徑。
-
AI
+關(guān)注
關(guān)注
87文章
31601瀏覽量
270403 -
后摩智能
+關(guān)注
關(guān)注
0文章
26瀏覽量
1249 -
DeepSeek
+關(guān)注
關(guān)注
1文章
96瀏覽量
25
原文標題:開源破局 x 低功耗守護 : Deepseek與存算一體如何演繹AI界的"哪吒鬧海"?
文章出處:【微信號:后摩智能,微信公眾號:后摩智能】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
DeepSeek-R1本地部署指南,開啟你的AI探索之旅
![<b class='flag-5'>DeepSeek-R1</b>本地部署指南,開啟你的AI探索之旅](https://file1.elecfans.com/web3/M00/07/85/wKgZO2emwiKATMQMAAAdDbvHMI4647.png)
deepin UOS AI接入DeepSeek-R1模型
在龍芯3a6000上部署DeepSeek 和 Gemma2大模型
芯動力神速適配DeepSeek-R1大模型,AI芯片設(shè)計邁入“快車道”!
![芯動力神速<b class='flag-5'>適配</b><b class='flag-5'>DeepSeek-R1</b>大<b class='flag-5'>模型</b>,AI<b class='flag-5'>芯片</b>設(shè)計邁入“快車道”!](https://file1.elecfans.com//web3/M00/07/6E/wKgZPGelyoOABzheAAIATfZvII4602.png)
DeepSeek-R1全尺寸版本上線Gitee AI
網(wǎng)易有道全面接入DeepSeek-R1大模型
原生鴻蒙版小藝App上架DeepSeek-R1, AI智慧體驗更豐富
用DeepSeek-R1實現(xiàn)自動生成Manim動畫
![用<b class='flag-5'>DeepSeek-R1</b>實現(xiàn)自動生成Manim動畫](https://file1.elecfans.com/web3/M00/07/62/wKgZPGeljDuAd-VhAAO7PzGz68c979.png)
鯤云科技AI芯片CAISA 430成功適配DeepSeek R1模型
![鯤云科技AI<b class='flag-5'>芯片</b>CAISA 430<b class='flag-5'>成功</b><b class='flag-5'>適配</b><b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b><b class='flag-5'>模型</b>](https://file1.elecfans.com/web3/M00/07/68/wKgZO2elaQ-ASXGbAAAWO4rFvF0412.png)
靈汐KA200芯片完成DeepSeek-R1系列模型適配
中軟國際JointPilot平臺上線DeepSeek-R1模型
對標OpenAI o1,DeepSeek-R1發(fā)布
![對標OpenAI o<b class='flag-5'>1</b>,<b class='flag-5'>DeepSeek-R1</b>發(fā)布](https://file1.elecfans.com/web3/M00/06/DC/wKgZPGeQhzGAYiR7AAAwF47ND04277.png)
評論