2025年開年,國產(chǎn)AI大模型DeepSeek以驚人的速度席卷科技產(chǎn)業(yè),用戶規(guī)模突破億級。作為一款基于Transformer架構(gòu)的先進(jìn)推理模型,DeepSeek參數(shù)規(guī)模龐大,對硬件計(jì)算能力、內(nèi)存容量和帶寬都提出了極高要求。
奕斯偉計(jì)算在搭載了自研RISC-V AI SoC EIC77系列芯片——EIC7700X和EIC7702X的EVB開發(fā)板上,成功完成對DeepSeek模型的適配。
搭載奕斯偉計(jì)算EIC77系列芯片的EVB板
EIC7700X/7702X內(nèi)嵌NPU、GPU、DSP等硬件加速模塊,配備大容量、高帶寬的LPDDR5內(nèi)存,確保在處理DeepSeek大規(guī)模模型時(shí)能夠充分利用硬件資源,快速搬運(yùn)大模型參數(shù),從而顯著提升推理效率。
測試結(jié)果顯示(見下圖),在運(yùn)行7b參數(shù)規(guī)模的DeepSeek-distill-qwen模型時(shí),搭載奕斯偉計(jì)算EIC7700X芯片的EVB開發(fā)板可達(dá)7 tokens/s的推理速度,搭載奕斯偉計(jì)算EIC7702X芯片的EVB開發(fā)板可達(dá)14 tokens/s的推理速度,展現(xiàn)出遠(yuǎn)超同類架構(gòu)的高能效比。
奕斯偉計(jì)算RISC-V AI SoC芯片
適配DeepSeek模型測試結(jié)果
EIC77系列芯片是奕斯偉計(jì)算自主研發(fā)的12nm RISC-V AI SoC,內(nèi)嵌4核64位亂序執(zhí)行RISC-V P550 CPU和自研高性能NPU, 以及DSP、 GPU,、H.264/H.265編解碼器,芯片的AI處理性能可以達(dá)到20 TOPS INT8,可以支持32GB 存儲容量的LPDDR5@6400,支持全棧浮點(diǎn)計(jì)算及大語言模型。
其中,雙Die AI SoC EIC7702X內(nèi)嵌8核64位亂序RISC-V P550 CPU,AI處理能力可達(dá)40 TOPS INT8,可支持64GB存儲容量的LPDDR5@6400。
EIC7700X模塊框圖
搭載EIC7700X/EIC7702X芯片的EVB板,擁有32/64 GB LPDDR存儲容量,4/8通道Gen3 PCIe接口,支持SATA3、HDMI2.0、1000M Ethernet、USB3.2、MIPI等豐富接口,可以實(shí)現(xiàn)機(jī)器視覺、目標(biāo)分類、目標(biāo)定位、圖像分割、動(dòng)作姿態(tài)識別、自然語言處理等功能,可廣泛應(yīng)用于安全運(yùn)營、智慧政務(wù)、工業(yè)檢測、智慧教育、無人駕駛、機(jī)器人、無人機(jī)、智慧交通等應(yīng)用場景。
除開發(fā)板外,EIC77系列產(chǎn)品還涵蓋AI BOX、AI PC、服務(wù)器加速卡等多種產(chǎn)品形態(tài),適用于云、邊、端等多種工作場景,多維度實(shí)現(xiàn)AI處理。
EIC77系列芯片短時(shí)間內(nèi)快速完成了對DeepSeek大模型的適配工作,充分展示了奕斯偉計(jì)算RISC-V AI SoC芯片的高算力利用率和開發(fā)軟件工具的通用性與便捷性,能夠適應(yīng)多種深度學(xué)習(xí)算法模型,易于使用,體現(xiàn)了奕斯偉計(jì)算的芯片與工具鏈經(jīng)過多代架構(gòu)迭代后的工程實(shí)用性。
隨著AI技術(shù)的快速發(fā)展,奕斯偉計(jì)算將沿著RISC-V+AI的技術(shù)路線,以更具性能優(yōu)勢、能效比更高的芯片與方案,不斷拓展更多應(yīng)用場景,為千行百業(yè)提供AI算力支持。
-
RISC-V
+關(guān)注
關(guān)注
45文章
2334瀏覽量
46726 -
奕斯偉計(jì)算
+關(guān)注
關(guān)注
1文章
35瀏覽量
184 -
DeepSeek
+關(guān)注
關(guān)注
1文章
318瀏覽量
110
原文標(biāo)題:奕斯偉計(jì)算 | 技術(shù)新突破!RISC-V AI SoC成功適配DeepSeek模型
文章出處:【微信號:奕斯偉計(jì)算,微信公眾號:奕斯偉計(jì)算】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
明晚開播 |開源芯片系列講座第26期:奕斯偉RISC-V GCC工具鏈實(shí)踐分享
![明晚開播 |開源<b class='flag-5'>芯片</b>系列講座第26期:<b class='flag-5'>奕</b><b class='flag-5'>斯</b><b class='flag-5'>偉</b><b class='flag-5'>RISC-V</b> GCC工具鏈實(shí)踐分享](https://file1.elecfans.com/web2/M00/E5/E7/wKgZomZFcsyAcT-5AAA2A4dQRkQ217.png)
直播預(yù)約 |開源芯片系列講座第26期:奕斯偉RISC-V GCC工具鏈實(shí)踐分享
![直播預(yù)約 |開源<b class='flag-5'>芯片</b>系列講座第26期:<b class='flag-5'>奕</b><b class='flag-5'>斯</b><b class='flag-5'>偉</b><b class='flag-5'>RISC-V</b> GCC工具鏈實(shí)踐分享](https://file1.elecfans.com/web2/M00/E5/E7/wKgZomZFcsyAcT-5AAA2A4dQRkQ217.png)
奕斯偉計(jì)算亮相RDI生態(tài)成都創(chuàng)新論壇
奕斯偉計(jì)算加入RISE全球性合作項(xiàng)目
奕斯偉EIC7702X亮相第四屆滴水湖中國RISC-V產(chǎn)業(yè)論壇
奕斯偉計(jì)算亮相RDI生態(tài)·武漢創(chuàng)新論壇·2024
deepin V23成功適配奕斯偉計(jì)算EIC7700X,RISC-V桌面生態(tài)發(fā)展再提速
![deepin <b class='flag-5'>V</b>23成功<b class='flag-5'>適配</b><b class='flag-5'>奕</b><b class='flag-5'>斯</b><b class='flag-5'>偉</b><b class='flag-5'>計(jì)算</b>EIC7700X,<b class='flag-5'>RISC-V</b>桌面生態(tài)發(fā)展再提速](https://file1.elecfans.com/web2/M00/E5/D3/wKgaomZBeIyADEqiAACsZ19UYWk044.png)
RISC-V歐洲峰會盛況:奕斯偉計(jì)算引領(lǐng)邊緣計(jì)算新紀(jì)元
奕斯偉計(jì)算攜邊緣計(jì)算產(chǎn)品及解決方案亮相國際舞臺
奕斯偉計(jì)算公司在最新的RISC-V邊緣計(jì)算SoC中將SiFive CPU、Imagination GPU 和自有NPU 結(jié)合集成
![<b class='flag-5'>奕</b><b class='flag-5'>斯</b><b class='flag-5'>偉</b><b class='flag-5'>計(jì)算</b>公司在最新的<b class='flag-5'>RISC-V</b>邊緣<b class='flag-5'>計(jì)算</b><b class='flag-5'>SoC</b>中將SiFive CPU、Imagination GPU 和自有NPU 結(jié)合集成](https://file.elecfans.com/web2/M00/4E/DC/poYBAGLCjeiALm_WAAAYmfR7Qec474.png)
奕斯偉展示全球首款RISC-V邊緣計(jì)算芯片EIC7700X與高算力AI PC芯片
奕斯偉發(fā)布EIC77芯片,滿足智慧機(jī)器人高算力需求?
奕斯偉計(jì)算:邊緣計(jì)算SoC芯片EIC7700X,支持全棧浮點(diǎn)計(jì)算,全面加速生成式大模型
![<b class='flag-5'>奕</b><b class='flag-5'>斯</b><b class='flag-5'>偉</b><b class='flag-5'>計(jì)算</b>:邊緣<b class='flag-5'>計(jì)算</b><b class='flag-5'>SoC</b><b class='flag-5'>芯片</b>EIC7700X,支持全棧浮點(diǎn)<b class='flag-5'>計(jì)算</b>,全面加速生成式大<b class='flag-5'>模型</b>](https://file1.elecfans.com/web2/M00/E7/3B/wKgaomZGwsGAGXnHACyV2SLw_1Q653.png)
risc-v多核芯片在AI方面的應(yīng)用
解鎖RISC-V技術(shù)力量丨曹英杰:RISC-V與大模型探索
![解鎖<b class='flag-5'>RISC-V</b>技術(shù)力量丨曹英杰:<b class='flag-5'>RISC-V</b>與大<b class='flag-5'>模型</b>探索](https://file.elecfans.com/web2/M00/37/4D/poYBAGI62smAAPRDAAAzYJ7Ib6o943.png)
評論