2025年開年,國產AI大模型DeepSeek以驚人的速度席卷科技產業,用戶規模突破億級。作為一款基于Transformer架構的先進推理模型,DeepSeek參數規模龐大,對硬件計算能力、內存容量和帶寬都提出了極高要求。
奕斯偉計算在搭載了自研RISC-V AI SoC EIC77系列芯片——EIC7700X和EIC7702X的EVB開發板上,成功完成對DeepSeek模型的適配。
搭載奕斯偉計算EIC77系列芯片的EVB板
EIC7700X/7702X內嵌NPU、GPU、DSP等硬件加速模塊,配備大容量、高帶寬的LPDDR5內存,確保在處理DeepSeek大規模模型時能夠充分利用硬件資源,快速搬運大模型參數,從而顯著提升推理效率。
測試結果顯示(見下圖),在運行7b參數規模的DeepSeek-distill-qwen模型時,搭載奕斯偉計算EIC7700X芯片的EVB開發板可達7 tokens/s的推理速度,搭載奕斯偉計算EIC7702X芯片的EVB開發板可達14 tokens/s的推理速度,展現出遠超同類架構的高能效比。
奕斯偉計算RISC-V AI SoC芯片
適配DeepSeek模型測試結果
EIC77系列芯片是奕斯偉計算自主研發的12nm RISC-V AI SoC,內嵌4核64位亂序執行RISC-V P550 CPU和自研高性能NPU, 以及DSP、 GPU,、H.264/H.265編解碼器,芯片的AI處理性能可以達到20 TOPS INT8,可以支持32GB 存儲容量的LPDDR5@6400,支持全棧浮點計算及大語言模型。
其中,雙Die AI SoC EIC7702X內嵌8核64位亂序RISC-V P550 CPU,AI處理能力可達40 TOPS INT8,可支持64GB存儲容量的LPDDR5@6400。
EIC7700X模塊框圖
搭載EIC7700X/EIC7702X芯片的EVB板,擁有32/64 GB LPDDR存儲容量,4/8通道Gen3 PCIe接口,支持SATA3、HDMI2.0、1000M Ethernet、USB3.2、MIPI等豐富接口,可以實現機器視覺、目標分類、目標定位、圖像分割、動作姿態識別、自然語言處理等功能,可廣泛應用于安全運營、智慧政務、工業檢測、智慧教育、無人駕駛、機器人、無人機、智慧交通等應用場景。
除開發板外,EIC77系列產品還涵蓋AI BOX、AI PC、服務器加速卡等多種產品形態,適用于云、邊、端等多種工作場景,多維度實現AI處理。
EIC77系列芯片短時間內快速完成了對DeepSeek大模型的適配工作,充分展示了奕斯偉計算RISC-V AI SoC芯片的高算力利用率和開發軟件工具的通用性與便捷性,能夠適應多種深度學習算法模型,易于使用,體現了奕斯偉計算的芯片與工具鏈經過多代架構迭代后的工程實用性。
隨著AI技術的快速發展,奕斯偉計算將沿著RISC-V+AI的技術路線,以更具性能優勢、能效比更高的芯片與方案,不斷拓展更多應用場景,為千行百業提供AI算力支持。
-
RISC-V
+關注
關注
46文章
2463瀏覽量
48108 -
奕斯偉計算
+關注
關注
1文章
42瀏覽量
282 -
DeepSeek
+關注
關注
1文章
759瀏覽量
1166
原文標題:奕斯偉計算 | 技術新突破!RISC-V AI SoC成功適配DeepSeek模型
文章出處:【微信號:奕斯偉計算,微信公眾號:奕斯偉計算】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
大象機器人攜手進迭時空推出 RISC-V 全棧開源六軸機械臂產品
AI SoC# 奕斯偉EIC7700 全球首款基于RISC-V架構的邊緣計算SoC芯片

明晚開播 |開源芯片系列講座第26期:奕斯偉RISC-V GCC工具鏈實踐分享

直播預約 |開源芯片系列講座第26期:奕斯偉RISC-V GCC工具鏈實踐分享

奕斯偉計算加入RISE全球性合作項目
奕斯偉EIC7702X亮相第四屆滴水湖中國RISC-V產業論壇
奕斯偉計算亮相RDI生態·武漢創新論壇·2024
RISC-V歐洲峰會盛況:奕斯偉計算引領邊緣計算新紀元
奕斯偉計算公司在最新的RISC-V邊緣計算SoC中將SiFive CPU、Imagination GPU 和自有NPU 結合集成

奕斯偉展示全球首款RISC-V邊緣計算芯片EIC7700X與高算力AI PC芯片
奕斯偉計算:邊緣計算SoC芯片EIC7700X,支持全棧浮點計算,全面加速生成式大模型

評論