在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

墨芯S40計算卡實現DeepSeek大模型部署

墨芯人工智能 ? 來源:墨芯人工智能 ? 2025-02-08 10:40 ? 次閱讀

近期,“國產之光”DeepSeek系列大模型發展迅猛,領跑開源大模型技術與生態,為中國人工智能行業帶來了前所未有的變革動力,對全球科技競爭格局產生積極影響。

1稀疏計算

助力DeepSeek R1模型高效部署

日前,墨芯人工智能(Moffett AI)已完成與DeepSeek R1全系列蒸餾模型的推理部署。憑借自研的雙稀疏算法技術,墨芯S40計算卡性能得到充分釋放,為DeepSeek R1的高效部署提供了強勁的算力后盾,并在較短時間內完成DeepSeek-R1-70B* 和DeepSeek-R1-32B* 等中、大模型部署,且成功實現單卡支持DeepSeek-R1-32B*部署。

墨芯S40計算卡支持DeepSeek R1-70B和DeepSeek R1-32B推理部署

2軟硬件協同

提升DeepSeek R1模型推理效率

DeepSeek-R1蒸餾模型是DeepSeek在模型壓縮與優化領域的重要創新,通過蒸餾技術實現了高效、低成本的AI推理,適合企業內部實施部署,實現降本增效。

DeepSeek-R1-70B* 和DeepSeek-R1-32B*是DeepSeek-R1蒸餾模型的中大規模和大規模模型。DeepSeek-R1-32B*推理速度較快,實時性要求高的場景,擅長處理日常對話、文檔生成和基礎代碼輔助;DeepSeek-R1-70B*側重復雜邏輯推理、科研分析、高質量內容創作。

墨芯的稀疏計算技術則是通過算法與硬件的協同設計,有效地減少蒸餾模型部署所需的資源,其中稀疏化技術將模型中的稠密張量轉換為等效的稀疏張量,使張量中產生大量的零元素,通過剪枝,有效消減模型冗余,以顯著加快計算速度,實現了大模型的高效稀疏化,顯著提升DeepSeek-R1系列蒸餾模型的推理速度并降低能耗。

此外,相較于傳統推理平臺,墨芯S40算力卡能夠實現“單卡推理大模型”,簡化了多卡分布式處理大模型的復雜部署流程,降低了時間、功耗和成本。這一優勢在DeepSeek-R1蒸餾模型的部署中得到了充分體現,墨芯的S40計算卡滿足了高算力需求,降低了總擁有成本(TCO),為 AI大模型在各行業的應用提供了支持。

墨芯人工智能與DeepSeek-R1蒸餾模型的成功部署,實現了國產AI算力基座和國產大模型在應用層面的“雙向奔赴”,展示了稀疏計算技術在大模型領域的實踐成果,也為企業部署“高性能”且“用得起”的大模型提供新思路。

備注:

DeepSeek-R1-70B*:指DeepSeek-R1-Distill-Llama-70B模型

DeepSeek-R1-32B*:指DeepSeek-R1-Distill-Qwen-32B模型

關于墨芯人工智能

墨芯人工智能是稀疏計算引領者,致力于提供云端和終端AI計算平臺和服務。通過全球領先的稀疏計算技術優勢,打造軟硬協同的新一代智能計算平臺。產品性能位居行業領先,相較行業主流產品,在算力、能效比與成本等方面均實現數量級優化。面向互聯網、運營商、金融、制造、醫療、交通、能源、生命科學、自動駕駛等眾多行業與場景,提供高算力、低功耗、高性價比的AI算力服務,賦能前沿科技的進步與社會的智能化升級。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 墨芯
    +關注

    關注

    0

    文章

    9

    瀏覽量

    1110
  • 大模型
    +關注

    關注

    2

    文章

    2793

    瀏覽量

    3437
  • DeepSeek
    +關注

    關注

    1

    文章

    627

    瀏覽量

    388

原文標題:墨芯S40計算卡完成DeepSeek大模型部署, 支持單卡推理大模型

文章出處:【微信號:墨芯人工智能,微信公眾號:墨芯人工智能】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    RK3588開發板上部署DeepSeek-R1大模型的完整指南

    DeepSeek作為國產AI大數據模型的代表,憑借其卓越的推理能力和高效的文本生成技術,在全球人工智能領域引發廣泛關注。DeepSeek-R1作為該系列最新迭代版本,實現了長文本處理效
    發表于 02-27 16:45

    全面部署DeepSeek R1大模型

    近日,基于兆高性能通用處理器的PC終端、工作站以及服務器成功實現DeepSeek-R1-Distill模型(1.5B/7B/32B/70B/671B等)的本地
    的頭像 發表于 02-25 13:45 ?193次閱讀

    完成DeepSeek-R1大模型本地化部署

    近日,行正式宣布完成 DeepSeek-R1 大模型本地化部署實現在多場景、多產品中應用。解鎖“
    的頭像 發表于 02-24 15:17 ?313次閱讀

    摩爾線程圖形顯卡MTT S80實現DeepSeek模型部署

    摩爾線程“全功能”圖形顯卡MTT S80,不僅游戲渲染性能強大,能玩《黑神話:悟空》,現在還能本地部署DeepSeek R1蒸餾模型。搭配最新發布的MUSA SDK RC3.1.1版本
    的頭像 發表于 02-21 15:46 ?564次閱讀
    摩爾線程圖形顯卡MTT <b class='flag-5'>S</b>80<b class='flag-5'>實現</b><b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b>

    紹興數據局率先實現政務環境下的DeepSeek模型部署

    2月14日,紹興數據局率先基于華為昇騰服務器,成功部署上線DeepSeek全尺寸大模型,在全省率先實現政務環境下的DeepSeek
    的頭像 發表于 02-20 11:22 ?1129次閱讀
    紹興數據局率先<b class='flag-5'>實現</b>政務環境下的<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b>

    研華發布昇騰AI Box及Deepseek R1模型部署流程

    。這一舉措標志著研華在AI邊緣計算領域邁出了重要一步。 研華邊緣AI Box MIC-ATL3S依托昇騰芯片的強大異構計算能力,結合研華在邊緣計算領域的高可靠特點,為用戶提供了高效、穩
    的頭像 發表于 02-19 10:41 ?220次閱讀

    基于T527成功部署DeepSeek-R1

    近日,宇成功在全志T527 Linux系統上本地部署并運行了DeepSeek-R1 1.5B模型。
    的頭像 發表于 02-15 09:06 ?500次閱讀
    宇<b class='flag-5'>芯</b>基于T527成功<b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>-R1

    添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略

    DeepSeek 模型部署與測試,開啟這場充滿挑戰與驚喜的技術探索之旅。 RK3588 開發板:AI 性能擔當 RK3588 開發板基于先進的 8nm LP 制程工藝精心打造,其硬件配置堪稱豪華,在 AI
    發表于 02-14 17:42

    研華邊緣AI Box MIC-ATL3S部署Deepseek R1模型

    隨著深度求索(DeepSeek)大模型的發布引發行業熱議,研華科技基于昇騰Atlas平臺邊緣AI Box MIC-ATL3S正式發布與Deepseek R1
    的頭像 發表于 02-14 16:08 ?604次閱讀
    研華邊緣AI Box MIC-ATL3<b class='flag-5'>S</b><b class='flag-5'>部署</b><b class='flag-5'>Deepseek</b> R1<b class='flag-5'>模型</b>

    了解DeepSeek-V3 和 DeepSeek-R1兩個大模型的不同定位和應用選擇

    ); 二者均支持API調用,可根據業務需求混合部署(如用V3處理前端交互,R1負責后端計算)。 在電子工程領域選用哪個模型最合適,有其他更好的模型推薦嗎? 在電子工程領域的電路設計與
    發表于 02-14 02:08

    【實測】用全志A733平板搭建一個端側Deepseek算力平臺

    ? 隨著DeepSeek 的蒸餾技術的橫空出世,端側 SoC 芯片上運行大模型成為可能。那么端側芯片跑大模型的效果如何呢?本文將在全志 A733 芯片平臺上部署一個
    發表于 02-13 10:19

    DeepSeek模型成功部署,物通博聯在 AI 賦能工業上持續探索、不斷前行

    和二次開發,DeepSeek R1模型的發布迅速點燃了AI產業的革命之火。 DeepSeek R1 通過蒸餾將大模型的推理能力“壓縮”至小模型
    的頭像 發表于 02-12 11:15 ?235次閱讀

    在龍芯3a6000上部署DeepSeek 和 Gemma2大模型

    serve 2.運行deepseek-r1大模型 到以下網站選擇不同參數的大模型 https://ollama.com/library/deepseek-r1 新開一個終端執行如下
    發表于 02-07 19:35

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務

    近日,摩爾線程智能科技(北京)有限責任公司在其官方渠道發布了一則重要消息,宣布公司已經成功實現了對DeepSeek蒸餾模型推理服務的部署。這一技術突破,標志著摩爾線程在人工智能領域邁出
    的頭像 發表于 02-06 13:49 ?473次閱讀

    2024世界人工智能大會精彩回顧

    日前,國家級AI頂級盛會——2024世界人工智能大會(簡稱“WAIC 2024”)現場,人工智能展出的最新智能客服系統和高性能計算S40
    的頭像 發表于 08-28 14:58 ?666次閱讀
    主站蜘蛛池模板: 寄宿日记免费看 | 国产午夜a理论毛片在线影院 | 爱啪网站| 欧美ol丝袜高跟秘书在线播放 | 天天摸天天爽天天澡视频 | 欧美午夜性刺激在线观看免费 | 欧美乱xxxxxxxxx | 这里只有精品在线 | 色天天综合色天天看 | 日韩亚洲欧美日本精品va | 明日花在线观看 | 天天草夜夜骑 | 可以免费观看的黄色网址 | 久久婷婷综合五月一区二区 | 3344在线| 日韩啪啪片 | 免免费看片 | 成人免费观看一区二区 | tube4欧美最新69 | 久草资源免费 | 四虎在线播放免费永久视频 | 青草午夜精品视频在线观看 | 又粗又大撑满了好爽 | 日日夜操| 9久久99久久久精品齐齐综合色圆 | 人人爱人人澡 | 高清视频免费观看 | 男女爱爱视频免费看 | 天堂网最新版www | 在线观看黄日本高清视频 | 国产乱码精品一区二区三区四川人 | bt种子搜索-bt天堂 | 国产精品美女久久久久网 | 欧美一区二区三区视频 | 亚洲午夜久久久久久91 | www.丁香| 婷婷国产 | 无遮挡高清一级毛片免费 | 欧美色成人综合 | 韩国三级中文字幕hd | 欧洲精品码一区二区三区免费看 |