在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Deepseek進入業務深水區,為什么需要昇騰大EP?

腦極體 ? 來源:腦極體 ? 作者:腦極體 ? 2025-03-17 15:09 ? 次閱讀

wKgZPGfW5KyACaETAApVMpyorlk327.jpg

DeepSeek讓各行業引入AI大模型的意識和積極性明顯提高,已推動AI在政務、能源、制造等領域廣泛鋪展開來。

很多政企用戶接入DeepSeek之后,感受到了AI大模型給業務帶來了“旦用難回”的體驗,很快就從試用的第一階段,進入第二階段——大模型推理集群的擴容升級。

當“有沒有Deepseek用”不再成為問題,那么“Deepseek好不好用”的挑戰就迎面而來。

一來,人多了,大量訪問請求帶來的高并發,就像春運高峰期涌入巨大的人流量,會出現請求積壓,模型推理思考時間變長,token吞吐速度下降,用戶的等待時延達到50-100毫秒,服務器繁忙和排隊讓人惱火。

二來,機器多了,增加更多服務器會遇到物理天花板,機器擴容并不會線性提升在線推理服務的體驗,就像即使增加了更多車廂,但鐵軌承載能力有限,也無法運送更多旅客(AI任務)了。

當行業智能化進入深度應用DeepSeek的第二階段,不得不面臨高并發推理的技術挑戰。在堆算力的同時,也要同步優化性能體驗,相當于想要運送更多乘客,不僅要增加車廂數量,還要同步改造軌道、站臺和管理機制,將老式火車升級為高鐵,才能綜合提高運輸效率。

wKgZO2fW5KyAeZLEAAIkN2vn3rk810.jpg

以DeepSeek為例,前不久公布了其利潤率,高達545%,其中就涉及大量工程化能力,比如引入大EP推理集群,實現高并發推理吞吐量指數級增長。

對于更多行業和企業來說,沒有DeepSeek那樣的極客天才和頂尖技術團隊,怎樣用大EP來解決高并發推理挑戰呢?當AI大模型開始進入千行萬業的深水區,亟需一場大EP的“運力革命”。

wKgZPGfW5KyAdr9vAAJ2WfClXG4942.jpg

很多政企客戶在接入了Deepseek之后,使用量進一步增加,有了擴展推理集群規模的需求,推理資源需要從2臺擴展到10臺,從16卡擴展到千卡,但擴容升級并不是往機房一放、網絡一連,就能高枕無憂了。

就像印度仍在使用的老式火車,僅靠增加車廂,還是無法提高運力,每個乘客能占用的火車空間極小,體驗很差,火車不堪重負,延誤晚點成了家常便飯。類似問題,在Deepseek和各種大模型與業務的結合中,高并發推理卡住了用戶的體驗瓶頸。

面對上述問題,大EP大規模專家并行的技術架構,成為趨勢。

簡單來說,大EP就是將MoE(混合專家)模型中數千個專家,分配到更多的卡(算力)上去。原本一張卡只能拉10個人,有了大EP,可以同時拉100個(高并發);原本只能跑一趟車,現在可以同時跑八趟車(提高專家計算路數batch size),那么乘客就不用長時間等待了。

所以,通過大EP可以提高高并發推理場景下的計算效率,實現更大的吞吐和更低的時延。用戶體感上,比如一家銀行的工作人員同時訪問Deepseek,不會遇到排隊、延遲、過長等待等情況。

大EP這么好,怎么才能部署到自己的一體機或推理資源池呢?不經過一番努力,確實很難吃到大EP的蛋糕。

一方面,推理場景的算力需求指數級擴展,而海外廠商的推理芯片如H20,雖然顯存高,但算力不足,處理大EP場景時吞吐驟降。Deepseek公開的論文來看,仍然使用H800來進行推理。更強算力且供應鏈穩定的推理硬件,是大EP必不可少的。

另一方面,當請求總量猛增之后,會帶來多種多樣的負載,且極不均衡,相當于有的車廂坐的人多,有的車廂坐的人少,負載不均一樣會導致體驗不佳。

此外,大EP場景的All-to-All通信,導致卡間通信占比時間高,相當于每個車廂的專家都要通知到,這就會耽誤進出站的效率。NVLink在大EP場景中,實際有效帶寬利用率就不足。

由此可見,當行業使用Deepseek進入深水區,面對高并發推理場景,不能抱有“頭疼醫頭腳疼醫腳”的僥幸心理,而需要通盤思考和系統攻堅。

wKgZO2fW5K2AAnpMAAJGomFO5yA775.jpg

今天來看,各行各業擁抱Deepseek不是追逐一時風口,而是對智能化發展趨勢的長期價值判斷。普惠LLM進入千行萬業,已經是大勢所趨。

而大EP無法順利被行業用起來,就意味著接入Deepseek始終存在時延高、體驗差、成本難優化的問題,那么行業智能化也就無法順利達成。

不過也不必過于擔心,Deepseek、科大訊飛等模廠,與昇騰等算力廠商,以及政企行業用戶,一直保持著緊密協作與溝通,自開年Deepseek熱潮以來,從部署實踐中沉淀了大量技術創新。

近期,昇騰推出了大EP解決方案,面向高并發推理場景,一站式升級為智能化“高鐵”。

具體來說,昇騰大EP解決方案借助五大關鍵技術,與昇騰算力深度協同優化,成功突破了“專家負載均衡+通信優化”兩大難題。

針對專家負載不均的難題:

昇騰大EP解決方案提出了MoE負載均衡技術,可以自動尋優,根據業務情況、集群規模,找到最優的專家,自動預測哪個專家更忙,自動配比,當一個專家負載過多時自動講解,從而實現了備份節點和副本專家靈活可擴展、高可用和極致均衡,性能得到極大提升

采用多種創新技術,做到自適應的autoPD分離部署。根據Prefill和Decode的動態負載,進行P、D實例的自動伸縮,無需人工介入,從而減少計算訪存資源競爭。結合多級緩存內存資源池化,對冷熱溫數據進行區分,可以讓系統的有效吞吐提升50%以上。

針對All-to-All通信優化的難題:

昇騰大EP解決方案提出了雙流/多維混合并行,其中Prefill micro-batch雙流并行,可以實現計算和通信的相互掩蓋;MoE expert專家雙流并行,實現兩條數據流Stream的并行計算;Weight權重預取雙流并行,可以把訪存和通信并行起來,降低權重加載時間,提升效率。

wKgZO2fW5K6AJ6trAAQOV3lI64w930.jpg

MLA預處理階段,昇騰大EP解決方案把大量的小算子,合成為大的融合算子,將計算耗時降低70%,讓算力能力充分發揮出來。

如果你覺得上述技術創新多、不好記,那么只需要,借助昇騰大EP解決方案,行業應用Deepseek時,可以做到:

快。訪問Deepseek無需等待。昇騰大EP可以將單卡并發提升3倍,Decode階段響應速度穩定在50ms以內,支撐600+并發請求。

省。業務使用Deepseek上量之后,推理集群擴展的同時,性能也保持線性度,擴容綜合成本更優。

正如高鐵改變了中國人的出行,昇騰大EP為高并發推理鋪設了一條“高速鐵路”,改變了Deepseek上量擴容階段的體驗,為行業智能化提速增效。

wKgZPGfW5K6AWNmFAAKBVPCV2SY144.jpg

僅用兩個多月的時間,Deepseek就完成了從試用階段到擴容階段的進階。高并發推理場景和大EP技術架構,成為應用Deepseek的新挑戰。這也提醒我們,行業智能化是一個循序漸進的過程,不可能一蹴而就。

自主創新算力與國產模型如同高鐵的雙軌,成為支撐起智能中國的“新基建”。昇騰生態之所以與Deepseek等大模型更加適配,答案逐步清晰明確。

首先,昇騰有硬件,為行業智能化提供“永不沉降”的算力路基。昇騰硬件的FP16和INT8算力,可達到H20的2倍以上,且功耗更低,足以支撐各行業智能化的平穩前進。

此外,昇騰有軟硬件的協同優化能力。隨著行業智能化的不斷深入,AI模型對算力需求不斷擴張,但硬件的物理天花板和企業的投入產出比,都要求計算性能持續優化。昇騰的AI軟硬件,提供從預訓練到微調到強化學習,到推理集群、一體機,全流程全覆蓋的方案,可以快速響應客戶需求,高效支撐技術創新。目前,昇騰與DeepSeek最新技術已經實現了“day0”級別同步,確保企業智能化在昇騰軟硬件基座上,始終行駛在技術最前沿。

更重要的是,昇騰有伙伴。行業智能化是一個體系化工程,不是單一硬件或軟件廠商就能獨自完成的。在自主創新算力生態中,昇騰一方面兼容主流生態與PyTorch等國內外框架,同時與ISV伙伴、各大模廠都保持著緊密共生與合作。這意味著,當行業用戶基于昇騰底座開發AI應用,能得到生態的全方位助力,減少智能化升級的阻力,降低綜合成本。

今天,智能化已經成為全球經濟發展的主航道。在自主算力與國產模型所鑄就的雙軌上,行業智能化也將走深向遠,向著智能時代飛馳。

wKgZPGfW5K-AEe-IAAHtu4GpRoQ353.jpg

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    32561

    瀏覽量

    271865
  • 大模型
    +關注

    關注

    2

    文章

    2803

    瀏覽量

    3454
  • DeepSeek
    +關注

    關注

    1

    文章

    638

    瀏覽量

    431
收藏 人收藏

    評論

    相關推薦

    (原創)310B(8T/20T)算力主板定制方案

    】、【 支持定制 】、【 原裝正品 】 ,310B,20T算力,芯片,核心板,算力主板,310B邊緣計算盒子 附件:RC:Ubuntu 22.04、openEuler 22.
    發表于 03-16 21:43

    潤和軟件將持續深化“+DeepSeek”技術路線

    近日,“+DeepSeek 智算引擎創新行”江蘇省首站活動在南京成功舉辦,本次活動由南京江北新區產業技術研創園指導,江蘇省人工智能學會、江蘇鯤鵬·
    的頭像 發表于 03-08 09:39 ?288次閱讀

    漫話之《一體機請就位》

    為什么DeepSeek部署「最優解」?
    的頭像 發表于 03-07 00:12 ?1217次閱讀
    漫話<b class='flag-5'>昇</b><b class='flag-5'>騰</b>之《一體機請就位》

    中軟國際發布基于計算架構的“DeepSeek社保基金監管大模型一體機”解決方案

    ? ? ? 為了提升社保基金監管效能,推動社保基金管理的智能化、科學化、精準化,中軟國際正式推出“DeepSeek社保基金監管大模型一體機”解決方案。該方案基于計算架構,深度融合DeepS
    的頭像 發表于 03-06 19:19 ?572次閱讀
    中軟國際發布基于<b class='flag-5'>昇</b><b class='flag-5'>騰</b>計算架構的“<b class='flag-5'>DeepSeek</b>社保基金監管大模型一體機”解決方案

    聆思CSK6大模型語音開發板接入DeepSeek資料匯總(包含深度求索/火山引擎/硅基流動華為滿血版)

    本帖最后由 jf_40317719 于 2025-3-6 21:20 編輯 近期也有不少開發者想把自己的智能硬件接入DeepSeek大模型,本篇就以聆思CSK6大模型開發板接入DeepSeek
    發表于 03-06 17:02

    推理服務器+DeepSeek大模型 技術培訓在圖為科技成功舉辦

    2月17日,華為政企業務團隊受邀蒞臨圖為科技深圳總部,并成功舉辦了一場聚焦于《推理服務器+DeepSeek大模型》的專業知識培訓。 此次培訓活動不僅深化了雙方的技術交流,更標志著
    的頭像 發表于 02-26 17:38 ?306次閱讀
    <b class='flag-5'>昇</b><b class='flag-5'>騰</b>推理服務器+<b class='flag-5'>DeepSeek</b>大模型 技術培訓在圖為科技成功舉辦

    研華發布AI Box及Deepseek R1模型部署流程

    近日,隨著深度求索(DeepSeek)大模型的發布在行業內掀起熱議,研華科技正式推出了基于Atlas平臺的邊緣AI Box MIC-ATL3S,并同步發布了與Deepseek R1
    的頭像 發表于 02-19 10:41 ?239次閱讀

    濟南市中區存算一體化智算中心上線DeepSeek

    濟南市中未來產業發展有限公司(簡稱“市中產發”)聯合華為、北京和清昴智能基于市中區存算一體化智算中心(國家大學科技園節點)算力部署DeepS
    的頭像 發表于 02-19 10:38 ?304次閱讀

    DeepSeek V3思MindSpore版本上線開源社區

    近日,基于AI硬件與思MindSpore AI框架版本的DeepSeek-V3完成開發支持并上線思開源社區,面向開發者提供開箱即用的
    的頭像 發表于 02-18 10:12 ?640次閱讀
    <b class='flag-5'>DeepSeek</b> V3<b class='flag-5'>昇</b>思MindSpore版本上線開源社區

    云軸科技ZStack智塔攜手AI實現DeepSeek模型部署

    DeepSeek為人工智能AI產業帶來一場革命,為企業級AI應用私有化部署場景(Private AI)注入強勁動力。作為企業級私有化AI Infra平臺,云軸科技ZStack智塔攜手AI實現了
    的頭像 發表于 02-18 09:59 ?241次閱讀
    云軸科技ZStack智塔攜手<b class='flag-5'>昇</b><b class='flag-5'>騰</b>AI實現<b class='flag-5'>DeepSeek</b>模型部署

    華為推出DeepSeek大模型一體機

    DeepSeek大模型的橫空出世,讓AI正以前所未有的速度重塑各行各業的發展格局。DeepSeek一體機深度融合騰高性能算力底座與
    的頭像 發表于 02-18 09:56 ?1331次閱讀

    迅龍軟件出席華為APN伙伴大會,獲APN鉆石伙伴授牌及兩項大獎

    2025年2月15日,華為APN伙伴大會在深圳順利舉辦。本次大會匯聚來自能源、交通、制造、教育等各行各業的APN合作伙伴,共同探討APN產業生態的新機遇與發展路徑,分享
    的頭像 發表于 02-17 17:04 ?467次閱讀
    迅龍軟件出席華為<b class='flag-5'>昇</b><b class='flag-5'>騰</b>APN伙伴大會,獲<b class='flag-5'>昇</b><b class='flag-5'>騰</b>APN鉆石伙伴授牌及兩項大獎

    喜訊 英碼科技受邀出席華為APN伙伴大會,正式成為「鉆石部件伙伴」,喜獲多個重磅獎項!

    2025年2月15日,華為APN伙伴大會在深圳順利舉辦。英碼科技以戰略級合作伙伴身份喜獲雙重殊榮——榮登 「鉆石部件伙伴」 行列,并包攬" 杰出貢獻獎 "、" 最佳產品獎 "兩
    的頭像 發表于 02-17 16:32 ?233次閱讀
    喜訊 英碼科技受邀出席華為<b class='flag-5'>昇</b><b class='flag-5'>騰</b>APN伙伴大會,正式成為「<b class='flag-5'>昇</b><b class='flag-5'>騰</b>鉆石部件伙伴」,喜獲多個重磅獎項!

    中軟國際科創中心上線DeepSeek模型

    近日,中軟國際科創中心以“DeepSeek+”為引擎,緊跟行業趨勢,將DeepSeek全參模型滿血版部署在全國產化智算環境中,實現671B參數的
    的頭像 發表于 02-08 18:02 ?909次閱讀

    思原生,助力智譜打造自主創新大模型體系!

    自從全面啟動原生開發,越來越多的生態伙伴選擇,大模型生態從“應用遷移”走向“原生開發”,充分依托
    的頭像 發表于 08-20 18:29 ?565次閱讀
    <b class='flag-5'>昇</b><b class='flag-5'>騰</b>與<b class='flag-5'>昇</b>思原生,助力智譜打造自主創新大模型體系!
    主站蜘蛛池模板: 午夜免费毛片 | 国产一级爱c片免费播放 | 清朝荒淫牲艳史在线播放 | 狠狠狠狠狠操 | 在线观看亚洲免费视频 | 正在播放91大神调教偷偷 | 午夜无码国产理论在线 | 国产精品三级视频 | 免费的毛片网站 | aaa亚洲| 狠狠色丁香婷婷综合 | 久久国产高清字幕中文 | 黄h视频在线观看视频 | 色资源在线观看 | 天堂激情 | 女人被两根一起进3p在线观看 | 玖玖玖精品视频免费播放 | 圆胖肥女人性视频 | 亚洲欧美日本综合 | 人人舔| 色天天综合色天天看 | 午夜小视频免费 | 欧美性猛| 三浦理惠子中文在 | 午夜视频在线观看国产www | 国产成人精品日本亚洲直接 | 天天色综合社区 | 国产伦精品一区二区 | 九九午夜| 香蕉视频色版在线观看 | 一级毛片真人免费观看 | 国产精品一区二区三区四区五区 | 狠狠躁夜夜躁人人爽天天天天 | 亚洲精品456| 爱婷婷网站在线观看 | 色老头一区二区三区在线观看 | 精品精品国产自在久久高清 | 日本三级香港三级人妇99 | 色费女人18女人毛片免费视频 | 1000部又爽又黄的做黄禁片 | 日韩三级在线免费观看 |