在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

算力革命:RoCE實測推理時延比InfiniBand低30%的底層邏輯

星融元Asterfusion ? 2025-05-28 14:08 ? 次閱讀

人工智能與大數(shù)據(jù)技術(shù)爆發(fā)的時代,算力基礎(chǔ)設(shè)施的革新成為驅(qū)動產(chǎn)業(yè)升級的核心引擎。作為 AI 數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的關(guān)鍵樞紐,800G 智能交換機正以其極致的性能、靈活的擴(kuò)展性和智能化的管理能力,重新定義高速網(wǎng)絡(luò)的標(biāo)準(zhǔn)。

本文將深度解析 AI 智算場景打造的800G AI RoCE交換機,從外部規(guī)格的硬件創(chuàng)新到內(nèi)部架構(gòu)的芯片級設(shè)計,從企業(yè)級操作系統(tǒng)的功能突破到實測數(shù)據(jù)的性能驗證,全方位展現(xiàn)其如何通過領(lǐng)先的技術(shù)架構(gòu)破解 AI 訓(xùn)練與推理中的網(wǎng)絡(luò)效率瓶頸,助力數(shù)據(jù)中心在高帶寬、低延遲、高可靠性的需求下實現(xiàn)算力資源的最優(yōu)配置。

算力基礎(chǔ)設(shè)施—AI 智算RoCE網(wǎng)絡(luò)交換機

外觀展示

這款 800G AI 智能交換機在配備了 64 個 800G OSFP 網(wǎng)絡(luò)接口,能夠支持25G/50G/100G/200G/400G 等多種速率,可靈活適配不同的網(wǎng)絡(luò)環(huán)境需求。

wKgZPGg25GyAfgIEAAIXun1_7h4777.png

管理接口提供了 RJ45 MGMT Port、USB 2.0 Port 以及 RJ45 Console Port,為設(shè)備的管理和配置提供了豐富的選擇。還具備 2 個 10G 端口,可作為 INT 端口用于其他管理功能,為設(shè)備的擴(kuò)展應(yīng)用提供了可能。

交換機設(shè)有 6 個 LED 指示燈,左側(cè)的 LED 指示燈(LINK/ACT)用于展示管理口的網(wǎng)絡(luò)鏈路狀態(tài)和數(shù)據(jù)活動情況,右側(cè)的 LED 指示燈(SYS)則顯示系統(tǒng)整體狀態(tài),此外還有 BMC(面板管理控制器狀態(tài))、P(電源模塊狀態(tài))、F(風(fēng)扇模塊狀態(tài))和 L(定位指示燈,用于維護(hù)期間識別設(shè)備),通過這些指示燈,運維人員可以快速了解設(shè)備的運行狀況。

采用 1+1 熱插拔電源設(shè)計,每個電源額定功率 3200W,且符合 80Plus 鈦金能效標(biāo)準(zhǔn),確保了設(shè)備供電的穩(wěn)定和高效。同時,配備 3+1 個熱插拔風(fēng)扇模塊,為設(shè)備的散熱提供了可靠保障。

內(nèi)部架構(gòu)

wKgZPGg25HqAXKZBAAOVwicNkcI709.png

采用了 Marvell Teralynx 10 ASIC(以下簡稱TL10),這是一款 5 納米單芯片可編程處理器,能提供 51.2Tbps 帶寬和約 560 納秒的端口轉(zhuǎn)發(fā)時延,在業(yè)內(nèi)處于領(lǐng)先水平。更詳細(xì)的內(nèi)部架構(gòu)請參見:51.2T 800G AI智算交換機軟硬件系統(tǒng)設(shè)計全揭秘 - 星融元Asterfusion

散熱設(shè)計上,采用 3D 均熱風(fēng)冷散熱,這種高效的風(fēng)冷設(shè)計使系統(tǒng)在 2180W 滿負(fù)荷運行時仍能有效控制溫度和噪音,即便在高負(fù)荷使用狀態(tài)下,風(fēng)扇轉(zhuǎn)速僅為 60%,保證了設(shè)備的穩(wěn)定運行和良好的工作環(huán)境。

精確時間協(xié)議 PTP 模塊支持熱插拔,PTP 和 SyncE 同步精度高達(dá) 10 納秒,為對時間同步要求高的應(yīng)用場景提供了有力支持。

COMe 模塊由 x86 英特爾至強處理器和 AsterNOS 驅(qū)動,為先進(jìn)的數(shù)據(jù)中心 / 人工智能路由提供智能控制平面。面板管理控制器(BMC)模塊采用可插拔式設(shè)計,適用于模塊化、可升級的帶外管理,支持性能升級擴(kuò)展,增強了設(shè)備的可擴(kuò)展性和靈活性。

AI RoCE 交換機操作系統(tǒng)(AsterNOS)

wKgZPGg25IGAF148AAHlqNfq3kk878.png

基于企業(yè)級SONiC的增強特性

  • 超高速以太網(wǎng)優(yōu)化:通過動態(tài)流量整形和優(yōu)先級隊列技術(shù),實現(xiàn)網(wǎng)絡(luò)利用率超90%,較傳統(tǒng)以太網(wǎng)提升30%。
  • AI場景專屬功能flowlet級負(fù)載均衡:根據(jù)GPU集群負(fù)載動態(tài)分配流量,減少數(shù)據(jù)擁塞。INT+WCMP路由:結(jié)合帶內(nèi)遙測與加權(quán)多路徑算法,訓(xùn)練任務(wù)延遲降低20.4%,token生成速率提升27.5%。

wKgZO2g25I6AfQkYAAD_Rju6o6M292.png
  • EasyRoCE :EasyRoCE 是星融元依托開源、開放的網(wǎng)絡(luò)架構(gòu)與技術(shù),為AI 智算、高性能計算等場景的RDMA 融合以太網(wǎng)(RoCE)提供的一系列實用特性和小工具。從前期規(guī)劃實施到日常運維監(jiān)控, EasyRoCE 簡化了各環(huán)節(jié)的復(fù)雜度并改善了操作體驗,更提供二次開發(fā)和集成空間,供網(wǎng)絡(luò)架構(gòu)師充分利用開放網(wǎng)絡(luò)的最新技術(shù)成果
wKgZPGg25JmATYQeAAAwG46x8vk054.png

(RE)RoCE Exporter:以容器的方式運行在AsterNOS網(wǎng)絡(luò)操作系統(tǒng)內(nèi),從運行AsterNOS的交換機設(shè)備上導(dǎo)出RoCE網(wǎng)絡(luò)相關(guān)監(jiān)控指標(biāo)(到自定義HTTP端口),供統(tǒng)一監(jiān)控平臺進(jìn)行可視化呈現(xiàn)。

wKgZPGg25KaAe8wBAAXT32jFjjU430.png
  • 接口收發(fā)帶寬和速率
  • RoCE、PFC、ECN、DSCP配置狀態(tài)信息
  • 擁塞控制信息(ECN標(biāo)記包,PFC幀數(shù)等)
  • 隊列Buffer信息
  • ……

企業(yè)版 SONiC vs 社區(qū)版

wKgZO2g25K6AIq99AAEo8iooweM796.pngwKgZO2g25KuAf94gAADkNX8502k685.pngwKgZPGg25LWANnhXAAC1P13ADHo064.png

AsterNOS 同時支持 Linux Bash 和思科風(fēng)格命令行界面(Klish),這種雙風(fēng)格命令行界面幫助網(wǎng)絡(luò)工程師輕松適應(yīng)并快速部署,提升了操作的便利性和效率。

wKgZO2g25L-Af_UoAACsbLS2vwA734.png

800G 數(shù)據(jù)中心交換機(TL10平臺)實測數(shù)據(jù)

wKgZO2g25MaALdsjAAK8GsXLvBQ086.png

CX864E-N蛇形吞吐測試

wKgZPGg25M2AYQRKAALdQVgFLNY035.png

CX864E-N的端口轉(zhuǎn)發(fā)時延

實測數(shù)據(jù)展示了該交換機在不同測試場景下的出色表現(xiàn),各項指標(biāo)均達(dá)到較高水平,驗證了其性能的穩(wěn)定性和可靠性。

DeepSeek模型推理指標(biāo)對比:IB vs RoCE

  • 推理時延:90% token 間隔延遲,指 90% token 間隔時間的最大值,用以衡量模型連續(xù)生成 token 的穩(wěn)定性和連貫性。推理時延越低,系統(tǒng)的穩(wěn)定性越高。
  • Token 平均生成速率(Token Generation Rate):單位為 token 每秒(tokens/s)。反映了模型推理的整體吞吐能力,TGR 越高,表示系統(tǒng)單位時間內(nèi)處理能力越強。
wKgZO2g25NSAb_W9AAAkJr1HFTo508.pngwKgZPGg25NyAe5IqAAAcyS1SqJI623.png

與IB網(wǎng)絡(luò)場景下數(shù)據(jù)對比可見,星融元RoCEv2組網(wǎng),推理時延明顯優(yōu)于IB,token 連貫性更好;token生成速度、中文字符速度明顯優(yōu)于IB。

800G AI智能交換機通過硬件革新與AsterNOS軟件協(xié)同,為AI算力集群與超大規(guī)模數(shù)據(jù)中心提供“高吞吐、低時延、易運維”的一站式解決方案。其模塊化設(shè)計、企業(yè)級SONiC支持及RoCEv2性能優(yōu)勢,正加速AI基礎(chǔ)設(shè)施向開放解耦、智能高效的下一代架構(gòu)演進(jìn)。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • InfiniBand
    +關(guān)注

    關(guān)注

    1

    文章

    31

    瀏覽量

    9357
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1166

    瀏覽量

    15510
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    地平線余凱稱輔助駕駛的底層邏輯正在改寫

    從大模型黑馬DeepSeek,到春晚出圈的宇樹機器人,人工智能撬動的科技創(chuàng)新引領(lǐng)又一輪產(chǎn)業(yè)革命。這印證了“生產(chǎn)決定生產(chǎn)關(guān)系”的底層邏輯,當(dāng)科技動能觸發(fā)的“十倍生產(chǎn)
    的頭像 發(fā)表于 06-03 13:59 ?290次閱讀

    RAKsmart智能架構(gòu):異構(gòu)計算+網(wǎng)絡(luò)驅(qū)動企業(yè)AI訓(xùn)練范式升級

    在AI大模型參數(shù)量突破萬億、多模態(tài)應(yīng)用爆發(fā)的今天,企業(yè)AI訓(xùn)練正面臨效率與成本的雙重挑戰(zhàn)。RAKsmart推出的智能架構(gòu),以異構(gòu)計算資源池化與超低時
    的頭像 發(fā)表于 04-17 09:29 ?274次閱讀

    芯片的生態(tài)突圍與革命

    據(jù)的爆發(fā)式增長,大芯片已成為科技競爭的核心領(lǐng)域之一。 ? 大芯片的核心應(yīng)用場景豐富多樣。在人工智能訓(xùn)練與推理方面,大模型(如 GPT
    的頭像 發(fā)表于 04-13 00:02 ?1572次閱讀

    智能最具潛力的行業(yè)領(lǐng)域

    ?; 數(shù)據(jù)治理與聯(lián)合創(chuàng)新?:民生銀行與華為、阿里云等共建AI實驗室,通過“數(shù)據(jù)湖+模型體系”提升服務(wù)精準(zhǔn)度?; 需求驅(qū)動?:金融大模型推理對GPU
    的頭像 發(fā)表于 04-11 08:20 ?280次閱讀
    智能<b class='flag-5'>算</b><b class='flag-5'>力</b>最具潛力的行業(yè)領(lǐng)域

    DeepSeek推動AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對的需求持續(xù)攀升,直接推動了服務(wù)
    發(fā)表于 03-25 12:00

    工業(yè)4.0革命利器!明遠(yuǎn)智睿SSD2351核心板:低成本+高,破解產(chǎn)線智能化難題

    行業(yè)痛點:傳統(tǒng)工業(yè)設(shè)備智能化改造面臨三大瓶頸——不足導(dǎo)致實時性差、接口資源有限難以擴(kuò)展多設(shè)備、進(jìn)口方案成本高昂且供貨不穩(wěn)定。 核心板方案價值: 明遠(yuǎn)智睿SSD2351核心板基于SigmaStar
    發(fā)表于 03-21 14:22

    信而泰CCL仿真:解鎖AI極限,智中心網(wǎng)絡(luò)性能躍升之道

    中心RoCE網(wǎng)絡(luò)提供精準(zhǔn)評估方案,助力企業(yè)突破瓶頸,釋放AI澎湃動力! 什么是智中心 智中心(AIDC,Artificial Int
    的頭像 發(fā)表于 02-24 17:34 ?403次閱讀
    信而泰CCL仿真:解鎖AI<b class='flag-5'>算</b><b class='flag-5'>力</b>極限,智<b class='flag-5'>算</b>中心網(wǎng)絡(luò)性能躍升之道

    DeepSeek對芯片的影響

    架構(gòu)的核心理念是將整個模型劃分為多個子模型(專家),每個子模型負(fù)責(zé)特定的任務(wù),且在實際推理時并非激活所有專家,而是根據(jù)輸入數(shù)據(jù)選擇性激活需要的專家。對于芯片
    的頭像 發(fā)表于 02-07 10:02 ?1051次閱讀
    DeepSeek對芯片<b class='flag-5'>算</b><b class='flag-5'>力</b>的影響

    中心的如何衡量?

    作為當(dāng)下科技發(fā)展的重要基礎(chǔ)設(shè)施,其的衡量關(guān)乎其能否高效支撐人工智能、大數(shù)據(jù)分析等智能應(yīng)用的運行。以下是對智中心算衡量的詳細(xì)闡述:一、
    的頭像 發(fā)表于 01-16 14:03 ?2059次閱讀
    <b class='flag-5'>算</b>智<b class='flag-5'>算</b>中心的<b class='flag-5'>算</b><b class='flag-5'>力</b>如何衡量?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?

    科技云報到:要更要“利”,“精裝”觸發(fā)大模型產(chǎn)業(yè)新變局?
    的頭像 發(fā)表于 01-16 10:24 ?413次閱讀

    調(diào)度的基礎(chǔ)知識

    編者按 “調(diào)度”的概念,這幾年越來越多的被提及。剛聽到這個概念的時候,我腦海里一直拐不過彎。作為底層芯片出身的我,一直認(rèn)為:是硬件的
    的頭像 發(fā)表于 11-27 17:13 ?785次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>調(diào)度的基礎(chǔ)知識

    RoCE與IB對比分析(一):協(xié)議棧層級篇

    在 AI 建設(shè)中, RDMA 技術(shù)是支持高吞吐、延遲網(wǎng)絡(luò)通信的關(guān)鍵。目前,RDMA技術(shù)主要通過兩種方案實現(xiàn):InfinibandRoCE
    的頭像 發(fā)表于 11-15 13:58 ?2046次閱讀
    <b class='flag-5'>RoCE</b>與IB對比分析(一):協(xié)議棧層級篇

    當(dāng)前主流的大模型對于底層推理芯片提出了哪些挑戰(zhàn)

    隨著大模型時代的到來,AI逐漸變成重要的戰(zhàn)略資源,對現(xiàn)有AI芯片也提出了前所未有的挑戰(zhàn):大的需求、高吞吐量與延時、高效內(nèi)存管理、能
    的頭像 發(fā)表于 09-24 16:57 ?1128次閱讀

    TLV3201電流檢測電路的時應(yīng)該怎么

    TLV3201請教一下大佬。這種電流檢測電路的時應(yīng)該怎么?這里的時指的是從輸入電流發(fā)生變化到比較器輸出反饋的時間。 我的理解是放大器的建立時間+比較器的傳輸時嘛?比如按照
    發(fā)表于 07-31 07:19
    主站蜘蛛池模板: 在线看黄的网站 | 黄www色 | 国产小视频在线高清播放 | 网站黄色在线观看 | 国模伊人 | 四虎影院网站 | 精品国产柚木在线观看 | 国内精品免费视频精选在线观看 | 黑人边吃奶边扎下面激情视频 | 日本视频一区在线观看免费 | 国产牛牛| 亚洲地址一地址二地址三 | 天堂在线中文无弹窗全文阅读 | 国产你懂的视频 | aaaaaa精品视频在线观看 | 精品手机在线视频 | 成年人三级视频 | 国产高清视频免费最新在线 | 四虎最新网址 | 色视频在线观看完整免费版 | 中文字幕一区二区三区视频在线 | 欧美成人生活片 | 91成人免费福利网站在线 | 免费网站黄色 | 国产精品资源手机在线播放 | 日日操天天操夜夜操 | 一级欧美在线的视频 | 天天干人人 | 美女扒尿口给男人桶到爽 | 三级三级三级网站网址 | 秋霞一级特黄真人毛片 | 美女黄页网站免费进入 | 男人的天堂免费网站 | 美女视频毛片 | 成人免费精品视频 | 免费观看视频 | 夜夜夜夜爽 | 国产亚洲精品自在久久77 | 免费看又爽又黄禁片视频1000 | 三级黄色一级视频 | 男人的天堂免费网站 |