本文來自“A100/H100/GH200集群：網(wǎng)絡(luò)架構(gòu)及光模塊需求”。傳統(tǒng)數(shù)據(jù)中心經(jīng)歷了從三層架構(gòu)到葉脊架構(gòu)的改變，主要是為了適配數(shù)據(jù)中心東西向流量的增長。隨著數(shù)據(jù)上云的進(jìn)程持續(xù)加速，云計(jì)算數(shù)據(jù)中心規(guī)模持續(xù)擴(kuò)大，而其中所采用的的虛擬化、超融合系統(tǒng)等應(yīng)用推動(dòng)數(shù)據(jù)中心東西向流量大幅增長——根據(jù)思科此前的數(shù)據(jù)，2021年數(shù)據(jù)中心相關(guān)的流量中，數(shù)據(jù)中心內(nèi)部的流量占比超過70%。

以傳統(tǒng)三層架構(gòu)到葉脊架構(gòu)的轉(zhuǎn)變?yōu)槔~脊網(wǎng)絡(luò)架構(gòu)下，光模塊數(shù)量提升最高可達(dá)到數(shù)十倍。

基于縮小網(wǎng)絡(luò)瓶頸考慮，大規(guī)模AI集群的網(wǎng)絡(luò)架構(gòu)需要滿足大帶寬、低時(shí)延、無損的需求。智算中心網(wǎng)絡(luò)架構(gòu)一般采用Fat-Tree（胖樹）網(wǎng)絡(luò)架構(gòu)，具有無阻塞網(wǎng)絡(luò)的特點(diǎn)。 同時(shí)為避免節(jié)點(diǎn)內(nèi)互聯(lián)瓶頸，英偉達(dá)采用NVLink實(shí)現(xiàn)卡間高效互聯(lián)。對(duì)比PCIe，NVLink具有更高帶寬優(yōu)勢(shì)，成為英偉達(dá)顯存共享架構(gòu)的基礎(chǔ)，創(chuàng)造了新的GPU到GPU的光連接需求。 A100：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測(cè)算 每個(gè)DGX A100 SuperPOD基本部署結(jié)構(gòu)信息為：140臺(tái)服務(wù)器(每臺(tái)服務(wù)器8張GPU）+交換機(jī)（每臺(tái)交換機(jī)40個(gè)端口，單端口200G）；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹）。 關(guān)于網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)：針對(duì)140臺(tái)服務(wù)器，會(huì)進(jìn)行三層網(wǎng)絡(luò)結(jié)構(gòu)部署（服務(wù)器-Leaf層交換機(jī)-Spine層交換機(jī)-Core層交換機(jī)），每層交換機(jī)對(duì)應(yīng)的線纜數(shù)分別為1120根-1124根-1120根。 假設(shè)服務(wù)器和交換機(jī)之間采用銅纜，基于一條線纜對(duì)應(yīng)2個(gè)200G光模塊計(jì)算，GPU:交換機(jī):光模塊=14；若采用全光網(wǎng)絡(luò)，GPU:交換機(jī):光模塊=16。

H100：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測(cè)算 每個(gè)DGX H100 SuperPOD基本部署結(jié)構(gòu)信息為：32臺(tái)服務(wù)器(每臺(tái)服務(wù)器8張GPU）+12臺(tái)交換機(jī)；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹），交換機(jī)單端口400G速率，可合并形成800G端口。 針對(duì)4SU集群，假設(shè)為全光網(wǎng)絡(luò)、三層Fat-Tree架構(gòu)下，服務(wù)器和Leaf層交換機(jī)使用400G光模塊，Leaf-Spine和Spine-Core使用800G光模塊，則400G光模塊數(shù)量為32*8*4=256只，使用800G的數(shù)量為32*8*2.5=640只。 即GPU:交換機(jī):400G光模塊:800G光模塊=11:2.5。

GH200：網(wǎng)絡(luò)結(jié)構(gòu)及光模塊需求測(cè)算 針對(duì)單個(gè)GH200集群：256張超級(jí)芯片GPU互聯(lián)，采用2層fat-tree網(wǎng)絡(luò)結(jié)構(gòu)，其中兩層網(wǎng)絡(luò)均采用NVLink switch來完成搭建，第一層（服務(wù)器和Level 1交換機(jī)）之間使用了96臺(tái)交換機(jī)，Level 2使用了36個(gè)交換機(jī)。NVLink switch的配置參數(shù)為：每臺(tái)交換機(jī)擁有32個(gè)端口，每個(gè)端口速率為800G。由于NVLink 4.0對(duì)應(yīng)互聯(lián)帶寬雙向聚合是900GB/s，單向?yàn)?50GB/s，則256卡的集群中，接入層總上行帶寬為115200GB/s，考慮胖樹架構(gòu)以及800G光模塊傳輸速率（100GB/s），800G光模塊總需求為2304塊。因此，GH200集群內(nèi)，GPU:光模塊=1:9。 若考慮多個(gè)GH200互聯(lián)，參考H100架構(gòu)，3層網(wǎng)絡(luò)架構(gòu)下，GPU:800G光模塊需求=1:2.5；2層網(wǎng)絡(luò)架構(gòu)下，GPU:800G光模塊=1:1.5。即多個(gè)GH200互聯(lián)情況下，GPU:800G光模塊上限=1:（9+2.5）=1:11.5。

總結(jié)： 隨著算力集群不斷提升網(wǎng)絡(luò)性能，高速光模塊需求彈性加大。以英偉達(dá)集群為例，加速卡所適配的網(wǎng)卡接口速率和其網(wǎng)絡(luò)協(xié)議帶寬密切相關(guān)，A100 GPU支持PCIe 4.0，最大支持單向帶寬為252Gb/s，即PCIe網(wǎng)卡速率需小于252Gb/s，因此搭配搭配Mellanox HDR 200Gb/sInfiniband?網(wǎng)卡；H100 GPU支持PCIe 5.0，最大支持單向帶寬為504Gb/s，因此搭配Mellanox NDR 400Gb/s Infiniband?網(wǎng)卡。 所以，A100向H100升級(jí)，其對(duì)應(yīng)的光模塊需求從200G提升到800G（2個(gè)400G端口合成1個(gè)800G）；而GH200采用NVLink實(shí)現(xiàn)卡間互聯(lián)，單向帶寬提升到450GB/s，對(duì)應(yīng)800G需求彈性進(jìn)一步提升。 若H100集群從PCIe 5.0提升到PCIe 6.0，最大支持單向帶寬提升到1024Gb/s，則接入層網(wǎng)卡速率可提升到800G，即接入層可使用800G光模塊，集群中單卡對(duì)應(yīng)800G光模塊需求彈性對(duì)應(yīng)翻倍。

Meta算力集群架構(gòu)及應(yīng)用 Meta此前發(fā)布“Research SuperCluster”項(xiàng)目用于訓(xùn)練LLaMA模型。RSC項(xiàng)目第二階段，Meta總計(jì)部署2000臺(tái)A100服務(wù)器，包含16000張A100 GPU，集群共包含2000臺(tái)交換機(jī)、48000條鏈路，對(duì)應(yīng)三層CLOS網(wǎng)絡(luò)架構(gòu)，若采用全光網(wǎng)絡(luò)，對(duì)應(yīng)9.6萬個(gè)200G光模塊，即A100:光模塊=1:6，與前文測(cè)算的A100架構(gòu)相同。

針對(duì)LLaMA3的訓(xùn)練，Meta使用了H100 GPU，包含IB和以太網(wǎng)集群，最大均可支持3.2萬張GPU。針對(duì)以太網(wǎng)方案，根據(jù)Meta披露的信息，其算力集群仍采用了有收斂的葉脊網(wǎng)絡(luò)架構(gòu)——每個(gè)機(jī)架2臺(tái)服務(wù)器，接入1個(gè)TOR交換機(jī)（采用Wedge 400），一個(gè)集群中有252臺(tái)服務(wù)器；Cluster交換機(jī)采用Minipack2 OCP機(jī)架交換機(jī)，一個(gè)集群中共使用18個(gè)Cluster交換機(jī)，推算收斂比為3.5:1；匯聚層交換機(jī)共18臺(tái)（采用Arista 7800R3），收斂比為7:1。集群主要采用400G光模塊，從集群架構(gòu)來看，以太網(wǎng)方案仍有待在協(xié)議層面進(jìn)一步突破，推動(dòng)無阻塞網(wǎng)絡(luò)的構(gòu)建，關(guān)注超以太網(wǎng)聯(lián)盟等進(jìn)展。 AWS算力集群架構(gòu)及應(yīng)用 AWS推出了第二代?EC2 Ultra Clusters集群，包括H100 GPU和自研Trainium ASIC方案。AWS EC2 Ultra Clusters P5實(shí)例（即H100方案）提供3200 Gbps的聚合網(wǎng)絡(luò)帶寬并支持?GPUDirect RDMA，最大可支持2萬張GPU組網(wǎng)；Trn1n實(shí)例（自研Trainium方案）單集群16卡，提供1600 Gbps的聚合網(wǎng)絡(luò)帶寬，最大支持3萬張ASIC組網(wǎng)，對(duì)應(yīng)6 EFlops算力。?

AWS EC2 Ultra Clusters卡間互聯(lián)分別采用NVLink（H100方案）和NeuronLink（Trainium方案），集群互聯(lián)采用自研EFA網(wǎng)絡(luò)適配器。對(duì)比英偉達(dá)方案，AWS自研Trainium ASIC集群單卡上行帶寬推算為100G（1600G聚合帶寬/16卡=100G），因此AWS目前架構(gòu)中暫無800G光模塊需求。 Google算力集群架構(gòu)及應(yīng)用 Google最新的算力集群由配置為三維環(huán)面的TPU陣列組成。一維環(huán)面對(duì)應(yīng)每個(gè)TPU連接到相鄰的2個(gè)TPU，二維環(huán)面為2個(gè)正交的環(huán)，對(duì)應(yīng)每個(gè)TPU連接到相鄰的4個(gè)TPU；目前谷歌TPUv4即三維環(huán)面，每個(gè)TPU連接到6個(gè)相鄰的TPU。

基于此，每個(gè)機(jī)柜內(nèi)部構(gòu)建4*4*4=64顆TPU的3D網(wǎng)絡(luò)結(jié)構(gòu)。3D結(jié)構(gòu)的外表部分連接到OCS，則一個(gè)4096顆TPU互聯(lián)對(duì)應(yīng)64個(gè)機(jī)柜、48個(gè)OCS交換機(jī)即48*64=6144個(gè)光模塊，內(nèi)部則采用DAC連接（18000條），則對(duì)應(yīng)TPU:光模塊=1:1.5。在OCS方案下，光模塊需要采用波分復(fù)用方案，并增加環(huán)形器（Circulator）減少光纖數(shù)量，其光模塊方案具有定制化特征（800G VFR8）。

審核編輯：黃飛

?