本文來自“英偉達(dá)Blachwell平臺(tái)網(wǎng)絡(luò)配置詳解”。GTC大會(huì)英偉達(dá)展示了全新的 Blackwell 平臺(tái)系列產(chǎn)品，包括 HGX B100 服務(wù)器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交換機(jī)和 CX8 網(wǎng)卡（InfiniBand 方案）、ETH Spectrum X800 交換機(jī)和 BF3 網(wǎng)卡（以太網(wǎng)方案）。

1. Blackwell 平臺(tái)網(wǎng)絡(luò)配置分析

從網(wǎng)絡(luò)配置的角度，英偉達(dá)提供了第五代 NVLINK、第六代 PCIE、單端口800Gbit/s 的 IB 和以太網(wǎng)網(wǎng)卡、1.6T 光模塊需求。從目前英偉達(dá)公布的產(chǎn)品介紹看，這些升級(jí)后的網(wǎng)絡(luò)能力可能不會(huì)第一時(shí)間全部配置在最新的 DGX B200 服務(wù)器上，而是在后續(xù)的產(chǎn)品中逐步升級(jí)。從英偉達(dá)公布的產(chǎn)品說明材料看，DGX B200 服務(wù)器配置 8 顆 NVIDIA B200 Tensor Core GPUs，4 個(gè) 800G OSPF 光模塊，最大功耗為 14.3kW。

2 DGX GB200： NVLink domain 提升至 576 GPUs

采用 DGX GB200 系統(tǒng)的 NVIDIA DGX SuperPOD 專為訓(xùn)練和推理萬億參數(shù)生成式AI 模型而構(gòu)建。每個(gè)液冷機(jī)架配備 36 個(gè) NVIDIA GB200 Grace Blackwell 超級(jí)芯片（36 個(gè) NVIDIA Grace CPU 和 72 個(gè) Blackwell GPU），與 NVIDIA NVLink 連接為一體。多個(gè)機(jī)架與 NVIDIA Quantum InfiniBand 連接，可擴(kuò)展到數(shù)萬個(gè) GB200 超級(jí)芯片。

GB200 可以在單機(jī)柜內(nèi)搭建包含 36 個(gè)或者 72 個(gè) GPU 的 NVLink domain。一個(gè)機(jī)柜內(nèi)包含 18 個(gè)計(jì)算節(jié)點(diǎn)和 9 臺(tái) L1 NVLink Switch。基于第五代 NVLink 技術(shù)，每個(gè) NVLink 交換機(jī)可以提供 144 個(gè) 100GB NVLink 端口。通過機(jī)柜內(nèi)的 9 個(gè) L1NVLink Switch 可以合計(jì) 提 供 1296 個(gè) 100GB NVLink 端口 ，機(jī)柜 內(nèi)的每 個(gè)Blackwell GPUs 可以獲得 18 個(gè)端口，合計(jì) 1.8T 的 NVLink 帶寬。

GB200 NVL72 使用了一個(gè)定制化的 Copper cable cartridge 實(shí)現(xiàn)機(jī)柜內(nèi) 9 個(gè)L1 NV Switch 和 18 個(gè)計(jì)算節(jié)點(diǎn)的 NVLink 連接。英偉達(dá)介紹 NVIDIA GB200 NVL72可以在一個(gè) NVLink domain 內(nèi)連接 576 個(gè) GPU。英偉達(dá)當(dāng)前公布的 GB200 NVL72 配置了 72 個(gè) CX7 網(wǎng)口（OSFP 400Gb/s InfiniBand），并沒有使用最新的 CX8 網(wǎng)卡。

3 全新 IB 交換機(jī)，雙層胖樹支持萬卡集群

NVIDIA Quantum-X800 Q3400-RA 是一臺(tái) 4U 的 IB 交 換機(jī) ，對(duì)比 上一 代Quantum-9700 交換機(jī)設(shè)備尺寸提升了一倍。Quantum-X800 也是英偉達(dá)第一款使用200Gb/s-per-lane SerDes 方案的交換機(jī)設(shè)備，通過 72 個(gè) OSPF 1.6T 光模塊提供144 個(gè) 800G 端口。英偉達(dá)指出，基于 Quantum-X800 的高性能，兩層胖樹網(wǎng)路拓?fù)渚涂梢赃B接 10386 個(gè)網(wǎng)絡(luò)接口卡。

GTC 大會(huì)上，英偉達(dá)推出的 Spectrum-X800 SN5600 是一臺(tái) 51.2T 端口容量的以太網(wǎng)交換機(jī)，可以配置 64 個(gè) OSPF 800G 光模塊。

4 新平臺(tái)依然需要 800G 和 400G 光模塊

從 GTC 大會(huì)的介紹看，BLACKWELL 平臺(tái)會(huì)帶來第五代 NVLINK、第六代 PCIE、第八代 IB 網(wǎng)絡(luò)應(yīng)用。但是在當(dāng)前早期交付的產(chǎn)品中依然會(huì)采用 800G 和 400G 光模塊。其中 DGX B200 服務(wù)器配置通過 4 個(gè) 800G OSPF 光模塊提供 8 個(gè) 400G 端口，這和DGX H100 服務(wù)器的配置相同。

我們認(rèn)為 B200 GPU 和 800 光模塊的配置比例和 H100 GPU 保持一致。而 GB200NVL72 需要配置 72 個(gè) OSPF 400G 光模塊，以便通過 IB 網(wǎng)絡(luò)實(shí)現(xiàn)萬卡集群的連接。

5 新的IB網(wǎng)絡(luò)帶來1.6T光模塊需求

NVIDIA Quantum-X800 Q3400-RA 和 CX8 NIC 則明確需要配置 1.6T 光模塊。和上一代 IB 網(wǎng)絡(luò)相比，主要的變化是 Quantum-X800 的端口能力提升至 115.2T，可以通過兩層胖樹拓?fù)鋵?shí)現(xiàn) 10386 個(gè)網(wǎng)絡(luò)接口卡的連接，萬卡規(guī)模 Blackwell GPU 集群使用 IB 網(wǎng)絡(luò)組網(wǎng)的成本得到優(yōu)化。我們認(rèn)為這會(huì)弱化以太網(wǎng)方案的價(jià)格優(yōu)勢(shì)，提升 IB 網(wǎng)絡(luò)方案的競(jìng)爭(zhēng)力。

6 NVLink domain 容量擴(kuò)展帶來新增的銅纜連接需求

通過第五代 NVLINK 從 900GB 提升至 1800GB，單個(gè) NVLINK domain 的 GPU 數(shù)量提升至 576 個(gè)。最大的變化是 L1 NV Switch 從服務(wù)器 PCB 板載芯片的形式調(diào)整為機(jī)柜內(nèi)的 9 臺(tái)交換機(jī)，連接能力提升至 72 個(gè) GPU，需要使用銅纜實(shí)現(xiàn)機(jī)柜內(nèi)的NVLINK 連接。

而如何實(shí)現(xiàn) 576 個(gè) GPU 連接，目前英偉達(dá)還沒有給出具體的連接方案，但是鑒于目前最新的 IB 交換機(jī)能力，我們認(rèn)為連接 576 個(gè) GPU 需要 L2 NV Switch。最終的方案使用銅纜還是光模塊，核心是銅纜的連接距離是否可以滿足 8 個(gè)機(jī)柜的連接需求，低成本的銅纜連接方案會(huì)是優(yōu)先選項(xiàng)。

審核編輯：黃飛