AI 工廠依靠的不僅僅是計算網。當然，連接 GPU 的東西向網絡對于 AI 應用的性能至關重要，而連接高速存儲陣列的存儲網也不容忽視。存儲性能在運行 AI 業務過程中的多個階段中發揮著關鍵作用,包括訓練過程中的 Checkpoint 操作、推理過程中的檢索增強生成（RAG）等。

為了滿足這些需求，NVIDIA 和存儲生態合作伙伴正在將NVIDIA Spectrum-X 網絡平臺擴展到數據存儲網，從而帶來更高的性能和更快的實現 AI 的時間。由于 Spectrum-X 動態路由技術能夠緩解網絡中的流量沖突并增加有效帶寬，從而使存儲性能遠高于 RoCE v2，RoCE v2 是大多數數據中心用于 AI 計算網和存儲網的以太網網絡協議。

Spectrum-X 將讀取帶寬加速了高達 48%，寫入帶寬加速了高達 41%。帶寬的增加可以更快地完成 AI 工作流中與存儲相關的操作，從而縮短訓練業務的完成時間，并降低推理過程中的 Token 分配延遲。

Spectrum-X 的主要存儲合作伙伴

隨著 AI 工作負載的規模和復雜性不斷增加，存儲解決方案也必須不斷發展，以跟上現代 AI 工廠的需求。DDN、VAST Data?和WEKA?等領先的存儲供應商正與 NVIDIA 合作，利用 Spectrum-X 集成和優化其解決方案，為 AI 存儲網帶來先進的功能。

Spectrum-X 對 Israel-1 超級計算機的大規模影響

NVIDIA 已經搭建了生成式 AI 超級計算機 Israel-1，用于對各種 AI 網絡解決方案進行預測試和驗證以優化 Spectrum-X 性能和簡化網絡部署。這使 Israel-1 成為測試 Spectrum-X 如何影響存儲工作負載的良好平臺，展示了網絡在現實的超級計算機運行狀態下對存儲性能的影響。

為了了解 Spectrum-X 對存儲網絡的影響，Israel-1 團隊測量了從 NVIDIA HGX ?GPU 服務器客戶端訪問存儲時的讀寫帶寬。該測試（Flexible I/O Tester 基準測試）在將網絡配置為標準 RoCE v2 網絡的情況下執行一次，然后在啟用 Spectrum-X 的動態路由和擁塞控制后重新運行。

這些測試使用了不同數量的 GPU 服務器作為客戶端運行，覆蓋了從 40 個 GPU 到 800 個 GPU。在所有的測試中，Spectrum-X 都表現得更好。讀帶寬提升幅度在 20%到 48%之間，寫帶寬提升幅度在 9％到 41％之間，這些結果與 DDN、VAST?和 WEKA?等生態合作伙伴測到的加速性能一致。

存儲網絡性能對于 AI 性能至關重要

要想知道 Spectrum-X 為何會帶來如此大的影響，需要先了解存儲在 AI 業務中的重要性。AI 性能不僅僅受大語言模型（LLM）每一步完成時間的影響，還與許多其他因素有關。例如，由于模型訓練通常需要幾天、幾周或幾個月才能完成，因此設置 Checkpoint 或保存部分訓練模型的中間結果到存儲非常重要，通常需要每隔幾個小時操作一次。這意味著，萬一系統出現問題，訓練進度不會丟失。

對于具有數十億至數萬億參數的模型，這些 Checkpoint 的狀態變得越來越大，現在最大型 LLM 模型會生成高達數 TB 的數據，保存數據或恢復數據會產生多條“大象流”，這些突發的大象流，可能會淹沒交換機的緩沖和鏈路，所以網絡必須保證為訓練工作負載提供最佳利用率。

檢索增強生成（RAG）是另一個存儲網可以影響工作負載性能的例子，借助 RAG，LLM 與不斷增長的知識庫相結合，為模型添加特定領域的上下文，從而提供更快的響應時間，而無需額外的模型訓練或微調。RAG 的工作原理是獲取額外的內容或知識，并將其嵌入到向量數據庫中，從而使其成為可搜索到的知識庫。

輸入推理提示時，系統會解析（嵌入）提示并搜索數據庫，檢索到的內容會向提示添加上下文，以幫助 LLM 制定最佳答案。向量數據庫是多維的，可能非常龐大，尤其是由圖像和視頻組成的知識庫。

這些數據庫通過存儲網連接到推理節點，網絡必須確保快速通信以盡可能降低延遲。對于多租戶生成式 AI 工廠而言，這一點變得尤為重要，因為這些工廠每秒要處理大量的查詢。

存儲中動態路由和擁塞控制的應用

Spectrum-X 平臺引入了 InfiniBand 網絡上的關鍵創新技術，例如RoCE Adaptive Routing（動態路由）和RoCE Congestion Control（擁塞控制）。NVIDIA 通過采用這些創新技術并將其與存儲網相結合，提高了存儲工作負載的性能和網絡利用率。

動態路由

為了消除大象流之間的碰撞并減輕 Checkpoint 過程中產生的網絡流量，動態路由可以對于網絡上的流進行逐包的動態負載平衡，Spectrum-4 以太網交換機根據實時擁塞狀況來選擇擁塞最低的路徑。由于數據包被噴灑到整個網絡中，到達目的地時它們可能會出現亂序，在傳統的以太網下，這將需要重新傳輸許多數據包。

借助 Spectrum-X，接收端主機里的 SuperNIC 或數據處理器（DPU）知道數據包的正確順序，可以在主機內存中按序放置數據包，從而使動態路由對應用程序透明。這可提高網絡利用率，為 Checkpoint、數據獲取等實現更高的有效帶寬以及提供可預測、一致的結果。

擁塞控制

Checkpoints 和其它存儲操作通常會導致 Incast 擁塞，也稱為多對一擁塞。當多個客戶端嘗試向單個存儲節點寫入數據時，就會出現這種情況。Spectrum-X 引入了一種基于遙測的擁塞控制技術，使用交換機中硬件遙測技術來通知 SuperNIC 或 DPU，以降低發送端的數據注入速率（即 RDMA 寫和讀)。從而防止出現擁塞熱點，這些熱點可能會反向傳播，導致相鄰作業或進程受到擁塞的不公平影響。

增強彈性

由于 AI 工廠通常由大量交換機、線纜和收發器組成，任何鏈路中斷都可能導致網絡性能的大幅下降，因此網絡彈性對于維護基礎設施的健康至關重要。Spectrum-X 全局動態路由可在鏈路中斷時實現優化、快速的重新收斂，從而充分利用存儲網。

NVIDIA 全棧集成

除了 Spectrum-X 為存儲網帶來的創新之外，NVIDIA 還提供并推薦使用多種 SDK、庫和軟件產品，以加速存儲到 GPU 數據通路，其中包括但不限于以下內容：

NVIDIA Air：一款基于云的網絡仿真工具，用于對交換機、SuperNIC 和存儲進行建模，可加速 Day 0、Day 1 和 Day 2 對于存儲網的操作。

NVIDIA Cumulus Linux：基于自動化部署和 API 構建的網絡操作系統，可確保大規模網絡的平穩運營和管理。

NVIDIA DOCA：面向 NVIDIA SuperNIC 和 DPU 的 SDK，可在存儲、安全等方面提供出色的可編程性和性能。

NVIDIA NetQ：一款網絡驗證工具集，集成了交換機遙測技術，可提供網絡的實時可見性。

NVIDIA GPUDirect Storage：一項在存儲和 GPU 顯存之間建立直接數據路徑的技術，可提高數據傳輸效率。

開始使用 Spectrum-X

隨著模型越來越大，數據走向更多的多模態，存儲將一直是生成式 AI 訓練和操作的關鍵要素。