生成式 AI 和 AI 智能體推理將推動(dòng) AI 計(jì)算基礎(chǔ)設(shè)施從邊緣云向中心云分布的需求。IDC 預(yù)測(cè)“到 2030 年，商業(yè) AI（不包括消費(fèi)者）將為全球經(jīng)濟(jì)貢獻(xiàn) 19.9 萬億美元，并且占到 GDP 的 3.5%。”

5G 網(wǎng)絡(luò)也必須不斷發(fā)展，才能滿足這些新的 AI 流量的需求。與此同時(shí)，電信公司將有機(jī)會(huì)成為托管企業(yè) AI 工作負(fù)載的本地 AI 計(jì)算基礎(chǔ)設(shè)施，這種基礎(chǔ)設(shè)施不依賴網(wǎng)絡(luò)連接，同時(shí)滿足了數(shù)據(jù)隱私和主權(quán)要求。加速計(jì)算基礎(chǔ)設(shè)施由于能夠同時(shí)加速無線電信號(hào)處理和 AI 工作負(fù)載，因此能夠在這個(gè)領(lǐng)域大放異彩。最重要的是，可以使用同一個(gè)計(jì)算基礎(chǔ)設(shè)施處理 AI 和無線接入網(wǎng)絡(luò)（RAN）服務(wù)。這一組合被電信行業(yè)稱為 AI-RAN。

NVIDIA 推出了全球首個(gè) AI-RAN 部署平臺(tái)Aerial RAN Computer-1，該平臺(tái)可在通用加速基礎(chǔ)設(shè)施上同時(shí)服務(wù)于 AI 和 RAN 工作負(fù)載。

繼 T-Mobile 推出 AI-RAN 創(chuàng)新中心之后，Aerial RAN Computer-1 將 AI-RAN 變成了現(xiàn)實(shí)，為電信公司提供了一個(gè)可在全球使用的可部署平臺(tái)。它可以用于各種大、中、小型配置，部署在基站、分布式站點(diǎn)或集中式站點(diǎn)，有效地將網(wǎng)絡(luò)轉(zhuǎn)變?yōu)榉?wù)于語音、視頻、數(shù)據(jù)和 AI 流量的多用途基礎(chǔ)設(shè)施。

這項(xiàng)變革性的解決方案用 AI 重構(gòu)了面向 AI 的無線網(wǎng)絡(luò)。它給電信公司帶來了一個(gè)推動(dòng) AI 飛輪的絕佳機(jī)遇，使電信公司能夠充分利用其分布式網(wǎng)絡(luò)基礎(chǔ)設(shè)施、低延遲、有保證的服務(wù)質(zhì)量、巨大的規(guī)模以及保護(hù)數(shù)據(jù)隱私、安全和本地化的能力，而這些都是實(shí)現(xiàn) AI 推理和代理式 AI 應(yīng)用的關(guān)鍵前提。

AI-RAN、AI Aerial 和Aerial RAN Computer-1

AI-RAN 是構(gòu)建 AI 原生多用途網(wǎng)絡(luò)的技術(shù)框架。通過采用 AI-RAN 并從用途單一的傳統(tǒng) ASIC RAN 計(jì)算網(wǎng)絡(luò)過渡到同時(shí)服務(wù)于 RAN 和 AI 的新型多用途加速計(jì)算網(wǎng)絡(luò)，電信運(yùn)營(yíng)商現(xiàn)在可以參與新的 AI 經(jīng)濟(jì)，并利用 AI 提高網(wǎng)絡(luò)效率。

NVIDIA AI Aerial包含三個(gè)計(jì)算機(jī)系統(tǒng)，可用于設(shè)計(jì)、仿真、訓(xùn)練和部署基于 AI-RAN 的 5G 和 6G 無線網(wǎng)絡(luò)。Aerial RAN Computer-1 是 NVIDIA AI Aerial 的基礎(chǔ)，并提供了適用于 AI-RAN 的商用級(jí)部署平臺(tái)。

Aerial RAN Computer-1（圖 1）提供了一個(gè)通用可擴(kuò)展硬件基礎(chǔ)，可運(yùn)行各種 RAN 和 AI 工作負(fù)載，包括軟件定義 5G、NVIDIA 或其他 RAN 軟件提供商的 5G 專網(wǎng) RAN、容器化網(wǎng)絡(luò)功能、NVIDIA 或合作伙伴的 AI 微服務(wù)等。它還可托管內(nèi)部和第三方生成式 AI 應(yīng)用。Aerial RAN Computer-1 采用模塊化設(shè)計(jì)，因此能夠從 D-RAN 擴(kuò)展到 C-RAN 架構(gòu)，覆蓋從農(nóng)村到高密度的城市用例。

NVIDIA CUDA-X庫(kù)是加速計(jì)算的核心。除提高效率外，該庫(kù)還提供了速度、準(zhǔn)確性和可靠性。這意味著在相同的功率范圍內(nèi)可以完成更多的工作。最重要的是，包括電信專用適配庫(kù)在內(nèi)的特定領(lǐng)域庫(kù)是使 Aerial RAN Computer-1 適用于電信部署的關(guān)鍵。

NVIDIA DOCA提供了一整套工具和庫(kù)，能夠顯著提升電信工作負(fù)載的性能，包括 RDMA、PTP/ 定時(shí)同步和基于以太網(wǎng)的前端線路（eCPRI）以及對(duì)現(xiàn)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施至關(guān)重要的 AI 工作負(fù)載。

總之，該全棧支持可擴(kuò)展硬件、通用軟件和開放式架構(gòu)，使用戶能夠與生態(tài)合作伙伴一起提供高性能 AI-RAN。

圖 1. 作為 NVIDIA AI Aerial 平臺(tái)一部分提供的NVIDIA Aerial RAN Computer-1

Aerial RAN Computer-1 的優(yōu)勢(shì)

借助 Aerial RAN Computer-1，無線網(wǎng)絡(luò)可以變成一個(gè)由 AI 和 RAN 數(shù)據(jù)中心組成的大規(guī)模分布式網(wǎng)格，在為電信公司開辟新收入渠道的同時(shí)，通過軟件升級(jí)為 6G 鋪平道路。

Aerial RAN Computer-1 為電信運(yùn)營(yíng)商帶來的優(yōu)勢(shì)如下：

通過 AI 和生成式 AI 應(yīng)用、邊緣 AI 推理或 GPU 即服務(wù)來獲得收入。

將基礎(chǔ)設(shè)施的利用率提高至單一用途基站的 2-3 倍，后者目前的利用率通常只有 30%。使用同一基礎(chǔ)設(shè)施來托管內(nèi)部生成式 AI 工作負(fù)載和其他容器化網(wǎng)絡(luò)功能，例如 UPF 和 RIC 等。

通過針對(duì)特定站點(diǎn)的 AI 學(xué)習(xí)來提高無線網(wǎng)絡(luò)性能，頻譜效率最多可提高 2 倍，直接節(jié)省每 Mhz 獲取頻譜的成本。

為下一代應(yīng)用提供高性能 RAN 和 AI 體驗(yàn)，將 AI 融入到每一次交互中。Aerial RAN Computer-1 在純 RAN 模式下最多可提供 170 Gb/s 的吞吐量，在純 AI 模式下最多可提供每秒 25,000 個(gè) token 的吞吐量，即便在兩種模式混合的情況下，也具有遠(yuǎn)超傳統(tǒng)網(wǎng)絡(luò)的性能。

Aerial RAN Computer-1 的組成

Aerial RAN Computer-1 的主要硬件組件如下：

NVIDIA GB200 NVL2

NVIDIA Blackwell GPU

NVIDIA Grace CPU

NVLink2 C2C

第五代 NVIDIA NVLink

鍵值緩存

MGX 參考架構(gòu)

實(shí)時(shí)主流 LLM 推理

NVIDIA GB200 NVL2

Aerial RAN Computer-1 使用的NVIDIA GB200 NVL2平臺(tái)（圖 2）給數(shù)據(jù)中心和邊緣計(jì)算帶來了變革，為主流大語言模型（LLM）、vRAN、矢量數(shù)據(jù)庫(kù)搜索和數(shù)據(jù)處理提供了空前的性能。

這一橫向擴(kuò)展型單節(jié)點(diǎn)架構(gòu)搭載兩個(gè) NVIDIA Blackwell GPU 和兩個(gè) NVIDIA Grace CPU，可將加速計(jì)算無縫集成到現(xiàn)有基礎(chǔ)設(shè)施中。

該多功能架構(gòu)支持多種系統(tǒng)設(shè)計(jì)和網(wǎng)絡(luò)選項(xiàng)，使 GB200 NVL2 平臺(tái)成為了數(shù)據(jù)中心、邊緣和蜂窩基站的理想選擇，這些地點(diǎn)想要利用 AI 的強(qiáng)大性能以及無線 5G 連接。

例如在單個(gè)蜂窩基站中，GB200 服務(wù)器的一半可分配給 RAN 任務(wù)，另一半可通過多實(shí)例 GPU（MIG）技術(shù)用于 AI 處理。在聚合站點(diǎn)中，可以為 RAN 和 AI 各分配一整臺(tái)專用的 GB200 服務(wù)器。在集中部署的情況下，RAN 和 AI 工作負(fù)載之間可共享 GB200 服務(wù)器集群。

NVIDIA Blackwell GPU

NVIDIA Blackwell 是一個(gè)變革性的架構(gòu)，它能夠提高性能、效率和規(guī)模。NVIDIA Blackwell GPU包含 2080 億個(gè)晶體管，并采用專門定制的 TSMC 4NP 節(jié)點(diǎn)制造而成。所有 NVIDIA Blackwell 產(chǎn)品均搭載兩個(gè)接近光罩極限的裸片，并通過 10-TB/s 片間互聯(lián)技術(shù)連接成一個(gè)統(tǒng)一的 GPU。

NVIDIA Grace CPU

NVIDIA Grace CPU是一款突破性的處理器，它專為運(yùn)行 AI、vRAN、云計(jì)算和高性能計(jì)算（HPC）應(yīng)用的現(xiàn)代數(shù)據(jù)中心設(shè)計(jì)。該處理器具有出色的性能和內(nèi)存帶寬，能耗卻只有當(dāng)今領(lǐng)先服務(wù)器處理器的一半。

NVLink2 C2C

GB200 NVL2 平臺(tái)使用NVLink-C2C為每個(gè) NVIDIA Grace CPU 和 NVIDIA Blackwell GPU 之間提供突破性的 900 GB/s 互聯(lián)速度。結(jié)合第五代 NVLink，該平臺(tái)提供了 1.4TB 的超大連貫內(nèi)存模型，推動(dòng)了加速 AI 和 vRAN 性能的提升。

第五代 NVIDIA NVLink

為了充分發(fā)揮超大規(guī)模計(jì)算和萬億參數(shù) AI 模型的強(qiáng)大性能，服務(wù)器集群中的每個(gè) GPU 都必須進(jìn)行無縫而快速的通信。

第五代NVLink是一種高性能互聯(lián)技術(shù)，能夠提高 GB200 NVL2 平臺(tái)的性能。

鍵值緩存

鍵值（KV）緩存通過存儲(chǔ)對(duì)話上下文和歷史記錄來提高 LLM 的響應(yīng)速度。

GB200 NVL2 通過其完全連貫的 NVIDIA GraceGPU 和 NVIDIA Blackwell GPU 內(nèi)存來優(yōu)化鍵值緩存，該內(nèi)存通過 NVLink-C2C 連接，NVLink-C2C 的速度是 PCIe 的 7 倍。

這使得 LLM 預(yù)測(cè)單詞的速度比基于 x86 的 GPU 更快。

MGX 參考架構(gòu)

MGX GB200 NVL2 是一種將 CPU C-Link 和 GPU NVLink 相連的 2:2 配置。

HPM 包含以下組件：

NVIDIA Grace CPU（2 個(gè)）

用于 GPU puck 和 I/O 卡的連接器

安裝在 2U AC 服務(wù)器中的 GPU 模塊（2 個(gè)）

每個(gè)可插拔 GPU 模塊包含 GPU、B2B 連接和 NVLink 連接器。

圖 2. NVIDIA GB200 NVL2 平臺(tái)布局

表 1. GB200 NVL2 平臺(tái)特性

實(shí)時(shí)主流 LLM 推理

GB200 NVL2 平臺(tái)引入了高達(dá) 1.3TB 的超大連貫內(nèi)存，該內(nèi)存由兩個(gè) NVIDIA Grace CPU 和兩個(gè) NVIDIA Blackwell GPU 共享。結(jié)合第五代 NVIDIA NVLink 和高速片間（C2C）連接技術(shù)，該共享內(nèi)存將主流語言模型（如 Llama3-70B）的實(shí)時(shí) LLM 推理性能提高了 5 倍。

在輸入序列長(zhǎng)度為 256、輸出序列長(zhǎng)度為 8,000、精度為 FP4 的情況下，GB200 NVL2 平臺(tái)的推理速度最高可達(dá)每秒 25,000 個(gè) token，折合每天 21.6 億個(gè) token。

圖 3 顯示了 GB200 NVL2 在支持 AI 和 RAN 工作負(fù)載時(shí)的表現(xiàn)。

圖 3. GB200 NVL2 中 RAN 和 AI 的計(jì)算利用率

以下是 GB200 NVL2 平臺(tái)上 RAN 和 AI 的平臺(tái)租用情況：

100% 利用率下的工作負(fù)載

RAN：約 36 個(gè) 100 MHz 64T64R

*token：25,000 token/秒

AI：約 10 美元/時(shí)，折合約 90,000 美元/年

50:50 利用率平分情況下的工作負(fù)載

RAN：約 18 個(gè) 100 MHz 64T64R

*token：12,500 token/秒

AI：約 5 美元/時(shí)，折合 45,000 美元/年

*token AI 工作負(fù)載：Llama-3-70B FP4 | 序列長(zhǎng)度輸入 256 /輸出 8K

Aerial RAN Computer-1 的配套硬件

Aerial RAN Computer-1 的配套硬件是NVIDIA BlueField-3和NVIDIA Spectrum-X。

NVIDIA BlueField-3

NVIDIA BlueField-3 DPU 支持實(shí)時(shí)數(shù)據(jù)傳輸，提供前傳 eCPRI 流量所需的精確 5G 時(shí)序。

NVIDIA 提供完整的 IEEE 1588v2 精確時(shí)間協(xié)議（PTP）軟件解決方案。NVIDIA PTP軟件解決方案專為滿足最苛刻的 PTP 配置文件設(shè)計(jì)。NVIDIA BlueField-3 包含 1 個(gè)集成式 PTP 硬件時(shí)鐘（PHC），使設(shè)備精度突破了 20 納秒，同時(shí)還提供了計(jì)時(shí)相關(guān)功能，包括時(shí)間觸發(fā)調(diào)度和基于時(shí)間的軟件定義網(wǎng)絡(luò)（SDN）加速等。

該技術(shù)還使軟件應(yīng)用能夠以高帶寬傳輸前傳、兼容 RAN 數(shù)據(jù)。

NVIDIA Spectrum-X

邊緣和數(shù)據(jù)中心網(wǎng)絡(luò)在推動(dòng) AI 和無線技術(shù)進(jìn)步及性能方面發(fā)揮著至關(guān)重要的作用，它們是支撐分布式 AI 模型推理、生成式 AI 和世界領(lǐng)先 vRAN 性能的支柱。

NVIDIA BlueField-3 DPU 支持成百上千個(gè) NVIDIA Blackwell GPU 的高效伸縮，為應(yīng)用提供了最佳的性能。

NVIDIA Spectrum-X 以太網(wǎng)平臺(tái)專為提高基于以太網(wǎng)的 AI 云的性能和效率設(shè)計(jì)，并且包含了 5G 定時(shí)同步所需的所有功能。其 AI 網(wǎng)絡(luò)性能較傳統(tǒng)以太網(wǎng)提高了 1.6 倍，同時(shí)還能在多租戶環(huán)境中保證性能的一致性和可預(yù)測(cè)性。

當(dāng)在機(jī)架配置中部署 Aerial RAN Computer-1 時(shí)，Spectrum-X 以太網(wǎng)交換機(jī)可用作一種兩用架構(gòu)。它既可處理計(jì)算架構(gòu)上的前傳和 AI（東西向）流量，也可傳輸融合架構(gòu)上的回傳或中傳以及 AI（南北向）流量。遠(yuǎn)程無線電設(shè)備按照 eCPRI 協(xié)議將該交換機(jī)作為終端。

Aerial RAN Computer-1

上的軟件堆棧

Aerial RAN Computer-1 上的關(guān)鍵軟件堆棧包括：

NVIDIA Aerial CUDA 加速 RAN

NVIDIA AI Enterprise 和 NVIDIA NIM

NVIDIA 云功能

NVIDIA Aerial CUDA 加速 RAN

NVIDIA Aerial CUDA 加速 RAN是 NVIDIA 構(gòu)建的主要 RAN 軟件，該軟件適用于在 Aerial RAN Computer-1 上運(yùn)行的 5G 和 5G 專網(wǎng)。

它包含了由 NVIDIA GPU 加速的互通 PHY 和 MAC 層庫(kù)，這些庫(kù)可以通過 AI 組件輕松修改和無縫擴(kuò)展。其他軟件提供商、電信公司、云服務(wù)提供商（CSP）和企業(yè)也可以使用這些經(jīng)過強(qiáng)化的 RAN 軟件庫(kù)，構(gòu)建定制化商業(yè)級(jí)軟件定義 5G RAN 和未來的 6G RAN。

Aerial CUDA 加速 RAN 與 NVIDIA Aerial AI 無線電框架集成，該框架提供了一套 AI 增強(qiáng)功能，支持在 RAN 中使用框架工具 pyAerial、NVIDIA Aerial 數(shù)據(jù)湖和NVIDIA Sionna進(jìn)行訓(xùn)練和推理。

與其形成互補(bǔ)的是NVIDIA Aerial Omniverse數(shù)字孿生。NVIDIA Aerial Omniverse 數(shù)字孿生一個(gè)系統(tǒng)級(jí)網(wǎng)絡(luò)數(shù)字孿生開發(fā)平臺(tái)，它實(shí)現(xiàn)了對(duì)無線系統(tǒng)的物理級(jí)精度模擬。

NVIDIA AI Enterprise

和 NVIDIA NIM

NVIDIA AI Enterprise是一個(gè)企業(yè)級(jí)生成式 AI 軟件平臺(tái)。NVIDIA NIM是一個(gè)微服務(wù)集，可簡(jiǎn)化生成式 AI 應(yīng)用基礎(chǔ)模型的部署。

兩者共同提供了易于使用的微服務(wù)和藍(lán)圖。這些微服務(wù)和藍(lán)圖加快了數(shù)據(jù)科學(xué)流程的速度，并且簡(jiǎn)化了企業(yè)生產(chǎn)級(jí)co-pilot和其他生成式 AI 應(yīng)用的開發(fā)與部署。

企業(yè)和電信公司既可以訂閱NVIDIA Elastic NIM托管服務(wù)，也可以自行部署和管理 NIM。Aerial RAN Computer-1 可以托管 NVIDIA AI Enterprise 和基于 NIM 的 AI 與生成式 AI 工作負(fù)載。

NVIDIA 云功能

NVIDIA 云功能為 GPU 加速的 AI 工作負(fù)載提供了一個(gè)無服務(wù)器平臺(tái)，確保了安全性、可擴(kuò)展性與可靠性。它支持多種通信協(xié)議，包括：

HTTP 輪詢

流式傳輸

gRPC

NVIDIA 云功能主要適用于運(yùn)行時(shí)間較短的搶占式工作負(fù)載，例如推理和微調(diào)等。由于 RAN 工作負(fù)載的資源利用率會(huì)隨時(shí)間變化，因此該功能非常適合 Aerial RAN Computer-1 平臺(tái)。

短暫的搶占式 AI 工作負(fù)載通常可以填滿一天中利用率較低的時(shí)段，從而保持 Aerial RAN Computer-1 平臺(tái)的高利用率。

部署選項(xiàng)和性能

Aerial RAN Computer-1 提供多種部署選項(xiàng)，包含了無線接入網(wǎng)絡(luò)中的所有點(diǎn)：

無線基站蜂窩站點(diǎn)

接入點(diǎn)位置

移動(dòng)交換中心

基帶中心

如果用于 5G 專網(wǎng)，Aerial RAN Computer-1 可以位于企業(yè)經(jīng)營(yíng)場(chǎng)所內(nèi)。

Aerial RAN Computer-1 可支持各種配置和位置，包括私有云、公有云或混合云環(huán)境，而且無論位置或接口標(biāo)準(zhǔn)如何，均可使用相同的軟件。與傳統(tǒng)的單一用途 RAN 計(jì)算機(jī)相比，該能力帶來了空前的靈活性。

該解決方案還支持各種網(wǎng)絡(luò)技術(shù)，包括：

開放式無線接入網(wǎng)絡(luò)（Open-RAN）架構(gòu)

AI-RAN

3GPP 標(biāo)準(zhǔn)

其他業(yè)界領(lǐng)先的規(guī)范

與早期的 NVIDIAGPU 相比，基于 GB200 的 Aerial RAN Computer-1 進(jìn)一步提升了 RAN 和 AI 處理性能及能效（圖 4）。

GB200 NVL2 平臺(tái)為現(xiàn)有基礎(chǔ)設(shè)施提供了易于部署和擴(kuò)展的一站式 MGX 服務(wù)器。您可以通過先進(jìn)的 RAN 計(jì)算技術(shù)獲得主流 LLM 推理和數(shù)據(jù)處理功能。

圖 4. GB200 NVL2 與前幾代產(chǎn)品的性能比較

總結(jié)

AI-RAN 將給電信行業(yè)帶來變革，使電信公司能夠通過生成式 AI、機(jī)器人和自主技術(shù)來開辟新的收入來源，并提供更好的體驗(yàn)。NVIDIA AI Aerial 平臺(tái)實(shí)現(xiàn)了 AI-RAN 的落地，使其與 NVIDIA 實(shí)現(xiàn) AI 原生無線網(wǎng)絡(luò)的廣闊愿景相吻合。

借助 Aerial RAN Computer-1，電信公司現(xiàn)在可以在通用基礎(chǔ)設(shè)施上部署 AI-RAN。您可以通過同時(shí)運(yùn)行 RAN 和 AI 工作負(fù)載，最大程度地提高利用率，并利用 AI 算法提高 RAN 性能。

最重要的是，借助這臺(tái)通用計(jì)算機(jī)，您可以把握新的機(jī)遇，成為需要本地計(jì)算和數(shù)據(jù)主權(quán)的企業(yè)首選的 AI 架構(gòu)。您可以從以 AI 為中心的方法開始，然后采用 RAN 并進(jìn)行軟件升級(jí)，從第一天起就獲得最大化投資回報(bào)。

T-Mobile 和軟銀已宣布，將與領(lǐng)先的 RAN 軟件提供商一起使用 NVIDIA AI Aerial 的軟硬件組件，實(shí)現(xiàn) AI-RAN 的商業(yè)化落地。

在世界移動(dòng)通信大會(huì)上，Vapor IO 和拉斯維加斯市共同宣布使用 NVIDIA AI Aerial 部署全球首個(gè) 5G 專網(wǎng) AI-RAN。