黃仁勛在GTC大會上的第一個大招是Blackwell Ultra——NVIDIA要把AI算力打成“白菜價”；

1.1 ExaFLOPS算力：相當于1.3億部iPhone同時運行ChatGPT；

20TB海量內存：裝下整個維基百科英文版400次；

推理成本暴降：訓練GPT-5的耗電量感覺是一下從“開勞斯萊斯”降到“坐地鐵”。

對比數據更扎心：用Blackwell訓練大模型，速度比前代快1.5倍，能耗僅為1/3。

1. ?Blackwell Ultra（GB300/B300）系列芯片
   • 采用液冷與硅光子技術，單芯片集成 ?288GB HBM3e 顯存?，FP4 算力達 ?15 PetaFLOPS?，推理速度較前代 Hopper 架構提升 ?40 倍??。
   • 推出 ?NVL72 超節點架構?，支持 72 顆 GPU 互聯，面向大規模推理場景，性能較傳統 8 卡服務器提升 ? 50% ?。
   • 計劃 2025 年第三季度量產，HBM 容量從 192GB 升級至 288GB，運算效能較 B200 提升 ? 50% ??。

NVIDIA Blackwell數據手冊免費下載 涵蓋了NVIDIA Blackwell數據表中的關鍵信息
*附件：blackwell-datasheet-3645868.pdf

NVIDIA Blackwell 架構打破生成式 AI 和加速計算的壁壘

探索 NVIDIA Blackwell 架構為生成式 AI 和加速計算帶來的突破性進步。Blackwell 基于多代 NVIDIA 技術構建，以出眾的性能、效率和規模揭開了生成式 AI 領域的新篇章。

新型 AI 超級芯片

Blackwell 架構 GPU 具有 2080 億個晶體管，采用專門定制的臺積電 4NP 工藝制造。所有 Blackwell 產品均采用雙倍光刻極限尺寸的裸片，通過 10 TB/s 的片間互聯技術連接成一塊統一的 GPU。

第二代 Transformer 引擎

第二代 Transformer 引擎將定制的 Blackwell Tensor Core技術與 NVIDIA? TensorRT? -LLM 和 NeMo? 框架創新相結合，加速大語言模型 (LLM) 和專家混合模型 (MoE) 的推理和訓練。

為了強效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社區定義的微縮放格式)，可提供較高的準確性并輕松替換更大的精度。Blackwell Transformer 引擎利用稱為微張量縮放的細粒度縮放技術，優化性能和準確性，支持 4 位浮點 (FP4) AI。這將內存可以支持的新一代模型的性能和大小翻倍，同時保持高精度。

安全 AI

Blackwell 內置 NVIDIA 機密計算技術，可通過基于硬件的強大安全性保護敏感數據和 AI 模型，使其免遭未經授權的訪問。Blackwell 是業內首款具備可信執行環境 (TEE) I/O 功能的 GPU，它不僅能夠與具備 TEE-I/O 功能的主機一同提供性能卓越的機密計算解決方案，還能通過 NVIDIA? NVLink? 技術提供實時保護。與未加密模式相比， Blackwell 機密計算功能供了幾乎相同的吞吐量性能。現在，除了保護 AI 知識產權 (IP) 和安全地實現機密 AI 訓練、推理和聯邦學習，企業甚至還能以高性能的方式保護最大的模型。

NVLink、NVSwitch 和 NVLink Switch 系統

是否能釋放百億億級計算和萬億參數 AI 模型的全部潛力取決于服務器集群中每個 GPU 之間能否快速、順暢的通信。第五代 NVIDIA? NVLink? 可擴展至 576 個 GPU，為萬億和數萬億參數 AI 模型釋放加速性能。

NVIDIA NVLink 交換機芯片可在一個有 72 個 GPU 的 NVLink 域 (NVL72) 中實現 130TB/s 的 GPU 帶寬，并通過 NVIDIA SHARP? 技術對 FP8 的支持實現 4 倍于原來的帶寬效率。NVIDIA NVLink 交換機芯片能以驚人的 1.8TB/s 互連速度為多服務器集群提供支持。采用 NVLink 的多服務器集群可以在計算量增加的情況下同步擴展 GPU 通信，因此 NVL72 可支持的 GPU 吞吐量是單個 8 卡 GPU 系統的 9 倍。

解壓縮引擎

過去，數據分析和數據庫工作流依賴 CPU 進行計算。加速數據科學可以顯著提高端到端分析性能，加速價值創造，同時降低成本。Apache Spark 等數據庫在接手、處理和分析大量數據等數據分析工作上發揮著關鍵作用。

Blackwell 擁有的解壓縮引擎以及通過 900GB/s 雙向帶寬的高速鏈路訪問 NVIDIA Grace? CPU 中大量內存的能力，可加速整個數據庫查詢工作流，從而在數據分析和數據科學方面實現更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新壓縮格式。

可靠性、可用性和可服務性 (RAS) 引擎

Blackwell 通過專用的可靠性、可用性和可服務性 (RAS) 引擎增加了智能恢復能力，以識別早期可能發生的潛在故障，從而更大限度地減少停機時間。NVIDIA AI 驅動的預測管理功能持續監控硬件和軟件中數千個數據點的整體運行狀況，以預測和攔截停機時間和低效的來源。這建立了智能可靠性技術，節省時間、能源和計算成本。

NVIDIA 的 RAS 引擎提供深入的診斷信息，可以識別關注領域并制定維護計劃。RAS 引擎通過快速定位問題來源縮短周轉時間，并通過促進有效的補救最大限度地減少停機時間。

NVIDIA Blackwell 數據表總結

一、概述

• ?NVIDIA Blackwell?：被譽為新工業革命的引擎，為生成式AI和加速計算帶來突破性進展。通過第二代Transformer Engine和更快的NVLink?互聯，數據中心性能大幅提升。

二、核心組件與性能

1. ?GB200 NVL72?
   • 連接36顆Grace CPU和72顆Blackwell GPU，采用NVLink連接和液冷設計，形成單一大規模GPU，實現30倍更快的實時萬億參數大語言模型（LLM）推理。
   • 支持高達17TB的LPDDR5X內存和13.5TB的HBM3E內存，NVLink域提供130TB/s的低延遲GPU通信。
2. ?HGX B200?
   • 集成NVIDIA Blackwell GPU和高速互聯，加速AI性能。
   • 實現高達15倍更快的實時推理性能，12倍更低的成本和能耗。
   • 配備8顆Blackwell GPU，支持高達1.4TB的HBM3E內存。

三、技術亮點

• ?第二代Transformer Engine?：支持FP4 AI，通過新一代Tensor Cores實現高精度和高吞吐量。
• ?NVLink與液冷?：GB200 NVL72利用NVLink和液冷技術創建單一72-GPU機架，克服通信瓶頸。
• ?高速內存與互聯?：第五代NVLink提供1.8TB/s的GPU-to-GPU互聯。
• ?能源效率?：液冷GB200 NVL72機架降低數據中心碳足跡和能耗，與H100空氣冷卻基礎設施相比，性能提升25倍。

四、應用場景與性能數據

1. ?大規模訓練?
   • GB200 NVL72的第二代Transformer Engine支持FP8精度，實現4倍更快的大規模LLM訓練。
   • 訓練GPT-MoE-1.8T模型時，性能較HGX H100顯著提升。
2. ?數據處理?
   • GB200 NVL72加速關鍵數據庫查詢，性能較CPU提升18倍，總擁有成本（TCO）降低5倍。
3. ?實時推理?
   • HGX B200實現GPT-MoE-1.8T模型實時推理性能較HGX H100提升15倍。

五、可持續性與安全性

• ?可持續計算?：通過采用可持續計算實踐，數據中心可降低碳足跡和能耗，同時提高底線。HGX B200較Hopper一代在LLM推理性能上提高能源效率12倍，降低TCO 12倍。
• ?安全AI?：Blackwell包含NVIDIA Confidential Computing，保護敏感數據和AI模型免受未經授權的訪問。

六、技術規格

• ?GB200 NVL72?：72顆Blackwell GPU，36顆Grace CPU，總FP4 Tensor Core性能達1440 PFLOPS，總內存帶寬高達576TB/s。
• ?HGX B200?：8顆Blackwell GPU，總FP4 Tensor Core性能達144 PFLOPS，總內存帶寬高達62TB/s。

七、附加功能

• ?解壓縮引擎?：加速數據庫查詢的完整管道，支持最新壓縮格式。
• ?RAS引擎?：提供智能彈性，通過專用可靠性、可用性和可服務性（RAS）引擎識別潛在故障。
• ?NVIDIA AI Enterprise?：提供端到端軟件平臺，簡化AI就緒平臺的構建，加速價值實現。