黃仁勛在GTC大會(huì)上的第一個(gè)大招是Blackwell Ultra——NVIDIA要把AI算力打成“白菜價(jià)”；

1.1 ExaFLOPS算力：相當(dāng)于1.3億部iPhone同時(shí)運(yùn)行ChatGPT；

20TB海量?jī)?nèi)存：裝下整個(gè)維基百科英文版400次；

推理成本暴降：訓(xùn)練GPT-5的耗電量感覺(jué)是一下從“開(kāi)勞斯萊斯”降到“坐地鐵”。

對(duì)比數(shù)據(jù)更扎心：用Blackwell訓(xùn)練大模型，速度比前代快1.5倍，能耗僅為1/3。

1. ?Blackwell Ultra（GB300/B300）系列芯片
   • 采用液冷與硅光子技術(shù)，單芯片集成 ?288GB HBM3e 顯存?，F(xiàn)P4 算力達(dá) ?15 PetaFLOPS?，推理速度較前代 Hopper 架構(gòu)提升 ?40 倍??。
   • 推出 ?NVL72 超節(jié)點(diǎn)架構(gòu)?，支持 72 顆 GPU 互聯(lián)，面向大規(guī)模推理場(chǎng)景，性能較傳統(tǒng) 8 卡服務(wù)器提升 ? 50% ?。
   • 計(jì)劃 2025 年第三季度量產(chǎn)，HBM 容量從 192GB 升級(jí)至 288GB，運(yùn)算效能較 B200 提升 ? 50% ??。

NVIDIA Blackwell數(shù)據(jù)手冊(cè)免費(fèi)下載 涵蓋了NVIDIA Blackwell數(shù)據(jù)表中的關(guān)鍵信息
*附件：blackwell-datasheet-3645868.pdf

NVIDIA Blackwell 架構(gòu)打破生成式 AI 和加速計(jì)算的壁壘

探索 NVIDIA Blackwell 架構(gòu)為生成式 AI 和加速計(jì)算帶來(lái)的突破性進(jìn)步。Blackwell 基于多代 NVIDIA 技術(shù)構(gòu)建，以出眾的性能、效率和規(guī)模揭開(kāi)了生成式 AI 領(lǐng)域的新篇章。

新型 AI 超級(jí)芯片

Blackwell 架構(gòu) GPU 具有 2080 億個(gè)晶體管，采用專門定制的臺(tái)積電 4NP 工藝制造。所有 Blackwell 產(chǎn)品均采用雙倍光刻極限尺寸的裸片，通過(guò) 10 TB/s 的片間互聯(lián)技術(shù)連接成一塊統(tǒng)一的 GPU。

第二代 Transformer 引擎

第二代 Transformer 引擎將定制的 Blackwell Tensor Core技術(shù)與 NVIDIA? TensorRT? -LLM 和 NeMo? 框架創(chuàng)新相結(jié)合，加速大語(yǔ)言模型 (LLM) 和專家混合模型 (MoE) 的推理和訓(xùn)練。

為了強(qiáng)效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社區(qū)定義的微縮放格式)，可提供較高的準(zhǔn)確性并輕松替換更大的精度。Blackwell Transformer 引擎利用稱為微張量縮放的細(xì)粒度縮放技術(shù)，優(yōu)化性能和準(zhǔn)確性，支持 4 位浮點(diǎn) (FP4) AI。這將內(nèi)存可以支持的新一代模型的性能和大小翻倍，同時(shí)保持高精度。

安全 AI

Blackwell 內(nèi)置 NVIDIA 機(jī)密計(jì)算技術(shù)，可通過(guò)基于硬件的強(qiáng)大安全性保護(hù)敏感數(shù)據(jù)和 AI 模型，使其免遭未經(jīng)授權(quán)的訪問(wèn)。Blackwell 是業(yè)內(nèi)首款具備可信執(zhí)行環(huán)境 (TEE) I/O 功能的 GPU，它不僅能夠與具備 TEE-I/O 功能的主機(jī)一同提供性能卓越的機(jī)密計(jì)算解決方案，還能通過(guò) NVIDIA? NVLink? 技術(shù)提供實(shí)時(shí)保護(hù)。與未加密模式相比， Blackwell 機(jī)密計(jì)算功能供了幾乎相同的吞吐量性能。現(xiàn)在，除了保護(hù) AI 知識(shí)產(chǎn)權(quán) (IP) 和安全地實(shí)現(xiàn)機(jī)密 AI 訓(xùn)練、推理和聯(lián)邦學(xué)習(xí)，企業(yè)甚至還能以高性能的方式保護(hù)最大的模型。

NVLink、NVSwitch 和 NVLink Switch 系統(tǒng)

是否能釋放百億億級(jí)計(jì)算和萬(wàn)億參數(shù) AI 模型的全部潛力取決于服務(wù)器集群中每個(gè) GPU 之間能否快速、順暢的通信。第五代 NVIDIA? NVLink? 可擴(kuò)展至 576 個(gè) GPU，為萬(wàn)億和數(shù)萬(wàn)億參數(shù) AI 模型釋放加速性能。

NVIDIA NVLink 交換機(jī)芯片可在一個(gè)有 72 個(gè) GPU 的 NVLink 域 (NVL72) 中實(shí)現(xiàn) 130TB/s 的 GPU 帶寬，并通過(guò) NVIDIA SHARP? 技術(shù)對(duì) FP8 的支持實(shí)現(xiàn) 4 倍于原來(lái)的帶寬效率。NVIDIA NVLink 交換機(jī)芯片能以驚人的 1.8TB/s 互連速度為多服務(wù)器集群提供支持。采用 NVLink 的多服務(wù)器集群可以在計(jì)算量增加的情況下同步擴(kuò)展 GPU 通信，因此 NVL72 可支持的 GPU 吞吐量是單個(gè) 8 卡 GPU 系統(tǒng)的 9 倍。

解壓縮引擎

過(guò)去，數(shù)據(jù)分析和數(shù)據(jù)庫(kù)工作流依賴 CPU 進(jìn)行計(jì)算。加速數(shù)據(jù)科學(xué)可以顯著提高端到端分析性能，加速價(jià)值創(chuàng)造，同時(shí)降低成本。Apache Spark 等數(shù)據(jù)庫(kù)在接手、處理和分析大量數(shù)據(jù)等數(shù)據(jù)分析工作上發(fā)揮著關(guān)鍵作用。

Blackwell 擁有的解壓縮引擎以及通過(guò) 900GB/s 雙向帶寬的高速鏈路訪問(wèn) NVIDIA Grace? CPU 中大量?jī)?nèi)存的能力，可加速整個(gè)數(shù)據(jù)庫(kù)查詢工作流，從而在數(shù)據(jù)分析和數(shù)據(jù)科學(xué)方面實(shí)現(xiàn)更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新壓縮格式。

可靠性、可用性和可服務(wù)性 (RAS) 引擎

Blackwell 通過(guò)專用的可靠性、可用性和可服務(wù)性 (RAS) 引擎增加了智能恢復(fù)能力，以識(shí)別早期可能發(fā)生的潛在故障，從而更大限度地減少停機(jī)時(shí)間。NVIDIA AI 驅(qū)動(dòng)的預(yù)測(cè)管理功能持續(xù)監(jiān)控硬件和軟件中數(shù)千個(gè)數(shù)據(jù)點(diǎn)的整體運(yùn)行狀況，以預(yù)測(cè)和攔截停機(jī)時(shí)間和低效的來(lái)源。這建立了智能可靠性技術(shù)，節(jié)省時(shí)間、能源和計(jì)算成本。

NVIDIA 的 RAS 引擎提供深入的診斷信息，可以識(shí)別關(guān)注領(lǐng)域并制定維護(hù)計(jì)劃。RAS 引擎通過(guò)快速定位問(wèn)題來(lái)源縮短周轉(zhuǎn)時(shí)間，并通過(guò)促進(jìn)有效的補(bǔ)救最大限度地減少停機(jī)時(shí)間。

NVIDIA Blackwell 數(shù)據(jù)表總結(jié)

一、概述

• ?NVIDIA Blackwell?：被譽(yù)為新工業(yè)革命的引擎，為生成式AI和加速計(jì)算帶來(lái)突破性進(jìn)展。通過(guò)第二代Transformer Engine和更快的NVLink?互聯(lián)，數(shù)據(jù)中心性能大幅提升。

二、核心組件與性能

1. ?GB200 NVL72?
   • 連接36顆Grace CPU和72顆Blackwell GPU，采用NVLink連接和液冷設(shè)計(jì)，形成單一大規(guī)模GPU，實(shí)現(xiàn)30倍更快的實(shí)時(shí)萬(wàn)億參數(shù)大語(yǔ)言模型（LLM）推理。
   • 支持高達(dá)17TB的LPDDR5X內(nèi)存和13.5TB的HBM3E內(nèi)存，NVLink域提供130TB/s的低延遲GPU通信。
2. ?HGX B200?
   • 集成NVIDIA Blackwell GPU和高速互聯(lián)，加速AI性能。
   • 實(shí)現(xiàn)高達(dá)15倍更快的實(shí)時(shí)推理性能，12倍更低的成本和能耗。
   • 配備8顆Blackwell GPU，支持高達(dá)1.4TB的HBM3E內(nèi)存。

三、技術(shù)亮點(diǎn)

• ?第二代Transformer Engine?：支持FP4 AI，通過(guò)新一代Tensor Cores實(shí)現(xiàn)高精度和高吞吐量。
• ?NVLink與液冷?：GB200 NVL72利用NVLink和液冷技術(shù)創(chuàng)建單一72-GPU機(jī)架，克服通信瓶頸。
• ?高速內(nèi)存與互聯(lián)?：第五代NVLink提供1.8TB/s的GPU-to-GPU互聯(lián)。
• ?能源效率?：液冷GB200 NVL72機(jī)架降低數(shù)據(jù)中心碳足跡和能耗，與H100空氣冷卻基礎(chǔ)設(shè)施相比，性能提升25倍。

四、應(yīng)用場(chǎng)景與性能數(shù)據(jù)

1. ?大規(guī)模訓(xùn)練?
   • GB200 NVL72的第二代Transformer Engine支持FP8精度，實(shí)現(xiàn)4倍更快的大規(guī)模LLM訓(xùn)練。
   • 訓(xùn)練GPT-MoE-1.8T模型時(shí)，性能較HGX H100顯著提升。
2. ?數(shù)據(jù)處理?
   • GB200 NVL72加速關(guān)鍵數(shù)據(jù)庫(kù)查詢，性能較CPU提升18倍，總擁有成本（TCO）降低5倍。
3. ?實(shí)時(shí)推理?
   • HGX B200實(shí)現(xiàn)GPT-MoE-1.8T模型實(shí)時(shí)推理性能較HGX H100提升15倍。

五、可持續(xù)性與安全性

• ?可持續(xù)計(jì)算?：通過(guò)采用可持續(xù)計(jì)算實(shí)踐，數(shù)據(jù)中心可降低碳足跡和能耗，同時(shí)提高底線。HGX B200較Hopper一代在LLM推理性能上提高能源效率12倍，降低TCO 12倍。
• ?安全AI?：Blackwell包含NVIDIA Confidential Computing，保護(hù)敏感數(shù)據(jù)和AI模型免受未經(jīng)授權(quán)的訪問(wèn)。

六、技術(shù)規(guī)格

• ?GB200 NVL72?：72顆Blackwell GPU，36顆Grace CPU，總FP4 Tensor Core性能達(dá)1440 PFLOPS，總內(nèi)存帶寬高達(dá)576TB/s。
• ?HGX B200?：8顆Blackwell GPU，總FP4 Tensor Core性能達(dá)144 PFLOPS，總內(nèi)存帶寬高達(dá)62TB/s。

七、附加功能

• ?解壓縮引擎?：加速數(shù)據(jù)庫(kù)查詢的完整管道，支持最新壓縮格式。
• ?RAS引擎?：提供智能彈性，通過(guò)專用可靠性、可用性和可服務(wù)性（RAS）引擎識(shí)別潛在故障。
• ?NVIDIA AI Enterprise?：提供端到端軟件平臺(tái)，簡(jiǎn)化AI就緒平臺(tái)的構(gòu)建，加速價(jià)值實(shí)現(xiàn)。