新型 AI 超級(jí)計(jì)算機(jī)將 256 個(gè) Grace Hopper 超級(jí)芯片連接為巨大的、1-Exaflop、144TB GPU，用于支持生成式 AI、推薦系統(tǒng)和數(shù)據(jù)處理的巨型模型

COMPUTEX—2023 年 5 月 29 日—NVIDIA 今天宣布推出一款新型大內(nèi)存 AI 超級(jí)計(jì)算機(jī)——由 NVIDIA GH200 Grace Hopper 超級(jí)芯片和 NVIDIA NVLink Switch System 驅(qū)動(dòng)的 NVIDIA DGX 超級(jí)計(jì)算機(jī)，旨在助力開發(fā)面向生成式 AI 語言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負(fù)載的巨型、下一代模型。

NVIDIA DGX GH200 的超大共享內(nèi)存空間通過 NVLink 互連技術(shù)以及 NVLink Switch System 使 256 個(gè) GH200 超級(jí)芯片相連，使它們能夠作為單個(gè) GPU 運(yùn)行。其提供 1 exaflop 的性能和 144 TB 的共享內(nèi)存——相較 2020 年推出的上一代 NVIDIA DGX A100 內(nèi)存大了近 500 倍。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“生成式 AI、大型語言模型和推薦系統(tǒng)是現(xiàn)代經(jīng)濟(jì)的數(shù)字引擎。DGX GH200 AI 超級(jí)計(jì)算機(jī)集成了 NVIDIA 最先進(jìn)的加速計(jì)算和網(wǎng)絡(luò)技術(shù)來拓展 AI 的前沿。”

NVIDIA NVLink 技術(shù)大規(guī)模擴(kuò)展 AI

GH200 超級(jí)芯片使用 NVIDIA NVLink-C2C 芯片互連，將基于 Arm 的 NVIDIA Grace CPU 與 NVIDIA H100 Tensor Core GPU 整合在一起，從而不再需要傳統(tǒng)的 CPU 至 GPU PCIe 連接。與最新的 PCIe 技術(shù)相比，這將 GPU 和 CPU 之間的帶寬提高了 7 倍，將互連功耗減少了 5 倍以上，并為 DGX GH200 超級(jí)計(jì)算機(jī)提供了一個(gè) 600GB 的 Hopper 架構(gòu) GPU 構(gòu)建模塊。

DGX GH200 是第一款將 Grace Hopper 超級(jí)芯片與 NVIDIA NVLink Switch System 配對(duì)使用的超級(jí)計(jì)算機(jī)，這種新的互連方式使 DGX GH200 系統(tǒng)中的所有 GPU 作為一個(gè)整體協(xié)同運(yùn)行。上一代系統(tǒng)在不影響性能的前提下只能通過 NVLink 把 8 個(gè) GPU 整合成一個(gè) GPU。

DGX GH200 架構(gòu)相比上一代將 NVLink 帶寬提升了 48 倍以上，實(shí)現(xiàn)在單個(gè) GPU 上通過簡單編程即可提供大型 AI 超級(jí)計(jì)算機(jī)的能力。

面向 AI 先鋒的新研究工具

谷歌云、Meta 和微軟是首批有望接入 DGX GH200 來探索其用于生成式 AI 工作負(fù)載的能力的公司。NVIDIA 還打算將 DGX GH200 設(shè)計(jì)作為藍(lán)圖提供給云服務(wù)提供商和其他超大規(guī)模企業(yè)，以便他們能夠進(jìn)一步根據(jù)他們自己的基礎(chǔ)設(shè)施進(jìn)行定制。

谷歌云計(jì)算副總裁 Mark Lohmeyer 表示：“構(gòu)建先進(jìn)的生成式模型需要?jiǎng)?chuàng)新的 AI 基礎(chǔ)設(shè)施。Grace Hopper 超級(jí)芯片的全新 NVLink 和共享內(nèi)存解決了大規(guī)模 AI 的關(guān)鍵瓶頸，我們期待它在谷歌云以及我們的生成式 AI 計(jì)劃中發(fā)揮強(qiáng)大的能力。”

Meta 基礎(chǔ)設(shè)施、AI 系統(tǒng)及加速平臺(tái)副總裁 Alexis Bj?rlin 表示：“隨著 AI 模型規(guī)模越來越大，它們需要可擴(kuò)展的強(qiáng)大基礎(chǔ)設(shè)施，以滿足不斷增長的需求。NVIDIA 的 Grace Hopper 設(shè)計(jì)看起來能夠讓研究人員探索新的方法來解決他們面臨的最巨大挑戰(zhàn)。”

微軟 Azure 基礎(chǔ)設(shè)施企業(yè)副總裁 Girish Bablani 表示, “在以往訓(xùn)練大型 AI 模型是一項(xiàng)資源和時(shí)間密集型任務(wù)。DGX GH200 所具備的處理 TB 級(jí)數(shù)據(jù)集的潛力使得開發(fā)人員能夠在更大的規(guī)模和更快的速度下進(jìn)行高級(jí)別的研究。”

全新 NVIDIA Helios 超級(jí)計(jì)算機(jī)將推進(jìn)研發(fā)

NVIDIA 正在打造自己的基于 DGX GH200 的 AI 超級(jí)計(jì)算機(jī)，以支持研發(fā)團(tuán)隊(duì)的工作。

這臺(tái)名為 NVIDIA Helios 的超級(jí)計(jì)算機(jī)將配備四個(gè) DGX GH200 系統(tǒng)。每個(gè)都將通過 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)互連，以提高訓(xùn)練大型 AI 模型的數(shù)據(jù)吞吐量。Helios 將包含 1024 個(gè) Grace Hopper 超級(jí)芯片，預(yù)計(jì)將于今年年底上線。

完全集成，專為巨型模型而構(gòu)建

DGX GH200 超級(jí)計(jì)算機(jī)包含 NVIDIA 軟件，可為最大的 AI 和數(shù)據(jù)分析工作負(fù)載提供一個(gè)交鑰匙式全棧解決方案。NVIDIA Base Command 軟件提供 AI 工作流程管理、企業(yè)級(jí)集群管理和多個(gè)加速計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的庫，以及為運(yùn)行 AI 工作負(fù)載而優(yōu)化的系統(tǒng)軟件。

此外還包含 NVIDIA AI Enterprise，即 NVIDIA AI 平臺(tái)的軟件層。它提供 100 多個(gè)框架、預(yù)訓(xùn)練模型和開發(fā)工具，以簡化生成式 AI、計(jì)算機(jī)視覺、語音 AI 等生產(chǎn) AI 的開發(fā)和部署。

供貨情況

NVIDIA DGX GH200 超級(jí)計(jì)算機(jī)預(yù)計(jì)將于今年年底上市。

觀看黃仁勛在 COMPUTEX 2023 的主題演講中介紹 NVIDIA DGX GH200 超級(jí)計(jì)算機(jī)。