2023 年 GTC 大會(huì)上，英偉達(dá) CEO 發(fā)布了四個(gè)全新推理平臺(tái)，每個(gè)平臺(tái)都包含針對(duì)特定的 AIGC 推理工作負(fù)載優(yōu)化的 NVIDIA GPU 以及專用軟件：

1）用于圖像渲染和 AI 視頻的 L4。L4 提供增強(qiáng)的視頻解碼/轉(zhuǎn)碼、視頻流、增強(qiáng)現(xiàn)實(shí)以及生成 AI 視頻等功能，可提供比 CPU 高 120 倍的 AI 視頻性能，一臺(tái) 8 卡 L4 服務(wù)器能夠替代 100 多臺(tái)用于處理 AI 視頻的雙插槽 CPU 服務(wù)器。

2）用于 Omniverse、圖像生成、文本轉(zhuǎn)圖像等各類生成式 AI 的 L40。L40 針對(duì)圖形和支持 AI 的 2D、視頻和 3D 圖像生成進(jìn)行了優(yōu)化。L40 平臺(tái)作為 Omniverse 的引擎，用于在數(shù)據(jù)中心構(gòu)建和運(yùn)行元宇宙應(yīng)用程序，推理性能是云推理 GPU T4 的 10 倍。

3）用于大語(yǔ)言模型（LLM）推理的 H100 NVL。H100 NVLGPU 適用于大規(guī)模部署 ChatGPT 等大型 LLM。H100 NVL 通過(guò) NVLINK 將兩張 H100 PCIE 橋接在一起，其中的每張卡擁有 94GB HBM3 內(nèi)存，同時(shí)內(nèi)置 Transformer 引擎。與目前唯一可以在云上處理 GPT 模型的 HXG A100 相比，一臺(tái)搭載四對(duì) H100 NVL 和雙 GPU NVLINK 的服務(wù)器可以將推理速度提高 10 倍。

4）Grace Hopper Superchip 適用于推薦模型、向量數(shù)據(jù)庫(kù)和大型語(yǔ)言模型的 AI 數(shù)據(jù)庫(kù)，并通過(guò) NVLink-C2C 技術(shù)為 Grace CPU 和 Hopper GPU 之間提供高達(dá) 900GB/s 的高速連接，CPU 查詢和存儲(chǔ)巨型嵌入表，GPU 負(fù)責(zé)將收到的結(jié)果進(jìn)行推理，整體是 PCIE 速度的 7 倍。

一、DGX CloudAI超級(jí)計(jì)算服務(wù)DGX Cloud提供專用的NVIDIA DGX AI超級(jí)計(jì)算集群，搭配NVIDIA AI軟件，可讓企業(yè)立即訪問(wèn)為生成AI和其他突破性應(yīng)用程序訓(xùn)練高級(jí)模型所需的基礎(chǔ)設(shè)施和軟件。該服務(wù)使每個(gè)企業(yè)都可以使用簡(jiǎn)單的網(wǎng)絡(luò)瀏覽器訪問(wèn)自己的AI超級(jí)計(jì)算機(jī)，企業(yè)按月租用DGX Cloud集群，確保可快速輕松地?cái)U(kuò)展大型多節(jié)點(diǎn)訓(xùn)練工作負(fù)載的開(kāi)發(fā)，而無(wú)需等待通常需求量很大的加速計(jì)算資源。 NVIDIA Base Command平臺(tái)軟件：可使用其管理和監(jiān)控DGX Cloud訓(xùn)練工作負(fù)載，該軟件可在DGX Cloud以及本地NVIDIA DGX超級(jí)計(jì)算機(jī)上提供無(wú)縫的用戶體驗(yàn)。使用Base Command Platform，客戶可將其工作負(fù)載與每項(xiàng)工作所需的正確數(shù)量和類型的DGX基礎(chǔ)設(shè)施相匹配。DGX Cloud包括NVIDIA AI Enterprise，平臺(tái)的軟件層，提供端到端的AI框架和預(yù)訓(xùn)練模型。今日發(fā)布的NVIDIA AI Enterprise 3.1提供了新的預(yù)訓(xùn)練模型、優(yōu)化框架和加速數(shù)據(jù)科學(xué)軟件庫(kù)，為開(kāi)發(fā)人員的AI項(xiàng)目提供了額外的快速啟動(dòng)。行業(yè)巨頭案例：

①Amgen（世界領(lǐng)先的生物技術(shù)公司之一）正在使用DGX Cloud和NVIDIA BioNeMo大型語(yǔ)言模型軟件來(lái)加速藥物發(fā)現(xiàn)，包括NVIDIA AI Enterprise軟件，內(nèi)含NVIDIA RAPIDS數(shù)據(jù)科學(xué)加速庫(kù)。

②CCC Intelligent Solutions (領(lǐng)先的財(cái)產(chǎn)和意外傷害保險(xiǎn)經(jīng)濟(jì)云平臺(tái)，CCC)正在使用DGX Cloud來(lái)加速和擴(kuò)展其AI模型的開(kāi)發(fā)和培訓(xùn)。

③ServiceNow（數(shù)字業(yè)務(wù)平臺(tái)提供商）將DGX Cloud與本地NVIDIA DGX超級(jí)計(jì)算機(jī)結(jié)合使用，以實(shí)現(xiàn)靈活、可擴(kuò)展的混合云AI超級(jí)計(jì)算，這有助于推動(dòng)其在大型語(yǔ)言模型、代碼生成和因果分析方面的AI研究。二、Picasso Service云服務(wù)

用途：用于構(gòu)建和部署生成式AI驅(qū)動(dòng)的圖像、視頻和3D應(yīng)用程序，具有高級(jí)文本到圖像、文本到視頻和文本轉(zhuǎn)3D功能，可通過(guò)簡(jiǎn)單云API提高創(chuàng)造力、設(shè)計(jì)和數(shù)字模擬的生產(chǎn)力。用法：軟件制造商、服務(wù)提供商和企業(yè)可使用Picasso在其專有數(shù)據(jù)上訓(xùn)練NVIDIA Edify基礎(chǔ)模型，以構(gòu)建使用自然文本提示的應(yīng)用程序，從而為數(shù)百個(gè)用例快速創(chuàng)建和定制視覺(jué)內(nèi)容，包括產(chǎn)品設(shè)計(jì)、數(shù)字孿生、講故事和人物創(chuàng)作。拓展：要構(gòu)建自定義應(yīng)用程序，企業(yè)還可以從Picasso的Edify模型集開(kāi)始，這些模型使用完全許可的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，還可以使用Picasso來(lái)優(yōu)化和運(yùn)行生成式AI模型。三、NVIDIA BioNeMo服務(wù)BioNeMo Service是一種用于早期藥物發(fā)現(xiàn)中生成AI的云服務(wù)，具有九種最先進(jìn)的大型語(yǔ)言和擴(kuò)散模型。可通過(guò)Web界面或完全托管的API訪問(wèn)，并且可以在NVIDIA DGX Cloud上進(jìn)一步訓(xùn)練和優(yōu)化，生物學(xué)生成式AI的工作流程得到了優(yōu)化和統(tǒng)包。 BioNeMo服務(wù)具有九個(gè)AI生成模型，涵蓋了開(kāi)發(fā)AI藥物發(fā)現(xiàn)管道的廣泛應(yīng)用：AlphaFold 2、ESMFold和OpenFold用于根據(jù)一級(jí)氨基酸序列預(yù)測(cè)3D蛋白質(zhì)結(jié)構(gòu)、用于蛋白質(zhì)特性預(yù)測(cè)的ESM-1nv和ESM-2、用于蛋白質(zhì)生成的ProtGPT2、MegaMolBART和MoFlow用于小分子生成、用于預(yù)測(cè)小分子與蛋白質(zhì)結(jié)合結(jié)構(gòu)的DiffDock等。

四、推出四種配置：L4、L40、H100 NVL、Grace Hopper

L4：一臺(tái)8-GPU L4服務(wù)器將取代一百多臺(tái)用于處理AI視頻的雙插槽CPU服務(wù)器。L40：針對(duì)Omniverse、圖形渲染以及文本轉(zhuǎn)圖像和文本轉(zhuǎn)視頻等生成式AI，推出L40，其性能是云推理GPU T4的10倍。

H100 NVL：針對(duì)ChatGPT等大型語(yǔ)言模型的推理，推出Hopper GPU，配備雙GPU NVLink的 PCIE H100 , H100 NVL配備94GB HBM3顯存，可處理?yè)碛?750億參數(shù)的GPT-3, 同時(shí)還可支持商用PCIE服務(wù)器輕松擴(kuò)展。

Grace Hopper：新超級(jí)芯片，通過(guò)900GB/秒高速一致性芯片到芯片接口，非常適合處理大型數(shù)據(jù)集，例如推薦系統(tǒng)和大型語(yǔ)言模型的AI數(shù)據(jù)庫(kù)借助Grace Hopper，Grace可以查詢嵌入表，并將結(jié)果直接傳入到Hopper，速度比PCIE快7倍。

五、Omniverse應(yīng)用Omniverse是實(shí)現(xiàn)工業(yè)數(shù)字化的數(shù)字到物理操作系統(tǒng)，是云原生，同時(shí)不限平臺(tái)，可讓團(tuán)隊(duì)隨時(shí)隨地在我們的虛擬工場(chǎng)中展開(kāi)協(xié)作。Omniverse網(wǎng)絡(luò)中的網(wǎng)絡(luò)正在呈指數(shù)級(jí)增長(zhǎng)，還連接了Siemens Teamcenter、NX和Process Simulate、RockWell Automation Emulate3D、Cesium、Unity等許多應(yīng)用。應(yīng)用于汽車企業(yè)數(shù)字化：①沃爾沃汽車公司和通用汽車使用Omniverse USD Composer連接和統(tǒng)一其資產(chǎn)工作流，并將汽車零部件在虛擬環(huán)境中組裝成數(shù)字孿生汽車，在工程和仿真中， Omniverse將Powerflow空氣動(dòng)力學(xué)可視化。 ②新一代梅賽德斯-奔馳和捷豹陸虎汽車，使用Omniverse Drive Sim生成，梅賽德斯奔馳使用Omniverse為新車型構(gòu)建、優(yōu)化和規(guī)劃組裝流水線。 ③豐田公司使用Omniverse構(gòu)建工廠的數(shù)字孿生。

三款專為Omniverse設(shè)計(jì)的系統(tǒng)：

①新工作站，由NVIDIA Ada RTX GPU和英特爾最新款CPU提供動(dòng)力支持，適合光線追蹤、物理仿真、神經(jīng)圖形和生成式AI，2023年3月起，BOXX、戴爾、惠普、聯(lián)想將提供這款工作站。

②新型NVIDIA OVX服務(wù)器，由Omniverse優(yōu)化而來(lái)，OVX由服務(wù)器GPU Ada RTX L40和BlueField-3組成，將由戴爾、HPE、Quanta、技嘉、聯(lián)想和Supermicro提供。

③Omniverse Cloud，基于NVIDIA OVX運(yùn)算系統(tǒng)推出， 每一層Omniverse堆棧包括芯片、系統(tǒng)、網(wǎng)絡(luò)和軟件都是新發(fā)明，正將Omniverse連接到微軟365生產(chǎn)力套件。

六、超算及云服務(wù)

發(fā)布Grace、Grace-Hopper和BlueField-3三款新芯片，適用于超級(jí)節(jié)能加速數(shù)據(jù)中心，更新了100個(gè)加速庫(kù),包括用于量子計(jì)算的cuQuantum、用于組合優(yōu)化的cuOpt、以及用于計(jì)算光刻的cuLitho（與臺(tái)積電、ASML和Synopsys合作，達(dá)到2nm及更高制程），可將計(jì)算光刻用時(shí)提速40倍。計(jì)算光刻：500套DGX H100（包含4000顆Hopper GPU）可完成與4萬(wàn)顆CPU運(yùn)算服務(wù)器相同的工作量，但速度快40倍，功耗低9倍，即意味著GPU加速后，生產(chǎn)光掩模的計(jì)算光刻工作用時(shí)可以從幾周減少到八小時(shí)。 NVIDIA DGX AI超級(jí)計(jì)算機(jī)是生成式大型言模型取得突破的引擎，DGX H100 AI超級(jí)計(jì)算機(jī)正在生產(chǎn),并即將通過(guò)全球不斷擴(kuò)大的OEM和云服務(wù)合作伴網(wǎng)絡(luò)面世。DGX沒(méi)有止步于研究，正在成為現(xiàn)代化AI工廠，Nvidia通過(guò)與Azure、Google GCP、Oracle OCI合作，拓展NVIDIA DGX Cloud業(yè)務(wù)模式。

七、總結(jié)

英偉達(dá)推出了新的推理平臺(tái)，包括四種配置和一個(gè)體系架構(gòu)：

①適用于處理AI視頻的8-GPU服務(wù)器L4。

②適用于Omniverse和圖形渲染的L40。

③適用于擴(kuò)展LLM推理的H100PCIE。

④適用于推薦系統(tǒng)和向量數(shù)據(jù)庫(kù)的Grace-Hopper。 此外，通過(guò)與Google合作，Google GCP成為首款NVIDIA AI云，NVIDIA AI Foundations是一個(gè)云服務(wù)和代工廠，用于構(gòu)建自定義語(yǔ)言模型和生成式AI，包括語(yǔ)言視覺(jué)和生物學(xué)模型構(gòu)建服務(wù)。

Omniverse是實(shí)現(xiàn)工業(yè)數(shù)字化的數(shù)字到物理操作系統(tǒng)，可以統(tǒng)一端到端工作流，并將價(jià)值3萬(wàn)億美元的汽車行業(yè)數(shù)字化；在Azure上進(jìn)行托管，與微軟合作，將Omniverse Cloud引入各行業(yè)。

審核編輯 ：李倩