本周二，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛介紹了NVIDIA的多項(xiàng)新技術(shù)，這些技術(shù)有望為萬億美元的產(chǎn)業(yè)帶來改變。NVIDIA的多項(xiàng)新技術(shù)可助力各領(lǐng)域?qū)崿F(xiàn)現(xiàn)實(shí)和虛擬世界模擬，包括自動(dòng)駕駛、虛擬形象、機(jī)器人、以及地球氣候建模等領(lǐng)域。

黃仁勛在本周二的GTC線上大會(huì)發(fā)表了主題演講，帶來了NVIDIA Omniverse Avatar和NVIDIA Omniverse Replicator等多項(xiàng)最新發(fā)布和演示，并展示了用于3D工作流程的虛擬世界模擬和協(xié)作平臺(tái) —— NVIDIA Omniverse，以及Omniverse是如何將NVIDIA的各項(xiàng)技術(shù)相結(jié)合。

他分享了使用Omniverse Avatar平臺(tái)的多個(gè)使用案例，包括用于客戶支持的Project Tokkio和用于視頻會(huì)議的Project Maxine。

黃仁勛表示：“如何使用Omniverse模擬倉(cāng)庫(kù)、工廠、物理和生物系統(tǒng)、5G邊緣、機(jī)器人、自動(dòng)駕駛汽車，甚至是虛擬形象的數(shù)字孿生，是一個(gè)永恒的主題。”

在主題演講的最后，他宣布NVIDIA將建立一個(gè)數(shù)字孿生來模擬和預(yù)測(cè)氣候變化。該數(shù)字孿生名為Earth Two，簡(jiǎn)稱E-2。

全棧數(shù)據(jù)中心級(jí)開放式平臺(tái)

黃仁勛表示，加速計(jì)算推動(dòng)了現(xiàn)代AI的發(fā)展，它掀起的浪潮正在涌向科學(xué)界和全球各行各業(yè)。而這一切都基于3類芯片 —— GPU、CPU、DPU，以及從云端到邊緣部署廣泛的多種系統(tǒng) —— DGX、HGX、EGX、RTX和AGX系統(tǒng)。

從圖形、AI、數(shù)據(jù)科學(xué)到機(jī)器人，NVIDIA已經(jīng)為300萬名開發(fā)者創(chuàng)建了150個(gè)加速庫(kù)。

在GTC上，NVIDIA還發(fā)布了65個(gè)全新以及更新的SDK。

黃仁勛表示：“NVIDIA加速計(jì)算是一個(gè)全棧數(shù)據(jù)中心級(jí)開放式平臺(tái)。”

在介紹NVIDIA Quantum-2時(shí)，黃仁勛將其稱為“到目前為止最先進(jìn)的網(wǎng)絡(luò)平臺(tái)”，并且隨著BlueField-3 DPU的發(fā)布，全球?qū)⒂瓉碓圃?jí)計(jì)算。Quantum-2 所提供的超高性能、廣泛的可訪問性、以及高安全性，正是云計(jì)算供應(yīng)商和超級(jí)計(jì)算中心所需要的。

網(wǎng)絡(luò)安全是企業(yè)和國(guó)家的首要問題，黃仁勛發(fā)布了依托于三大支柱的零信任框架，以應(yīng)對(duì)這一挑戰(zhàn)。

BlueField DPU將應(yīng)用程序與基礎(chǔ)架構(gòu)隔離。最新BlueField SDK——NVIDIA DOCA 1.2實(shí)現(xiàn)了新一代分布式防火墻。黃仁勛介紹道， NVIDIA Morpheus假設(shè)入侵者已進(jìn)入其內(nèi)部，會(huì)利用“加速計(jì)算和深度學(xué)習(xí)的超強(qiáng)力量來檢測(cè)入侵者的活動(dòng)”。

Omniverse Avatar 和

Omniverse Replicator

黃仁勛表示，有了Omniverse，“我們就有了創(chuàng)建全新3D世界，或?qū)ξ锢硎澜邕M(jìn)行建模的技術(shù)。”

NVIDIA還發(fā)布了Omniverse Avatar，致力于助力開發(fā)者使用Omniverse創(chuàng)建交互式角色，并使此角色具備視覺和語言能力，能夠就各類主題進(jìn)行交談，并理解自然語言中的深層含義。

黃仁勛展示了Project Maxine如何利用Omniverse Avatar平臺(tái)將計(jì)算機(jī)視覺、Riva語音AI以及虛擬形象動(dòng)畫和圖形連接到一個(gè)實(shí)時(shí)對(duì)話的AI機(jī)器人——“Toy Jensen Omniverse Avatar”上。

他還演示了Project Tokkio，這是一個(gè)位于自助式餐廳服務(wù)亭中的虛擬服務(wù)員，其可看到兩名顧客，與之交談并理解他們的對(duì)話。

黃仁勛還展示了Project Maxine為虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用添加先進(jìn)視頻和音頻功能的能力。

一項(xiàng)演示中，一位女士在嘈雜的咖啡廳中用英語進(jìn)行視頻通話，在去除背景噪音后可以清楚地聽到她所說的話。她的話被實(shí)時(shí)轉(zhuǎn)錄并翻譯成法語、德語和西班牙語，而且借助Omniverse，以上多門外語均出自虛擬形象之口，并且這位虛擬形象在對(duì)話時(shí)的聲音和語調(diào)與她本人完全相同。

為了幫助開發(fā)者創(chuàng)建訓(xùn)練AI所需的海量數(shù)據(jù)，NVIDIA發(fā)布了Omniverse Replicator——一款用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的合成數(shù)據(jù)生成引擎。

NVIDIA開發(fā)了兩款Replicator合成數(shù)據(jù)生成引擎：面向通用機(jī)器人、用于Isaac Sim的Omniverse Replicator，以及面向自動(dòng)駕駛汽車、用于DRIVE Sim的Omniverse Replicator。

自去年年底發(fā)布以來，Omniverse已被500家公司的設(shè)計(jì)師下載了7萬次。

AI 模型和系統(tǒng)

黃仁勛發(fā)布了用于訓(xùn)練大型語言模型的Nemo Megatron。他表示，此模型 “將成為有史以來最大的主流HPC應(yīng)用。”

圖形作為現(xiàn)代數(shù)據(jù)科學(xué)中的一種關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，現(xiàn)在可以通過全新Python軟件包Deep Graph Library（DGL）投射到深度神經(jīng)網(wǎng)絡(luò)框架中。

今日發(fā)布的NVIDIA Modulus用于構(gòu)建和訓(xùn)練物理學(xué)機(jī)器學(xué)習(xí)模型，這些模型可以學(xué)習(xí)并充分遵守物理學(xué)法則。

Triton是一款適用于所有工作負(fù)載的推理服務(wù)器，其升級(jí)版現(xiàn)在可以推理森林模型，并執(zhí)行大型語言模型的多GPU多節(jié)點(diǎn)推理。

黃仁勛共發(fā)布了三個(gè)新的庫(kù)：

ReOpt – 面向10萬億美元的物流行業(yè)

cuQuantum – 致力于加速量子計(jì)算研究

cuNumeric – 致力于為Python社區(qū)的科學(xué)家、數(shù)據(jù)科學(xué)家以及機(jī)器學(xué)習(xí)和AI研究者而加速NumPy。

黃仁勛還發(fā)布了NVIDIA Launchpad，以助力將基于NVIDIA AI技術(shù)的服務(wù)帶到邊緣。NVIDIA正在與數(shù)據(jù)中心巨頭Equinix合作，將NVIDIA AI預(yù)安裝并集成到全球的數(shù)據(jù)中心中。

機(jī)器人技術(shù)

NVIDIA Isaac生態(tài)系統(tǒng)現(xiàn)已有700多家公司和合作伙伴，這個(gè)數(shù)字在過去4年里增長(zhǎng)了5倍。

黃仁勛宣布，NVIDIA Isaac機(jī)器人平臺(tái)現(xiàn)可輕松集成至機(jī)器人操作系統(tǒng)（ROS）中。這是一套應(yīng)用廣泛的軟件庫(kù)和工具，適用于機(jī)器人應(yīng)用。

黃仁勛解釋道，建立在Omniverse之上的Isaac Sim是有史以來最逼真的機(jī)器人模擬器。

“該模擬器的目標(biāo)是讓機(jī)器人無法分清自己是在模擬環(huán)境中還是在現(xiàn)實(shí)世界中。” 為此，Isaac Sim Replicator可生成用于訓(xùn)練機(jī)器人的合成數(shù)據(jù)。

黃仁勛表示，Replicator可以模擬傳感器，生成自動(dòng)標(biāo)記的數(shù)據(jù)，并通過一個(gè)域隨機(jī)化引擎，創(chuàng)建豐富、多樣化的訓(xùn)練數(shù)據(jù)集。

自動(dòng)駕駛汽車

黃仁勛表示，所有移動(dòng)之物都將實(shí)現(xiàn)完全或近乎完全的自主化。“到2024年，絕大多數(shù)新電動(dòng)車都將具備真正的自動(dòng)駕駛功能。”

NVIDIA DRIVE是NVIDIA的自動(dòng)駕駛汽車全棧開放式平臺(tái)，而Hyperion 8是NVIDIA最新的完整硬件和軟件架構(gòu)。其傳感器套件包括12個(gè)攝像頭、9個(gè)雷達(dá)、12個(gè)超聲波和一個(gè)前置激光雷達(dá)，所有處理均通過兩個(gè)NVIDIA Orin 系統(tǒng)級(jí)芯片進(jìn)行。

黃仁勛詳細(xì)介紹了Hyperion內(nèi)置的幾項(xiàng)新技術(shù)，包括用于DRIVE Sim的Omniverse Replicator。Omniverse Replicator是一個(gè)基于Omniverse的自動(dòng)駕駛汽車合成數(shù)據(jù)生成引擎。

NVIDIA目前正在運(yùn)行Hyperion 8傳感器、4D感知、基于深度學(xué)習(xí)的多傳感器融合、特征追蹤和一個(gè)新的規(guī)劃引擎。

汽車內(nèi)部也將被徹底改變。NVIDIA Maxine技術(shù)將重新定義我們與汽車的互動(dòng)方式。

“Maxine將把您的汽車變成一位管家。”

Earth Two

黃仁勛最后宣布，NVIDIA將構(gòu)建Earth Two （E-2）來模擬和預(yù)測(cè)氣候變化。“為了創(chuàng)建Earth Two，我們將需要使用迄今為止發(fā)明的所有技術(shù)。”

責(zé)任編輯：haq