用于合成數(shù)據(jù)的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基礎(chǔ)模型，為通用人形機(jī)器人的開(kāi)發(fā)注入強(qiáng)大動(dòng)力。

未來(lái)二十年，預(yù)計(jì)人形機(jī)器人市場(chǎng)將達(dá)到 380 億美元。為了滿足這一巨大需求，尤其是工業(yè)和制造業(yè)領(lǐng)域的需求，NVIDIA 發(fā)布了一系列機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架，以加速下一代人形機(jī)器人的開(kāi)發(fā)進(jìn)程。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 CES 上宣布 NVIDIA 正式推出用于合成運(yùn)動(dòng)生成的NVIDIA Isaac GR00T Blueprint，該 Blueprint 可幫助開(kāi)發(fā)者生成海量的合成運(yùn)動(dòng)數(shù)據(jù)，以便通過(guò)模仿學(xué)習(xí)來(lái)訓(xùn)練人形機(jī)器人。

模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個(gè)子集，它能讓人形機(jī)器人通過(guò)觀察和模仿人類(lèi)專(zhuān)家的示范來(lái)獲取新技能。在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí)，而且成本往往高得令人卻步。通過(guò)用于合成運(yùn)動(dòng)生成的 Isaac GR00T Blueprint，開(kāi)發(fā)者只需少量人類(lèi)示范，就能輕松生成海量的合成數(shù)據(jù)集。

首先通過(guò) GR00T-Teleop 工作流，用戶可以借助 Apple Vision Pro 在數(shù)字孿生環(huán)境中捕捉人類(lèi)動(dòng)作。這些人類(lèi)動(dòng)作會(huì)被記錄下來(lái)作為金標(biāo)準(zhǔn)，并在仿真環(huán)境中由機(jī)器人模仿學(xué)習(xí)。

然后，GR00T-Mimic 工作流會(huì)將捕捉到的人類(lèi)示范擴(kuò)展成更大的合成運(yùn)動(dòng)數(shù)據(jù)集。最后，基于NVIDIA Omniverse和NVIDIA Cosmos平臺(tái)構(gòu)建的 GR00T-Gen 工作流，會(huì)通過(guò)域隨機(jī)化和 3D 提升技術(shù)，指數(shù)級(jí)擴(kuò)增這個(gè)數(shù)據(jù)集。

之后，該數(shù)據(jù)集可作為機(jī)器人策略的輸入，在NVIDIA Isaac Lab（一個(gè)用于機(jī)器人學(xué)習(xí)的開(kāi)源模塊化框架）中，教會(huì)機(jī)器人如何在其環(huán)境中高效且安全地移動(dòng)和互動(dòng)。

世界基礎(chǔ)模型

縮小仿真與現(xiàn)實(shí)的差距

NVIDIA 在 CES 上還發(fā)布了 Cosmos 平臺(tái)，該平臺(tái)擁有一系列開(kāi)放的預(yù)訓(xùn)練世界基礎(chǔ)模型，專(zhuān)為生成具有物理感知的視頻和物理 AI 開(kāi)發(fā)所需的世界狀態(tài)而設(shè)計(jì)。它包含自回歸模型和擴(kuò)散模型，有各種模型尺寸并適用于多種輸入數(shù)據(jù)格式。這些模型基于 1800 萬(wàn)億個(gè)數(shù)據(jù)單元進(jìn)行訓(xùn)練，其中包括 200 萬(wàn)小時(shí)的自動(dòng)駕駛、機(jī)器人、無(wú)人機(jī)拍攝的視頻以及合成數(shù)據(jù)。

除了幫助生成大型數(shù)據(jù)集外，Cosmos 還能通過(guò)將圖像從 3D 擴(kuò)展到真實(shí)場(chǎng)景，縮小仿真與現(xiàn)實(shí)之間的差距。將 Omniverse（一個(gè)用于構(gòu)建 3D 應(yīng)用程序和服務(wù)的應(yīng)用程序編程接口和微服務(wù)開(kāi)發(fā)平臺(tái)）與 Cosmos 相結(jié)合至關(guān)重要，通過(guò)其高度可控、物理精確的仿真提供關(guān)鍵保障，有助于最大限度地減少世界模型常見(jiàn)的幻覺(jué)問(wèn)題。

不斷擴(kuò)展的生態(tài)系統(tǒng)

NVIDIA Isaac GR00T、Omniverse 和 Cosmos 正在助力物理 AI 和人形機(jī)器人創(chuàng)新實(shí)現(xiàn)巨大飛躍。包括波士頓動(dòng)力和 Figure 在內(nèi)的主要機(jī)器人公司已開(kāi)始采用 Isaac GR00T，并展示了相關(guān)成果。

人形機(jī)器人的軟件、硬件制造商以及機(jī)器人廠商可以申請(qǐng)?zhí)崆凹尤?NVIDIA 的人形機(jī)器人開(kāi)發(fā)者計(jì)劃。