歡迎閱讀首期“NVIDIA 機(jī)器人研究與開(kāi)發(fā)摘要（R2D2）”。此技術(shù)博客系列將讓開(kāi)發(fā)者和研究人員更深入地了解 NVIDIA 各個(gè)研究實(shí)驗(yàn)室在物理 AI 和機(jī)器人領(lǐng)域的最新研究突破。

開(kāi)發(fā)強(qiáng)大的機(jī)器人面臨著諸多重大挑戰(zhàn)，例如：

數(shù)據(jù)稀缺：為 AI 模型生成多樣的真實(shí)世界訓(xùn)練數(shù)據(jù)。

適應(yīng)性：確保解決方案能夠在各種不同類(lèi)型的機(jī)器人和環(huán)境中通用，并適應(yīng)動(dòng)態(tài)、不可預(yù)測(cè)的場(chǎng)景。

集成性：有效地將移動(dòng)能力、操作能力、控制能力和推理能力結(jié)合起來(lái)。

我們通過(guò)在自身平臺(tái)上經(jīng)過(guò)驗(yàn)證的先進(jìn)研究來(lái)應(yīng)對(duì)這些挑戰(zhàn)。我們的方法將前沿研究與工程工作流相結(jié)合，并在我們的 AI 和機(jī)器人平臺(tái)（包括NVIDIA Omniverse、Cosmos、Isaac Sim和Isaac Lab）上進(jìn)行測(cè)試。最終生成的模型、策略和數(shù)據(jù)集可作為研究人員和開(kāi)發(fā)者社區(qū)的可定制參考，以適應(yīng)特定的機(jī)器人開(kāi)發(fā)需求。我們期待分享我們的研究成果，共同構(gòu)建機(jī)器人技術(shù)的未來(lái)。

在本期 R2D2 中，您將了解以下機(jī)器人移動(dòng)及全身控制的工作流及模型，以及它們?nèi)绾螒?yīng)對(duì)機(jī)器人導(dǎo)航、移動(dòng)和控制方面的關(guān)鍵挑戰(zhàn)：

MobilityGen：基于仿真的工作流，利用 Isaac Sim 快速生成大型合成運(yùn)動(dòng)數(shù)據(jù)集，用于為不同形態(tài)和環(huán)境下的機(jī)器人構(gòu)建模型，以及測(cè)試機(jī)器人在新環(huán)境中的導(dǎo)航能力。與真實(shí)世界的數(shù)據(jù)采集相比，該工作流可降低成本并節(jié)省時(shí)間。

COMPASS（Cross-embOdiment Mobility Policy via ResiduAl RL and Skill Synthesis）：一種用于開(kāi)發(fā)跨形態(tài)移動(dòng)策略的工作流，可借助 Isaac Lab 實(shí)現(xiàn)微調(diào)，并支持零樣本從仿真到現(xiàn)實(shí)的部署。

HOVER（Humanoid Versatile Controller）：Isaac Lab 中用于人形機(jī)器人多種控制模式的工作流和統(tǒng)一全身控制通用策略。

ReMEmbR（適用于具身機(jī)器人的檢索增強(qiáng)內(nèi)存）：一種支持機(jī)器人使用 LLMs、VLMs 和 RAG（檢索增強(qiáng)生成）進(jìn)行推理并采取移動(dòng)行動(dòng)的工作流。

NVIDIA 機(jī)器人移動(dòng)工作流和 AI 模型

包括人形機(jī)器人、四足機(jī)器人和自主移動(dòng)機(jī)器人（AMR）等在內(nèi)的移動(dòng)機(jī)器人，越來(lái)越多地應(yīng)用于各種不同的環(huán)境中，這對(duì)強(qiáng)大的導(dǎo)航系統(tǒng)提出了更高的要求，需要能夠支持在已繪制地圖和未知的環(huán)境中安全運(yùn)行，同時(shí)避開(kāi)障礙物并減少停機(jī)時(shí)間。目前的導(dǎo)航軟件在適應(yīng)性方面存在困難，因?yàn)椴煌?lèi)型的機(jī)器人（例如，自主移動(dòng)機(jī)器人與人形機(jī)器人）的算法差異很大，并且需要針對(duì)環(huán)境變化進(jìn)行大量的微調(diào)，這增加了工程復(fù)雜性并限制了可擴(kuò)展性。

NVIDIA 研究中心通過(guò)開(kāi)發(fā)由 AI 驅(qū)動(dòng)的端到端基礎(chǔ)模型、高效的數(shù)據(jù)生成流程以及支持零樣本部署的訓(xùn)練工作流來(lái)應(yīng)對(duì)這些挑戰(zhàn)，使機(jī)器人無(wú)需依賴昂貴的傳感器即可在雜亂的空間中導(dǎo)航。

圖 1. 移動(dòng)工作流包括三個(gè)主要步驟，即數(shù)據(jù)生成、在生成的數(shù)據(jù)上訓(xùn)練和微調(diào)模型，以及在對(duì)真實(shí)機(jī)器人進(jìn)行零樣本部署之前對(duì)模型進(jìn)行測(cè)試

用于數(shù)據(jù)生成的 MobilityGen

MobilityGen 工作流借助 NVIDIA Isaac Sim，為包括人形機(jī)器人、四足機(jī)器人和輪式機(jī)器人在內(nèi)的移動(dòng)機(jī)器人生成合成運(yùn)動(dòng)數(shù)據(jù)。您可以使用這些數(shù)據(jù)來(lái)訓(xùn)練和測(cè)試機(jī)器人的移動(dòng)模型以及感知算法，從而解決訓(xùn)練機(jī)器人時(shí)的數(shù)據(jù)稀缺問(wèn)題。

MobilityGen 通過(guò)以下方式幫助增加數(shù)據(jù)集的多樣性：

添加動(dòng)態(tài)對(duì)象

添加機(jī)器人動(dòng)作數(shù)據(jù)

結(jié)合人類(lèi)演示數(shù)據(jù)

增強(qiáng)數(shù)據(jù)（例如光照條件）

MobilityGen 提供真實(shí)數(shù)據(jù)的形式包括占用地圖、位姿信息、速度信息、RGB 圖像、深度圖像和分割圖像，以及可定制的動(dòng)作和渲染數(shù)據(jù)。它支持的數(shù)據(jù)采集方法包括鍵盤(pán)或游戲手柄遠(yuǎn)程操作，以及自動(dòng)隨機(jī)動(dòng)作或可定制的路徑規(guī)劃。

通過(guò)解決數(shù)據(jù)稀缺問(wèn)題，MobilityGen 增強(qiáng)了集成機(jī)器人堆棧的感知能力和移動(dòng)基礎(chǔ)。通過(guò) NVIDIA 深度學(xué)習(xí)培訓(xùn)中心（DLI）的免費(fèi)自學(xué)課程，了解更多關(guān)于 MobilityGen 的信息，以及如何使用遠(yuǎn)程操作為人形機(jī)器人 Unitree H1 生成運(yùn)動(dòng)和導(dǎo)航數(shù)據(jù)集。

圖 2. 機(jī)器人移動(dòng)合成數(shù)據(jù)生成包括四個(gè)主要步驟：在仿真中構(gòu)建或?qū)氕h(huán)境、導(dǎo)入機(jī)器人模型、在仿真環(huán)境中移動(dòng)機(jī)器人并記錄軌跡，最后渲染數(shù)據(jù)以用于訓(xùn)練和測(cè)試

視頻 2. MobilityGen 用戶使用 Isaac Sim 進(jìn)行合成數(shù)據(jù)生成

用于跨形態(tài)移動(dòng)策略的 COMPASS

COMPASS 是一個(gè)用于開(kāi)發(fā)跨形態(tài)移動(dòng)策略的工作流。它提供了一種可通用的端到端移動(dòng)工作流和模型，能夠在多種機(jī)器人形態(tài)下實(shí)現(xiàn)零樣本從仿真到現(xiàn)實(shí)的部署。其目標(biāo)是解決由于機(jī)器人專家開(kāi)發(fā)和測(cè)試周期緩慢而導(dǎo)致的可擴(kuò)展性問(wèn)題。

COMPASS 將基于視覺(jué)的端到端模仿學(xué)習(xí)（IL）與 Isaac Lab 中的 X-Mobility 的殘差強(qiáng)化學(xué)習(xí)（RL）以及策略蒸餾方法相結(jié)合，以擴(kuò)展到不同的機(jī)器人平臺(tái)。雖然基于模仿學(xué)習(xí)的 X-Mobility 策略是在使用 MobilityGen 生成的特定形態(tài)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練的，但 COMPASS 的通用策略對(duì)于不同形態(tài)的機(jī)器人可實(shí)現(xiàn)高出 5 倍的成功率。這使得不同的機(jī)器人能夠使用統(tǒng)一的策略在復(fù)雜環(huán)境中高效導(dǎo)航。它還為用戶提供了針對(duì)特定形態(tài)和環(huán)境微調(diào)策略的靈活性和便利性。

圖 3. COMPASS 工作流

該工作流的第一階段使用基于模仿學(xué)習(xí)的方法進(jìn)行世界建模，以訓(xùn)練針對(duì)環(huán)境狀態(tài)與行動(dòng)的移動(dòng)性“常識(shí)”表征。這類(lèi)“常識(shí)”的具體體現(xiàn)包括對(duì)世界動(dòng)態(tài)變化的理解、障礙物探測(cè)與規(guī)避、路徑規(guī)劃，以及環(huán)境感知能力等。

第二階段使用殘差強(qiáng)化學(xué)習(xí)，將第一階段中基于模仿學(xué)習(xí)的策略逐步具體化為特定的專家策略。第三階段使用每個(gè)專家策略的數(shù)據(jù)，并通過(guò)策略蒸餾將它們合并為一個(gè)跨形態(tài)模型。通過(guò)這種方式，每個(gè)專家的專業(yè)知識(shí)被融入到最終的蒸餾策略中，從而提高不同平臺(tái)的適應(yīng)性。

COMPASS 實(shí)現(xiàn)了零樣本多機(jī)器人交互，展示了機(jī)器人在不同環(huán)境中的功能。它還可用于連接 loco-manipulation 控制器，以執(zhí)行 loco-manipulation 相關(guān)的任務(wù)。

視頻 3. 使用 COMPASS 策略的人形機(jī)器人

COMPASS 通過(guò)解決跨形態(tài)的通用性問(wèn)題，增強(qiáng)了集成式機(jī)器人堆棧的移動(dòng)性基礎(chǔ)。

用于人形機(jī)器人全身控制的 HOVER

到目前為止，我們已經(jīng)了解了使機(jī)器人能夠從一個(gè)點(diǎn)移動(dòng)到目標(biāo)位置的移動(dòng)策略。但對(duì)于穩(wěn)健的運(yùn)動(dòng)來(lái)說(shuō)，這還不夠，我們還需要實(shí)現(xiàn)平衡和全身控制，以確保安全、平穩(wěn)的移動(dòng)。HOVER 的目標(biāo)就是為此提供一個(gè)參考工作流。

傳統(tǒng)上，人形機(jī)器人需要不同的控制模式來(lái)執(zhí)行各種任務(wù)，例如用于導(dǎo)航的速度追蹤和用于桌面操作的上半身關(guān)節(jié)追蹤。HOVER 是一個(gè)在 Isaac Lab 中訓(xùn)練的工作流，它將這些控制模式整合為人形機(jī)器人的統(tǒng)一策略。對(duì)于使用本文中所提到的其他工作流的機(jī)器人，也可以使用其他控制器來(lái)替代 HOVER。

通過(guò)將復(fù)雜的人形機(jī)器人的多個(gè)運(yùn)動(dòng)部件集成到一個(gè)統(tǒng)一的神經(jīng)全身控制器中，HOVER 增強(qiáng)了集成機(jī)器人堆棧的基控制礎(chǔ)。HOVER（Humanoid Versatile Controller）是一種多模式策略蒸餾框架，可以將多種控制模式統(tǒng)一到單個(gè)策略中，實(shí)現(xiàn)了它們之間的無(wú)縫過(guò)渡。通過(guò)強(qiáng)化學(xué)習(xí)對(duì) oracle 策略進(jìn)行訓(xùn)練，并模仿人類(lèi)運(yùn)動(dòng)數(shù)據(jù)，然后使用策略蒸餾流程將技能從 oracle 策略轉(zhuǎn)移到通用策略。

HOVER 代碼還包括一個(gè)在 Unitree H1 機(jī)器人上使用的部署代碼示例，使用戶能夠使用機(jī)器人來(lái)復(fù)制下圖中展示的運(yùn)動(dòng)和穩(wěn)定性。

圖 4. HOVER 策略在 Isaac Lab 中進(jìn)行訓(xùn)練、在 MuJoCo 中測(cè)試并部署到真實(shí)的機(jī)器人上；（左）使用 MuJoCo 在仿真中進(jìn)行測(cè)試，（右）部署到真實(shí)機(jī)器人

圖 5. HOVER 策略在執(zhí)行手臂動(dòng)作的同時(shí)保持平衡

用于機(jī)器人推理的 ReMEmbR

到目前為止，我們探討的工作流解決了數(shù)據(jù)集創(chuàng)建、移動(dòng)策略以及人形機(jī)器人的全身控制問(wèn)題。為了通過(guò)對(duì)話式智能實(shí)現(xiàn)完全的自主移動(dòng)，我們還需要集成機(jī)器人的推理和認(rèn)知能力。機(jī)器人如何記住在環(huán)境中看到的內(nèi)容，并根據(jù)用戶輸入采取相應(yīng)的行動(dòng)呢？

ReMEmbR 是一種將大語(yǔ)言模型、視覺(jué)語(yǔ)言模型和檢索增強(qiáng)生成技術(shù)相結(jié)合的工作流，使機(jī)器人能夠使用長(zhǎng)時(shí)間記憶動(dòng)作，進(jìn)行推理、回答問(wèn)題并在大范圍內(nèi)執(zhí)行導(dǎo)航操作。它可以充當(dāng)具身機(jī)器人的“記憶”，有助于基于感知的問(wèn)答和語(yǔ)義動(dòng)作執(zhí)行。

圖 6. ReMEmbR 工作流

ReMEmbR 可用于為本文中介紹的其他工作流提供輸入，將它們整合在一起，以幫助解決機(jī)器人移動(dòng)性的復(fù)雜問(wèn)題。我們還發(fā)布了用于評(píng)估的 NaVQA 數(shù)據(jù)集（Navigation Visual Question Answering），其中包含具有各種輸出類(lèi)型的空間、時(shí)間和描述性問(wèn)題的示例。

圖 7. MobilityGen、ReMEmbR、COMPASS 和 HOVER 四個(gè)工作流相結(jié)合

通過(guò)利用大語(yǔ)言模型和視覺(jué)語(yǔ)言模型的強(qiáng)大功能來(lái)解決推理問(wèn)題，ReMEmbR 強(qiáng)化了基于 AI 的集成機(jī)器人堆棧的推理和適應(yīng)能力。

生態(tài)系統(tǒng)應(yīng)用情況

人形機(jī)器人、倉(cāng)庫(kù)自動(dòng)化和自主系統(tǒng)領(lǐng)域的領(lǐng)先機(jī)構(gòu)正在采用 NVIDIA 的研究工作流，以加速開(kāi)發(fā)，并在可擴(kuò)展性和適應(yīng)性方面取得突破。

UCR（Under Control Robotics）集成了 X-Mobility，以引導(dǎo)其機(jī)器人 Moby 順暢抵達(dá)目的地。事實(shí)證明，這套模塊化系統(tǒng)能夠靈活適配各類(lèi)工業(yè)任務(wù)，比如數(shù)據(jù)采集、物料搬運(yùn)，以及實(shí)現(xiàn)高風(fēng)險(xiǎn)作業(yè)的自動(dòng)化操作。

研華科技（Advantech）、威剛科技（ADATA）和 Ubitus 合作，采用 ReMEmbR 技術(shù)，使機(jī)器人能夠依據(jù)大量的觀察進(jìn)行推理并采取行動(dòng)。