歡迎閱讀首期“NVIDIA 機器人研究與開發(fā)摘要（R2D2）”。此技術(shù)博客系列將讓開發(fā)者和研究人員更深入地了解 NVIDIA 各個研究實驗室在物理 AI 和機器人領(lǐng)域的最新研究突破。

開發(fā)強大的機器人面臨著諸多重大挑戰(zhàn)，例如：

數(shù)據(jù)稀缺：為 AI 模型生成多樣的真實世界訓(xùn)練數(shù)據(jù)。

適應(yīng)性：確保解決方案能夠在各種不同類型的機器人和環(huán)境中通用，并適應(yīng)動態(tài)、不可預(yù)測的場景。

集成性：有效地將移動能力、操作能力、控制能力和推理能力結(jié)合起來。

我們通過在自身平臺上經(jīng)過驗證的先進(jìn)研究來應(yīng)對這些挑戰(zhàn)。我們的方法將前沿研究與工程工作流相結(jié)合，并在我們的 AI 和機器人平臺（包括NVIDIA Omniverse、Cosmos、Isaac Sim和Isaac Lab）上進(jìn)行測試。最終生成的模型、策略和數(shù)據(jù)集可作為研究人員和開發(fā)者社區(qū)的可定制參考，以適應(yīng)特定的機器人開發(fā)需求。我們期待分享我們的研究成果，共同構(gòu)建機器人技術(shù)的未來。

在本期 R2D2 中，您將了解以下機器人移動及全身控制的工作流及模型，以及它們?nèi)绾螒?yīng)對機器人導(dǎo)航、移動和控制方面的關(guān)鍵挑戰(zhàn)：

MobilityGen：基于仿真的工作流，利用 Isaac Sim 快速生成大型合成運動數(shù)據(jù)集，用于為不同形態(tài)和環(huán)境下的機器人構(gòu)建模型，以及測試機器人在新環(huán)境中的導(dǎo)航能力。與真實世界的數(shù)據(jù)采集相比，該工作流可降低成本并節(jié)省時間。

COMPASS（Cross-embOdiment Mobility Policy via ResiduAl RL and Skill Synthesis）：一種用于開發(fā)跨形態(tài)移動策略的工作流，可借助 Isaac Lab 實現(xiàn)微調(diào)，并支持零樣本從仿真到現(xiàn)實的部署。

HOVER（Humanoid Versatile Controller）：Isaac Lab 中用于人形機器人多種控制模式的工作流和統(tǒng)一全身控制通用策略。

ReMEmbR（適用于具身機器人的檢索增強內(nèi)存）：一種支持機器人使用 LLMs、VLMs 和 RAG（檢索增強生成）進(jìn)行推理并采取移動行動的工作流。

NVIDIA 機器人移動工作流和 AI 模型

包括人形機器人、四足機器人和自主移動機器人（AMR）等在內(nèi)的移動機器人，越來越多地應(yīng)用于各種不同的環(huán)境中，這對強大的導(dǎo)航系統(tǒng)提出了更高的要求，需要能夠支持在已繪制地圖和未知的環(huán)境中安全運行，同時避開障礙物并減少停機時間。目前的導(dǎo)航軟件在適應(yīng)性方面存在困難，因為不同類型的機器人（例如，自主移動機器人與人形機器人）的算法差異很大，并且需要針對環(huán)境變化進(jìn)行大量的微調(diào)，這增加了工程復(fù)雜性并限制了可擴(kuò)展性。

NVIDIA 研究中心通過開發(fā)由 AI 驅(qū)動的端到端基礎(chǔ)模型、高效的數(shù)據(jù)生成流程以及支持零樣本部署的訓(xùn)練工作流來應(yīng)對這些挑戰(zhàn)，使機器人無需依賴昂貴的傳感器即可在雜亂的空間中導(dǎo)航。

圖 1. 移動工作流包括三個主要步驟，即數(shù)據(jù)生成、在生成的數(shù)據(jù)上訓(xùn)練和微調(diào)模型，以及在對真實機器人進(jìn)行零樣本部署之前對模型進(jìn)行測試

用于數(shù)據(jù)生成的 MobilityGen

MobilityGen 工作流借助 NVIDIA Isaac Sim，為包括人形機器人、四足機器人和輪式機器人在內(nèi)的移動機器人生成合成運動數(shù)據(jù)。您可以使用這些數(shù)據(jù)來訓(xùn)練和測試機器人的移動模型以及感知算法，從而解決訓(xùn)練機器人時的數(shù)據(jù)稀缺問題。

MobilityGen 通過以下方式幫助增加數(shù)據(jù)集的多樣性：

添加動態(tài)對象

添加機器人動作數(shù)據(jù)

結(jié)合人類演示數(shù)據(jù)

增強數(shù)據(jù)（例如光照條件）

MobilityGen 提供真實數(shù)據(jù)的形式包括占用地圖、位姿信息、速度信息、RGB 圖像、深度圖像和分割圖像，以及可定制的動作和渲染數(shù)據(jù)。它支持的數(shù)據(jù)采集方法包括鍵盤或游戲手柄遠(yuǎn)程操作，以及自動隨機動作或可定制的路徑規(guī)劃。

通過解決數(shù)據(jù)稀缺問題，MobilityGen 增強了集成機器人堆棧的感知能力和移動基礎(chǔ)。通過 NVIDIA 深度學(xué)習(xí)培訓(xùn)中心（DLI）的免費自學(xué)課程，了解更多關(guān)于 MobilityGen 的信息，以及如何使用遠(yuǎn)程操作為人形機器人 Unitree H1 生成運動和導(dǎo)航數(shù)據(jù)集。

圖 2. 機器人移動合成數(shù)據(jù)生成包括四個主要步驟：在仿真中構(gòu)建或?qū)氕h(huán)境、導(dǎo)入機器人模型、在仿真環(huán)境中移動機器人并記錄軌跡，最后渲染數(shù)據(jù)以用于訓(xùn)練和測試

視頻 2. MobilityGen 用戶使用 Isaac Sim 進(jìn)行合成數(shù)據(jù)生成

用于跨形態(tài)移動策略的 COMPASS

COMPASS 是一個用于開發(fā)跨形態(tài)移動策略的工作流。它提供了一種可通用的端到端移動工作流和模型，能夠在多種機器人形態(tài)下實現(xiàn)零樣本從仿真到現(xiàn)實的部署。其目標(biāo)是解決由于機器人專家開發(fā)和測試周期緩慢而導(dǎo)致的可擴(kuò)展性問題。

COMPASS 將基于視覺的端到端模仿學(xué)習(xí)（IL）與 Isaac Lab 中的 X-Mobility 的殘差強化學(xué)習(xí)（RL）以及策略蒸餾方法相結(jié)合，以擴(kuò)展到不同的機器人平臺。雖然基于模仿學(xué)習(xí)的 X-Mobility 策略是在使用 MobilityGen 生成的特定形態(tài)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練的，但 COMPASS 的通用策略對于不同形態(tài)的機器人可實現(xiàn)高出 5 倍的成功率。這使得不同的機器人能夠使用統(tǒng)一的策略在復(fù)雜環(huán)境中高效導(dǎo)航。它還為用戶提供了針對特定形態(tài)和環(huán)境微調(diào)策略的靈活性和便利性。

圖 3. COMPASS 工作流

該工作流的第一階段使用基于模仿學(xué)習(xí)的方法進(jìn)行世界建模，以訓(xùn)練針對環(huán)境狀態(tài)與行動的移動性“常識”表征。這類“常識”的具體體現(xiàn)包括對世界動態(tài)變化的理解、障礙物探測與規(guī)避、路徑規(guī)劃，以及環(huán)境感知能力等。

第二階段使用殘差強化學(xué)習(xí)，將第一階段中基于模仿學(xué)習(xí)的策略逐步具體化為特定的專家策略。第三階段使用每個專家策略的數(shù)據(jù)，并通過策略蒸餾將它們合并為一個跨形態(tài)模型。通過這種方式，每個專家的專業(yè)知識被融入到最終的蒸餾策略中，從而提高不同平臺的適應(yīng)性。

COMPASS 實現(xiàn)了零樣本多機器人交互，展示了機器人在不同環(huán)境中的功能。它還可用于連接 loco-manipulation 控制器，以執(zhí)行 loco-manipulation 相關(guān)的任務(wù)。

視頻 3. 使用 COMPASS 策略的人形機器人

COMPASS 通過解決跨形態(tài)的通用性問題，增強了集成式機器人堆棧的移動性基礎(chǔ)。

用于人形機器人全身控制的 HOVER

到目前為止，我們已經(jīng)了解了使機器人能夠從一個點移動到目標(biāo)位置的移動策略。但對于穩(wěn)健的運動來說，這還不夠，我們還需要實現(xiàn)平衡和全身控制，以確保安全、平穩(wěn)的移動。HOVER 的目標(biāo)就是為此提供一個參考工作流。

傳統(tǒng)上，人形機器人需要不同的控制模式來執(zhí)行各種任務(wù)，例如用于導(dǎo)航的速度追蹤和用于桌面操作的上半身關(guān)節(jié)追蹤。HOVER 是一個在 Isaac Lab 中訓(xùn)練的工作流，它將這些控制模式整合為人形機器人的統(tǒng)一策略。對于使用本文中所提到的其他工作流的機器人，也可以使用其他控制器來替代 HOVER。

通過將復(fù)雜的人形機器人的多個運動部件集成到一個統(tǒng)一的神經(jīng)全身控制器中，HOVER 增強了集成機器人堆棧的基控制礎(chǔ)。HOVER（Humanoid Versatile Controller）是一種多模式策略蒸餾框架，可以將多種控制模式統(tǒng)一到單個策略中，實現(xiàn)了它們之間的無縫過渡。通過強化學(xué)習(xí)對 oracle 策略進(jìn)行訓(xùn)練，并模仿人類運動數(shù)據(jù)，然后使用策略蒸餾流程將技能從 oracle 策略轉(zhuǎn)移到通用策略。

HOVER 代碼還包括一個在 Unitree H1 機器人上使用的部署代碼示例，使用戶能夠使用機器人來復(fù)制下圖中展示的運動和穩(wěn)定性。

圖 4. HOVER 策略在 Isaac Lab 中進(jìn)行訓(xùn)練、在 MuJoCo 中測試并部署到真實的機器人上；（左）使用 MuJoCo 在仿真中進(jìn)行測試，（右）部署到真實機器人

圖 5. HOVER 策略在執(zhí)行手臂動作的同時保持平衡

用于機器人推理的 ReMEmbR

到目前為止，我們探討的工作流解決了數(shù)據(jù)集創(chuàng)建、移動策略以及人形機器人的全身控制問題。為了通過對話式智能實現(xiàn)完全的自主移動，我們還需要集成機器人的推理和認(rèn)知能力。機器人如何記住在環(huán)境中看到的內(nèi)容，并根據(jù)用戶輸入采取相應(yīng)的行動呢？

ReMEmbR 是一種將大語言模型、視覺語言模型和檢索增強生成技術(shù)相結(jié)合的工作流，使機器人能夠使用長時間記憶動作，進(jìn)行推理、回答問題并在大范圍內(nèi)執(zhí)行導(dǎo)航操作。它可以充當(dāng)具身機器人的“記憶”，有助于基于感知的問答和語義動作執(zhí)行。

圖 6. ReMEmbR 工作流

ReMEmbR 可用于為本文中介紹的其他工作流提供輸入，將它們整合在一起，以幫助解決機器人移動性的復(fù)雜問題。我們還發(fā)布了用于評估的 NaVQA 數(shù)據(jù)集（Navigation Visual Question Answering），其中包含具有各種輸出類型的空間、時間和描述性問題的示例。

圖 7. MobilityGen、ReMEmbR、COMPASS 和 HOVER 四個工作流相結(jié)合

通過利用大語言模型和視覺語言模型的強大功能來解決推理問題，ReMEmbR 強化了基于 AI 的集成機器人堆棧的推理和適應(yīng)能力。

生態(tài)系統(tǒng)應(yīng)用情況

人形機器人、倉庫自動化和自主系統(tǒng)領(lǐng)域的領(lǐng)先機構(gòu)正在采用 NVIDIA 的研究工作流，以加速開發(fā)，并在可擴(kuò)展性和適應(yīng)性方面取得突破。

UCR（Under Control Robotics）集成了 X-Mobility，以引導(dǎo)其機器人 Moby 順暢抵達(dá)目的地。事實證明，這套模塊化系統(tǒng)能夠靈活適配各類工業(yè)任務(wù)，比如數(shù)據(jù)采集、物料搬運，以及實現(xiàn)高風(fēng)險作業(yè)的自動化操作。

研華科技（Advantech）、威剛科技（ADATA）和 Ubitus 合作，采用 ReMEmbR 技術(shù)，使機器人能夠依據(jù)大量的觀察進(jìn)行推理并采取行動。