在NVIDIA，我們正在開發(fā)AI解決方案，以使通用的人形機(jī)器人能夠理解人類世界，遵循語言指示并執(zhí)行各種任務(wù)。強(qiáng)大的視覺語言動作（VLA）模型對于此類高級功能至關(guān)重要。為此，我們開發(fā)了GR00T N1，這是一種通用的機(jī)器人模型，該模型在包括以上為中心的人類視頻，真實和模擬的機(jī)器人軌跡以及合成數(shù)據(jù)的各種數(shù)據(jù)集中訓(xùn)練。

GR00T N1在多個機(jī)器人實施方案的模擬基準(zhǔn)中優(yōu)于模擬基準(zhǔn)中的最先進(jìn)的模仿學(xué)習(xí)模型。此外，它在家用任務(wù)中表現(xiàn)出對傅立葉GR-1和1X類人生物的有效語言雙層操作。

為了幫助AI解決我們社會中最關(guān)鍵的問題，我們通過NVIDIA ISAAC GR00T獲得允許的許可，使模型開放權(quán)重。

GROOT N1是英偉達(dá)公司推出的全球首個開源基礎(chǔ)模型，專為通用人形機(jī)器人設(shè)計。它基于多模態(tài)輸入（如語言和圖像）能夠在多樣化環(huán)境中執(zhí)行操作任務(wù)。該模型基于大規(guī)模人形機(jī)器人數(shù)據(jù)集進(jìn)行訓(xùn)練，結(jié)合了真實數(shù)據(jù)、合成數(shù)據(jù)和互聯(lián)網(wǎng)視頻數(shù)據(jù)，以便適應(yīng)特定機(jī)器人形態(tài)、任務(wù)和環(huán)境。GROOT N1采用雙系統(tǒng)架構(gòu)，其中視覺-語言模型負(fù)責(zé)推理和規(guī)劃，而擴(kuò)散變換器則負(fù)責(zé)生成精確動作。在模擬和真實世界測試中，GROOT N1表現(xiàn)出色，尤其在復(fù)雜多步任務(wù)和精準(zhǔn)操作中展現(xiàn)出明顯優(yōu)勢，為材料處理、包裝和檢查等應(yīng)用提供了高效解決方案。

NVIDIA ISAAC GR00T N1：人形機(jī)器人的開放基礎(chǔ)模型

*附件：GR00T_1_Whitepaper.pdf

GROOT N1? 的核心優(yōu)勢與特點總結(jié)：

NVIDIA GROOT N1采用的是雙系統(tǒng)架構(gòu)，包括視覺-語言模型和擴(kuò)散變換器。

• 視覺-語言模型（System 2）：基于NVIDIA-Eagle和SnolLM-1.7B構(gòu)建，負(fù)責(zé)用視覺和語言指令理解環(huán)境，進(jìn)行推理和規(guī)劃，輸出動作計劃。
• 擴(kuò)散變換器（System 1）：作為動作模型，將視覺-語言模型的計劃轉(zhuǎn)化為精確的連續(xù)動作，控制機(jī)器人運(yùn)動。

此外，NVIDIA GROOT N1在數(shù)據(jù)策略方面，預(yù)訓(xùn)練數(shù)據(jù)包括互聯(lián)網(wǎng)視頻數(shù)據(jù)、合成數(shù)據(jù)和真實機(jī)器人數(shù)據(jù)。 無監(jiān)督學(xué)習(xí)從大規(guī)模未標(biāo)注的人類視頻數(shù)據(jù)中提取運(yùn)動模式，從而提高了機(jī)器人的學(xué)習(xí)效率。

核心優(yōu)勢?

1. ?首創(chuàng)開源基礎(chǔ)模型?
   • 全球首個專為通用人形機(jī)器人設(shè)計的開源基礎(chǔ)模型，推動技術(shù)共享與生態(tài)協(xié)作。
2. ?多模態(tài)融合能力?
   • 支持語言、圖像等多模態(tài)輸入，適應(yīng)復(fù)雜環(huán)境中的動態(tài)任務(wù)需求。
3. ?數(shù)據(jù)多樣性訓(xùn)練?
   • 結(jié)合真實數(shù)據(jù)、合成數(shù)據(jù)及互聯(lián)網(wǎng)視頻數(shù)據(jù)，提升模型在形態(tài)、任務(wù)和環(huán)境上的泛化能力。
4. ?高精度動作生成?
   • 通過擴(kuò)散變換器（Diffusion Transformer）生成精確動作，解決復(fù)雜操作難題。
5. ?應(yīng)用場景廣泛?
   • 在材料處理、包裝、檢查等任務(wù)中表現(xiàn)優(yōu)異，尤其擅長多步驟操作與精準(zhǔn)控制。

?技術(shù)特點?

1. ?雙系統(tǒng)架構(gòu)設(shè)計?
   • ?視覺-語言模型?：負(fù)責(zé)任務(wù)推理與規(guī)劃，理解環(huán)境語義；
   • ?擴(kuò)散變換器?：專注于動作序列生成，實現(xiàn)毫米級操作精度。
2. ?跨環(huán)境適應(yīng)性?
   • 模擬與真實世界測試均驗證其穩(wěn)定性和可靠性，可快速部署至多樣化場景。
3. ?人形機(jī)器人專用優(yōu)化?
   • 針對人形機(jī)器人的物理結(jié)構(gòu)與運(yùn)動邏輯進(jìn)行深度適配，強(qiáng)化動作連貫性。
4. ?開源生態(tài)支持?
   • 開放模型架構(gòu)與訓(xùn)練框架，助力開發(fā)者定制化開發(fā)與行業(yè)應(yīng)用拓展。

?主要功能?：

1. 通用操作任務(wù)執(zhí)行：GROOT N1能在多樣化環(huán)境中執(zhí)行各種操作任務(wù)，如抓取、搬運(yùn)以及雙臂協(xié)調(diào)操作等。
2. 多模態(tài)輸入處理：該機(jī)器人能夠同時處理語言指令和視覺圖像，根據(jù)自然語言指令執(zhí)行復(fù)雜的操作任務(wù)。
3. 跨機(jī)器人形態(tài)適應(yīng)性：GROOT N1能適應(yīng)不同類型的機(jī)器人平臺，如Fourier GR-1和1X Neo，實現(xiàn)通用性。
4. 復(fù)雜任務(wù)推理與規(guī)劃：它能執(zhí)行需要持續(xù)上下文理解和多種技能整合的復(fù)雜多步任務(wù)。
5. 高效數(shù)據(jù)利用與訓(xùn)練：結(jié)合互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)、合成數(shù)據(jù)和真實機(jī)器人數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，顯著提升性能和泛化能力，減少對大規(guī)模標(biāo)注數(shù)據(jù)的依賴。

?總結(jié)?

GROOT N1 通過多模態(tài)融合、雙系統(tǒng)協(xié)同與高精度動作生成，為人形機(jī)器人提供了高效、通用的智能解決方案，是工業(yè)自動化與復(fù)雜環(huán)境作業(yè)領(lǐng)域的突破性技術(shù)。