在NVIDIA，我們正在開發AI解決方案，以使通用的人形機器人能夠理解人類世界，遵循語言指示并執行各種任務。強大的視覺語言動作（VLA）模型對于此類高級功能至關重要。為此，我們開發了GR00T N1，這是一種通用的機器人模型，該模型在包括以上為中心的人類視頻，真實和模擬的機器人軌跡以及合成數據的各種數據集中訓練。

GR00T N1在多個機器人實施方案的模擬基準中優于模擬基準中的最先進的模仿學習模型。此外，它在家用任務中表現出對傅立葉GR-1和1X類人生物的有效語言雙層操作。

為了幫助AI解決我們社會中最關鍵的問題，我們通過NVIDIA ISAAC GR00T獲得允許的許可，使模型開放權重。

GROOT N1是英偉達公司推出的全球首個開源基礎模型，專為通用人形機器人設計。它基于多模態輸入（如語言和圖像）能夠在多樣化環境中執行操作任務。該模型基于大規模人形機器人數據集進行訓練，結合了真實數據、合成數據和互聯網視頻數據，以便適應特定機器人形態、任務和環境。GROOT N1采用雙系統架構，其中視覺-語言模型負責推理和規劃，而擴散變換器則負責生成精確動作。在模擬和真實世界測試中，GROOT N1表現出色，尤其在復雜多步任務和精準操作中展現出明顯優勢，為材料處理、包裝和檢查等應用提供了高效解決方案。

NVIDIA ISAAC GR00T N1：人形機器人的開放基礎模型

*附件：GR00T_1_Whitepaper.pdf

GROOT N1? 的核心優勢與特點總結：

NVIDIA GROOT N1采用的是雙系統架構，包括視覺-語言模型和擴散變換器。

• 視覺-語言模型（System 2）：基于NVIDIA-Eagle和SnolLM-1.7B構建，負責用視覺和語言指令理解環境，進行推理和規劃，輸出動作計劃。
• 擴散變換器（System 1）：作為動作模型，將視覺-語言模型的計劃轉化為精確的連續動作，控制機器人運動。

此外，NVIDIA GROOT N1在數據策略方面，預訓練數據包括互聯網視頻數據、合成數據和真實機器人數據。 無監督學習從大規模未標注的人類視頻數據中提取運動模式，從而提高了機器人的學習效率。

核心優勢?

1. ?首創開源基礎模型?
   • 全球首個專為通用人形機器人設計的開源基礎模型，推動技術共享與生態協作。
2. ?多模態融合能力?
   • 支持語言、圖像等多模態輸入，適應復雜環境中的動態任務需求。
3. ?數據多樣性訓練?
   • 結合真實數據、合成數據及互聯網視頻數據，提升模型在形態、任務和環境上的泛化能力。
4. ?高精度動作生成?
   • 通過擴散變換器（Diffusion Transformer）生成精確動作，解決復雜操作難題。
5. ?應用場景廣泛?
   • 在材料處理、包裝、檢查等任務中表現優異，尤其擅長多步驟操作與精準控制。

?技術特點?

1. ?雙系統架構設計?
   • ?視覺-語言模型?：負責任務推理與規劃，理解環境語義；
   • ?擴散變換器?：專注于動作序列生成，實現毫米級操作精度。
2. ?跨環境適應性?
   • 模擬與真實世界測試均驗證其穩定性和可靠性，可快速部署至多樣化場景。
3. ?人形機器人專用優化?
   • 針對人形機器人的物理結構與運動邏輯進行深度適配，強化動作連貫性。
4. ?開源生態支持?
   • 開放模型架構與訓練框架，助力開發者定制化開發與行業應用拓展。

?主要功能?：

1. 通用操作任務執行：GROOT N1能在多樣化環境中執行各種操作任務，如抓取、搬運以及雙臂協調操作等。
2. 多模態輸入處理：該機器人能夠同時處理語言指令和視覺圖像，根據自然語言指令執行復雜的操作任務。
3. 跨機器人形態適應性：GROOT N1能適應不同類型的機器人平臺，如Fourier GR-1和1X Neo，實現通用性。
4. 復雜任務推理與規劃：它能執行需要持續上下文理解和多種技能整合的復雜多步任務。
5. 高效數據利用與訓練：結合互聯網規模數據、合成數據和真實機器人數據進行預訓練，顯著提升性能和泛化能力，減少對大規模標注數據的依賴。

?總結?

GROOT N1 通過多模態融合、雙系統協同與高精度動作生成，為人形機器人提供了高效、通用的智能解決方案，是工業自動化與復雜環境作業領域的突破性技術。