機器人在智能制造設施、商業廚房、醫院、倉庫物流和農業領域等不同環境中的應用正在迅速擴展。該行業正在向智能自動化轉變，這需要增強的機器人功能來執行感知、地圖構建、導航、負載處理、物體抓取和復雜的裝配任務等功能。

AI 在這一變革中發揮著關鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發揮自己的潛力。

在 COMPUTEX，NVIDIA 宣布了一些新功能，可幫助機器人專家和工程師構建智能機器人。這些功能包括：

NVIDIA Isaac Perceptor，一種適用于自主移動機器人（AMR）和自動導引車（AGV）的新參考工作流。

NVIDIA Isaac 機器人操作系統（ROS）為工業機械臂提供了新的基礎模型和參考工作流程。

面向機器人的 NVIDIA Jetson，以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab，這是一款輕量級應用，用于機器人學習。

NVIDIA Isaac Perceptor

AMR 和 AGV 對于裝配線效率、物料搬運和醫療健康物流至關重要。隨著這些機器人在復雜和非結構化環境中導航，感知周圍環境并作出反應的能力變得至關重要。

Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統（ROS），助力原始設備制造商（OEM）、貨運服務提供商、軟件供應商和自動移動機器人（AMR）生態系統加速機器人開發。團隊可以為移動機器人配備感知功能，以便在非結構化環境中成功導航和避障。

Isaac Perceptor 的早期合作伙伴包括倉儲/內部物流領域的行業領導者、汽車制造商、工業機器人制造公司和機器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 機器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可為基于 AI 的自主移動機器人提供多攝像頭、3D 環繞視覺功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率處理 16.5M 深度點。立體差異通過來自立體攝像頭的時間同步圖像對計算得出，用于為場景生成深度圖像或點云。高效的半監督式深度神經網絡（ESS DNN）為基于深度神經網絡的立體差異提供了 GPU 加速支持。

▲圖 1 ESS DNN 檢測 5 米處的障礙物

多攝像頭視覺慣性測距

Isaac ROS 視覺 SLAM 提供 ROS 2 軟件包，用于視覺同步定位和映射（VSLAM）和視覺測距（VO）。這基于 NVIDIA 的 CUDA 視覺 SLAM（cuVSLAM）并提供強大的導航功能，在無特色環境中導航時，翻譯錯誤率不到 1%。

在具有稀疏視覺特征或重復模式的環境中導航對 VSLAM 解決方案來說是一個眾所周知的挑戰。可以通過融合來自多個視角的輸入來緩解這一問題。在最新的更新中，cuVSLAM 整合了來自多個立體攝像頭的并發視覺測距估計。

測試表明有了顯著改進。機器人使用多個攝像頭持續實現其導航目標，而使用單個攝像頭則不到 25%。

▲表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 顯示了使用多個攝像頭加速機器人導航的性能

▲圖 2 使用一個攝像頭的 Isaac ROS Visual SLAM 與兩個攝像頭和四個攝像頭的對比

實時、多攝像頭立體像素網格映射

Isaac Perceptor 的核心是 nvblox，一個使用 CUDA 加速的 3D 場景重建庫，可以識別距離最遠 5 米的障礙物，以提供 2D 成本圖，并在 300 毫秒內進行更新。

Isaac ROS nvblox 提供了用于三維場景重建的 ROS 2 軟件包和用于導航的本地障礙物成本地圖生成軟件包。此軟件包可應用于靜止環境以及包含人員和移動對象的場景。

此版本中的新增功能是使用多達三個 HAWK 攝像頭提供多攝像頭支持，以擴大覆蓋范圍，從而提供約 270° 的視野。

▲圖 3 使用 Isaac ROS Nvblox 進行立體像素 3D 重建，包括懸置障礙物重建

NVIDIA Nova Orin 開發者套件

此開發者套件采用 NVIDIA Jetson AGX Orin，支持多達六個攝像頭，包括多達三個立體攝像頭和三個魚眼攝像頭，攝像頭內部延遲不到 100 微秒。

立體攝像頭的分辨率為每個攝像頭的 2MP，視野為 110X70，適用于三維占用網格映射、深度感知、視覺測距和人員檢測。購買 Nova Orin 開發者套件，可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此開發者套件中提供了一個參考圖，支持多達三個立體攝像頭。借助 ROS 2 軟件包的增強模塊化，此版本還提供了一個參考集成，即 Nav2 的 Nova Carter 參考機器人。

增強了與攝像頭和傳感器的兼容性

Isaac Perceptor 提供了與攝像頭和傳感器合作伙伴的集成的增強支持。Orbbec 成功集成了帶有 NVIDIA Isaac Perceptor 組件的 Gemini 335L 攝像頭。使用 Isaac ROS 視覺 SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了這種集成。

LIPS 還成功地將其 AE450 攝像頭與 Isaac 感知器組件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速庫和 AI 模型組成的工作流程。它使開發者能夠將 AI 加速應用于機器人臂或操作器，以便無縫感知、理解環境并與環境進行交互。

其基礎模型和加速庫可以作為獨立模塊集成，也可以作為整個工作流程集成到解決方案開發中。除了獨立的模塊化組件外，還為開發者提供了示例工作流程（ROS 2 啟動腳本），這些工作流程結合了 Isaac Manipulator 組件，以實現完整的端到端參考集成。

▲圖 4 利用 NVIDIA 組件的 Isaac Manipulator 工作流程示例（綠色）

Isaac Manipulator 的早期協作者包括機器人開發者平臺公司、OEM 和 ISV/SI，包括 Intrinsic（一家 Alphabet 公司）、西門子、Solomon、Techman 機器人、Teradyne 機器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能來加速機械臂的開發。

cuMotion 可加快路徑規劃速度

此 GPU 加速的運動規劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 動作規劃框架，這是一個由國際社區開發的開源項目，由 PickNik Robotics 領導。

cuMotion 在多個種子間并行運行軌跡優化，并返回最佳解決方案。

作為高級視覺和機器人解決方案的領導者，Solomon 是 Isaac Manipulator 的早期合作者。與傳統算法相比，由 Isaac Manipulator cuMotion 增強的 bin-picking 系統將路徑規劃速度提高了 8 倍，并將路徑奇點率降低了 50%。

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶揀貨系統的性能增強。Solomon 的成功率、移動時間、軌跡長度和規劃時間都有顯著提高，路徑奇點出現次數減少。

FoundationPose

FoundationPose 是一種新的統一基礎模型，用于對新對象進行單次六維度姿態估計和跟蹤。此模型旨在在遇到以前未見過的物體的應用程序中實現高精度工作，而無需進行微調。

FoundationPose 目前位于 2023 年 BOP 排行榜，用于對未見物體進行 6D 定位。它對遮擋、快速運動以及紋理和縮放等各種物體屬性非常可靠，可以確保跨場景提供可靠的性能。開發者可以從任何角度生成物體的逼真視圖。

▲圖 6 使用 NVIDIA FoundationPose 進行姿態估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一組基于實時檢測 Transformer（DETR）的模型，用于單次圖像空間物體檢測，該模型基于使用 NVIDIA Omniverse 平臺。它使用 Transformer 編碼器 – 解碼器架構一次預測所有物體，從而實現比傳統物體檢測方法更高效的檢測效果。

▲圖 7 使用 SyntheticaDETR 進行物體檢測和追蹤

經過合成數據和真實數據的訓練，SyntheticaDETR 在 BOP 排行榜上實現了 YCB-Video 數據集上的 2D 物體檢測（平均精度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態估計器的 2D 邊界框感興趣區域。下載合成測試模式，然后下載 Isaac Manipulator，以便進行進一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模組和開發套件。

NVIDIA Jetson 平臺服務即將推出模塊化、API 驅動的服務，可更快、更輕松地構建生成式 AI 和機器人應用。這些預構建和可定制的服務旨在加速 NVIDIA Jetson Orin 系統模組上的 AI 應用開發。

NVIDIA Isaac Sim 4.0

借助Isaac Sim，開發者可以借助行業領先的傳感器和機器人類型測試，生成合成數據和各種復雜的虛擬測試環境。這可實現高度逼真的模擬，同時實時測試數千個機器人。

NVIDIA Isaac 實驗室

Isaac 實驗室是基于 Isaac Sim 平臺構建的輕量級參考應用，在機器人基礎模型訓練中扮演著核心角色。它支持強化學習、模仿學習和遷移學習，能夠訓練各種機器人實施方案，為開發者提供設計和功能的探索空間。

新版本還可通過兼容性檢查器輕松集成 VSCode、為強化學習提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能、優化緩存和著色器管理。

Isaac Sim 的其他新功能包括：

易于使用 PIP 安裝和用于導入機器人等的向導。

合成數據生成（SDG）速度提升高達 80%，從而提升性能

支持 COCO 格式和用于姿態估計的自定義寫入器的新 SDG 格式。

ROS 2 啟動支持，提供端到端工作流程，并為基于圖像的發行商提供更好的性能。

更多內置機器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。還有許多人形機器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。