自主機器人所面臨的關鍵挑戰之一是感知和理解周圍的世界。

在 ROS World 2021 上，NVIDIA 發布了向 ROS 開發者社區提供高性能感知技術的最新項目。這些項目將加速產品開發、提高產品性能，并最終簡化為將先進計算機視覺和 AI/ML 功能整合到基于 ROS 的機器人應用程序中的任務。

公告要點

性能最強的實時立體測距解決方案以 ROS 包的形式提供

NGC 上的所有 NVIDIA 推理 DNN 均可以 ROS 組件的形式提供，并帶有圖像分割和姿態估計實例

Isaac Sim 中的新合成數據生成（SDG）工作流程，可為視覺 AI 訓練創建大規模生產級數據集

Omniverse 上的 NVIDIA Isaac Sim GA 版本提供 ROS 開箱即用支持，是迄今為止對開發者最友好的版本

NVIDIA Isaac ROS GEM – 經過優化的性能

Isaac ROS GEM 提供圖像處理和計算機視覺等組件，其中有針對 NVIDIA GPU 和 Jetson 進行高度優化的 DNN 算法。

重點GEM

立體視覺測距 – 超高的精度和經過優化的性能

當自主機器在環境中移動時，它們必須持續追蹤自己的位置。視覺測距通過估算攝像機與其起點的相對位置來解決這個問題。Isaac ROS GEM for stereo visual odometry 為 ROS 開發者提供這項強大的功能。

該 GEM 為實時立體攝像機視覺測距解決方案提供最佳精度。除了高精度之外，這個 GPU 加速組件的運行速度也非常快。現在已可以在 NVIDIA Jetson Xavier AGX 上以高清分辨率（1280×720）實時（》60fps）運行 SLAM。

重點 GEM DNN 推理現已向 ROS 開發者

開放所有 NGC DNN 推理模型

您可以使用 NVIDIA 在 NGC 上提供的眾多推理模型中的任何一種，甚至可以使用 DNN 推理 GEM（一套ROS2軟件包）提供自己的 DNN 推理模型。開發者可以使用 NVIDIA TAO 工具套件對預訓練模型進一步調整或者對自定義模型進行優化。

經過優化后，這些組件由 NVIDIA 推理服務器 TensorRT 或 Triton 部署。憑借使用 TensorRT（NVIDIA高性能推理SDK）的節點，可實現最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，則應使用 Triton 來部署該模型。

GEM 包含對 U-Net 和 DOPE 的原生支持。基于 TensorRT 的 U-Net 組件可用于從圖像中生成語義分割掩碼。而 DOPE 組件可用于對所有檢測到的物體進行三維姿態估計。

該工具是在 ROS 應用中加入高性能 AI 推理的最快方式。

NVIDIA Isaac SIM GA 版本

Isaac Sim 的 GA 版本將于 2021 年 11 月發布，這將是迄今為止對開發者最友好的版本。其用戶界面、性能和實用構建模塊經過了大量改進，使用戶可以更快構建更強大的模擬。此外，經過改進的 ROS 橋和更多 ROS 樣本將提高 ROS 開發者的開發體驗。

該版本的更新內容

（2021.2版本計劃于2021年11月發布）

提升了性能，減少了內存用量和啟動時間

經過改進的占位圖生成，URDF 導入器

新的環境：大型倉庫、辦公室、醫院

用于與機器人、物體、環境對接的新 Python 構建模塊

經過改進的 ROS/ROS2 橋、深度點云和激光雷達點云性能

樣本更新

Multi-robot navigation with ROS2

使用 ROS2 實現多機器人導航

SDG with Domain Randomization in Jupyter

Jupyter 中帶有域隨機化的 SDG

新的合成數據生成工作流程

來自 Isaac Sim 的生產級數據集

自主機器人需要使用大量不同的數據集，來訓練眾多運行其感知棧的 AI 模型。從真實世界場景中獲取全部訓練數據的成本過高，而且一些極端場景可能存在危險。Isaac Sim 提供的新合成數據工作流程，通過建立生產級數據集解決了自主機器人的安全和質量問題。

建立數據集的開發者，可以控制物體在場景中的隨機分布、場景本身、照明和合成傳感器。開發者也可以通過精細的控制，確保數據集中包含重要的極端案例。最后，該工作流程支持版本控制和調試信息，因此可以在需要審核和保障安全時完整地復制數據集。

責任編輯：haq