在ROSCon 2023 上，NVIDIA 發(fā)布了NVIDIA Isaac Robotics平臺(tái)的重大更新。該平臺(tái)可為全球機(jī)器人開發(fā)者提供高性能感知和高保真仿真，本次更新針對(duì)NVIDIA Isaac ROS 2.0和NVIDIA Isaac Sim 2023.1以及感知和仿真升級(jí)進(jìn)行了發(fā)布，用以簡(jiǎn)化 ROS 開發(fā)者對(duì)高性能 AI 機(jī)器人應(yīng)用的構(gòu)建與測(cè)試。

開源機(jī)器人基金會(huì)首席技術(shù)官 Geoff Biggs 表示：“ROS 一直在持續(xù)發(fā)展壯大，并為整個(gè)機(jī)器人社區(qū)提供開源軟件。此次發(fā)布的 NVIDIA 全新預(yù)構(gòu)建 ROS 2 軟件包，能夠讓廣大NVIDIA Jetson開發(fā)者輕松上手 ROS 2，從而加速 ROS 的發(fā)展進(jìn)程。”

圖1. NVIDIA Isaac Robotics平臺(tái)集合了豐富的技術(shù)，將助推AI在機(jī)器人領(lǐng)域的應(yīng)用

Isaac ROS 2.0

機(jī)器人技術(shù)自主化程度日益提升，各種傳感器技術(shù)不斷涌現(xiàn)，CPU 密集型處理已經(jīng)顯示出局限性，而加速計(jì)算自然成為了克服這些瓶頸的解決方案。

為推動(dòng)開發(fā)新一代機(jī)器人解決方案，ROS 社區(qū)急需加速計(jì)算能力，而 Isaac ROS 能夠滿足這一需求。除了提供一系列加速 ROS 軟件包，NVIDIA 也與 Open Robotics 密切合作，共同促進(jìn)中間件的自身效率提升。更多信息，請(qǐng)閱讀文章：通過 NVIDIA Isaac ROS 傳輸改善 ROS 2 應(yīng)用的感知性能

Isaac ROS 2.0 版本已經(jīng)達(dá)到了生產(chǎn)就緒水平的品質(zhì)，主要的優(yōu)化升級(jí)包括：

• 原生 ROS 2 Humble 支持：NVIDIA 提供安裝就緒型 ROS 2 Humble 軟件包，用于 Ubuntu 20.04 上運(yùn)行 JetPack 5，而無需編譯源代碼。

• NITROS ROS 橋接器：將 Isaac ROS 加速擴(kuò)展到 ROS Noetic 應(yīng)用，優(yōu)化后的 ROS 橋接器比標(biāo)準(zhǔn) ROS 橋接器提速 2 倍。

• CUDA NITROS：支持開發(fā)者使用帶有自定義編碼器和解碼器的 DNN 模型，以充分利用 NITROS 的加速功能。

• Stereolabs ZED 攝像機(jī)集成：Isaac ROS 現(xiàn)已與 Stereolabs ZED 相機(jī)集成。

• Nova Carter：Isaac ROS 軟件（包括 Nav 2 導(dǎo)航堆棧）現(xiàn)已支持 Nova Carter。Nova Carter 是用于機(jī)器人研發(fā)的參考 AMR，由 NVIDIA Jetson AGX Orin 驅(qū)動(dòng)。

• ESS 3.0 性能：全新 ESS 3.0 深度感知 DNN 模型具有更高的準(zhǔn)確性和更強(qiáng)的性能。

全球開發(fā)者都可以使用 Isaac ROS 來創(chuàng)建高性能機(jī)器人解決方案，并將其應(yīng)用于農(nóng)業(yè)、倉儲(chǔ)自動(dòng)化、最后一公里配送、服務(wù)機(jī)器人等多個(gè)領(lǐng)域。

圖2. NVIDIA Isaac ROS（NVIDIA Isaac機(jī)器人平臺(tái)的關(guān)鍵組件）中的軟件模塊

FarmX 機(jī)器人技術(shù)副總裁 Dan Hennage 表示：“NVIDIA 提供豐富的產(chǎn)品及功能，能夠完美適用于 FarmX。從 Isaac ROS 的運(yùn)行環(huán)境和程序庫，到可以在無人機(jī)、大型拖拉機(jī)等載具上部署的各種模塊，NVIDIA Jetson 和 Isaac ROS 使我們專注于應(yīng)用開發(fā)，完全不必?fù)?dān)心平臺(tái)問題。”

.lumen 首席執(zhí)行官兼創(chuàng)始人 Cornel Amariei 表示：“我們研發(fā)了目前最先進(jìn)的視障輔助技術(shù)，將自動(dòng)駕駛技術(shù)的應(yīng)用尺寸縮小，直到人們可以舒適地戴在頭上。實(shí)現(xiàn)這一切完全得益于 NVIDIA Jetson 平臺(tái)以及 Isaac ROS 中經(jīng)過優(yōu)化的軟件包、節(jié)點(diǎn)和功能。不論是視覺實(shí)時(shí)定位建模（vSLAM）還是立體感知，我們都無法通過其他平臺(tái)做到這樣的程度。”

Isaac Sim 2023.1

從制造到物流再到汽車，AI 在機(jī)器人領(lǐng)域的應(yīng)用日益廣泛，進(jìn)而加速了各行各業(yè)的自動(dòng)化進(jìn)程。起初，在開發(fā)和測(cè)試用于機(jī)器人感知或控制的 AI 模型時(shí)，相關(guān)人員往往面臨數(shù)據(jù)稀缺的難題。解決這一問題的關(guān)鍵技術(shù)便是高保真仿真。

建立于NVIDIA Omniverse的機(jī)器人仿真器 Isaac Sim，可用于開發(fā)、訓(xùn)練、測(cè)試和部署 AI 機(jī)器人。其具備強(qiáng)大的內(nèi)置功能，包括用于生成合成數(shù)據(jù)的NVIDIA Omniverse Replicator和用于 GPU 加速強(qiáng)化學(xué)習(xí)的Isaac Gym等。通過最新發(fā)布的 Omniverse Replicator 1.10，開發(fā)者利用基于 YAML 的低代碼配置器和異步渲染功能，就可以提高合成數(shù)據(jù)生成能力。

此外，Isaac Sim 的精準(zhǔn)傳感器仿真適用于當(dāng)今的多數(shù)主流傳感器。Isaac Sim 還支持 ROS 和 ROS 2，也可以通過 Python 腳本進(jìn)行控制。

Isaac Sim 2023.1 提供眾多新功能與升級(jí)，以促進(jìn)基于 AI 的機(jī)器人發(fā)展，包括：

• 全新內(nèi)置機(jī)器人模型和傳感器：使用內(nèi)置機(jī)器人模型和傳感器快速入門。新機(jī)器人模型包括 FANUC 和 Techman。新傳感器包括 Orbbec、SENSING、Zvision、Ouster 和 RealSense。

• 升級(jí)的 ROS 及 ROS 2 支持：為仿真應(yīng)用創(chuàng)建自定義 ROS 和 ROS 2 消息。URDF / MJCF 導(dǎo)入器現(xiàn)已開源，便于將機(jī)器人導(dǎo)入 Isaac Sim 平臺(tái)。

• 增強(qiáng)的合成數(shù)據(jù)生成（SDG）支持：針對(duì)機(jī)械臂和移動(dòng)機(jī)器人應(yīng)用，現(xiàn)已添加仿真隨機(jī)化功能。進(jìn)一步了解新版 Omniverse Replicator 新增的 SDG 功能，請(qǐng)查看:

  https://developer.nvidia.com/blog/boost-synthetic-data-generation-with-low-code-workflows-in-nvidia-omniverse-replicator-1-10/

• 倉庫構(gòu)建器模塊化 3D 資產(chǎn)：使用 SimReady 倉庫場(chǎng)景和資產(chǎn)，快速創(chuàng)建強(qiáng)大的倉庫環(huán)境，即可測(cè)試和演練機(jī)器人解決方案。

在開發(fā)機(jī)器人和自動(dòng)化解決方案時(shí)，許多公司都采用“仿真先行”策略，這意味著在構(gòu)建解決方案之前，需要通過高保真仿真來驗(yàn)證設(shè)計(jì)和吞吐量。

Technology Strategy 的副總裁 Jon Battles 表示：“Collaborative Robotics 深信，協(xié)作機(jī)器人與人類并肩工作的場(chǎng)景，將是機(jī)器人技術(shù)發(fā)展的未來圖景。我們采用了仿真優(yōu)先的開發(fā)方法，通過廣泛使用 Isaac Sim 來加快開發(fā)用時(shí)和部署節(jié)奏。”

RIOS 工程副總裁 Chris Paulson 表示：“RIOS 在構(gòu)建未來智能工廠時(shí)，對(duì)于如何設(shè)計(jì)、測(cè)試和實(shí)現(xiàn)先進(jìn)的 AI 機(jī)器人即服務(wù)（RaaS）工作單元，NVIDIA Isaac Sim 發(fā)揮著至關(guān)重要的作用。為降低項(xiàng)目風(fēng)險(xiǎn)，消除新工作單元設(shè)計(jì)風(fēng)險(xiǎn)，并針對(duì)復(fù)雜機(jī)器人任務(wù)執(zhí)行能力的開發(fā)進(jìn)行簡(jiǎn)化，Isaac Sim 是關(guān)鍵平臺(tái)。我們面向客戶的內(nèi)部工具也是以 Isaac Sim 作為平臺(tái)，快速、高效地為客戶提供最先進(jìn)的機(jī)器人技術(shù)。”

圖3. NVIDIA Isaac Sim 2023.1新增的內(nèi)置機(jī)器人模型包括FANUC Robot Arm（左）、Fraunhofer EvoBOT（中）和Techman Cobot（右）

NVIDIA Isaac Robotics 平臺(tái)專為推動(dòng)機(jī)器人領(lǐng)域的 AI 應(yīng)用而開發(fā)。最新版本的 Isaac ROS 將助力 ROS 開發(fā)者更便捷地使用 NVIDIA AI 感知技術(shù)。全新版本的 Isaac Sim 已添加眾多新功能，在虛擬世界中，開發(fā)者可以輕松開發(fā)、測(cè)試和訓(xùn)練 AI 機(jī)器人，隨后再進(jìn)行現(xiàn)實(shí)世界的部署。使用 NVIDIA Isaac ROS 和 Isaac Sim 的開發(fā)者已有數(shù)千人，歡迎加入這一行列。

更多信息，請(qǐng)報(bào)名參加即將舉行的 Isaac ROS 網(wǎng)絡(luò)研討會(huì) —— Noetic 的提速需求：將 NITROS 引入 ROS：https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series