將一個自主機器人部署到一個新的環境可能是一個艱難的命題。你如何才能確信機器人的感知能力足夠強大，因此能夠安全地按計劃執行任務？

Trimble 在開始制定計劃，將 Boston Dynamics 的 Spot 部署在各種室內環境和施工環境中時，面臨著這一挑戰。 Trimble 需要將機器學習（ ML ）模型調整到精確的室內環境，以便 Spot 能夠在這些不同的室內環境中自主操作。

Trimble 新興技術副總裁 Aviad Almagor 表示：“當我們將配備數據采集傳感器和現場控制軟件的 Spot 部署到室內環境時，我們需要開發一個經濟高效且可靠的工作流程來培訓基于ML的感知模型。”。

“這一戰略的核心是分析合成環境的能力。使用 NVIDIA 上的 NVIDIA Omniverse Sim ，我們可以從 Trimble SketchUp 等 CAD 工具無縫導入不同的環境。然后生成完全標記的地面真實合成數據就成了一個簡單的練習。”

圖 1 在三維建模應用程序 Trimble SketchUp 中查看辦公樓

為了確保模型可靠地工作，從事機器人技術和自動化應用程序的開發人員需要包含目標環境所有資產的各種數據集。對于室內，列表 MIG ht 包括隔墻、樓梯、門、窗和家具等資產。

雖然這些數據集可以由真正的攝影師和人類貼標員手動構建，但這種方法需要大量的預先規劃和高成本，并且通常在項目啟動時關閉大門。使用 合成數據，您可以引導您的 ML 培訓并立即開始。

構建此數據集時，可以選擇包含分段數據、深度數據或邊界框。這些貼有完美標簽的地面真相數據可以打開許多探索之門。有些東西，如三維邊界框，可以很容易地獲得綜合，而他們是出了名的難以手動標簽。

在本文中，我們概述了使用模擬生成的合成數據構建培訓工作流所采取的步驟。盡管此工作流包括復雜的模擬和 ML 技術，但完成此項目所需的步驟很簡單：

將環境從 CAD 導入NVIDIA Omniverse 平臺。

使用 NVIDIA Omniverse Sim 卡構建合成數據集。

使用 NVIDIA TAO toolkit對 ML 模型進行培訓。

將環境從 Trimble SketchUp 導入 NVIDIA Omniverse

在這個項目中， Trimble SketchUp提供了環境，這是一個用于設計建筑的 3D 建模應用程序。要導入資源， NVIDIA Omniverse 支持場景描述的 USD 格式。 SketchUp 模型轉換為 USD ，并使用 Omniverse 連接器之一導入。

為確保正確導入所有資產，您必須使用 NVIDIA ISAAC Sim 卡或 Omniverse 中的創建或查看應用程序檢查環境。在某些情況下，此過程可能需要幾次迭代，直到環境在 Omniverse 中得到滿意的表示。

圖 2 將 SketchUp 場景導入 Omniverse 的過程

圖 3 導入到 Omniverse 和 Trimble 的 SketchUp 中的原始場景（右）后，同一辦公樓的并排視圖（左）

使用 NVIDIA ISAAC Sim 構建合成數據集

合成數據是計算機視覺應用中訓練 ML 模型的重要工具，但收集和標記真實數據可能耗時且成本高昂。此外，收集角落案例的真實訓練數據有時可能很棘手，甚至是不可能的。例如，想象一下，訓練一輛自動駕駛汽車正確識別和反應，以確保穿過繁忙街道的行人的安全。在交通繁忙的人行橫道上拍照是魯莽和危險的。

由于 Trimble 計劃在不同的環境中為不同的用例部署自主機器人，他們面臨著一個訓練數據難題：如何在合理的時間范圍內以合理的成本為這些模型安全地獲得正確的訓練數據集？

NVIDIA ISAAC Sim 內置的合成數據生成功能直接解決了這一挑戰。生成合成數據集的關鍵要求是為正在部署的 ML 模型支持正確的傳感器集。如后一示例中所述， NVIDIA ISAAC Sim 支持使用邊界框、深度和分割渲染圖像，這些對于幫助機器人感知周圍環境都很重要。 NVIDIA ISAAC Sim 還支持激光雷達和超聲波傳感器（ USS ）等其他傳感器，在某些機器人應用中可能會很有用。

圖 4 NVIDIA ISAAC Sim 中生成的合成數據，顯示 RGB 、分段和邊界框

生成合成數據的另一個超級能力是領域隨機化。域隨機化改變定義模擬場景的參數，例如場景中材質的照明、顏色和紋理。其主要目標之一是通過在仿真中將神經網絡暴露于各種域參數來增強 ML 模型的訓練。這有助于模型在遇到真實場景時很好地概括。實際上，這種技術有助于讓模型知道應該忽略什么。

NVIDIA ISAAC Sim 中的可隨機化參數：

Color

Movement

Scale

Light

Texture

Material

Mesh

Visibility

Rotation

圖 5 NVIDIA ISAAC Sim 中的域隨機化場景

使用 NVIDIA TAO 工具包培訓 ML 模型

圖 6 顯示了預訓練模型和專有數據（真實或合成）作為輸入，定制模型作為輸出。

圖 6 TAO 工具包的功能框圖

圖 7 顯示，模擬器可以從 ROS 和 Python 兩方面進行控制。模擬器的輸出包括數字孿生和合成數據，可用于訓練感知模型。

圖 7 NVIDIA 上 NVIDIA Omniverse Sim 的功能框圖

生成數據集后，將其正確格式化以使用 NVIDIA TAO 工具包，可以大大減少培訓模型的時間和費用，同時確保模型的準確性和性能。該工具包支持分割、分類和對象檢測模型。

NVIDIA ISAAC Sim 中綜合生成的數據集以 KITTI 格式輸出，以便與 TAO 工具包無縫使用。有關在 NVIDIA ISAAC Sim 卡中輸出數據以進行培訓的更多信息，請參閱使用 TLT 進行離線培訓。

與真實數據相比，使用合成數據集時，可能需要迭代數據集以獲得更好的結果。圖 8 顯示了使用合成數據集進行訓練的迭代過程。

圖 8 迭代訓練以提高模型性能

概括

Trimble 面臨著一個非常普遍的挑戰，即在一個經濟高效的工作流程中為自主機器人的 ML 模型獲取訓練數據。這一挑戰的解決方案是利用 NVIDIA Omniverse 中連接器的功能，將 CAD 數據高效導入 USD 。然后，數據可以被帶入 NVIDIA ISAAC Sim 卡。

在模擬器中， ISAAC Sim 強大的合成數據功能使生成所需數據集變得簡單。您可以提供合成數據，以實現更高效的培訓工作流和更安全的自主機器人操作。

關于作者

Nyla Worker 是 NVIDIA 的解決方案架構師，專注于嵌入式設備的模擬和深入學習。她在機器人和自動車輛的深度學習邊緣應用方面擁有豐富的經驗，并為嵌入式設備開發了加速推理管道。

Gerard Andrews 是專注于機器人開發社區的高級產品營銷經理。在加入 NVIDIA 之前，Gerard在Cadence擔任產品營銷總監，負責許可處理器IP的產品規劃、營銷和業務開發。他擁有佐治亞理工學院電子工程碩士學位和南方衛理公會大學電子工程學士學位。

審核編輯：郭婷