提供合成數(shù)據(jù)生成工具和服務(wù)的企業(yè)以及開(kāi)發(fā)者現(xiàn)在可以使用 Omniverse Replicator SDK 構(gòu)建自定義、物理級(jí)精確的合成數(shù)據(jù)生成管線(xiàn)。Omniverse Replicator SDK 建立在 NVIDIA Omniverse 平臺(tái)上，目前已在 Omniverse Code 內(nèi)提供公測(cè)版。

Omniverse Replicator 是一個(gè)建立在可擴(kuò)展的 Omniverse 平臺(tái)上的高度可擴(kuò)展 SDK，它可以生成物理級(jí)精確的 3D 合成數(shù)據(jù)來(lái)加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開(kāi)發(fā)者、研究人員和工程師現(xiàn)在可以使用 Omniverse Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)來(lái)引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

圖1：Replicator 使用基于開(kāi)放標(biāo)準(zhǔn)的 Omniverse 平臺(tái)，以及 OmniGraph 和 Farm 架構(gòu)提供的可延伸性和可擴(kuò)展性

Omniverse Replicator 為開(kāi)發(fā)者提供了一個(gè)可以根據(jù)他們的神經(jīng)網(wǎng)絡(luò)要求構(gòu)建特定合成數(shù)據(jù)生成應(yīng)用的特殊平臺(tái)。它建立在通用場(chǎng)景描述（USD）、PhysX 和材質(zhì)定義語(yǔ)言（MDL）等開(kāi)放標(biāo)準(zhǔn)之上并帶有易于使用的 python API，還具有可擴(kuò)展性并且支持自定義隨機(jī)發(fā)生器、注釋器和寫(xiě)入器。Replicator 通過(guò)基于 CUDA 的 OmniGraph 實(shí)現(xiàn)核心注釋器功能，支持瞬間數(shù)據(jù)生成，因此可以實(shí)時(shí)預(yù)覽輸出。當(dāng)與 Omniverse Farm 和 SwiftStack 輸出相結(jié)合時(shí)，Replicator 可在云中提供大規(guī)模的可擴(kuò)展性。

Omniverse Replicator SDK 由六個(gè)用于自定義合成數(shù)據(jù)工作流程的主要組件組成：

語(yǔ)義模式編輯器：通過(guò)對(duì) 3D 資產(chǎn)及其 prim 進(jìn)行語(yǔ)義標(biāo)記，Replicator 可以在渲染和數(shù)據(jù)生成過(guò)程中對(duì)目標(biāo)對(duì)象進(jìn)行注釋。語(yǔ)義模式編輯器提供一種通過(guò)用戶(hù)界面將這些標(biāo)簽應(yīng)用于 prim 的方式。

可視化器：為分配給 3D 資產(chǎn)的語(yǔ)義標(biāo)簽以及 2D/3D bounding box、法線(xiàn)、深度等注釋提供可視化功能。

隨機(jī)發(fā)生器：域隨機(jī)化是 Replicator 最重要的功能之一。用戶(hù)可以使用隨機(jī)發(fā)生器創(chuàng)建隨機(jī)化的場(chǎng)景，從資產(chǎn)、材質(zhì)、照明和攝像機(jī)位置等隨機(jī)化能力中取樣。

Omni.syntheticdata：提供與 Omniverse RTX 渲染器和 OmniGraph 計(jì)算圖系統(tǒng)的低層次集成，驅(qū)動(dòng) Replicator 的基準(zhǔn)真值數(shù)據(jù)提取注釋器，將任意輸出變量（AOV）從渲染器傳遞到注釋器。

注釋器：從 Omni.syntheticdata 擴(kuò)展程序中提取 AOV 和其他輸出，生成用于深度神經(jīng)網(wǎng)絡(luò)（DNN）訓(xùn)練的精確標(biāo)記注釋。

寫(xiě)入器：處理來(lái)自注釋器的圖像和其他注釋?zhuān)⑸捎糜谟?xùn)練的 DNN 專(zhuān)用數(shù)據(jù)格式。

用于 AI 訓(xùn)練的合成數(shù)據(jù)

為了訓(xùn)練一個(gè)用于感知任務(wù)的 DNN，通常需要從數(shù)百萬(wàn)圖像中手動(dòng)采集數(shù)據(jù)，然后對(duì)這些圖像進(jìn)行手動(dòng)注釋和有選擇性的增強(qiáng)。

圖2：數(shù)據(jù)采集和注釋任務(wù)圖

人工數(shù)據(jù)采集和注釋是一項(xiàng)費(fèi)力而主觀的任務(wù)。在采集和注釋真實(shí)圖像的過(guò)程中，即便只是像大規(guī)模 2D bounding box 這樣的簡(jiǎn)單注釋也會(huì)帶來(lái)許多人力協(xié)調(diào)方面的挑戰(zhàn)。分割等所涉及到的注釋存在資源限制，并且手動(dòng)執(zhí)行此類(lèi)任務(wù)時(shí)的準(zhǔn)確性要差得多。

圖3：語(yǔ)義分割任務(wù)的復(fù)雜性

在采集和注釋完畢后，數(shù)據(jù)將被轉(zhuǎn)換成 DNN 可用的格式，然后訓(xùn)練用于感知任務(wù)的 DNN。一般情況下，接下來(lái)會(huì)通過(guò)超參數(shù)調(diào)節(jié)或改變網(wǎng)絡(luò)結(jié)構(gòu)來(lái)優(yōu)化網(wǎng)絡(luò)性能。在對(duì)模型性能進(jìn)行分析時(shí)，可能會(huì)導(dǎo)致數(shù)據(jù)集發(fā)生變化，在大多數(shù)情況下，還需要進(jìn)行一輪手動(dòng)數(shù)據(jù)采集和注釋?zhuān)@種人工數(shù)據(jù)采集和注釋的迭代循環(huán)是昂貴、乏味且緩慢的。

憑借以合成方式生成的數(shù)據(jù)，團(tuán)隊(duì)就能以一種高成本效益的方式啟動(dòng)和加強(qiáng)帶有準(zhǔn)確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)的生成。此外，合成數(shù)據(jù)生成還有助于解決與長(zhǎng)尾異常、缺乏可用訓(xùn)練數(shù)據(jù)和在線(xiàn)強(qiáng)化學(xué)習(xí)有關(guān)的挑戰(zhàn)。不同于人工采集和注釋的數(shù)據(jù)，以合成方式生成的數(shù)據(jù)具有較低的攤銷(xiāo)成本。由于數(shù)據(jù)采集/注釋和模型訓(xùn)練周期一般具有迭代性，因此這一點(diǎn)十分有益。

圖4：使用 Omniverse Replicator 生成帶有準(zhǔn)確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)

Omniverse Replicator 通過(guò)利用 Omniverse 平臺(tái)的眾多核心功能和最佳實(shí)踐來(lái)解決這些挑戰(zhàn)，包括但不限于物理級(jí)精確、逼真的數(shù)據(jù)集和對(duì)超大數(shù)據(jù)集的訪問(wèn)。

為了生成物理級(jí)精確的逼真數(shù)據(jù)集，需要使用各種 RTX 技術(shù)、基于物理學(xué)的材質(zhì)和物理引擎等 Omniverse 平臺(tái)的所有核心技術(shù)進(jìn)行準(zhǔn)確的光線(xiàn)追蹤和路徑追蹤。

圖5：使用 Omniverse Replicator 增強(qiáng)倉(cāng)庫(kù)場(chǎng)景中的傳感器注釋

基于通用場(chǎng)景描述（USD）的 Omniverse 可以無(wú)縫連接其他 3D 應(yīng)用，因此開(kāi)發(fā)者可以導(dǎo)入自定義內(nèi)容或編寫(xiě)自己的工具來(lái)生成不同的域場(chǎng)景。由于需要在多個(gè) GPU 和節(jié)點(diǎn)上進(jìn)行擴(kuò)展，因此這些資產(chǎn)的生成往往會(huì)成為瓶頸。

Omniverse Replicator 通過(guò) Omniverse Farm 使團(tuán)隊(duì)能夠一起使用多個(gè)工作站或服務(wù)器驅(qū)動(dòng)渲染或合成數(shù)據(jù)生成等工作。合成數(shù)據(jù)生成工作流程不是一蹴而就的，為了成功使用合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，必須在真實(shí)數(shù)據(jù)集上反復(fù)測(cè)試該網(wǎng)絡(luò)。Replicator 通過(guò)將模擬世界轉(zhuǎn)換為一組可學(xué)習(xí)的參數(shù)來(lái)提供這種以數(shù)據(jù)為中心的 AI 訓(xùn)練。

使用 Omniverse Replicator 和 TAO 工具套件加速現(xiàn)有的工作流程

開(kāi)發(fā)者、工程師和研究人員可以將 Omniverse Replicator 與現(xiàn)有的工具進(jìn)行整合，來(lái)加快 AI 模型的訓(xùn)練速度。例如，在生成合成數(shù)據(jù)后，開(kāi)發(fā)者可以利用 NVIDIA TAO 工具套件快速訓(xùn)練他們的 AI 模型。TAO 工具套件利用遷移學(xué)習(xí)讓開(kāi)發(fā)者無(wú)需事先掌握 AI 專(zhuān)業(yè)知識(shí)，就能根據(jù)其用例來(lái)訓(xùn)練、調(diào)整和優(yōu)化模型。

圖6：用于合成數(shù)據(jù)生成和模型訓(xùn)練的 Omniverse Replicator 和 TAO 工具套件工作流程

使用 Omniverse Replicator 構(gòu)建應(yīng)用

Kinetic Vision 是一家為零售、內(nèi)部物流、消費(fèi)性制造和消費(fèi)性包裝品行業(yè)的大型客戶(hù)提供服務(wù)的系統(tǒng)集成商。為了向客戶(hù)提供高質(zhì)量的合成數(shù)據(jù)服務(wù)，該公司正在開(kāi)發(fā)一個(gè)基于 Omniverse Replicator SDK 的新企業(yè)應(yīng)用。

當(dāng)訓(xùn)練深度學(xué)習(xí)模型所需的數(shù)據(jù)不可用時(shí)，Omniverse Replicator 會(huì)生成可用于增強(qiáng)有限數(shù)據(jù)集的合成數(shù)據(jù)。Lightning AI （前身為 Grid.AI）使用 NVIDIA Omniverse Replicator 生成基于通用場(chǎng)景描述（USD）格式、物理級(jí)精確的 3D 數(shù)據(jù)集，這些數(shù)據(jù)集可用于訓(xùn)練這些模型。用戶(hù)只需要拖放 3D 資產(chǎn)，然后在數(shù)據(jù)集生成后，就可以選擇最新、最先進(jìn)的計(jì)算機(jī)視覺(jué)模型并使用合成數(shù)據(jù)自動(dòng)訓(xùn)練。

圖7：Lightning AI 應(yīng)用正在基于 Replicator 生成的合成數(shù)據(jù)來(lái)訓(xùn)練和測(cè)試 DNN。

NVIDIA Isaac Sim 和 DRIVE Sim 團(tuán)隊(duì)使用 Omniverse Replicator SDK 構(gòu)建特定領(lǐng)域的合成數(shù)據(jù)生成工具——用于機(jī)器人的 Isaac Replicator 和用于自動(dòng)駕駛汽車(chē)訓(xùn)練的 DRIVE Replicator。Omniverse Replicator SDK 為開(kāi)發(fā)者提供一套核心功能，方便開(kāi)發(fā)者利用 Omniverse 平臺(tái)所提供的所有優(yōu)勢(shì)建立任何特定領(lǐng)域的合成數(shù)據(jù)生成管線(xiàn)。Replicator 通過(guò)將 Omniverse 作為 3D 模擬、渲染和 AI 開(kāi)發(fā)能力的開(kāi)發(fā)平臺(tái)，提供自定義合成數(shù)據(jù)生成管線(xiàn)。

圖8：使用 Omniverse Replicator 構(gòu)建的 NVIDIA Isaac Sim（左）和 DRIVE Sim（右）合成數(shù)據(jù)生成能力

使用Omniverse Replicator

現(xiàn)在可以在 Omniverse Code 中使用 Omniverse Replicator SDK。用戶(hù)可從 Omniverse Launcher 下載 Omniverse Code。

審核編輯 ：李倩