NVIDIA 研究團隊取得突破性成果，展示了 Omniverse 數(shù)字孿生技術在仿真中重建真實場景的強大功能。

自動駕駛汽車的開發(fā)和驗證需要能夠在仿真中復制真實場景。

在 GTC 大會上，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛先生展示了適用于 NVIDIA DRIVE Sim 的新型 AI 工具，這些工具可以準確重建和修改實際駕駛場景。這些工具由 NVIDIA 研究團隊利用 NVIDIA Omniverse 平臺和 NVIDIA DRIVE Map 等技術取得的突破性成果提供支持。

黃仁勛先生演示了這些方法，展示開發(fā)者如何在快速迭代中輕松測試多個場景：

在仿真中重建任何場景后，這些場景便可用作許多不同變化的基礎，包括改變迎面而來的車輛的軌跡，或在駕駛路徑上增加障礙物，從而有助于開發(fā)者改進 AI 驅動。

然而，在仿真中重建真實駕駛場景并從中生成真實的數(shù)據(jù)是一個費時費力的過程。這需要技術經驗豐富的工程師和藝術家，但即便如此，也很難做到。

NVIDIA 已實施兩種基于 AI 的方法來無縫執(zhí)行此過程：虛擬重建和神經重建。第一種方法復制真實場景，作為完全合成的 3D 場景，第二種方法則使用神經仿真增強真實的傳感器數(shù)據(jù)。

這兩種方法不僅能夠重現(xiàn)單個場景，還能夠實現(xiàn)擴展，生成許多富有挑戰(zhàn)性的新場景。這種功能加速了持續(xù)的自動駕駛汽車訓練、測試和驗證工作流。

虛擬重建

在上面的主題演講視頻中，使用 NVIDIA DRIVE Map、Omniverse 和 DRIVE Sim，以 3D 形式重建了 NVIDIA 總部周圍的整體駕駛環(huán)境和各個場景。

借助 DRIVE Map，開發(fā)者可以在 Omniverse 中查看道路網絡的數(shù)字孿生。通過使用建立在 Omniverse 上的工具，詳細的地圖可以轉換為能夠與 NVIDIA DRIVE Sim 一起使用的可駕駛仿真環(huán)境。

利用重建的仿真環(huán)境，開發(fā)者可以使用在真實駕駛中獲得的攝像頭、激光雷達和車輛數(shù)據(jù)來重現(xiàn)事件，例如在交叉路口發(fā)生的驚險一刻或穿越施工區(qū)。

該平臺的 AI 幫助重建場景。首先，對于每個追蹤的物體，AI 會查看攝像頭圖像，并從 DRIVE Sim 目錄中找到極其相似的 3D 素材，以及與視頻中物體顏色非常接近的顏色。

最后，重現(xiàn)追蹤物體的實際路徑;然而，由于存在遮擋，通常會存在空白。在這種情況下，基于 AI 的交通模型會應用于追蹤的物體，以預測其運行情況并填補其軌跡中的空白。

使用真實駕駛中的攝像頭和激光雷達數(shù)據(jù)以及 AI 重建場景

借助虛擬重建，開發(fā)者能夠發(fā)現(xiàn)具有挑戰(zhàn)性的潛在情況，通過基于物理傳感器和 AI 行為模型生成的高保真數(shù)據(jù)來訓練和驗證自動駕駛汽車系統(tǒng)，從而創(chuàng)建許多新場景。場景中的數(shù)據(jù)也可以訓練行為模型。

使用 AI 從原場景中生成看似合理、具有挑戰(zhàn)性的場景

神經重建

另一種方法依靠的是神經仿真，而不是以合成方式生成場景，首先使用真實的傳感器數(shù)據(jù)，然后再進行修改。

傳感器重放(回放錄制的傳感器數(shù)據(jù)以測試自動駕駛汽車系統(tǒng)的性能的過程)是自動駕駛汽車開發(fā)的主要內容。這是一個開環(huán)過程，意味著自動駕駛汽車棧的決策不會影響世界，因為所有數(shù)據(jù)都是預先錄制的。

NVIDIA 研究團隊提供的神經重建方法的預覽將這些錄制的數(shù)據(jù)轉變?yōu)橐粋€完全反應式的可修改環(huán)境，就像在演示中一樣，最初錄制的貨車駛過時，汽車可以重新設定為右轉彎。這種革命性的方法可以實現(xiàn)在自動駕駛棧與駕駛環(huán)境之間進行閉環(huán)測試和完全交互。

此過程從錄制的駕駛數(shù)據(jù)開始。AI 可識別場景中的動態(tài)物體，并將其移除，以創(chuàng)建可從新視角呈現(xiàn)的 3D 環(huán)境精確副本。然后，將動態(tài)物體重新融入 3D 場景，呈現(xiàn)基于 AI 的逼真行為和外貌，并考慮照明和陰影。

使用 AI 基于預先錄制的駕駛數(shù)據(jù)創(chuàng)建 3D 交互式環(huán)境

然后，自動駕駛系統(tǒng)會在這個虛擬世界中行駛，且場景會做出相應的反應。您可以通過增強現(xiàn)實使場景變得更加復雜，可以插入其他虛擬物體、車輛和行人，使渲染結果看起來就像是真實場景的一部分，并且可以與環(huán)境進行物理交互。

車輛上的每一個傳感器(包括攝像頭和激光雷達)都可以使用 AI 在場景中進行仿真。

在 Omniverse 中，可以在駕駛環(huán)境中插入虛擬物體和車輛。針對場景生成了人工傳感器數(shù)據(jù)(包括激光雷達)

充滿可能性的虛擬世界

這些新方法由 NVIDIA 在渲染、圖形和 AI 方面的專業(yè)知識驅動。

作為一個模塊化平臺，DRIVE Sim 在確定性仿真的基礎上支持這些功能。它提供車輛動態(tài)、基于 AI 的交通模型、場景工具和全面的 SDK，以構建所需的任何工具。

通過這兩種強大新穎的 AI 方法，開發(fā)者可以輕松地從現(xiàn)實世界遷移到虛擬世界，從而加快自動駕駛的開發(fā)和部署。

原文標題：GTC22 | NVIDIA 展示 DRIVE Sim 中的新型 AI 工具，推動自動駕駛汽車的開發(fā)

文章出處：【微信公眾號：NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅