得益于 NVIDIA Research 新的 AI 模型，越來越多的公司和創作者創建的大型虛擬世界可以更輕松地填充一系列多種多樣的 3D 建筑、車輛、人物等內容。

NVIDIA GET3D僅使用 2D 圖像進行訓練，可生成具有高保真紋理和復雜幾何細節的三維圖形。這些 3D 對象的創建格式與熱門圖形軟件應用所用的格式相同，允許用戶立即將其形體導入 3D 渲染器和游戲引擎，以便進行后續編輯。

其所生成的對象可用于建筑、戶外空間或整個城市的 3D 表現，為游戲、機器人開發、建筑和社交媒體等行業量身打造。

GET3D 可以根據受訓練時使用的數據生成幾乎無限量的三維圖形。就像一位藝術家將一塊粘土制成精細的雕塑一樣，該模型會將數字轉換為復雜的三維圖形。

例如，借助 2D 汽車圖像的訓練數據集，它創建了轎車、卡車、賽車和面包車等系列集。當在動物圖像上訓練后，它會生成狐貍、犀牛、馬和熊等生物。如果輸入椅子時，模型會生成各種旋轉椅、餐椅和舒適的躺椅。

NVIDIA AI 研究副總裁 Sanja Fidler 負責領導創建此工具的多倫多 AI 實驗室，她表示：“GET3D 讓我們離普及 AI 驅動的 3D 內容創作更近了一步。它能夠即時生成紋理化的三維圖形，這可能會為開發者帶來顛覆性的變化，有助于他們迅速填充包含各種有趣對象的虛擬世界。”

在 11 月 26 日至 12 月 4 日于新奧爾良（以及在線）舉辦的 NeurIPS AI 大會上，NVIDIA 有 20 多篇論文、專題研討會， GET3D 就是其中之一。

打造虛擬世界需要多種 AI 類型

現實世界充滿了多樣性：街道上的建筑各有特點，各有不同的車輛則在其間呼嘯而過，川流不息的人群更是異彩紛呈。為反映這一情景的 3D 虛擬世界進行手動建模非常耗時，因此難以填入詳細的數字環境。

以前的 3D 生成式 AI 模型，雖然比人工方法更快，但在所能生成的細節水平上也被限制了。即使是最近的反向渲染方法也只能根據從多個角度拍攝的 2D 圖像生成 3D 物體，這就需要開發者一次構建一個三維圖形。

相反，在單個 NVIDIA GPU 上運行推理時，GET3D 每秒可生成大約 20 個形體，就像處理 2D 圖像的生成式對抗網絡一樣，只是生成的是 3D 對象。作為學習來源的訓練數據集更大、更多樣化，輸出也會更多樣化，并且更詳細。

NVIDIA 研究人員使用合成數據訓練 GET3D，數據中包含使用不同攝像頭角度拍攝的三維圖形 2D 圖像。該團隊僅用了兩天時間，就使用 NVIDIA A100 Tensor Core GPU，對模型進行了 100 萬張圖像的訓練。

讓創作者能夠修改形狀、紋理、材質

GET3D 的名稱源于其能夠生成顯式紋理 3D (Generate Explicit Textured 3D) 網格，這意味著它會以三角形網格的形式創建形體并使用紋理材質覆蓋，就像 papier-maché 模型一樣。這使得用戶能夠輕松地將對象導入游戲引擎、3D 建模軟件和電影渲染器，并進行編輯。

在創作者將 GET3D 生成的形體導出到圖形應用后，當這些物體移動或旋轉時，就能使用逼真的照明效果。通過整合 NVIDIA Research 提供的另一種 AI 工具 StyleGAN-NADA，開發者可以使用文本提示將特定風格添加到圖像中，例如將渲染出的汽車調整為被燒毀的汽車或出租車，或將普通房屋設置成鬼屋。

研究人員指出，未來版本的 GET3D 可以使用攝像頭姿態預估技術，讓開發者能夠使用真實世界的數據（而不是合成數據集）來訓練模型。還可以對其進行改進以支持通用生成，這意味著開發者可以一次性訓練用于各種三維圖形的 GET3D，而不必每一次在一個對象類別上進行訓練。

審核編輯：湯梓紅