NVIDIA 研究人員在當(dāng)?shù)貢r間本周二 SIGGRAPH 的 Real-Time Live 活動中，現(xiàn)場演示了如何使用NVIDIA Edify（一種適用于視覺生成式 AI 的多模態(tài)架構(gòu)）在幾分鐘內(nèi)即可創(chuàng)建出一個細(xì)節(jié)考究的 3D 沙漠景觀。

作為本屆 SIGGRAPH 圖形大會備受矚目的會議之一，NVIDIA 研究人員展示了他們在 AI 智能體的支持下，僅用五分鐘不到的時間，就能夠從頭開始創(chuàng)建和編輯出沙漠景觀。現(xiàn)場 demo 充分展現(xiàn)了生成式 AI 如何通過加快構(gòu)思速度和生成原本需要從資源庫中獲取的自定義輔助資產(chǎn)，以成為藝術(shù)家的得力助手。

通過大幅縮短構(gòu)思時間，這些 AI 技術(shù)將提高 3D 藝術(shù)家的生產(chǎn)力和創(chuàng)造力，為他們提供更快探索概念和加快部分工作流所需的工具。例如，他們可以在幾分鐘內(nèi)生成場景所需的背景資產(chǎn)或 360 HDRi 環(huán)境，再也不需要在尋找或創(chuàng)建它們這件事上花費(fèi)數(shù)小時了。

將創(chuàng)意變成 3D 場景只需三分鐘

創(chuàng)建一個完整的 3D 場景是一項復(fù)雜且耗時的任務(wù)。為了創(chuàng)建出一個豐富的場景，藝術(shù)家必須使用大量背景物體襯托他們的主要素材，然后還要找到合適的背景和環(huán)境貼圖來模擬光照效果。由于時間有限，他們往往不得不在快速產(chǎn)出結(jié)果和探索各種創(chuàng)意之間做出權(quán)衡。

在 AI 智能體的支持下，創(chuàng)意團(tuán)隊就能“兩者兼得”——既能快速將概念轉(zhuǎn)化為現(xiàn)實，又能通過不斷迭代獲得合適的外觀。

在這場 Real-Time Live 活動的 demo 演示中，研究人員使用文本提示指導(dǎo) NVIDIA Edify 驅(qū)動的模型，來生成數(shù)十種 3D 資源，包括仙人掌、巖石、公牛頭骨等，而且只需要幾秒鐘就能生成預(yù)覽。

接下來，他們還指示智能體利用其他模型創(chuàng)建可能需要使用的背景和物體如何放置在場景中的布局，并且通過快速將巖石轉(zhuǎn)換成金塊展示了智能體如何適應(yīng)創(chuàng)意指示最后一刻的變化。

在有了設(shè)計方案之后，他們利用智能體創(chuàng)建全質(zhì)量資源，并在NVIDIA Omniverse USD Composer（一個用于創(chuàng)建虛擬世界的應(yīng)用程序）中將場景渲染成逼真的圖像。

NVIDIA Edify 加速環(huán)境生成

NVIDIA Edify 模型可以在幫助創(chuàng)作者專注于主要素材的同時，使用 AI 驅(qū)動的場景生成工具加速背景環(huán)境和物體的創(chuàng)建。該 Real-Time Live 活動的 demo 演示了兩個 Edify 模型：

Edify 3D可根據(jù)文本或圖像提示生成可直接編輯的 3D 網(wǎng)格。該模型只需要幾秒鐘就能生成預(yù)覽，包括各個物體的旋轉(zhuǎn)動畫。這將幫助創(chuàng)作者在確定具體設(shè)計之前快速創(chuàng)建出原型。

Edify 360 HDRi可根據(jù)文本或圖像提示生成最高分辨率為16K 的自然景觀高動態(tài)范圍圖像（HDRi），這些圖像可以用作背景和為場景模擬光照效果。

在 demo 過程中，研究人員還展示了一個由大語言模型驅(qū)動的 AI 智能體，以及一個使用 3D 工作流平臺 OpenUSD 生成場景布局的 AI 模型 USD Layout。

NVIDIA 還在 SIGGRAPH 上宣布，兩家領(lǐng)先的創(chuàng)意內(nèi)容公司正在為設(shè)計師和藝術(shù)家提供一種通過生成式 AI 大幅提升生產(chǎn)力的新方法——使用 NVIDIA Edify 驅(qū)動的工具。

Shutterstock 推出了其 3D 生成服務(wù)的商業(yè)測試版。通過該服務(wù)，創(chuàng)作者可根據(jù)文本或圖像提示快速創(chuàng)建原型并生成 3D 資產(chǎn)。該公司基于 Edify 的 360 HDRi 生成器也已進(jìn)入早期體驗階段。

Getty Images 使用最新版本的 NVIDIA Edify 更新了其 Generative AI by Getty Images 服務(wù)，不但使用戶創(chuàng)建圖像的速度加快了一倍，而且還提高了輸出質(zhì)量和提示依從性，并支持高級控制和微調(diào)。

充分利用通用場景描述

使用 Edify 模型生成的 3D 物體、環(huán)境貼圖和布局均采用 USD 這一用于描述和組成 3D 世界的標(biāo)準(zhǔn)格式。憑借這一兼容性，藝術(shù)家能夠直接將 Edify 驅(qū)動的創(chuàng)作導(dǎo)入 Omniverse USD Composer。

在 Composer 中，他們可以使用流行的數(shù)字內(nèi)容創(chuàng)建工具進(jìn)一步修改場景，例如改變物體的位置、修改物體的外觀、調(diào)整光照效果模擬等。

審核編輯：彭菁