用于視覺生成式 AI 的多模態架構 NVIDIA Edify 正在邁入全新維度。

Edify 為開發者和視覺內容提供商推出了多種全新功能（例如 3D 資產生成功能），通過 AI 圖像生成助力實現更高的創意自由度。

多媒體內容和數據提供商 Shutterstock 基于 Edify 架構打造的應用編程接口（API）將開放搶先體驗。通過該 API，創作者可使用提示文本或圖像來快速生成用于虛擬場景的 3D 物體。

Getty Images 是一家視覺內容創作公司，同時也是一個視覺內容交易市場，其生成式 AI 服務可在商業領域安全使用。該服務將新增定制微調功能，幫助企業客戶生成符合其品牌準則與風格的視覺效果。該服務還將增設其他新功能，幫助客戶進一步把控生成圖像的結果。

NVIDIA NIM 是一組用于推理的微服務，于NVIDIA GTC 2024 大會上推出。開發者可通過 NVIDIA NIM 以 API 的形式試用由 Getty Images 和 Shutterstock 提供的預訓練 Edify 模型。此外，通過 NVIDIA Picasso（基于 NVIDIA DGX 云構建的 AI 代工服務），開發者還可使用 Edify 架構訓練和部署自己的生成式 AI 模型。

NVIDIA 與 Adobe 正在協作為數百萬 Firefly 和 Creative Cloud 的創作者帶來基于 Edify 構建的全新 3D 生成式 AI 技術。

直播平臺 Be.Live 正在使用 NVIDIA Picasso 代工服務來提供實時生成式 AI，以便自動創建各種視覺效果，為觀眾提供別樣的互動體驗。Bria 是一個功能齊全的平臺，專為開發負責任的視覺生成式 AI 企業量身打造，該平臺現已采用 Picasso 來運行推理。Cuebric 創意工作室正在開發由 Picasso 提供支持的生成式 AI 應用，以便打造沉浸式虛擬環境，助力電影制作和內容創作。

加速 3D 創作：Shutterstock 3D AI 生成器現已開放搶先體驗

Shutterstock 的 3D AI 服務現已開放搶先體驗，該服務可以幫助創作者生成用于布景和構思的各種虛擬物體。這種功能可以使場景原型設計大幅加速，從而讓藝術家有更多的時間來專注于主要角色和物體的創作。

運行中的 Shutterstock 3D 生成器（視頻來源：Shutterstock）

借助這些工具，創意專業人員可利用文本提示或參考圖像快速創建資產，并能以各種熱門 3D 格式導出資產文件。Edify 3D 服務還帶有內置保護措施，可以過濾生成的內容。

這款可在商業領域安全使用的模型是基于 Shutterstock 的授權數據訓練的。考慮到藝術家的內容知識產權在訓練生成技術方面所起到的重要作用，Shutterstock 已向數十萬名藝術家支付了相應報酬，未來預計還會有數百萬名藝術家獲得報酬。

惠普和 Shutterstock 在 GTC 大會上宣布將協作利用 Edify 3D 來為設計師提供大量原型設計選項，進而提升定制化 3D 打印體驗。

Shutterstock 的 3D AI 生成器可幫助設計師快速迭代概念并創建各種數字資產，而惠普則能將創建的數字資產通過自動化工作流轉換成可供 3D 打印的模型。隨后，惠普 3D 打印機便可將這些模型打印出來，制成實體原型，幫助設計師激發產品設計靈感。

Mattel 正在利用 Shutterstock 提供的 3D 生成式 AI 加快設計構思過程。借助 AI，玩具設計師可以通過簡單的文字描述將他們對新產品的想法可視化。通過降低創建高保真概念設計的技術門檻，設計師們可以探索更廣泛的創意庫，并加快迭代速度。

此外，Shutterstock 還在開發各種基于 Edify 的工具，以便通過文本或圖像提示生成 360 HDRi 環境，為 3D 場景提供照明。

達索系統（Dassault Systèmes）正在通過其先進的 3DEXCITE 應用程序進行 3D 內容創作，將 Shutterstock 的生成式 360 HDRi API 整合到其基于 NVIDIA Omniverse（用于開發基于 OpenUSD 的 3D 工作流和應用的計算平臺）的工作流中，CGI 工作室 Katana 也在推進相同的整合工作。

全球最大的技術賦能創意集團 Accenture Song 正在 Omniverse 平臺中使用計算機輔助設計（CAD）數據生成 Defender 車型的高保真圖像并將其用于營銷。借助由 Edify 提供支持的生成式 AI 微服務，Accenture Song 能夠通過對話式提示構建電影級交互式 3D 環境，進而營造一個可提供完全沉浸式體驗的 3D 場景，將所生成的逼真環境與 Defender 車型的數字孿生完美融合在一起。

把控全局：借助 Getty Images 的定制微調功能，將視覺創意轉變為現實

Getty Images 將持續豐富其可在商業領域安全使用的生成式 AI 服務的功能，并為使用該服務生成內容的用戶提供適當知識產權報酬。

在 1 月的 CES 展會上，Getty Images 發布了由 Edify 提供支持的圖像修復 API，用于添加、刪除或替換圖像中的物體。該 API 還可通過擴圖功能擴展創意空間。上述功能現已在 Gettyimages.com 和 iStock.com 上推出。

從 5 月開始，Getty Images 還將提供定制微調服務，以便公司根據其品牌和視覺風格對 Edify 基礎模型進行調整。

通過該服務，各類公司均可上傳專有數據集，查看自動生成的標簽，提交微調任務，并在得到結果后再將其部署至生產，整個過程完全自助，且無需使用任何代碼。

對圖像輸出進行更精細的控制一直是生成式 AI 面臨的最大挑戰之一。為此，Getty Images 還將推出一套 API，并將其作為定制微調工具的一部分提供，這些 API 可幫助用戶更好地把控圖像輸出結果。

很快，開發者將能使用“草圖（Sketch）”、“深度（Depth）”和“分割（Segmentation）”功能。“草圖”功能可讓用戶提供草圖以指導 AI 生成圖像；“深度”功能可讓用戶通過深度圖復制參考圖像的構圖；“分割”功能可讓用戶分割部分圖像，以便添加、刪除或改進角色或物體。

多家領先的創意公司和廣告商均已在使用 Getty Images 的 API 服務，其中包含：

電通 (Dentsu Inc.)：日本廣告公司電通正在使用 Getty Images 的生成式 AI API 服務為 MAFA: Manga Anime For All 應用提供支持，該應用可為營銷案例創建漫畫和動畫風格的內容。此外，電通創意（Dentsu Creative）正在使用 NVIDIA Picasso 為領先的會員制倉儲零售商山姆會員商店微調 Getty Images 模型。

麥肯 (McCann)：這家創意公司借助生成式 AI 為客戶利潔時（Reckitt）的非處方感冒藥 Mucinex 開發了一款具有創新性的游戲，讓玩家享受到了與品牌吉祥物互動的樂趣。

Refik Anadol Studio：這家工作室因使用生成式 AI 進行藝術創作而聞名，并且在 GTC 大會上展出了以熱帶雨林為靈感的藝術作品。該裝置是利用 Getty Images 的AI模型與 Refik 的熱帶雨林目錄進行微調后創作的。

WPP：這家營銷與傳播服務公司正在與可口可樂公司合作，探索如何通過微調 Getty Images 的模型，以幫助構建符合品牌風格和準則的自定義視覺效果。

審核編輯：劉清