Maxine 的生產版本現已在 NVIDIA AI Enterprise 中推出；研究演示示范了 3D 技術如何提升視頻通信的質量。

在 NVIDIA Maxine 的幫助下，專業人士、團隊、創作者等能夠利用 AI 的強大性能用普通麥克風和網絡攝像頭創造出高品質的音視頻效果。

通過這套由 GPU 加速的軟件開發工具套件和云原生微服務，用戶可以部署能夠改進實時通信服務和平臺的音視頻及增強現實效果的 AI 功能。Maxine 還將擴展視頻編輯功能，使團隊的視頻通信能力達到新的高度。

此外，在本周舉行的 SIGGRAPH 大會上，NVIDIA Research 還演示了 AI 如何通過 3D 功能樹立視頻會議的新標桿。

NVIDIA Maxine 功能擴展至視頻編輯領域

無線連接使人們能夠在更多地點參加虛擬會議。一般情況下，當通話者在移動中或位于連接不佳的地點時，音視頻質量就會受到嚴重影響。

而借助背景音降噪、超高分辨率、眼神交流等先進的實時 Maxine 功能，遠程用戶可以獲得更好的人際交流體驗。

此外，Maxine 現在還可用于視頻編輯。NVIDIA 合作伙伴正在使用提升視頻會議質量的 Maxine 功能改變這一專業工作流。無論是銷售宣傳還是網絡研討會，編輯視頻的目的都是為了盡可能廣泛的吸引受眾。通過 Maxine，專業人員可以充分利用 AI 功能增強音視頻信號。

有了 Maxine，發言人可以將目光從屏幕移到參考筆記或腳本上，而在屏幕上他們仍在直視鏡頭。用戶還能以低分辨率拍攝視頻，并在后期提高質量。另外，Maxine 還使用戶能夠用多種不同語言錄制視頻并導出英語視頻。

今年的 Maxine 搶先體驗版中將發布的功能有：

• Interpreter：將中文、俄語、法語、德語和西班牙語翻譯成英語，同時將用戶影像轉換成他們在說英文的動畫形象。

• Voice Font：使用戶能夠應用發言者的聲音特征并將其映射到輸出的音頻中。

• Audio Super Resolution：通過提高音頻信號的時間分辨率和擴展帶寬來提升音頻質量。該功能目前支持從 8,000Hz 到 16,000Hz 以及從 16,000Hz 到 48,000Hz 的上采樣，在更新后還減少了 50% 的延遲，提高了 2 倍的吞吐量。

• Maxine Client：將 Maxine 微服務的 AI 功能加入到 PC 上的視頻會議中。該應用針對低延遲流式傳輸進行了優化，并將使用云來滿足其所有 GPU 計算需求。瘦客戶端將于今年秋季在 Windows 上推出，之后還將增加對其他操作系統的支持。

Maxine 可以部署在云端、本地或邊緣，這意味著用戶可以在幾乎任何地方進行高質量的通信。

樹立視頻會議的新標桿

許多合作伙伴和客戶正在體驗 Maxine 帶來的高質量視頻會議和視頻編輯。Maxine 的兩項功能 Eye Contact 和 Live Portrait 現已在 NVIDIA AI Enterprise 軟件平臺上發布。Eye Contact 通過估計用戶的視線并將其與攝像頭對齊來模擬用戶直視攝像頭。而 Live Portrait 則能通過用戶的實時視頻畫面將用戶的人像照片轉換成動畫。

軟件公司 Descript 的目標是讓視頻與文檔和幻燈片一樣，成為每位溝通者的主要工具。借助 NVIDIA Maxine，使用 Descript 的專業人員和初學者都可以使用 AI 功能改進他們的視頻內容工作流程。

Descript 業務和企業發展主管 Jay LeBoeuf 表示：“有了 NVIDIA Maxine 的 Eye Contact 功能，用戶再也不用擔心背誦腳本或枯燥乏味的重復拍攝視頻了。他們每次都可以在保持完美屏幕形象的同時，準確無誤地說完腳本。”

Reincubate 的 Camo 應用程序充分利用人們已擁有的硬件和設備，擴大精彩視頻的制作渠道。為此，該應用為用戶提供了更大的圖像控制權，并實現了強大、高效的視頻特效和轉換處理流程。通過使用 NVIDIA Maxine 所提供的技術，Camo 為用戶提供了一條更加簡單的精彩視頻創作途徑。

Reincubate 創始人兼首席執行官 Aidan Fitzpatrick 表示：“將 NVIDIA Maxine 集成到 Camo 中讓我們能夠輕松地充分利用用戶 RTX GPU 的高性能。有了 Maxine，團隊能夠更快、更有信心地開展工作。”

Quicklink 的 Cre8 是一個功能強大的視頻制作平臺，可用于創建專業的品牌化制作以及虛擬和混合現場活動。其用戶友好的界面整合了直觀的設計與構建、編輯和自定義專業化制作所需的所有工具。Cre8 采用 NVIDIA Maxine 技術，最大程度地提高了生產力以及視頻制作的質量，使一切盡在用戶的掌握之中。

Quicklink 首席執行官 Richard Rees 表示：“Quicklink Cre8 可以提供全球先進的視頻制作平臺。通過 NVIDIA Maxine，我們能夠添加更多先進功能，比如自動構圖、視頻噪音消除、噪音和回聲消除以及眼神交流模擬等。”

gemelo.ai 打造了一個能夠擴展用戶的語音、內容和互動的 AI 孿生創建平臺。gemelo.ai 團隊可以使用 Maxine 的 Live Portrait 功能，為經過擴展的個性化內容和一對一互動帶來新的可能性。

帶來了顛覆的變化。我們的客戶現在可以設計并部署無比逼真的數字孿生，獲得無限擴展內容制作以及跨應用、網站和混合現實體驗交互的‘超能力’。”

NVIDIA Research 展示 3D 視頻如何提高沉浸式通信的質量

除了支持 Maxine 的高級功能外，NVIDIA AI 還能提升 3D 視頻通信的質量。NVIDIA Research 最近發表的一篇論文展示了 AI 如何利用最少的捕捉設備來支持 3D 視頻會議系統。

3D 網真會議系統通常價格昂貴、需要很大的空間或制作工作室，并且要用到高帶寬、高容量的視頻流式傳輸，這些都限制了該技術的普及。NVIDIA Research 分享了一種新的方法，該方法運行在基于 VisionTransformer 的新型編碼器上，可將普通網絡攝像頭輸入的 2D 視頻轉換成 3D 視頻。AI 無需在與會者之間來回傳遞 3D 數據，使通話的帶寬要求與 2D 會議相同。

這項技術采用體積渲染技術，將用戶的 2D 視頻自動創建為一種被稱為神經輻射場（NeRF）的 3D 呈現方式。因此，與會者可以像在傳統視頻會議中一樣，在解碼可實時渲染的高質量 3D 圖像的同時傳輸 2D 視頻。而且借助 Maxine 的 Live Portrait，用戶能夠以 3D 形式呈現自己的肖像。

以 AI 為媒介的 3D 視頻會議可以大幅降低 3D 捕捉成本、提供高保真的 3D 呈現、展示逼真或風格化的虛擬形象并在視頻會議中實現相互之間的眼神交流。相關研究項目展示了 AI 如何幫助提升通信和虛擬互動水平，這也為 NVIDIA 未來的視頻會議技術指明了方向。

請觀看下面的系統演示。SIGGRAPH 與會者可以蒞臨 Emerging Technologies 展臺，在 Looking Glass 設計的 3D 顯示屏上現場觀看演示。

供應情況

進一步了解現已在 NVIDIA AI Enterprise 上提供的 NVIDIA Maxine。

了解 3D 視頻會議項目背后的更多研究。

主題圖片由 NVIDIA Research 提供。

SIGGRAPH 2023

NVIDIA 精彩發布

【1】SIGGRAPH 主題演講：NVIDIA 首席執行官帶來生成式 AI 多項創新 SIGGRAPH 2023 | NVIDIA 發布新一代 GH200 Grace Hopper 超級芯片平臺 SIGGRAPH 2023 | NVIDIA 發布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級 SIGGRAPH 2023 | NVIDIA Omniverse 開啟通往 OpenUSD 廣闊天地的大門 SIGGRAPH 2023 | NVIDIA 與全球數據中心系統制造商大力推動 AI 與工業數字化的發展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開發、內容創作和數據科學的系統 SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數百萬開發者與生成式 AI 超級計算

更多精彩，仍在繼續...

敬請持續關注

點擊“閱讀原文”，或掃描下方海報二維碼，觀看 NVIDIA 創始人兼 CEO 黃仁勛在 SIGGRAPH 現場發表的 NVIDIA 主題演講回放，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發，以及最新的 AI 內容創作解決方案。