Maxine 的生產(chǎn)版本現(xiàn)已在 NVIDIA AI Enterprise 中推出；研究演示示范了 3D 技術(shù)如何提升視頻通信的質(zhì)量。

在 NVIDIA Maxine 的幫助下，專(zhuān)業(yè)人士、團(tuán)隊(duì)、創(chuàng)作者等能夠利用 AI 的強(qiáng)大性能用普通麥克風(fēng)和網(wǎng)絡(luò)攝像頭創(chuàng)造出高品質(zhì)的音視頻效果。

通過(guò)這套由 GPU 加速的軟件開(kāi)發(fā)工具套件和云原生微服務(wù)，用戶可以部署能夠改進(jìn)實(shí)時(shí)通信服務(wù)和平臺(tái)的音視頻及增強(qiáng)現(xiàn)實(shí)效果的 AI 功能。Maxine 還將擴(kuò)展視頻編輯功能，使團(tuán)隊(duì)的視頻通信能力達(dá)到新的高度。

此外，在本周舉行的 SIGGRAPH 大會(huì)上，NVIDIA Research 還演示了 AI 如何通過(guò) 3D 功能樹(shù)立視頻會(huì)議的新標(biāo)桿。

NVIDIA Maxine 功能擴(kuò)展至視頻編輯領(lǐng)域

無(wú)線連接使人們能夠在更多地點(diǎn)參加虛擬會(huì)議。一般情況下，當(dāng)通話者在移動(dòng)中或位于連接不佳的地點(diǎn)時(shí)，音視頻質(zhì)量就會(huì)受到嚴(yán)重影響。

而借助背景音降噪、超高分辨率、眼神交流等先進(jìn)的實(shí)時(shí) Maxine 功能，遠(yuǎn)程用戶可以獲得更好的人際交流體驗(yàn)。

此外，Maxine 現(xiàn)在還可用于視頻編輯。NVIDIA 合作伙伴正在使用提升視頻會(huì)議質(zhì)量的 Maxine 功能改變這一專(zhuān)業(yè)工作流。無(wú)論是銷(xiāo)售宣傳還是網(wǎng)絡(luò)研討會(huì)，編輯視頻的目的都是為了盡可能廣泛的吸引受眾。通過(guò) Maxine，專(zhuān)業(yè)人員可以充分利用 AI 功能增強(qiáng)音視頻信號(hào)。

有了 Maxine，發(fā)言人可以將目光從屏幕移到參考筆記或腳本上，而在屏幕上他們?nèi)栽谥币曠R頭。用戶還能以低分辨率拍攝視頻，并在后期提高質(zhì)量。另外，Maxine 還使用戶能夠用多種不同語(yǔ)言錄制視頻并導(dǎo)出英語(yǔ)視頻。

今年的 Maxine 搶先體驗(yàn)版中將發(fā)布的功能有：

• Interpreter：將中文、俄語(yǔ)、法語(yǔ)、德語(yǔ)和西班牙語(yǔ)翻譯成英語(yǔ)，同時(shí)將用戶影像轉(zhuǎn)換成他們?cè)谡f(shuō)英文的動(dòng)畫(huà)形象。

• Voice Font：使用戶能夠應(yīng)用發(fā)言者的聲音特征并將其映射到輸出的音頻中。

• Audio Super Resolution：通過(guò)提高音頻信號(hào)的時(shí)間分辨率和擴(kuò)展帶寬來(lái)提升音頻質(zhì)量。該功能目前支持從 8,000Hz 到 16,000Hz 以及從 16,000Hz 到 48,000Hz 的上采樣，在更新后還減少了 50% 的延遲，提高了 2 倍的吞吐量。

• Maxine Client：將 Maxine 微服務(wù)的 AI 功能加入到 PC 上的視頻會(huì)議中。該應(yīng)用針對(duì)低延遲流式傳輸進(jìn)行了優(yōu)化，并將使用云來(lái)滿足其所有 GPU 計(jì)算需求。瘦客戶端將于今年秋季在 Windows 上推出，之后還將增加對(duì)其他操作系統(tǒng)的支持。

Maxine 可以部署在云端、本地或邊緣，這意味著用戶可以在幾乎任何地方進(jìn)行高質(zhì)量的通信。

樹(shù)立視頻會(huì)議的新標(biāo)桿

許多合作伙伴和客戶正在體驗(yàn) Maxine 帶來(lái)的高質(zhì)量視頻會(huì)議和視頻編輯。Maxine 的兩項(xiàng)功能 Eye Contact 和 Live Portrait 現(xiàn)已在 NVIDIA AI Enterprise 軟件平臺(tái)上發(fā)布。Eye Contact 通過(guò)估計(jì)用戶的視線并將其與攝像頭對(duì)齊來(lái)模擬用戶直視攝像頭。而 Live Portrait 則能通過(guò)用戶的實(shí)時(shí)視頻畫(huà)面將用戶的人像照片轉(zhuǎn)換成動(dòng)畫(huà)。

軟件公司 Descript 的目標(biāo)是讓視頻與文檔和幻燈片一樣，成為每位溝通者的主要工具。借助 NVIDIA Maxine，使用 Descript 的專(zhuān)業(yè)人員和初學(xué)者都可以使用 AI 功能改進(jìn)他們的視頻內(nèi)容工作流程。

Descript 業(yè)務(wù)和企業(yè)發(fā)展主管 Jay LeBoeuf 表示：“有了 NVIDIA Maxine 的 Eye Contact 功能，用戶再也不用擔(dān)心背誦腳本或枯燥乏味的重復(fù)拍攝視頻了。他們每次都可以在保持完美屏幕形象的同時(shí)，準(zhǔn)確無(wú)誤地說(shuō)完腳本。”

Reincubate 的 Camo 應(yīng)用程序充分利用人們已擁有的硬件和設(shè)備，擴(kuò)大精彩視頻的制作渠道。為此，該應(yīng)用為用戶提供了更大的圖像控制權(quán)，并實(shí)現(xiàn)了強(qiáng)大、高效的視頻特效和轉(zhuǎn)換處理流程。通過(guò)使用 NVIDIA Maxine 所提供的技術(shù)，Camo 為用戶提供了一條更加簡(jiǎn)單的精彩視頻創(chuàng)作途徑。

Reincubate 創(chuàng)始人兼首席執(zhí)行官 Aidan Fitzpatrick 表示：“將 NVIDIA Maxine 集成到 Camo 中讓我們能夠輕松地充分利用用戶 RTX GPU 的高性能。有了 Maxine，團(tuán)隊(duì)能夠更快、更有信心地開(kāi)展工作。”

Quicklink 的 Cre8 是一個(gè)功能強(qiáng)大的視頻制作平臺(tái)，可用于創(chuàng)建專(zhuān)業(yè)的品牌化制作以及虛擬和混合現(xiàn)場(chǎng)活動(dòng)。其用戶友好的界面整合了直觀的設(shè)計(jì)與構(gòu)建、編輯和自定義專(zhuān)業(yè)化制作所需的所有工具。Cre8 采用 NVIDIA Maxine 技術(shù)，最大程度地提高了生產(chǎn)力以及視頻制作的質(zhì)量，使一切盡在用戶的掌握之中。

Quicklink 首席執(zhí)行官 Richard Rees 表示：“Quicklink Cre8 可以提供全球先進(jìn)的視頻制作平臺(tái)。通過(guò) NVIDIA Maxine，我們能夠添加更多先進(jìn)功能，比如自動(dòng)構(gòu)圖、視頻噪音消除、噪音和回聲消除以及眼神交流模擬等。”

gemelo.ai 打造了一個(gè)能夠擴(kuò)展用戶的語(yǔ)音、內(nèi)容和互動(dòng)的 AI 孿生創(chuàng)建平臺(tái)。gemelo.ai 團(tuán)隊(duì)可以使用 Maxine 的 Live Portrait 功能，為經(jīng)過(guò)擴(kuò)展的個(gè)性化內(nèi)容和一對(duì)一互動(dòng)帶來(lái)新的可能性。

帶來(lái)了顛覆的變化。我們的客戶現(xiàn)在可以設(shè)計(jì)并部署無(wú)比逼真的數(shù)字孿生，獲得無(wú)限擴(kuò)展內(nèi)容制作以及跨應(yīng)用、網(wǎng)站和混合現(xiàn)實(shí)體驗(yàn)交互的‘超能力’。”

NVIDIA Research 展示 3D 視頻如何提高沉浸式通信的質(zhì)量

除了支持 Maxine 的高級(jí)功能外，NVIDIA AI 還能提升 3D 視頻通信的質(zhì)量。NVIDIA Research 最近發(fā)表的一篇論文展示了 AI 如何利用最少的捕捉設(shè)備來(lái)支持 3D 視頻會(huì)議系統(tǒng)。

3D 網(wǎng)真會(huì)議系統(tǒng)通常價(jià)格昂貴、需要很大的空間或制作工作室，并且要用到高帶寬、高容量的視頻流式傳輸，這些都限制了該技術(shù)的普及。NVIDIA Research 分享了一種新的方法，該方法運(yùn)行在基于 VisionTransformer 的新型編碼器上，可將普通網(wǎng)絡(luò)攝像頭輸入的 2D 視頻轉(zhuǎn)換成 3D 視頻。AI 無(wú)需在與會(huì)者之間來(lái)回傳遞 3D 數(shù)據(jù)，使通話的帶寬要求與 2D 會(huì)議相同。

這項(xiàng)技術(shù)采用體積渲染技術(shù)，將用戶的 2D 視頻自動(dòng)創(chuàng)建為一種被稱為神經(jīng)輻射場(chǎng)（NeRF）的 3D 呈現(xiàn)方式。因此，與會(huì)者可以像在傳統(tǒng)視頻會(huì)議中一樣，在解碼可實(shí)時(shí)渲染的高質(zhì)量 3D 圖像的同時(shí)傳輸 2D 視頻。而且借助 Maxine 的 Live Portrait，用戶能夠以 3D 形式呈現(xiàn)自己的肖像。

以 AI 為媒介的 3D 視頻會(huì)議可以大幅降低 3D 捕捉成本、提供高保真的 3D 呈現(xiàn)、展示逼真或風(fēng)格化的虛擬形象并在視頻會(huì)議中實(shí)現(xiàn)相互之間的眼神交流。相關(guān)研究項(xiàng)目展示了 AI 如何幫助提升通信和虛擬互動(dòng)水平，這也為 NVIDIA 未來(lái)的視頻會(huì)議技術(shù)指明了方向。

請(qǐng)觀看下面的系統(tǒng)演示。SIGGRAPH 與會(huì)者可以蒞臨 Emerging Technologies 展臺(tái)，在 Looking Glass 設(shè)計(jì)的 3D 顯示屏上現(xiàn)場(chǎng)觀看演示。

供應(yīng)情況

進(jìn)一步了解現(xiàn)已在 NVIDIA AI Enterprise 上提供的 NVIDIA Maxine。

了解 3D 視頻會(huì)議項(xiàng)目背后的更多研究。

主題圖片由 NVIDIA Research 提供。

SIGGRAPH 2023

NVIDIA 精彩發(fā)布

【1】SIGGRAPH 主題演講：NVIDIA 首席執(zhí)行官帶來(lái)生成式 AI 多項(xiàng)創(chuàng)新 SIGGRAPH 2023 | NVIDIA 發(fā)布新一代 GH200 Grace Hopper 超級(jí)芯片平臺(tái) SIGGRAPH 2023 | NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級(jí) SIGGRAPH 2023 | NVIDIA Omniverse 開(kāi)啟通往 OpenUSD 廣闊天地的大門(mén) SIGGRAPH 2023 | NVIDIA 與全球數(shù)據(jù)中心系統(tǒng)制造商大力推動(dòng) AI 與工業(yè)數(shù)字化的發(fā)展 SIGGRAPH 2023 | NVIDIA 與全球工作站廠商共同推出用于生成式 AI、LLM 開(kāi)發(fā)、內(nèi)容創(chuàng)作和數(shù)據(jù)科學(xué)的系統(tǒng) SIGGRAPH 2023 | NVIDIA AI Workbench 助力全球企業(yè)加速采用自定義生成式 AI SIGGRAPH 2023 | NVIDIA 與 Hugging Face 將連接數(shù)百萬(wàn)開(kāi)發(fā)者與生成式 AI 超級(jí)計(jì)算

更多精彩，仍在繼續(xù)...

敬請(qǐng)持續(xù)關(guān)注

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場(chǎng)發(fā)表的 NVIDIA 主題演講回放，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開(kāi)發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。