英偉達(dá)與MIT合作推出視頻合成AI新技術(shù)，直接用現(xiàn)實(shí)視頻生成逼真的虛擬世界。未來或許只需一段手機(jī)視頻，你就可以真正進(jìn)入心儀的游戲中去當(dāng)英雄了！

最近英偉達(dá)的黑科技有點(diǎn)多。

英偉達(dá)的研究人員打造出一個新的AI生成模型，可以使用來自YouTube等來源的真實(shí)視頻創(chuàng)建虛擬環(huán)境，這可能影響游戲開發(fā)和人工智能的未來。

“這是一種新的渲染技術(shù)，基本上只需使用草繪圖作為輸入，可以處理對象的高級表示以及它們在虛擬環(huán)境中的交互方式。由模型實(shí)際上處理細(xì)節(jié)、細(xì)化紋理和照明環(huán)境等等，最后輸出完全渲染的圖像。“英偉達(dá)應(yīng)用深度學(xué)習(xí)副總裁Bryan Catanzaro在接受采訪時表示。

Bryan Catanzaro，看扮相就像是搞黑科技的

這一系統(tǒng)使用百度的自動駕駛項(xiàng)目的Apolloscape采集的視頻進(jìn)行訓(xùn)練。系統(tǒng)將這些視頻的草繪圖，比如樹木、建筑物、汽車和行人等都輸入到模型中。

Catanzaro和其他英偉達(dá)的研究人員與MIT CSAIL的學(xué)生們合作，撰寫了題為"Video-to-Video Synthesis"的論文，文中對這一技術(shù)做了詳細(xì)闡述。

論文地址：

Video-to-Video Synthesis

https://arxiv.org/pdf/1808.06601.pdf

該模型可以實(shí)現(xiàn)快速生成合成環(huán)境，可用于訓(xùn)練強(qiáng)化學(xué)習(xí)的智能體，或讓游戲中的玩家產(chǎn)生身臨其境之感。

由輸入分割映射視頻生成的逼真輸出視頻。左上為輸入，其余為不同模型的輸出，右下為英偉達(dá)和MIT最新模型vid2vid的輸出

“想象一下，如果你能在電子游戲中扮演自己的角色。而且，只需要一段自己手機(jī)中的視頻，就能讓你進(jìn)入虛擬環(huán)境，穿上閃亮的盔甲，像騎士一樣去做偉大的事情。

“英偉達(dá)長期以來一直致力于圖形處理技術(shù)，因此我們非常高興能夠?qū)D形技術(shù)帶入AI時代，并使用AI技術(shù)生成圖形，我們可以從現(xiàn)實(shí)世界的視頻中了解事物的運(yùn)作方式，然后根據(jù)學(xué)到的知識，合成出逼真的、基于實(shí)際內(nèi)容的虛擬圖像。”

系統(tǒng)能夠考慮諸如對象位置，對象之間的關(guān)系以及用于定義對象邊緣的映射之類的要素。

英偉達(dá)將于NeurIPS 2018大會上演示視頻并分享該技術(shù)的其他細(xì)節(jié)。

左側(cè)為樣例面部圖像輸入，中間為草繪圖，右側(cè)為輸出

Nvidia團(tuán)隊(duì)最初的靈感來自于Alexei Efros和加州大學(xué)伯克利分校的其他研究人員的Pix2Pix系統(tǒng)的成果。英偉達(dá)在此基礎(chǔ)上與加州大學(xué)伯克利分校的AI研究人員合作，打造了Pix2PixHD系統(tǒng)作為回應(yīng)。

今年早些時候，加州大學(xué)伯克利分校的研究人員還制作了能夠跳舞、翻轉(zhuǎn)以及其他20種復(fù)雜動作的模型。

樣例舞蹈動作——動作提取——輸出

“這是我們第一次實(shí)現(xiàn)交互式的人工智能場景渲染，我們?yōu)榇烁械阶院馈５@項(xiàng)技術(shù)目前還處于早期階段，未來的目標(biāo)是提供更高質(zhì)量、通用性更好的輸出，以便能夠處理更多種類的場景。我對這一技術(shù)未來的發(fā)展方向感到非常興奮。”Catanzaro說。