誰說生成圖像、視頻一定要靠AI？

普林斯頓大學(xué)新出的神器，可無限生成逼真3D世界，特別強(qiáng)調(diào)“No AI”。

淺淺感受一下這個效果：

不要以為生成的只是一段視頻，其實背后是一套完整的3D資產(chǎn)，基于建模軟件Blender打造。

此時所有blender用戶一起跟我：啊？

如此一來，我們就能用參數(shù)來控制細(xì)節(jié)：

或者拿到相應(yīng)的光流圖、3D場景光流圖、深度圖、全景分割圖等等，輕松hold住各種CV任務(wù)。

最最重要的是，它還免費、開源！

媽媽真的再也不用擔(dān)心我找不到高質(zhì)量的3D數(shù)據(jù)投喂AI了……

100%基于隨機(jī)數(shù)學(xué)的3D數(shù)據(jù)生成器

盡管AI發(fā)展迅猛，但目前CV領(lǐng)域的許多任務(wù)仍然缺乏高質(zhì)量的數(shù)據(jù)，3D尤甚。

一個解決辦法是用合成數(shù)據(jù)。事實證明，在這類數(shù)據(jù)上訓(xùn)練的模型在零樣本的真實圖像上也可以表現(xiàn)得很好。

但問題是，現(xiàn)有的大多數(shù)免費3D合成數(shù)據(jù)工具基本局限于單一場景：要么是自動駕駛相關(guān)，要么就是那種位于室內(nèi)環(huán)境中的人造物體。

因此，為了擴(kuò)大覆蓋范圍，尤其是真實世界里的自然場景，作者基于Blender打造了這個基于隨機(jī)數(shù)學(xué)規(guī)則無限生成各種場景的Infinigen。

Infinigen主要利用Blender的“基元”（或原語），設(shè)計了一個程序規(guī)則庫，通過編碼完成真實自然場景各個對象的生成。

論文主要介紹了Infinigen的程序體系，包括：

Node Transpiler（節(jié)點轉(zhuǎn)換器），可以自動將Blender節(jié)點圖轉(zhuǎn)化為Python代碼，方便非程序員用戶使用Infinigen。

如下圖所示，它生成的代碼更通用，既允許我們隨機(jī)化輸入?yún)?shù)，也允許隨機(jī)化圖結(jié)構(gòu)。

Generator Subsystems（生成器子系統(tǒng)），Infinigen的生成器是是一個個基于概率的程序，每個程序?qū)ｉT用于生成一個子對象（比如山脈或魚類）。每個對象都有一組高級參數(shù)（比如山的總高度），用戶可以使用Python API來調(diào)整這些參數(shù)，以實現(xiàn)對數(shù)據(jù)生成的細(xì)粒度控制。

Material Generators（材料生成器），一共有50個，每個都由一個能指定顏色和反射率的隨機(jī)著色器和一個生成相應(yīng)精細(xì)幾何細(xì)節(jié)的局部幾何生成器組成。

如下圖由所示，它能保證非常真實的幾何細(xì)節(jié)。

Terrain Generators（地形生成器），如下圖所示，該生成器可以通過反復(fù)擠壓生成巨石，使用Blender的內(nèi)置插件生成小石塊。

并幫助Infinigen通過使用FLIP模擬動力學(xué)流體，使用Blender的粒子系統(tǒng)模擬天氣。

Plants & Underwater Object Generators（植物和水下物體發(fā)生器），包括使用用隨機(jī)游走等算法對樹木生長進(jìn)行建模，從而形成一個覆蓋各種樹木、灌木甚至仙人掌的3D世界。

又或者是使用差異化生長、拉普拉斯生長和反應(yīng)擴(kuò)散制造各種珊瑚、使用幾何節(jié)點圖生成樹葉、花朵、海藻、海帶、軟體動物和水母。

還有各種子生成器（比如生物生成器）就不一一介紹了。

除了這些，Infinigen還包括一個圖像渲染與Ground Truth提取程序，主要用于生成下圖這些類型的圖像。

其中對于前者，系統(tǒng)使用了Blender基于自然規(guī)律的路徑跟蹤渲染器Cycles來渲染圖像。

作者介紹，雖然使用Blender開發(fā)了Infinigen的程序規(guī)則，不過程序生成的很大一部分是在Blender之外完成的。

另外，他們也表示，構(gòu)建Infinigen是一項極大量的軟件工程，光是它代碼庫的主分支就囊括了40485行代碼。

最后，Infinigen在2個Intel Xeon Silver 4114 @ 2.20GHz CPU和1個NVidia GPU上進(jìn)行了基準(zhǔn)測試，生成一對1080p圖像的時間（wall time）為3.5小時。

下表是它與現(xiàn)有合成數(shù)據(jù)集或生成器的比較。

作者表示，從中可以看出，Infinigen最大的優(yōu)點就是不需要任何外部參考資源庫就能程序化地生成無限的自然3D數(shù)據(jù)，別的都不行。

團(tuán)隊介紹

Infinigen將在本周三的CVPR會議上進(jìn)行Poster展示。

它的作者全部來自普林斯頓大學(xué)Vision & Learning Lab。

三位共同一作，其中一位叫Ma Zeyu，普林斯頓大學(xué)博士三年級在讀，2020年本科畢業(yè)于清華大學(xué)電子工程專業(yè)。

通訊作者為普林斯頓大學(xué)計算機(jī)科學(xué)系副教授鄧嘉。

目前，Infinigen的代碼已經(jīng)上線GitHub，短短兩天已有850個標(biāo)星。

論文地址：
https://arxiv.org/abs/2306.09310
項目主頁：
https://infinigen.org/
GitHub地址：
https://github.com/princeton-vl/infinigen