大家好，今天要介紹的論文是來自多倫多大學(xué)和谷歌研究室的NeRF2NeRF：神經(jīng)輻射場(chǎng)的配對(duì)配準(zhǔn)。

摘要

我們介紹了一種神經(jīng)場(chǎng)成對(duì)配準(zhǔn)的技術(shù)，它擴(kuò)展了基于優(yōu)化的經(jīng)典局部配準(zhǔn)（即ICP）以操作神經(jīng)輻射場(chǎng)（NeRF）。NeRF不分解光照和顏色，因此為了使配準(zhǔn)不受光照影響，我們引入了 "表面場(chǎng) "的概念（Surface Field）--從預(yù)先訓(xùn)練的NeRF模型中提煉出來的場(chǎng)，用于測(cè)量一個(gè)點(diǎn)在物體表面的概率。

然后，我們將nerf2nerf配準(zhǔn)作為一個(gè)穩(wěn)健的優(yōu)化，迭代地尋求一個(gè)剛性的變換，使兩個(gè)場(chǎng)景的表面場(chǎng)對(duì)齊。我們通過引入預(yù)訓(xùn)練的NeRF場(chǎng)景數(shù)據(jù)集來評(píng)估我們技術(shù)的有效性--我們的合成場(chǎng)景能夠進(jìn)行定量評(píng)估并與經(jīng)典的配準(zhǔn)技術(shù)進(jìn)行比較，而我們的真實(shí)場(chǎng)景則證明了我們的技術(shù)在真實(shí)世界場(chǎng)景中的正確性。

主要貢獻(xiàn)

提出了一種對(duì)包含同一物體的兩個(gè)場(chǎng)景的NeRFs進(jìn)行配準(zhǔn)的方法。

引入表面場(chǎng)作為一個(gè)點(diǎn)在物體表面的概率進(jìn)行配準(zhǔn)。

在幾個(gè)相應(yīng)的點(diǎn)上對(duì)準(zhǔn)初始化后，使用NeRF場(chǎng)進(jìn)行高精度優(yōu)化。

主要方法：

使用NeRF進(jìn)行定位主要存在以下問題：

由于色彩信息在不同場(chǎng)景中不一致導(dǎo)致照明和顏色不能分開。

由于物體內(nèi)部的密度場(chǎng)是有噪聲的，沒有對(duì)閉塞區(qū)的密度進(jìn)行監(jiān)測(cè)的方法。

本文使用的方法是通過使用響應(yīng)對(duì)象表面的場(chǎng)的概率來保持一致性，用以配準(zhǔn)兩個(gè)不同神經(jīng)場(chǎng)下的場(chǎng)景。

表面場(chǎng)：表面場(chǎng)的主要作用是對(duì)渲染過程中透明度變化較大的區(qū)域做出反應(yīng)，假設(shè)相機(jī)的位置在物體之外，搜索來自每個(gè)相機(jī)的射線，計(jì)算每個(gè)參考相機(jī)的 "短間隔內(nèi)的透明度變化"，并使用最大值作為"表面場(chǎng)"。最大值被用作表面場(chǎng)。

設(shè)計(jì)了一個(gè)目標(biāo)函數(shù)，使兩個(gè)場(chǎng)景之間的坐標(biāo)變換[R,t]得到優(yōu)化，這里使用場(chǎng)景之間對(duì)應(yīng)點(diǎn)的表面場(chǎng)值的殘差：

用高斯分布對(duì)表面場(chǎng)進(jìn)行卷積，并對(duì)其進(jìn)行平滑處理。

主要結(jié)果

審核編輯：劉清