最近在各社交平臺(tái)上大火的《頭號(hào)玩家》想必大家都看過(guò)，拋開(kāi)片中大量的彩蛋不提，該片搭配的VR技術(shù)，展現(xiàn)出的真實(shí)沉浸感也非常吸引人。不過(guò)，除了VR技術(shù)，3D人體掃描技術(shù)或許也可以用一種另類的方式達(dá)到相似的效果。

3D人體掃描技術(shù)，是利用光學(xué)測(cè)量技術(shù)、計(jì)算機(jī)技術(shù)、圖像處理技術(shù)、數(shù)字信號(hào)處理技術(shù)等進(jìn)行三維模擬人體表面輪廓的非接觸自動(dòng)測(cè)量。這種技術(shù)的應(yīng)用在現(xiàn)實(shí)生活中并不鮮見(jiàn)。前段時(shí)間蘋果的Animoji和三星的AR emoji都來(lái)源于這種技術(shù)，這種技術(shù)也可以應(yīng)用到服裝試穿中，甚至有健身房依靠采用這種技術(shù)測(cè)量各種關(guān)乎健康的關(guān)鍵數(shù)值（體重指數(shù)、體脂成分等等）來(lái)吸引顧客。

不過(guò)，現(xiàn)有的方案有一個(gè)缺點(diǎn)，有的掃描裝置需要特殊的照相設(shè)備來(lái)檢測(cè)景深，有的則需要照相機(jī)矩陣來(lái)探查人體，而最近，德國(guó)布倫瑞克工業(yè)大學(xué)和 Max Planck Institute for Informatics 的研究人員發(fā)表了一篇論文，提出一種新的算法，可以使用單個(gè)角度的標(biāo)準(zhǔn)視頻素材為人體創(chuàng)建 3D 模型，用時(shí)僅需數(shù)秒。

這篇論文描述了如何為單目視頻中的移動(dòng)人體做準(zhǔn)確的 3D 建模。基于參數(shù)化的人體模型，論文提出了穩(wěn)健的處理流程，對(duì)穿衣服的人群也能夠獲得 大約5mm 分辨率的 3D 模型。另外，論文中展示了對(duì)大量物體的評(píng)估結(jié)果，并分析了整體表現(xiàn)。可以說(shuō)，只需要一個(gè)智能手機(jī)或者攝像頭，這種方法就能讓每個(gè)人都創(chuàng)造自己的全動(dòng)畫(huà)數(shù)字孿生體，并可應(yīng)用到社交 VR 或者在線時(shí)裝購(gòu)物的虛擬試穿。

圖 1：本論文提出的技術(shù)首創(chuàng)從人的單個(gè)視頻序列中提取精確的 3D 人體模型，包括頭發(fā)和衣服，這些人在攝像機(jī)前面移動(dòng)，從而保證我們能從各個(gè)角度看到他們（圖片來(lái)自論文）

具體來(lái)說(shuō)，論文提出的方法由 3 個(gè)步驟構(gòu)成：（1）姿勢(shì)重建；（2）一致形態(tài)評(píng)估；（3）幀精煉和紋理圖生成。其中第一步基本采用以前的研究，第三步中的紋理獲取和時(shí)變性細(xì)節(jié)是可選性的。

第一步，論文采用標(biāo)準(zhǔn)可視外殼方法從多個(gè)視角捕捉靜態(tài)形狀。穿過(guò)圖像輪廓點(diǎn)的相機(jī)光線可以約束出一個(gè)3D人體形狀。本論文中，研究者首先擬合 SMPL 模型和 2D 檢測(cè)，估計(jì)每一幀的初始人體形狀和 3D 姿勢(shì)。基于擬合結(jié)果，研究者將每一幀中的輪廓點(diǎn)與人體模型中的 3D 點(diǎn)結(jié)合起來(lái)，根據(jù)每個(gè)投影光線的對(duì)應(yīng) 3D 模型點(diǎn)的反向變形模型，變換投影光線；處理所有幀的擬合結(jié)果后，就得到了一個(gè)“可視外殼”，即以標(biāo)準(zhǔn)姿勢(shì)展示的人體形狀。

在多個(gè) 3D 數(shù)據(jù)集上的研究結(jié)果表明本論文提出的方法可以重建 3D 人類形狀，即使單目視頻很模糊的情況下，準(zhǔn)確率仍然高達(dá) 4.5 mm

為了評(píng)估對(duì)象的一致形態(tài)，研究者首先計(jì)算每個(gè)幀的 3D 姿勢(shì)。他們擴(kuò)展了 評(píng)估的方法，使其魯棒性更好，以最大化地顯示每幀實(shí)例中的輪廓。在評(píng)估過(guò)程中，由于時(shí)間的變化，衣物可能會(huì)有微小的變形變形，這些姿勢(shì)的一致形態(tài)可能和幀輪廓有輕微的錯(cuò)配。

在視頻序列中估計(jì)幾何圖形時(shí)，研究者需要一次優(yōu)化多個(gè)姿勢(shì)，更重要的是，優(yōu)化過(guò)程中需要在內(nèi)存中存儲(chǔ)多個(gè)模型，使得計(jì)算成本高昂，且可行性不強(qiáng)。

研究者采用基于 SMPL 高效優(yōu)化單個(gè)位移面的方法，一次性擬合所有幀，這要求只能在內(nèi)存中存儲(chǔ)一個(gè)模型。他們的方法首次實(shí)現(xiàn)從單個(gè)運(yùn)動(dòng)人體視頻（這樣我們可以從各個(gè)側(cè)面看到這個(gè)人）中提取出準(zhǔn)確的 3D人體模型（包括頭發(fā)和衣服）。

最后，為了計(jì)算紋理和捕捉時(shí)間演化細(xì)節(jié)，第三步中將對(duì)一致形態(tài)的偏離進(jìn)行每一幀的優(yōu)化，從而給出精煉的逐幀形態(tài)，以此計(jì)算紋理圖。本文的方法依賴于圖像的前景分割。因此，研究者使用了中基于 CNN 的視頻分割方法，并對(duì)每個(gè)序列用 3-4 個(gè)手工分割圖像進(jìn)行訓(xùn)練。另外，為了克服在單目時(shí)3D人體形態(tài)重構(gòu)中模糊性的問(wèn)題，研究者使用 SMPL 身體模型作為起始點(diǎn)。

圖 7：定性測(cè)試結(jié)果：因?yàn)橹貥?gòu)的模版與 SMPL 人體模型有同樣的拓?fù)浣Y(jié)構(gòu)，我們可以使用 SMPL 來(lái)改變重構(gòu)形體的姿態(tài)和外形。雖然 SMPL 不建模帶衣著人體的變形，但變形模版看起來(lái)還是可信的，從質(zhì)量上來(lái)看足夠承擔(dān)多種應(yīng)用。

圖 9：輸入圖像（豎線左）與構(gòu)建形象（豎線右）的對(duì)比。正如圖像右側(cè)所示，用本文方法構(gòu)建的形體準(zhǔn)確地覆蓋了輸入圖像。在右下角還呈現(xiàn)了構(gòu)建模型的側(cè)面視角。

之前我們已經(jīng)提到過(guò)一個(gè)可以對(duì)人體全身進(jìn)行識(shí)別的技術(shù)（Facebook新研究為未來(lái)全身AR打下基礎(chǔ)），它與這次討論的技術(shù)是有差別的，F(xiàn)acebook的新研究識(shí)別出的人體是2D而非3D，但它們之間也有聯(lián)系，譬如二者都采用基于CNN的視頻分割方法來(lái)識(shí)別人體輪廓和紋理。實(shí)際上，論文中也說(shuō)明識(shí)別紋理的方法并不是創(chuàng)新性的。

這篇論文中提出的新的人體3D掃描建模技術(shù)，完全可以只使用一個(gè)攝像頭，因此，它可以大量應(yīng)用到智能手機(jī)上。另外，它不僅可以應(yīng)用到服裝的試穿中， 同樣可以通過(guò)對(duì)人體的掃描，讓建立出的模型和其它的虛擬物體互動(dòng)，算是另類的做到了《頭號(hào)玩家》的標(biāo)準(zhǔn)。當(dāng)然，后者對(duì)處理器的計(jì)算能力要求會(huì)很高，也可能不會(huì)有更好的沉浸感。對(duì)論文感興趣的同學(xué)也可以戳閱讀原文下載。