最近在各社交平臺上大火的《頭號玩家》想必大家都看過，拋開片中大量的彩蛋不提，該片搭配的VR技術，展現出的真實沉浸感也非常吸引人。不過，除了VR技術，3D人體掃描技術或許也可以用一種另類的方式達到相似的效果。

3D人體掃描技術，是利用光學測量技術、計算機技術、圖像處理技術、數字信號處理技術等進行三維模擬人體表面輪廓的非接觸自動測量。這種技術的應用在現實生活中并不鮮見。前段時間蘋果的Animoji和三星的AR emoji都來源于這種技術，這種技術也可以應用到服裝試穿中，甚至有健身房依靠采用這種技術測量各種關乎健康的關鍵數值（體重指數、體脂成分等等）來吸引顧客。

不過，現有的方案有一個缺點，有的掃描裝置需要特殊的照相設備來檢測景深，有的則需要照相機矩陣來探查人體，而最近，德國布倫瑞克工業大學和 Max Planck Institute for Informatics 的研究人員發表了一篇論文，提出一種新的算法，可以使用單個角度的標準視頻素材為人體創建 3D 模型，用時僅需數秒。

這篇論文描述了如何為單目視頻中的移動人體做準確的 3D 建模。基于參數化的人體模型，論文提出了穩健的處理流程，對穿衣服的人群也能夠獲得 大約5mm 分辨率的 3D 模型。另外，論文中展示了對大量物體的評估結果，并分析了整體表現?？梢哉f，只需要一個智能手機或者攝像頭，這種方法就能讓每個人都創造自己的全動畫數字孿生體，并可應用到社交 VR 或者在線時裝購物的虛擬試穿。

圖 1：本論文提出的技術首創從人的單個視頻序列中提取精確的 3D 人體模型，包括頭發和衣服，這些人在攝像機前面移動，從而保證我們能從各個角度看到他們（圖片來自論文）

具體來說，論文提出的方法由 3 個步驟構成：（1）姿勢重建；（2）一致形態評估；（3）幀精煉和紋理圖生成。其中第一步基本采用以前的研究，第三步中的紋理獲取和時變性細節是可選性的。

第一步，論文采用標準可視外殼方法從多個視角捕捉靜態形狀。穿過圖像輪廓點的相機光線可以約束出一個3D人體形狀。本論文中，研究者首先擬合 SMPL 模型和 2D 檢測，估計每一幀的初始人體形狀和 3D 姿勢。基于擬合結果，研究者將每一幀中的輪廓點與人體模型中的 3D 點結合起來，根據每個投影光線的對應 3D 模型點的反向變形模型，變換投影光線；處理所有幀的擬合結果后，就得到了一個“可視外殼”，即以標準姿勢展示的人體形狀。

在多個 3D 數據集上的研究結果表明本論文提出的方法可以重建 3D 人類形狀，即使單目視頻很模糊的情況下，準確率仍然高達 4.5 mm

為了評估對象的一致形態，研究者首先計算每個幀的 3D 姿勢。他們擴展了 評估的方法，使其魯棒性更好，以最大化地顯示每幀實例中的輪廓。在評估過程中，由于時間的變化，衣物可能會有微小的變形變形，這些姿勢的一致形態可能和幀輪廓有輕微的錯配。

在視頻序列中估計幾何圖形時，研究者需要一次優化多個姿勢，更重要的是，優化過程中需要在內存中存儲多個模型，使得計算成本高昂，且可行性不強。

研究者采用基于 SMPL 高效優化單個位移面的方法，一次性擬合所有幀，這要求只能在內存中存儲一個模型。他們的方法首次實現從單個運動人體視頻（這樣我們可以從各個側面看到這個人）中提取出準確的 3D人體模型（包括頭發和衣服）。

最后，為了計算紋理和捕捉時間演化細節，第三步中將對一致形態的偏離進行每一幀的優化，從而給出精煉的逐幀形態，以此計算紋理圖。本文的方法依賴于圖像的前景分割。因此，研究者使用了中基于 CNN 的視頻分割方法，并對每個序列用 3-4 個手工分割圖像進行訓練。另外，為了克服在單目時3D人體形態重構中模糊性的問題，研究者使用 SMPL 身體模型作為起始點。

圖 7：定性測試結果：因為重構的模版與 SMPL 人體模型有同樣的拓撲結構，我們可以使用 SMPL 來改變重構形體的姿態和外形。雖然 SMPL 不建模帶衣著人體的變形，但變形模版看起來還是可信的，從質量上來看足夠承擔多種應用。

圖 9：輸入圖像（豎線左）與構建形象（豎線右）的對比。正如圖像右側所示，用本文方法構建的形體準確地覆蓋了輸入圖像。在右下角還呈現了構建模型的側面視角。

之前我們已經提到過一個可以對人體全身進行識別的技術（Facebook新研究為未來全身AR打下基礎），它與這次討論的技術是有差別的，Facebook的新研究識別出的人體是2D而非3D，但它們之間也有聯系，譬如二者都采用基于CNN的視頻分割方法來識別人體輪廓和紋理。實際上，論文中也說明識別紋理的方法并不是創新性的。

這篇論文中提出的新的人體3D掃描建模技術，完全可以只使用一個攝像頭，因此，它可以大量應用到智能手機上。另外，它不僅可以應用到服裝的試穿中， 同樣可以通過對人體的掃描，讓建立出的模型和其它的虛擬物體互動，算是另類的做到了《頭號玩家》的標準。當然，后者對處理器的計算能力要求會很高，也可能不會有更好的沉浸感。對論文感興趣的同學也可以戳閱讀原文下載。