本文介紹了一種可學習的變形假設采樣器（DeformSampler），用于解決精確PatchMatch多視圖立體（MVS）中嘈雜深度估計的挑戰性問題。我們觀察到PatchMatch MVS求解器所采用的啟發式深度假設采樣模式對以下兩個方面不敏感：（i）物體表面深度的分段平滑分布，（ii）沿著表面點射線方向的深度預測概率的隱式多模態分布。因此，作者開發了DeformSampler，以學習對分布敏感的樣本空間，以便（i）沿著物體表面傳播與場景幾何一致的深度，（ii）擬合逼近實際深度沿射線方向的點級概率分布的拉普拉斯混合模型。作者將DeformSampler集成到可學習的PatchMatch MVS系統中，以提高在挑戰性區域（如分段不連續的表面邊界和紋理較弱的區域）的深度估計能力。在DTU和Tanks＆Temples數據集上的實驗結果表明，與最先進的競爭對手相比，其表現優越且具有很好的泛化能力。

讀者理解：

該方法的主要貢獻是提出了一種可學習的變形假設采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計的挑戰問題。DeformSampler 通過學習分布敏感的樣本空間，能夠傳播與場景幾何一致的深度，并擬合逼近實際深度分布的拉普拉斯混合模型。

實驗結果表明，該方法在 ETH3D 數據集上表現優異，甚至超過了其他最新的基于學習的 MVS 模型。

具體來說，該方法的創新點包括：

提出了一種可學習的變形假設采樣器（DeformSampler），用于解決多視圖立體匹配（PatchMatch MVS）中噪聲深度估計的挑戰問題。通過學習分布敏感的樣本空間，DeformSampler 能夠傳播與場景幾何一致的深度，并擬合逼近實際深度分布的拉普拉斯混合模型。

實驗結果表明，該方法在 ETH3D 數據集上表現優異，甚至超過了其他最新的基于學習的 MVS 模型。

1 引言

這篇論文主要解決了多視圖立體（MVS）中深度估計的挑戰性問題。傳統方法在低紋理、鏡面和反射區域內的匹配困難，學習型方法引入全局語義信息以提高魯棒性，但準確性與效率之間存在差距。學習型方法通常構建3D成本體，利用3D CNN進行深度回歸。然而，資源有限限制了這些方法的成本體和CNN的3D形式。

為了解決這些限制，研究致力于減少成本體大小和修改正則化技術。近期出現的一種有前景的解決方案將傳統的PatchMatch MVS轉化為端到端框架，但這些方法未充分考慮場景內隱含的深度分布，導致深度估計性能下降。

因此，論文提出了DeformSampler，一種可學習的變形假設采樣器，用于在學習型PatchMatch框架中學習隱含深度分布，指導可變形的假設采樣。DeformSampler在傳播和擾動階段支持每個像素進行最優假設采樣。通過平面指示器捕捉分段平滑深度分布，以實現結構感知的深度傳播，并利用概率匹配器對深度預測概率的多模態分布進行建模，實現不確定性感知的擾動。集成DeformSampler到學習型PatchMatch框架中，能在具有挑戰性的分段不連續表面邊界和紋理較弱區域獲得優秀的深度估計性能，并展現出在室外和室內場景中的強大泛化能力。

2 方法

本文提出了一種全新的學習型PatchMatch MVS框架，DS-PMNet，并嵌入了DeformSampler。這個框架能夠以端到端的方式學習隱含深度分布，指導可變形的深度采樣。論文總體框架在圖2中展示，主要包括四個階段的優化：初始化、傳播、評估和擾動。其中，傳播階段通過平面指示器Pθ捕捉物體表面的分段平滑深度分布，指導結構感知的假設傳播；而擾動階段則利用概率匹配器Mθ模擬深度預測概率的多模態分布，指導不確定性感知的擾動。

具體實現中，DS-PMNet通過特征金字塔Ψ提取了不同尺度的特征，用于深度估計。在階段I中，隨機初始化參考圖像的深度圖。在階段II，平面指示器Pθ利用自相似性特征編碼，指導結構感知的假設傳播，生成可靠的假設集合。在階段III，概率匹配器Mθ模擬了深度預測概率的分布，輸出不確定性，指導下一步的擾動。階段IV則利用推斷出的混合分布來引導擾動，進一步優化深度估計。這個框架能夠提高深度估計性能，在圖像特征和深度估計中起到關鍵作用。

此外，文中提到的平面指示器Pθ由兩部分組成：內視圖相關金字塔和平面流解碼器。內視圖相關金字塔利用卷積運算計算特征之間的相關性，而平面流解碼器則逐漸推斷出平面流場。概率匹配器Mθ則基于多視圖成本金字塔，預測深度估計概率的分布參數，進一步提高深度估計的準確性。

最后，論文采用了負對數似然損失函數作為監督，用于監督深度估計的擬合混合拉普拉斯分布，進一步優化模型。總的來說，DS-PMNet框架通過DeformSampler的引導，能夠提升MVS中的深度估計性能，對于深度估計及場景特征提取有著重要的作用。

3 總結

本文提出了一種可學習的DeformSampler，嵌入到PatchMatch MVS框架中，有助于在復雜場景中實現準確的深度估計。所提出的DeformSampler能夠在傳播和擾動過程中，幫助采樣對分布敏感的假設空間。在多個具有挑戰性的MVS數據集上進行了廣泛實驗，結果顯示DeformSampler能夠有效學習物體表面的分段平滑深度分布，可靠地傳播深度，并成功捕捉深度預測概率的多模態分布，從而實現精細化的假設采樣。與現有方法的比較也表明，我們的方法在MVS基準測試上能夠達到最先進的性能水平。

審核編輯：黃飛