作者：泡椒味的口香糖

0. 筆者個人體會

自監督單目深度估計的訓練可以在大量無標簽視頻序列來進行，訓練集獲取很方便。但問題是，實際采集的視頻序列往往會有很多動態物體，而自監督訓練本身就是基于靜態環境假設，動態環境下會失效。

之前學習過TPAMI 2023的工作SC-Depth V3，也是動態場景下的自監督單目深度估計方案。最近在NeurlPS 2023中又看到了類似動態環境深度估計的工作Dynamo-Depth，就想對比學習一下。

1. 效果展示

先看看這項工作的效果，對比方案是CVPR 2023的工作Lite-Mono，顯然Dynamo-Depth的動態物體深度估計結果更準確。當然Lite-Mono本身不是針對動態場景的，而是結合CNN和Transformer實現嵌入式部署，作者這樣對比主要是驗證他們的Motivation。

2. 摘要

無監督單目深度估計技術已經展示了令人鼓舞的結果，但通常假設場景是靜態的。當在動態場景中訓練時，這些技術受到影響，在動態場景中，明顯的物體運動可以通過假設物體的獨立運動或改變其深度來解釋。這種模糊性導致深度估計器對移動物體預測錯誤的深度。為了解決這個問題，我們引入了Dynamo-Depth，這是一種通過聯合學習單目深度、3D獨立光流場和來自未標記單目視頻的運動分割來消除動態運動歧義的統一方法。具體而言，我們提供了我們的關鍵見解，即良好的運動分割初始估計足以用于聯合學習深度和獨立運動，盡管存在基本的潛在模糊性。我們提出的方法在Waymo Open和nuScenes數據集上實現了最先進的單目深度估計性能，顯著改善了移動對象的深度。

3. 算法解析

先重述一下傳統的自監督單目深度估計的原理：

網絡包括DepthNet和PoseNet兩部分，輸入是單目視頻序列中的前后兩幀（也可以跳幀訓練）。首先給第一幀圖像估計深度圖，同時估計兩幀圖像中的位姿，之后利用深度圖和位姿重建第一幀圖像，去計算重建圖像和真實圖像之間的光度損失。

注意，這個框架假設場景是完全靜態的，動態物體的擾動會極大影響損失函數的計算。

當然這只是最基本的框架，還有很多優化策略，比如引入各種各樣的損失函數。它也有很多問題，比如尺度不確定、幀間不連續。本文主要討論動態場景，就不贅述這些問題了。

室外單目深度估計最主要的應用場景是哪里？

那肯定是自動駕駛了，而且這個場景的大多數情況是：自車在路上行駛，其他動態車輛共線行駛。

這個場景的深度估計有什么難點嗎？

想象一個場景，我們開車的時候會感覺車輛附近的物體速度很快，但是遠處的物體速度很慢（從數學上講叫極線歧義）。也就是說，如果某個車輛與自車同向行駛，因為幾乎相對靜止，所以網絡會認為車輛離自己非常遠。同理，某個車輛與自車對向行駛，網絡會認為車輛離自己非常近。

那么問題來了：錯誤的深度估計促成了正確的光流（位姿）估計！

直接添加正則化可行嗎？

學習這種運動規律比學習靜態背景的深度要困難得多。

那Dynamo-Depth這篇文章是怎么做的呢？

核心思想是，僅建模相機運動引起的剛性流的話，不能完整描述動態對象。因此要再學習一個獨立的三維光流場（場景流？），捕捉動態對象的運動。

具體的Pipeline包括兩部分，上半部分是依據靜態假設，借助target幀的深度和位姿估計靜態3D光流場，下半部分是借助獨立光流估計和運動mask估計動態3D光流場。兩個光流場疊加再去恢復target圖像并做損失。

為啥不直接預測動態物體的3D光流場呢？

有兩個原因：

1、在訓練過程中，當輸入幀中的目標運動是相機和獨立運動的疊加時，直接預測目標的獨立運動非常困難；

2、獨立剛體運動FI更傾向稀疏化，也就是傾向沒有動態物體。在訓練初期，當深度和位姿的預測有噪音時，會出現一個高稀疏項導致網絡直接收斂。

4. 實驗結果

數據集使用的Waymo Open、nuScenes還有KITTI Eigen split，訓練使用了4塊NVIDIA 2080 Ti，batch size為12，初始學習率5e-5（深度估計的bs和lr都很小）。平均指標就用的普通的Abs Rel、Sq Rel、RMSE、RMSE log還有三個準確率。

深度估計的精度定量對比，K表示KITTI，N表示nuScenes，W表示Waymo Open。nuScene和Waymo Open的Abs Rel分別降低了57%和21%，性能提升明顯。KITTI上的效果不太好，作者認為這是因為KITTI上的動態目標太少。

動態和靜態區域深度估計性能對比，分割nuScene、Waymo Open為靜態背景和動態對象，并評估每個區域上的深度估計性能。Waymo Open效果最明顯，精度提高了48.2%，誤差減少了67.6%。

深度和光流估計的定性對比，可以發現他們這種方法解決了極線歧義問題。也就是說，不會用錯誤的深度值去預測正確的光流場。

Waymo Open上的曲線對比，也算是消融實驗，使用精確度和召回率評估聯合學習的二進制運動掩碼網絡的質量。隨著召回率的增加，Dynamo-Depth也有很高的精確度，在Waymo Open上達到了71.8%的F1得分。

5. 總結

Dynamo-Depth這項工作面向自動駕駛場景中的車輛共線運動，感覺還像是特殊場景的應用，主要原理是聯合學習深度、位姿、3D獨立運動和運動分割。在Waymo Open和nuScenes數據集效果比較好，但感覺應用場景很局限。從動態物體的處理上，還是SC-DepthV3要更勝一籌。

審核編輯：黃飛

?