一、背景

在 2022 年的 Tesla AI Day 上， Tesla 將 Bev（鳥瞰圖） 感知進?步升級，提出了基于 Occupancy Network 的感知?法。這種基于 Occupancy Grid Mapping 的表示?法，?叫體素(Voxel)占據，在 3D 重建任務中已經是一個“老熟人”了。

它將世界劃分成為?系列 3D ?格單元，然后定義哪個單元被占?，哪個單元是空閑的，并且每個占據單元同時也包含分類信息，?如路?、?輛、建筑物、樹?等。在?動駕駛感知中，相?普通的 3D 檢測?法，這種基于體素的表示可以幫助預測更精細的異形物體。如下圖 Tesla Demo 中所展示的那樣，對于空間感知更精細。

左圖：使用固定的矩形框標記車輛；右圖：使用體素占據來精細表示車輛

在這種在線重建的?法中，?般使? SSC ( Semantic Scene Completion)任務評判預測的準確性，即利?圖像、點云或者其他 3D 數據作為輸?，預測空間中的體素占據和類別信息，并與 GT 標注相?較。在權威的?動駕駛 Semantic-Kitti SSC 任務中，可以根據輸?分成純圖像和基于 3D (點云、 TSDF、體素等)的兩類不同的?法。

使?純圖像?案恢復 3D 結構是?個?較困難的問題，曠視研究院提出了 OccDepth 的?法，將純圖像輸??法的精度?幅提升，獲得了視覺?法的 SOTA，其中 SC IOU 從 34.2 增?為 45.1， mIOU 從 11.1 增?為15.9。同時可視化結果表明 OccDepth 可以更好地重建出近處和遠處的?何結構。下?將帶?家介紹 OccDepth 具體的?法。

二、任務困難和解決動機

僅從視覺圖像估計場景中完整的?何結構和語義信息，這是?項具有挑戰性的任務，其中準確的深度信息對于恢復 3D?何結構是?關重要的。之前的很多?作，都是利?點云、 RGBD 、TSDF[1]等其他 2.5D 、3D 形式[2-8]作為輸?，來預測體素占據，這也需要較昂貴的設備來采集 3D 信息?；诩儓D像的?案更便宜，同時也可以提供更為豐富且稠密場景表示， MonoScene[9]提出了純視覺的 Baseline。但相較于上述的 3D ?法，在?何結構恢復??，表現有?定的差距。

本項工作借鑒了“人類使用雙眼能比單眼更好地感知3D世界中的深度信息”的思想，提出了名為 OccDepth 的語義場景補全?法。它分別顯式和隱式地利?圖像中含有的深度信息，以幫助恢復良好的 3D ?何結構。在 SemanticKITTI 和 NYUv2 等數據集上的?量實驗表明，與當前基于純視覺的 SSC ?法相?，我們提出的 OccDepth ?法均達到了 SOTA，在 SemanticKITTI 上整體實現了+4.82% mIoU 的提升，其中+2.49% mIoU 的提升來?隱式的深度優化，+2.33% mIoU 提升來?于顯式的深度蒸餾。在NYUv2 數據集上，與當前基于純視覺的 SSC ?法相?， OccDepth 實現了+4.40% mIoU 的提升。甚?相?于所有 2.5D 、3D 的?法， OccDepth 仍然實現了 +1.70% mIoU 的提升。

三、具體方法

上圖是 OccDepth 的主要流程。3D 場景語義補全可以根據輸?的雙?圖像所推理出來，其中連接了?個雙?特征軟融合(Stereo-SFA )模塊?于隱式地將特征提升到 3D 空間，?個占?深度感知(OAD) 模塊?于顯式地增強深度預測，后續接上 3D U-Net ?于提取?何和語義信息。其中雙?深度?絡僅在訓練的時候使?，?蒸餾的?法幫助 OAD 模塊提升深度預測能?。

雙目特征軟融合模塊

占用感知的深度蒸餾模塊

四、實驗

指標對比

在不同數據集上和 2.5D/3D 數據作為輸入的方法的對比表。OccDepth 的結果在一些室內場景上和 2.5D/3D 的方法接近甚至有所超越，在室外場景上和某些 2.5D/3D 方法相媲美。"*" 表示結果引用自 MonoScene?！?”表示缺失結果。

我們還將 OccDepth 與原始 2.5D/3D 作為輸入的基礎方法進行了比較，結果列在上表中。在 SemanticKITTI 數據集的隱藏測試集中，雖然 OccDepth 只使用水平視野比激光雷達（ 82°vs. 180°）小得多的雙目圖像，但 OccDepth 取得了和使用 2.5D/3D 基礎方法可比的結果 。

這個結果表明 OccDepth 具有相對較好的補全能力。在 NYUv2 的測試集中，因為沒有雙目圖像，我們的 OccDepth 將 RGB 圖像和深度圖生成虛擬雙目圖像作為輸入。結果顯示， OccDepth 取得了比所有 2.5D/3D 方法更好的 mIoU 和 IoU（[+0.8 IoU，+1.7 mIoU]）。

在提出的仿真數據集 SemanticTartanAir 的測試集中，我們在這里使用深度真值作為這些 2.5D/3D 方法的輸入，所以 2.5D/3D 方法的準確率非常高。另一方面，與 2.5D/3D 輸入方法相比， OccDepth 具有較為接近的 mIoU 結果，并且 OccDepth 沒有使用深度真值。與 純視覺推理的方法相比，OccDepth 具有更高的 IoU 和 mIoU ([+17.6 IoU, +10.9 mIoU])。

定性對比

在 SemanticTartanAir 和SemanticKITTI 上的可視化結果。最左側是輸入的圖像，最右側是語義體素真值，中間為各種方法的可視化結果。這里顯示了 OccDepth 在兩個數據集中有較好結果場景。

在室內場景 SemanticTartanAir 數據集上，雖然所有方法都正確獲得了正確的場景表示，但 OccDepth 對物體邊緣具有更好的還原效果，例如沙發（圖(a)的第 1 行）和天花板燈（圖(a)的第 2 行） 和地毯（圖(a)的第 3 行）。而在室外場景的 SemanticKITTI 數據集上，與基礎方法相比，OccDepth 的空間和語義預測結果明顯更好。例如，通過 OccDepth 可以實現路標(圖(b)的第 1 行)、樹干(圖(b)的第 2 行)、車輛(圖(b)的第 2 行)和道路(圖(b)的第 3 行)的準確識別。

消融實驗

對提出的模塊進行消融實驗。(a) Stereo-SFA 模塊的消融實驗。(b) OAD 模塊中深度蒸餾數據源的消融實驗。(c)OAD 模塊中深度蒸餾數據源的消融實驗?！皐/o Depth”表示不使用深度蒸餾，Lidar depth 是指激光雷達點云生成的深度圖，Stereo Depth 是指 LEAStereo 模型生成的深度圖。以上實驗都在 SemanticKITTI 的 08 號軌跡上進行測試。(a)，(b)，(c)的消融實驗結果證明了提出的每個模塊的有效性。

五、總結

在這項工作中，我們提出了一種有效利用深度信息的 3D 語義場景補全方法，我們將其命名為 OccDepth 。我們在 SemanticKITTI（室外場景）和 NYUv2（室內場景）數據集等公共數據集上訓練了 OccDepth， 實驗結果表明，本工作提出的 OccDepth 在室內場景和室外場景上都可與某些以 2.5D/3D 數據作為輸入的方法相媲美。特別地是，OccDepth 在所有場景體素類別分類上都優于當前基于純視覺推理的方法。

審核編輯：劉清