前言

大家好, 我叫Stefano Gasperini, 在此宣傳我們的ICCV 2023的工作, 更多詳細(xì)信息可查看我們的論文: https://arxiv.org/abs/2308.09711, 和我們的項(xiàng)目網(wǎng)站: https://md4all.github.io.

代碼：https://github.com/md4all/md4all

在CVer微信公眾號(hào)后臺(tái)回復(fù)：md4all，可下載本論文pdf和代碼

首先請(qǐng)大家觀看這樣一個(gè)例子:

你能在彩色圖片中看到樹嗎?

我們的單目深度估計(jì)網(wǎng)絡(luò)在所有條件下都能輸出可靠的深度估計(jì)值，即使在黑暗中也是如此!

背景

雖然最先進(jìn)的單目深度估計(jì)方法在理想環(huán)境下取得了令人印象深刻的結(jié)果，但在具有挑戰(zhàn)性的光照和天氣條件下，如夜間或下雨天，這些方法卻非常不可靠。

在這些情況下, 傳感器自帶的噪聲、無紋理的黑暗區(qū)域和反光等不利因素都違反了基于監(jiān)督和自監(jiān)督學(xué)習(xí)方法的訓(xùn)練假設(shè)。自監(jiān)督方法無法建立學(xué)習(xí)深度所需的像素的對(duì)應(yīng)關(guān)系，而監(jiān)督方法則可能從傳感器真值中（如上圖中的 LiDAR 與 nuScenes 的數(shù)據(jù)樣本）中學(xué)習(xí)到數(shù)據(jù)瑕疵。

方法

在本文中，我們提出了 md4all 解決了這些安全關(guān)鍵問題。md4all 是一個(gè)簡(jiǎn)單有效的解決方案，在不利和理想條件下都能可靠運(yùn)行，而且適用于不同類型的監(jiān)督學(xué)習(xí)。

我們利用現(xiàn)有方法在完美設(shè)置下的工作能力來實(shí)現(xiàn)這一目標(biāo)。因此，我們提供的有效訓(xùn)練信號(hào)與輸入信號(hào)無關(guān)。首先，通過圖像轉(zhuǎn)換，我們生成一組與正常訓(xùn)練樣本相對(duì)應(yīng)的復(fù)雜樣本。然后，我們通過輸入生成的樣本并計(jì)算相應(yīng)原始圖像上的標(biāo)準(zhǔn)損失，引導(dǎo)網(wǎng)絡(luò)模型進(jìn)行自監(jiān)督學(xué)習(xí)或完全監(jiān)督學(xué)習(xí)。

如上圖所示，我們進(jìn)一步從預(yù)先訓(xùn)練好的基線模型中提煉知識(shí)，該模型只在理想環(huán)境下進(jìn)行推理，同時(shí)向深度模型提供理想和不利的混合輸入。

我們的 GitHub 代碼庫(kù)中包含所提方法的實(shí)現(xiàn)代碼, 歡迎訪問:

https://github.com/md4all/md4all

結(jié)果

通過 md4all，我們大大超越了之前的解決方案，在各種條件下都能提供穩(wěn)健的估計(jì)。值得注意的是，所提出的 md4all 只使用了一個(gè)單目模型，沒有專門的分支。

上圖顯示了在 nuScenes 數(shù)據(jù)集的挑戰(zhàn)性環(huán)境下的預(yù)測(cè)結(jié)果。由于場(chǎng)景的黑暗程度和噪聲帶來的影響，自監(jiān)督方法 Monodepth2 無法提取有價(jià)值的特征（第一行）。有監(jiān)督的 AdaBins 會(huì)學(xué)習(xí)到來自傳感器數(shù)據(jù)的瑕疵，并造成道路上的空洞預(yù)測(cè)現(xiàn)象（第二行）。在相同的架構(gòu)上應(yīng)用，我們的 md4all 提高了在標(biāo)準(zhǔn)和不利條件下的魯棒性。

在本文中，我們展示了 md4all 在標(biāo)準(zhǔn)和不利條件下兩種類型的監(jiān)督下的有效性。通過在 nuScenes 和 Oxford RobotCar 數(shù)據(jù)集上的大量實(shí)驗(yàn)，md4all 的表現(xiàn)明顯優(yōu)于之前的作品（如上圖數(shù)據(jù)所示）。

圖像轉(zhuǎn)換

我們還顯示了為訓(xùn)練 md4all 而生成的圖像轉(zhuǎn)換示例 (如上圖所示)。我們通過向模型提供原始樣本和轉(zhuǎn)換樣本的混合數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。這樣一個(gè)模型就能在不同條件下恢復(fù)信息，而無需在推理時(shí)進(jìn)行修改。

在此，我們開源共享所有不利條件下生成的圖像，這些圖像與 nuScenes 和牛津 Robotcar 訓(xùn)練集中的晴天和陰天樣本相對(duì)應(yīng)。歡迎訪問:

https://forms.gle/31w2TvtTiVNyPb916

這些圖像可用于未來深度估計(jì)或其他任務(wù)的穩(wěn)健方法。