TUM&谷歌提出md4all：挑戰(zhàn)性條件下的單目深度估計

前言

大家好, 我叫Stefano Gasperini, 在此宣傳我們的ICCV 2023的工作, 更多詳細信息可查看我們的論文: https://arxiv.org/abs/2308.09711, 和我們的項目網(wǎng)站: https://md4all.github.io.

代碼：https://github.com/md4all/md4all

在CVer微信公眾號后臺回復：md4all，可下載本論文pdf和代碼

首先請大家觀看這樣一個例子:

你能在彩色圖片中看到樹嗎?

我們的單目深度估計網(wǎng)絡在所有條件下都能輸出可靠的深度估計值，即使在黑暗中也是如此!

背景

雖然最先進的單目深度估計方法在理想環(huán)境下取得了令人印象深刻的結果，但在具有挑戰(zhàn)性的光照和天氣條件下，如夜間或下雨天，這些方法卻非常不可靠。

在這些情況下, 傳感器自帶的噪聲、無紋理的黑暗區(qū)域和反光等不利因素都違反了基于監(jiān)督和自監(jiān)督學習方法的訓練假設。自監(jiān)督方法無法建立學習深度所需的像素的對應關系，而監(jiān)督方法則可能從傳感器真值中（如上圖中的 LiDAR 與 nuScenes 的數(shù)據(jù)樣本）中學習到數(shù)據(jù)瑕疵。

方法

在本文中，我們提出了 md4all 解決了這些安全關鍵問題。md4all 是一個簡單有效的解決方案，在不利和理想條件下都能可靠運行，而且適用于不同類型的監(jiān)督學習。

我們利用現(xiàn)有方法在完美設置下的工作能力來實現(xiàn)這一目標。因此，我們提供的有效訓練信號與輸入信號無關。首先，通過圖像轉換，我們生成一組與正常訓練樣本相對應的復雜樣本。然后，我們通過輸入生成的樣本并計算相應原始圖像上的標準損失，引導網(wǎng)絡模型進行自監(jiān)督學習或完全監(jiān)督學習。

如上圖所示，我們進一步從預先訓練好的基線模型中提煉知識，該模型只在理想環(huán)境下進行推理，同時向深度模型提供理想和不利的混合輸入。

我們的 GitHub 代碼庫中包含所提方法的實現(xiàn)代碼, 歡迎訪問:

https://github.com/md4all/md4all

結果

通過 md4all，我們大大超越了之前的解決方案，在各種條件下都能提供穩(wěn)健的估計。值得注意的是，所提出的 md4all 只使用了一個單目模型，沒有專門的分支。

上圖顯示了在 nuScenes 數(shù)據(jù)集的挑戰(zhàn)性環(huán)境下的預測結果。由于場景的黑暗程度和噪聲帶來的影響，自監(jiān)督方法 Monodepth2 無法提取有價值的特征（第一行）。有監(jiān)督的 AdaBins 會學習到來自傳感器數(shù)據(jù)的瑕疵，并造成道路上的空洞預測現(xiàn)象（第二行）。在相同的架構上應用，我們的 md4all 提高了在標準和不利條件下的魯棒性。

在本文中，我們展示了 md4all 在標準和不利條件下兩種類型的監(jiān)督下的有效性。通過在 nuScenes 和 Oxford RobotCar 數(shù)據(jù)集上的大量實驗，md4all 的表現(xiàn)明顯優(yōu)于之前的作品（如上圖數(shù)據(jù)所示）。

圖像轉換

我們還顯示了為訓練 md4all 而生成的圖像轉換示例 (如上圖所示)。我們通過向模型提供原始樣本和轉換樣本的混合數(shù)據(jù)進行數(shù)據(jù)增強。這樣一個模型就能在不同條件下恢復信息，而無需在推理時進行修改。

在此，我們開源共享所有不利條件下生成的圖像，這些圖像與 nuScenes 和牛津 Robotcar 訓練集中的晴天和陰天樣本相對應。歡迎訪問:

https://forms.gle/31w2TvtTiVNyPb916

這些圖像可用于未來深度估計或其他任務的穩(wěn)健方法。