如何搞定自動(dòng)駕駛3D目標(biāo)檢測(cè)！

0. 寫(xiě)在前面

3D目標(biāo)檢測(cè)是自動(dòng)駕駛非常重要的一個(gè)基礎(chǔ)任務(wù)，其重要性不言而喻。今天筆者為大家推薦一篇3D目標(biāo)檢測(cè)方向的最新綜述。

作者：Xinzhu Ma, Wanli Ouyang, Andrea Simonelli, Elisa Ricci

2. 摘要

圖像中的3D目標(biāo)檢測(cè)是自動(dòng)駕駛中的基礎(chǔ)且具有挑戰(zhàn)性的問(wèn)題之一，近年來(lái)受到了工業(yè)界和學(xué)術(shù)界越來(lái)越多的關(guān)注。得益于深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于圖像的三維檢測(cè)取得了令人矚目的進(jìn)展。特別地，從2015年到2021年，已經(jīng)有超過(guò)200項(xiàng)工作研究了該問(wèn)題，涵蓋了廣泛的理論、算法和應(yīng)用。然而，到目前為止，還沒(méi)有最近的調(diào)查來(lái)收集和整理這些知識(shí)。在本文中，我們填補(bǔ)了文獻(xiàn)中的這一空白，并首次對(duì)這一新穎且不斷增長(zhǎng)的研究領(lǐng)域進(jìn)行了全面調(diào)查，總結(jié)了基于圖像的3D檢測(cè)最常用的pipeline，并對(duì)其每個(gè)組成部分進(jìn)行了深入分析。此外，我們還提出了兩個(gè)新的分類法，將最先進(jìn)的方法組織成不同的類別，目的是對(duì)現(xiàn)有方法進(jìn)行更系統(tǒng)的審查，并與未來(lái)的工作進(jìn)行公平的比較。在回顧迄今為止所取得的成果的同時(shí)，我們還分析了該領(lǐng)域目前面臨的挑戰(zhàn)，并討論了基于圖像的3D檢測(cè)研究的未來(lái)方向。

3. 數(shù)據(jù)集總結(jié)

可用于自動(dòng)駕駛場(chǎng)景下基于圖像的3D目標(biāo)檢測(cè)的數(shù)據(jù)集總結(jié)。其中一些數(shù)據(jù)集包括多個(gè)任務(wù)，這里只報(bào)告了3D檢測(cè)基準(zhǔn)（例如KITTI 3D發(fā)布了超過(guò)40K的圖像,其中約15K用于3D檢測(cè)）。

4. 分類法

為了便于對(duì)現(xiàn)有方法進(jìn)行系統(tǒng)分析，并在未來(lái)的工作中進(jìn)行公平的性能比較，作者提出了兩種新的分類法，即根據(jù)所采用的框架和使用的輸入數(shù)據(jù)對(duì)現(xiàn)有方法進(jìn)行分類。

基于圖像的3D目標(biāo)檢測(cè)pipeline的概述。分別展示了使用藍(lán)色、綠色和紅色箭頭的數(shù)據(jù)提升、特征提升和結(jié)果提升方法的數(shù)據(jù)流。

對(duì)最相關(guān)的基于圖像的3D檢測(cè)方法和基準(zhǔn)進(jìn)行了時(shí)間上的列舉。

在頂會(huì)頂刊上發(fā)布的基于圖像的3D探測(cè)器對(duì)輔助數(shù)據(jù)和結(jié)果的要求。在Car類別的KITTI測(cè)試集上報(bào)告了用于3D / BEV檢測(cè)的AP | R40。根據(jù)所使用的輔助數(shù)據(jù)對(duì)方法進(jìn)行分組，每組中的方法在適中的設(shè)置下通過(guò)3D AP | R40進(jìn)行排序。還展示了這些方法是否使用了預(yù)訓(xùn)練權(quán)重(排除ImageNet預(yù)訓(xùn)練)。

5. 未來(lái)發(fā)展

作者認(rèn)為，未來(lái)3D目標(biāo)檢測(cè)主要有兩個(gè)挑戰(zhàn)：

（1）從2D圖像中感知3D世界是一個(gè)不適定問(wèn)題；

（2）標(biāo)注3D數(shù)據(jù)是極其昂貴的，并且現(xiàn)有數(shù)據(jù)集的規(guī)模仍然有限。

對(duì)于第一個(gè)問(wèn)題，可以探索更好的深度估計(jì)方法，也可以利用多模態(tài)和時(shí)間序列。對(duì)于第二個(gè)問(wèn)題，應(yīng)該考慮完監(jiān)督學(xué)習(xí)之外的方法。此外，也可以考慮從大規(guī)模預(yù)訓(xùn)練模型中進(jìn)行遷移學(xué)習(xí)。最后，考慮到3D目標(biāo)檢測(cè)的應(yīng)用場(chǎng)景，還應(yīng)該考慮模型的泛化能力。

6. 總結(jié)

這篇文章對(duì)基于圖像的自動(dòng)駕駛3D檢測(cè)的最新進(jìn)展進(jìn)行了全面的綜述。作者首先對(duì)現(xiàn)有的方法進(jìn)行了分類。然后對(duì)這些算法進(jìn)行了詳細(xì)的比較，討論了3D檢測(cè)的每個(gè)必要組成部分，如特征提取、損失建模、后處理等。還討論了輔助數(shù)據(jù)在該領(lǐng)域的應(yīng)用，以及開(kāi)放性挑戰(zhàn)和潛在方向。

審核編輯：黃飛

?