頂刊TPAMI最全綜述！深入自動(dòng)駕駛BEV感知的魔力！

1. 寫在前面

今天筆者為大家推薦一篇BEV感知的最新綜述，分析了BEV感知的核心難點(diǎn)，回顧了關(guān)于BEV感知的最新工作，并對(duì)不同的解決方案進(jìn)行了深入分析，還描述了來自工業(yè)界的幾種BEV方法的系統(tǒng)設(shè)計(jì)。

下面一起來閱讀一下這項(xiàng)工作~

2. 摘要

在鳥瞰圖( bird ' s-eye-view，BEV )中學(xué)習(xí)強(qiáng)大的表征用于感知任務(wù)是一種趨勢(shì)，并引起了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。大多數(shù)自動(dòng)駕駛算法的傳統(tǒng)方法在前方或視角視圖中執(zhí)行檢測(cè)、分割、跟蹤等。隨著傳感器配置越來越復(fù)雜，集成來自不同傳感器的多源信息并在統(tǒng)一視圖中表示特征變得至關(guān)重要。BEV感知繼承了幾個(gè)優(yōu)點(diǎn)，因?yàn)樵贐EV中表示周圍的場(chǎng)景是直觀的和融合友好的；而在BEV中表示對(duì)象是后續(xù)模塊在規(guī)劃和/或控制中最需要的。BEV感知的核心問題在于：( a )如何通過視角到BEV的視角轉(zhuǎn)換來重建丟失的三維信息；( b )如何獲取BEV網(wǎng)格中的真實(shí)標(biāo)注；( c )如何制定管線以納入來自不同來源和視圖的特征；( d )隨著傳感器配置在不同場(chǎng)景中的變化，如何適應(yīng)和推廣算法。在這項(xiàng)調(diào)查中，我們回顧了關(guān)于BEV感知的最新工作，并對(duì)不同的解決方案進(jìn)行了深入分析。此外，還描述了來自工業(yè)界的幾種BEV方法的系統(tǒng)設(shè)計(jì)。此外，我們還介紹了一套完整的實(shí)用指南，以提高BEV感知任務(wù)的性能，包括相機(jī)、激光雷達(dá)和融合輸入。最后，指出了該領(lǐng)域未來的研究方向。我們希望本報(bào)告能給社區(qū)帶來一些啟示，并鼓勵(lì)更多關(guān)于BEV感知的研究工作。

3. 文章結(jié)構(gòu)

BEV感知的任務(wù)總結(jié)，包括輸入數(shù)據(jù)總結(jié)、底層任務(wù)總結(jié)，還有核心任務(wù)總結(jié)。

BEV感知數(shù)據(jù)集總結(jié)。

BEV感知的主要工作。在輸入模態(tài)下，" L "為LiDAR，" SC "為單相機(jī)，" MC "為多相機(jī)，" T "為時(shí)間信息。在Task下，' ODet '用于3D目標(biāo)檢測(cè)，' LDet '用于3D車道線檢測(cè)，' MapSeg '用于地圖分割，' Plan '用于運(yùn)動(dòng)規(guī)劃，' MOT '用于多目標(biāo)跟蹤。

BEV感知算法在主流基準(zhǔn)上的性能比較。

視覺BEV感知的通用框架。包括2D特征提取器、視圖轉(zhuǎn)換和3D解碼器3個(gè)部分。在視圖轉(zhuǎn)換中，有兩種方式對(duì)3D信息進(jìn)行編碼- -一種是從2D特征中預(yù)測(cè)深度信息；另一種是從3D空間采樣2D特征。

LiDAR BEV感知的通用框架。將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為BEV表示主要有兩個(gè)分支。上層分支提取三維空間中的點(diǎn)云特征，提供更準(zhǔn)確的檢測(cè)結(jié)果。下層分支在2D空間中提取BEV特征，提供更高效的網(wǎng)絡(luò)。

視覺BEV感知檢測(cè)任務(wù)。

LiDAR BEV感知分割任務(wù)。

4. 總結(jié)

這篇綜述對(duì)近年來的BEV感知進(jìn)行了全面的回顧，作者認(rèn)為未來的發(fā)展趨勢(shì)是：( a )如何設(shè)計(jì)一個(gè)更精確的深度估計(jì)器；( b )如何在一種新的融合機(jī)制中更好地對(duì)齊來自多個(gè)傳感器的特征表示；( c )如何設(shè)計(jì)一個(gè)無參數(shù)的網(wǎng)絡(luò)，使得算法的性能不受姿態(tài)變化或傳感器位置的影響，從而在各種場(chǎng)景中獲得更好的泛化能力；以及( d )如何從基礎(chǔ)模型中整合成功的知識(shí)，以促進(jìn)BEV的感知。