一文讀懂自動駕駛的激光雷達(dá)與視覺融合感知

激光雷達(dá)傳感器vs圖像傳感器

激光雷達(dá)是一種用于精準(zhǔn)獲取物體三維位置的傳感器，本質(zhì)上是激光探測和測距。憑借在目標(biāo)輪廓測量、通用障礙物檢出等方面所具有的極佳性能，正在成為L4自動駕駛的核心配置。

然而，激光雷達(dá)的測距范圍（一般在200米左右，不同廠商的量產(chǎn)型號指標(biāo)各異）導(dǎo)致感知范圍遠(yuǎn)小于圖像傳感器。

又由于其角分辨率（一般為0.1°或0.2°）比較小，導(dǎo)致點云的分辨率遠(yuǎn)小于圖像傳感器，在遠(yuǎn)距離感知時，投射到目標(biāo)物上的點可能及其稀疏，甚至無法成像。對于點云目標(biāo)檢測來說，算法真正能用的點云有效距離大約只有100米左右。

圖像傳感器能以高幀率、高分辨率獲取周圍復(fù)雜信息，且價格便宜，可以部署多個不同F(xiàn)OV和分辨率的傳感器，用于不同距離和范圍的視覺感知，分辨率可以達(dá)到2K-4K。

但圖像傳感器是一種被動式傳感器，深度感知不足，測距精度差，特別是在惡劣環(huán)境下完成感知任務(wù)的難度會大幅提升。

在面對強(qiáng)光、夜晚低照度、雨雪霧等天氣和光線環(huán)境，智能駕駛對傳感器的算法要求很高。激光雷達(dá)雖然對環(huán)境光線影響不敏感，但對于積水路面、玻璃墻面等，測距將收到很大影響。

可以看出，激光雷達(dá)和圖像傳感器各有優(yōu)劣。大多數(shù)高級別智能駕駛乘用車選擇將不同傳感器進(jìn)行融合使用，優(yōu)勢互補(bǔ)、冗余融合。

這樣的融合感知方案也成為了高級別自動駕駛的關(guān)鍵技術(shù)之一。

基于深度學(xué)習(xí)的點云和圖像融合感知

點云和圖像的融合屬于多傳感器融合（Multi-Sensor Fusion,MSF）的技術(shù)領(lǐng)域，有傳統(tǒng)的隨機(jī)方法和深度學(xué)習(xí)方法，按照融合系統(tǒng)中信息處理的抽象程度，主要分為三個層次：

數(shù)據(jù)層融合（Early Fusion）

首先將傳感器的觀測數(shù)據(jù)融合，然后從融合的數(shù)據(jù)中提取特征進(jìn)行識別。在3D目標(biāo)檢測中，PointPainting（CVPR20）采用這種方式，PointPainting方法先是對圖像做語義分割，并將分割后的特征通過點到圖像像素的矩陣映射到點云上，然后將這個“繪制點”的點云送到3D點云的檢測器對目標(biāo)Box進(jìn)行回歸。

特征層融合（Deep Fusion）

先從每種傳感器提供的觀測數(shù)據(jù)中提取各自然數(shù)據(jù)特征，對這些特征融合后進(jìn)行識別。在基于深度學(xué)習(xí)的融合方法中，這種方式對點云和圖像分支都各自采用特征提取器，對圖像分支和點云分支的網(wǎng)絡(luò)在前反饋的層次中逐語義級別融合，做到多尺度信息的語義融合。

基于深度學(xué)習(xí)的特征層融合方法，對于多個傳感器之間的時空同步要求很高，一旦同步不好，直接影響特征融合的效果。同時，由于尺度和視角的差異，LiDAR和圖像的特征融合很難達(dá)到1+1>2的效果。

決策層融合（Late Fusion）

相對前兩種來說，是復(fù)雜度最低的一種融合方式。不在數(shù)據(jù)層或特征層融合，是一種目標(biāo)級別的融合，不同傳感器網(wǎng)絡(luò)結(jié)構(gòu)互不影響，可以獨立訓(xùn)練和組合。

由于決策層融合的兩類傳感器和檢測器相互獨立，一旦某傳感器發(fā)生故障，仍可進(jìn)行傳感器冗余處理，工程上魯棒性更好。

隨著激光雷達(dá)與視覺融合感知技術(shù)的不斷迭代，以及不斷積累的知識場景與案例，會出現(xiàn)越來越多的全棧融合計算解決方案為自動駕駛帶來更加安全與可靠的未來。

審核編輯：湯梓紅