康謀技術(shù) | 多傳感器數(shù)據(jù)融合技術(shù)與策略解析

在汽車行業(yè)邁向智能化、自動(dòng)化的今天，自動(dòng)駕駛技術(shù)也在快速發(fā)展。為了進(jìn)一步讓自動(dòng)駕駛更加“智能化”，像老師傅一樣進(jìn)行開車，離不開對(duì)車輛周圍環(huán)境的全面認(rèn)識(shí)。

面對(duì)復(fù)雜的感知任務(wù)，單一傳感器的局限性逐漸顯現(xiàn)，比如相機(jī)對(duì)目標(biāo)的顏色和紋理比較敏感，但易受光照、天氣條件的影響。LiDAR以獲得目標(biāo)精確的3D信息，但無(wú)法獲得目標(biāo)紋理，易產(chǎn)生噪點(diǎn)等情況。多傳感器數(shù)據(jù)融合技術(shù)應(yīng)時(shí)而生，通過(guò)整合不同傳感器的優(yōu)勢(shì)，為車輛提供了一個(gè)全面、立體的感知維度。

一、多傳感器融合的先決條件

當(dāng)多種傳感器裝在同一輛車上時(shí)，使用同一個(gè)系統(tǒng)來(lái)采集并處理數(shù)據(jù)。為了確保這些傳感器采集的數(shù)據(jù)能有效精準(zhǔn)識(shí)別同一個(gè)物體，需要對(duì)這些傳感器進(jìn)行統(tǒng)一時(shí)鐘和坐標(biāo)系，即最終實(shí)現(xiàn)：同一個(gè)目標(biāo)在同一個(gè)時(shí)刻出現(xiàn)在不同類別的傳感器的同一個(gè)世界坐標(biāo)處。

1、統(tǒng)一時(shí)鐘

確保所有傳感器數(shù)據(jù)在時(shí)間上的一致性，為后續(xù)處理提供同步基準(zhǔn)。關(guān)于時(shí)間同步的詳細(xì)內(nèi)容可見往期內(nèi)容“《自動(dòng)駕駛：揭秘高精度時(shí)間同步技術(shù)（一）和（二）》”。

2、統(tǒng)一坐標(biāo)系

統(tǒng)一坐標(biāo)系包含兩步，一是運(yùn)動(dòng)補(bǔ)償，二是傳感器標(biāo)定。

① 運(yùn)動(dòng)補(bǔ)償：確保數(shù)據(jù)時(shí)效性

運(yùn)動(dòng)補(bǔ)償是針對(duì)周期性采集數(shù)據(jù)的傳感器，如激光雷達(dá)（LiDAR），其數(shù)據(jù)采集周期可能長(zhǎng)達(dá)100毫秒。由于車輛在運(yùn)動(dòng)，采集周期的開始和結(jié)束時(shí)刻，車輛的位置已經(jīng)發(fā)生了變化。這就需要對(duì)采集的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償，以確保數(shù)據(jù)反映的是車輛在某一固定時(shí)刻的環(huán)境狀態(tài)。

② 傳感器標(biāo)定：確立坐標(biāo)轉(zhuǎn)換

傳感器標(biāo)定是確保每個(gè)傳感器的數(shù)據(jù)都能準(zhǔn)確映射到世界坐標(biāo)系中的過(guò)程。它包括內(nèi)參標(biāo)定和外參標(biāo)定兩個(gè)部分。

內(nèi)參標(biāo)定：針對(duì)單個(gè)傳感器，解決其內(nèi)部參數(shù)，如攝像頭的焦距和畸變，確保傳感器數(shù)據(jù)在自身坐標(biāo)系中的準(zhǔn)確性。詳細(xì)內(nèi)容可見往期內(nèi)容“《深入探討：自動(dòng)駕駛中的相機(jī)標(biāo)定技術(shù)》”。

外參標(biāo)定：在已知的世界坐標(biāo)系下，解決不同傳感器之間的相對(duì)位置和方向，確保它們數(shù)據(jù)的一致性。

外參標(biāo)定的準(zhǔn)確性依賴于內(nèi)參標(biāo)定的精確性，只有每個(gè)傳感器的內(nèi)參被精確校準(zhǔn)，我們才能準(zhǔn)確地知道它們?cè)谑澜缱鴺?biāo)系中的相對(duì)位置。

二、多傳感器融合方法

在多傳感器采集系統(tǒng)中做好統(tǒng)一時(shí)鐘和統(tǒng)一坐標(biāo)系后，就可以將這些數(shù)據(jù)進(jìn)行融合了。關(guān)于具體做法，這里舉一個(gè)簡(jiǎn)單的例子：

1、相機(jī)與LiDAR融合

在實(shí)現(xiàn)激光雷達(dá)與相機(jī)標(biāo)定、運(yùn)動(dòng)補(bǔ)償和時(shí)間同步后，通過(guò)多傳感器深度融合，執(zhí)行幾何變換將三維點(diǎn)云數(shù)據(jù)投影至二維圖像平面，實(shí)現(xiàn)物理空間到視覺空間的映射。最后，整合深度信息與圖像像素?cái)?shù)據(jù)，形成深度標(biāo)簽圖像，從而為自動(dòng)駕駛車輛的環(huán)境感知系統(tǒng)提供更為豐富和精確的數(shù)據(jù)支持。

2、融合方式

根據(jù)數(shù)據(jù)在整個(gè)流程中融合的不同位置，常見的融合方式可分為前融合、深度融合和后融合。

前融合（Early-Fusion）：是在最原始的層面上將不同傳感器的數(shù)據(jù)進(jìn)行整合。這種融合方式涉及直接在空間上對(duì)齊傳感器數(shù)據(jù)，形成一個(gè)統(tǒng)一的多模態(tài)數(shù)據(jù)集。可以進(jìn)行數(shù)據(jù)統(tǒng)一標(biāo)識(shí)，降低信息損失。

深度融合（Deep-Fusion）：是在特征提取之后、決策之前進(jìn)行的融合。這種融合方式涉及將不同傳感器的數(shù)據(jù)在特征空間中進(jìn)行組合，通常通過(guò)級(jí)聯(lián)或元素相乘的方式實(shí)現(xiàn)。通過(guò)特征互補(bǔ)可以提高魯棒性和提升泛化能力。

后融合（Late-Fusion）：是在各個(gè)傳感器獨(dú)立完成目標(biāo)檢測(cè)或分類等任務(wù)后，將它們的預(yù)測(cè)結(jié)果進(jìn)行綜合分析，以做出最終的決策。通過(guò)綜合多個(gè)傳感器的預(yù)測(cè)結(jié)果，提高決策準(zhǔn)確性?？筛鶕?jù)需要靈活添加或替換傳感器模型。

3、應(yīng)用場(chǎng)景

在多傳感器融合中，前融合、深度融合和后融合各有優(yōu)勢(shì)和適用場(chǎng)景。

前融合：在數(shù)據(jù)層面上實(shí)現(xiàn)早期整合，適合對(duì)原始數(shù)據(jù)依賴性較強(qiáng)的應(yīng)用。

深度融合：在特征層面上進(jìn)行信息融合，適合需要特征互補(bǔ)的復(fù)雜感知任務(wù)。

后融合：在目標(biāo)層面上進(jìn)行決策整合，適合需要最終決策優(yōu)化的場(chǎng)景。

在實(shí)際應(yīng)用中，根據(jù)系統(tǒng)需求和傳感器特性，選擇合適的融合策略或多種策略的組合，以達(dá)到最佳的感知效果。