自動駕駛多傳感器數(shù)據(jù)融合方法

文章來源：雅名特自動駕駛

近年來，深度學(xué)習(xí)技術(shù)在涉及高維非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域展現(xiàn)出了最先進(jìn)的性能，如計算機(jī)視覺、語音、自然語言處理等方面，并且開始涉及更大、更復(fù)雜的多模態(tài)信息問題。

不同傳感器在進(jìn)行同一實驗任務(wù)時，針對產(chǎn)生的同一現(xiàn)象進(jìn)行觀測，采集的數(shù)據(jù)構(gòu)成被測對象的多模態(tài)信息。多模態(tài)信息可以實現(xiàn)不同傳感器之間數(shù)據(jù)互補(bǔ)，并在相同學(xué)習(xí)任務(wù)獲取更豐富的特征，從而實現(xiàn)比單一模態(tài)更好的性能。

在自動駕駛領(lǐng)域，多模態(tài)數(shù)據(jù)通常包括安裝在車輛上的多個傳感器，包括雷達(dá)、立體可見光攝像頭、紅外攝像頭、GPS等，為執(zhí)行自動巡航，從傳感器收集的異構(gòu)數(shù)據(jù)用于學(xué)習(xí)許多相互關(guān)聯(lián)但復(fù)雜的任務(wù)，如定位和測繪、場景識別、路徑規(guī)劃和駕駛員狀態(tài)識別等。

大多數(shù)先進(jìn)的融合方法集中于如何融合來自多模態(tài)空間的信息或特征。根據(jù)多模態(tài)信息的融合策略主要可以分為 早期融合、中期融合和晚期融合 。

多傳感器數(shù)據(jù)融合處理方法

早期融合在輸入端進(jìn)行簡單鏈接多模態(tài)數(shù)據(jù)組合，然后輸入到特定的模型進(jìn)行處理。LaserNet采用了這種融合策略，將三維的點(diǎn)云映射到二維圖像上，采用全卷積網(wǎng)絡(luò)進(jìn)行概率預(yù)測，實現(xiàn)端到端的三維物體檢測。

早期融合的方式能夠 保留最多原始數(shù)據(jù)的特征 ，但對于來自不同傳感器的模態(tài)信息來說，這種融合方式計算量大， 對設(shè)備運(yùn)行要求較高 。

中期融合又稱作是特征融合 ，需要對來自不同模態(tài)的數(shù)據(jù)進(jìn)行特征提取，并對特征圖進(jìn)行融合操作后輸入到目標(biāo)任務(wù)中進(jìn)行處理。通過ROI池化的方式將二維圖像和點(diǎn)云鳥瞰圖、前視圖特征整合到同一特征尺度進(jìn)行融合，并構(gòu)建兩個子網(wǎng)絡(luò)進(jìn)行多視圖區(qū)域特征融合，并在不同路徑中間層中交互特征，實現(xiàn)了自動駕駛場景下高精度的三維物體檢測。

中期融合的方式能夠有效減少模型的數(shù)據(jù)輸入，能夠有效整合來自不同模態(tài)的深層特征。

晚期融合（決策融合） 針對每種模態(tài)的目標(biāo)任務(wù)結(jié)果進(jìn)行決策投票，比其他兩種融合策略 更為直觀 ，能夠 有效地促進(jìn)多模態(tài)之間的協(xié)作 ，避免因為傳感器失效而對最終任務(wù)結(jié)果造成嚴(yán)重影響。

晚期融合由于需要對不同模態(tài)的數(shù)據(jù)進(jìn)行處理和任務(wù)執(zhí)行，其任務(wù)完成質(zhì)量受到單一模態(tài)影響較大，同時也存在計算開銷大的問題。

aiSim仿真模擬平臺

作為一款端到端的自動駕駛仿真模擬工具，雅名特aiSim仿真模擬平臺能夠提供現(xiàn)實世界中 難以捕捉的場景和自動駕駛過程中的邊緣案例 ，具有高可擴(kuò)展性、高保真度的傳感器模擬和環(huán)境模擬，能夠擴(kuò)充不同測試場景的數(shù)據(jù)廣度和深度，有效提升ADAS/AD算法的能力。

傳感器是環(huán)境感知系統(tǒng)的核心，自動駕駛車輛需要通過傳感器獲知周圍的環(huán)境信息。雅名特aiSim設(shè)計了 基于物理原理的傳感器模型 ，能夠全面準(zhǔn)確的模擬條件和交互環(huán)境。傳感器模型庫包括相機(jī)、激光雷達(dá)、雷達(dá)、超聲波傳感器等。

l 高度可擴(kuò)展框架能夠?qū)崿F(xiàn)在多個GPU上實現(xiàn)分布式光追渲染，實時仿真高度復(fù)雜的多傳感器配置。

l 具有污泥遮擋、冷凝水霧遮擋、鏡頭色差、鏡頭炫光等多種相機(jī)退化和鏡頭失真情景。

l 支持新傳感器模型配置和設(shè)計，并快速測試其感知性能。相機(jī)、激光雷達(dá)和雷達(dá)視場可視化有助于確定傳感器在車輛上的最佳安裝位置。

如您對上述產(chǎn)品感興趣，

歡迎聯(lián)系雅名特自動駕駛團(tuán)隊了解更多信息。

我們將竭誠為您服務(wù)！

期待與您的交流！

< 關(guān)于雅名特自動駕駛 >

虹科是一家汽車科技行業(yè)的先驅(qū)企業(yè)，已經(jīng)沉淀了十年以上的經(jīng)驗。雅名特是虹科旗下子公司，專注于自動駕駛領(lǐng)域，展現(xiàn)了卓越的創(chuàng)新能力和深厚的行業(yè)理解。

我們以數(shù)據(jù)為驅(qū)動力，提供高性能的數(shù)據(jù)采集、記錄、傳輸方案，針對各種駕駛場景進(jìn)行精準(zhǔn)的仿真模擬，以及對大量自動駕駛數(shù)據(jù)進(jìn)行高效、高質(zhì)量處理。我們的一站式服務(wù)能夠滿足自動駕駛領(lǐng)域研發(fā)測試的全流程需求。我們深入了解客戶需求，結(jié)合行業(yè)最新技術(shù)和趨勢，為客戶提供最優(yōu)化的自動駕駛解決方案，助力客戶在自動駕駛領(lǐng)域取得更大突破。

審核編輯 黃宇