自動(dòng)駕駛傳感器前處理介紹

攝像頭前處理流程

?自動(dòng)駕駛HDR：為適應(yīng)自動(dòng)駕駛所處的高動(dòng)態(tài)范圍環(huán)境，先進(jìn)的圖像傳感器采用同時(shí)多曝光和/或拆分像素設(shè)計(jì)。組合不同曝光可將固有動(dòng)態(tài)范圍（80-100dB）擴(kuò)展至目標(biāo)動(dòng)態(tài)范圍（120-140dB或更高）。

?攝像頭或攝像模塊：由圖像傳感器、顏色濾波陣列、鏡頭、外殼及可選前處理組成的傳感器系統(tǒng)。

?色彩濾波陣列（CFA）：應(yīng)用于圖像傳感器的光學(xué)元件，形成特定顏色像素模式，通常以2x2單個(gè)顏色指定，如紅、綠、藍(lán)、黃、青等。常見例子有RGGB（Bayer）、RCCC、RCCB、RYYCy。

?計(jì)算機(jī)視覺（CV）前處理：用于增強(qiáng)傳統(tǒng)CV算法效果的具體處理，如光流、Harris角點(diǎn)檢測(cè)等。

?圖像傳感器：收集光線并輸出數(shù)字像素樣本的芯片?？刹杉煌ㄩL(zhǎng)光線，數(shù)字輸出格式多種多樣。常見波長(zhǎng)包括可見光、IR、近紅外（NIR）、短波IR（SWIR）等。

?人類視覺前處理：用于使圖像對(duì)人類更易看的具體處理。

?鏡頭：各種鏡頭安裝在圖像傳感器陣列和CFA上。傳統(tǒng)自動(dòng)駕駛應(yīng)用使用固定焦距/固定鏡頭。

?機(jī)器學(xué)習(xí)（ML）前處理：用于增強(qiáng)機(jī)器學(xué)習(xí)（ML）和深度神經(jīng)網(wǎng)絡(luò)（DNN）算法效果的具體處理。這取決于所用算法，前處理范圍從無到完整的人類視覺流程不等。詳見成像工作組。

?傳感器上的前處理：用于自動(dòng)駕駛的先進(jìn)圖像傳感器具有許多增強(qiáng)和壓縮原始樣本的功能。這些傳感器通常具有數(shù)字增益調(diào)整、黑電平調(diào)整、多曝光片段線性組合等。輸出流量仍很大（3~6Gbps），但遠(yuǎn)低于原始樣本流。

?原始像素樣本：來自芯片上ADC的未處理樣本。這些樣本仍受鏡頭、CFA、模擬增益設(shè)定、曝光設(shè)定等的光學(xué)和模擬影響調(diào)整。像素通常以每個(gè)曝光10~16位采樣。一個(gè)800萬像素的圖像傳感器，使用4次曝光，以每秒30幀的速度，將產(chǎn)生高達(dá)15.36 Gbps的數(shù)據(jù)率。

雷達(dá)前處理流程

?汽車?yán)走_(dá)：由天線陣列、一個(gè)或多個(gè)微波集成電路（MMIC）和可選前處理組成。大多數(shù)汽車?yán)走_(dá)采用頻率調(diào)制連續(xù)波（FMCW）操作，但也有幾種替代技術(shù)正在開發(fā)。雷達(dá)操作基礎(chǔ)有許多不錯(cuò)的資料來源。

?雷達(dá)幀：通過一個(gè)或多個(gè)發(fā)射機(jī)發(fā)出的一系列傳輸脈沖序列，以實(shí)現(xiàn)場(chǎng)景視野、分辨率/分離度/識(shí)別度和期望維度（距離、徑向速度、方位和仰角）的精度設(shè)計(jì)目標(biāo)。

?原始雷達(dá)樣本：來自連接特定接收機(jī)（Rx）的ADC的樣本。這些ADC通常為10~16位，工作頻率約50MHz（MSps），生成原始流量高達(dá)每Rx通道約800Mbps。高端汽車?yán)走_(dá)通常有4~16個(gè)接收通道（3.2~12.8Gbps），先進(jìn)研究使用幾十個(gè)接收機(jī)。

?雷達(dá)數(shù)據(jù)立方體：通過處理原始雷達(dá)樣本生成的1~4維立方體。通常采用FFT獲得距離和多普勒維度?？捎糜谟?jì)算方位和/或仰角的數(shù)字波束成形，但也有許多更先進(jìn)的算法以更好的結(jié)果換取額外處理。

?雷達(dá)數(shù)據(jù)立方體壓縮：由于數(shù)據(jù)立方體中大多數(shù)位置沒有返回，存在幾種簡(jiǎn)單（通常專有）算法壓縮數(shù)據(jù)立方體以減少傳輸帶寬。

?雷達(dá)檢測(cè)/點(diǎn)云：通常對(duì)數(shù)據(jù)立方體進(jìn)行閾值處理/CFAR和將相鄰返回合并為單點(diǎn)/檢測(cè)。這大大降低了數(shù)據(jù)帶寬，但也損失了數(shù)據(jù)立方體中的目標(biāo)“形狀”。

?雷達(dá)對(duì)象：基于檢測(cè)結(jié)果，傳統(tǒng)雷達(dá)處理會(huì)將附近點(diǎn)集群化并返回目標(biāo)對(duì)象“塊”。

?雷達(dá)感知：大類算法，可將雷達(dá)數(shù)據(jù)處理為汽車、人員等分類對(duì)象，還有更多基礎(chǔ)設(shè)施對(duì)象。這些算法通常對(duì)數(shù)據(jù)立方體、點(diǎn)云或?qū)ο筮M(jìn)行操作，但也有基于原始數(shù)據(jù)的研究。

?雷達(dá)輸出數(shù)據(jù)格式：點(diǎn)云，點(diǎn)具有位置、距離、強(qiáng)度、運(yùn)動(dòng)信息等屬性。

激光雷達(dá)前處理流程

?汽車激光雷達(dá)傳感器：激光雷達(dá)系統(tǒng)可以分為幾類基本類別。波長(zhǎng)、脈沖/調(diào)制技術(shù)、接收器技術(shù)和掃描技術(shù)等基本變量會(huì)帶來許多權(quán)衡取舍。

?Flash與掃描激光雷達(dá)：閃光激光雷達(dá)本質(zhì)上是飛行時(shí)間（TOF）相機(jī)。使用激光閃光和高速2D接收器陣列，可以捕捉到許多“曝光區(qū)間”或“距離分箱”。2D陣列給出x/y位置，對(duì)距離分箱的處理可以得到反射或返回的峰值z(mì)位置。與Flash激光雷達(dá)不同，掃描激光雷達(dá)一次只在一個(gè)x/y方向上“觀察”。發(fā)出脈沖后等待一定時(shí)間獲取返回。這使設(shè)計(jì)者可以一次關(guān)注發(fā)出能量（在眼安全限制內(nèi)）在一個(gè)位置上。然后掃描機(jī)制移動(dòng)到下一個(gè)“像素”位置。

?脈沖與調(diào)制激光雷達(dá)：脈沖激光雷達(dá)需要更高功率來克服陽(yáng)光的背景噪聲，但系統(tǒng)相對(duì)簡(jiǎn)單。調(diào)制激光雷達(dá)噪聲水平更低，因?yàn)楦蓴_源要么沒有調(diào)制（陽(yáng)光或其他脈沖激光雷達(dá)），要么與發(fā)射調(diào)制的時(shí)間/頻率組合極不可能重合（其他調(diào)制激光雷達(dá)）。由于噪聲水平更低，在相似輸出功率下，調(diào)制激光雷達(dá)的范圍遠(yuǎn)超脈沖激光雷達(dá)。更復(fù)雜的發(fā)射器和接收器的代價(jià)是主要缺點(diǎn)。根據(jù)調(diào)制方案（如FMCW），它們也有更長(zhǎng)的“駐留”時(shí)間，因?yàn)榻邮掌餍枰却暾{(diào)制返回，而不是快速脈沖。這增加的駐留時(shí)間導(dǎo)致與其他技術(shù)相比點(diǎn)數(shù)/秒更低。

?原始激光雷達(dá)樣本：激光雷達(dá)樣本測(cè)量返回強(qiáng)度對(duì)時(shí)間的關(guān)系。它們通常每個(gè)接收器為1~6 Gbps，不太可能在當(dāng)前汽車網(wǎng)絡(luò)技術(shù)中傳輸。接收強(qiáng)度取決于發(fā)射功率、與物體距離和物體反射率。

?激光雷達(dá)返回波形：對(duì)原始樣本進(jìn)行閾值處理形成每個(gè)從遠(yuǎn)處物體反射的波形，也稱為返回。

?激光雷達(dá)返回：使用各種算法找到返回波形的強(qiáng)度峰值/時(shí)間。對(duì)于任 one發(fā)射脈沖，由于波束發(fā)散和目標(biāo)的半透明性，可以有許多不同的返回。這些返回通常包括視場(chǎng)中的x、y位置，返回的距離和強(qiáng)度，以及用于全局同步的時(shí)間戳。

?激光雷達(dá)點(diǎn)云：點(diǎn)云是返回列表，可以對(duì)視場(chǎng)中的每個(gè)x/y位置具有多個(gè)返回。大多數(shù)汽車激光雷達(dá)輸出每個(gè)x/y位置1~3個(gè)返回的點(diǎn)云。研究界有強(qiáng)烈觀點(diǎn)認(rèn)為應(yīng)輸出返回波形，因?yàn)樗鼈儼繕?biāo)對(duì)象的更多信息。與雷達(dá)處理類似，峰值檢測(cè)可有效壓縮所需的數(shù)據(jù)帶寬，但明顯損失目標(biāo)對(duì)象信息。