智能汽車車載傳感器標(biāo)定技術(shù)深度解讀

標(biāo)定傳感器是自動駕駛感知系統(tǒng)中的必要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個或者多個傳感器變換到統(tǒng)一的時空坐標(biāo)系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。任何傳感器在制造、安裝之后都需要通過實(shí)驗(yàn)進(jìn)行標(biāo)定，以保證傳感器符合設(shè)計(jì)指標(biāo)，保證測量值的準(zhǔn)確性。

傳感器在安裝到自動駕駛汽車上之后，需要對其進(jìn)行標(biāo)定；同時，在車輛行駛過程中，由于震動等原因，會導(dǎo)致傳感器位置與原位置產(chǎn)生偏離，因此有必要每隔一定的時間對傳感器進(jìn)行校準(zhǔn)。自動駕駛汽車通過多種類型的傳感器同時工作以進(jìn)行環(huán)境感知與自感知，傳感器的健壯性和準(zhǔn)確性在自動駕駛汽車感知環(huán)節(jié)中尤為重要。

01攝像頭標(biāo)定

車載攝像頭以一定的角度和位置安裝在車輛上，為了將車載攝像頭采集到的環(huán)境數(shù)據(jù)與車輛行駛環(huán)境中的真實(shí)物體相對應(yīng)，即找到車載攝像頭所生成的圖像像素坐標(biāo)系中的點(diǎn)坐標(biāo)與攝像機(jī)環(huán)境坐標(biāo)系中的點(diǎn)坐標(biāo)之間的轉(zhuǎn)換關(guān)系，需要進(jìn)行攝像頭標(biāo)定。

1.攝像頭內(nèi)參數(shù)標(biāo)定

1.1攝像頭模型的建立

通過環(huán)境坐標(biāo)系、攝像頭坐標(biāo)系、圖像物理坐標(biāo)系、圖像像素坐標(biāo)系的相互轉(zhuǎn)換關(guān)系，我們可以求出環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，即

對現(xiàn)實(shí)世界的的點(diǎn)P。其在環(huán)境坐標(biāo)系下的坐標(biāo)為( Xw, Yw, Zw )，在圖像中的位置為(u，v)，兩者有如下的關(guān)系：

環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系

對內(nèi)參矩陣,其四個常量fx,fy,Uo,Vo。與攝像機(jī)的焦距、主點(diǎn)以及傳感器等設(shè)計(jì)技術(shù)指標(biāo)有關(guān)，而與外部因素（如周邊環(huán)境、攝像機(jī)位置）無關(guān)，因此稱為攝像頭的內(nèi)參。內(nèi)參在攝像頭出廠時就是確定的。然而由于制作工藝等問題，即使是同一生產(chǎn)線生產(chǎn)的攝像頭，內(nèi)參都有著些許差別，因此往往需要通過實(shí)驗(yàn)的方式來確定攝像頭的內(nèi)參。對單目攝像頭的標(biāo)定，通常就是指通過實(shí)驗(yàn)手段確定攝像頭的內(nèi)參。

外參矩陣包括旋轉(zhuǎn)矩陣和平移矩陣，旋轉(zhuǎn)矩陣和平移矩陣共同描述了如何把點(diǎn)從世界坐標(biāo)系轉(zhuǎn)換到攝像機(jī)坐標(biāo)系。在計(jì)算機(jī)視覺中，確定外參矩陣的過程通常稱為視覺定位。自動駕駛汽車在車載攝像頭安裝之后，需要標(biāo)定在車輛坐標(biāo)系下的攝像頭位置。此外，由于汽車行駛的顛簸和震動，車載攝像頭的位置會隨著時間進(jìn)行緩慢的變化，因此自動駕駛汽車需要定期對攝像頭位置進(jìn)行重新標(biāo)定，這一過程稱為校準(zhǔn)。

1.2 攝像頭畸變矯正

在實(shí)際使用中，攝像頭并不能完全精確地按照理想的針孔攝像機(jī)模型進(jìn)行透視投影，通常會存在透鏡畸變，即物點(diǎn)在實(shí)際的攝像頭成像平面上生成的像與理想成像之間存在一定光學(xué)畸變誤差，其畸變誤差主要是徑向畸變誤差和切向畸變誤差。

徑向畸變（radial distortion）:由于透鏡的特性，光線容易在相機(jī)鏡頭的邊緣出現(xiàn)較小或者較大幅度的彎曲，稱之為徑向畸變。這種畸變在普通廉價的鏡頭中表現(xiàn)更加明顯，徑向畸變主要包括桶形畸變和枕形畸變兩種。桶形畸變則是由于鏡頭中透鏡物以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形膨脹狀的失真現(xiàn)象。通常在使用廣角鏡頭或使用變焦鏡頭的廣角端時，較容易察覺桶形失真現(xiàn)象。枕形畸變是由鏡頭引起的畫面向中間“收縮”的現(xiàn)象。人們在使用長焦鏡頭變焦鏡頭的長焦端時，較容易察覺枕形失真現(xiàn)象。

切向畸變（tangential distortion）：是由于透鏡本身與相機(jī)傳感器平面（成像平面）或圖像平面不平行而產(chǎn)生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導(dǎo)致。

在計(jì)算機(jī)視覺中，徑向畸變對場景重建有著非常重要的影響。自動駕駛系統(tǒng)對環(huán)境的感知，要求攝像頭能夠?qū)崿F(xiàn)對周邊環(huán)境的高精確度重建，如果不對畸變加以矯正，就無法到精確的環(huán)境信息。例如，環(huán)境中的目標(biāo)可能出現(xiàn)在圖像的任何區(qū)域，如果不對畸變加以正，那么通過視覺技術(shù)得到的目標(biāo)位置和大小往往是不準(zhǔn)確的，這會直接影響自動駕駛汽車的行駛安全。此外，自動駕駛汽車安裝有多個攝像頭，且在不同位置，若不考慮徑向畸變，在圖像拼接過程中，就會因?qū)?yīng)特征的誤匹配從而導(dǎo)致拼接圖像的模糊效應(yīng)。

對一般的攝像頭來講，圖像的徑向畸變往往描述為一個低階多項(xiàng)式模型。設(shè)（u,v)是糾正后的點(diǎn)的坐標(biāo)，（u',u')是未糾正的點(diǎn)的坐標(biāo),則二者之間的變換可以通過以下公式確定：

徑向畸變低階多項(xiàng)式模型

另一方面，對于切向畸變，可以使用另外的兩個參數(shù)p1,p2來進(jìn)行糾正：

切向畸變低階多項(xiàng)式模型

1.3攝像頭內(nèi)參標(biāo)定方法

在現(xiàn)階段，畸變參數(shù)的標(biāo)定一般與其余內(nèi)參同時進(jìn)行。目前應(yīng)用最廣泛的是張正友于2000年提出的張正友標(biāo)定法。張正友標(biāo)定法通過在不同位置拍攝棋盤標(biāo)定板的方式，在每個圖像中找到棋盤標(biāo)定板的內(nèi)角點(diǎn)，通過內(nèi)角點(diǎn)之間的對應(yīng)關(guān)系建立對矩陣

的約束，從而恢復(fù)內(nèi)參矩陣K。

2.攝像頭間外參的標(biāo)定

自動駕駛汽車中，為了盡可能減少感知盲區(qū)，往往采用多攝像頭的模式。確定多攝像頭之間的相對位置關(guān)系，這個過程稱為攝像機(jī)的外參標(biāo)定。

從另一個角度來說，攝像機(jī)的外參標(biāo)定也可以稱為“姿態(tài)估計(jì)”問題。兩個攝像頭之間相對位姿[R|t]有6個自由度（空間位置與旋轉(zhuǎn)關(guān)系),從理論上來講，只要兩個攝像頭同時獲取空間中3個點(diǎn)即可恢復(fù)二者之間的相對姿態(tài)。從三對對應(yīng)點(diǎn)恢復(fù)攝像頭之間的相對姿態(tài)的問題，稱為“透視三點(diǎn)問題”（Perspective-3-Point-Problem,P3P)。在現(xiàn)實(shí)中，常常使用3個以上的點(diǎn)來恢復(fù)相對姿態(tài)，以提高魯棒性，P3P問題被推廣為PnP問題。

最初研究者使用直接線性法（Direct Linear Transform,DLT)解決PnP問題，之后為了提升精度，研究者們提出了魯棒線性化的重投影誤差，開始采用選代的方法來求解PnP問題，并由此提出了姿態(tài)估計(jì)中著名的光束平差法（Bundle Adjustment,BA)。

02激光雷達(dá)的標(biāo)定

激光雷達(dá)自動駕駛平臺的主要傳感器之一，在感知、定位方面發(fā)揮著重要作用。 同攝像頭一樣，激光雷達(dá)在使用之前也需要對其內(nèi)外參數(shù)進(jìn)行標(biāo)定。 內(nèi)參標(biāo)定指的是其內(nèi)部激光發(fā)射器坐標(biāo)系與雷達(dá)自身坐標(biāo)系的轉(zhuǎn)換關(guān)系，在出廠之前已經(jīng)標(biāo)定完成，可以直接使用。 自動駕駛系統(tǒng)需要進(jìn)行的是外參標(biāo)定，即激光雷達(dá)自身坐標(biāo)系與車體坐標(biāo)系的關(guān)系。

激光雷達(dá)與車體為剛性連接，兩者間的相對姿態(tài)和位移固定不變。 為了建立激光雷達(dá)之間以及激光雷達(dá)與車輛之間的相對坐標(biāo)關(guān)系，需要對激光雷達(dá)的安裝進(jìn)行標(biāo)定，并使激光雷達(dá)數(shù)據(jù)從激光雷達(dá)坐標(biāo)系轉(zhuǎn)換至車體坐標(biāo)系上。

車體坐標(biāo)系與激光雷達(dá)坐標(biāo)系

通過實(shí)驗(yàn)采集同一個點(diǎn)在兩個坐標(biāo)系下的真實(shí)坐標(biāo)，即同名點(diǎn)，建立一系列的方程可以求出這16個未知參數(shù)。 另外，在自動駕駛汽車上，通常需要將激光雷達(dá)與慣性導(dǎo)航單元（IMU)坐標(biāo)系進(jìn)行標(biāo)定，建立激光雷達(dá)與車體坐標(biāo)系之間的關(guān)系。

1.激光雷達(dá)和激光雷達(dá)之間的標(biāo)定

對自動駕駛汽車來說，有時會存在多個激光雷達(dá)的情況，每一個激光雷達(dá)獲取的外部境都必須準(zhǔn)確地映射到車體坐標(biāo)系下。 因此，當(dāng)存在多個激光雷達(dá)時，需要對多個激光雷的相對位置進(jìn)行標(biāo)定和校準(zhǔn)。

激光雷達(dá)之間的外參標(biāo)定有多種思路，其中較為常用的是通過不同激光雷達(dá)與車體之間的坐標(biāo)轉(zhuǎn)換關(guān)系來間接推導(dǎo)出激光雷達(dá)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。

2.激光雷達(dá)與攝像機(jī)的標(biāo)定

在自動駕駛車輛上，激光雷達(dá)與無人駕駛汽車為剛性連接，兩者間的相對姿態(tài)和位移固定不變，因此，激光雷達(dá)掃描獲得的數(shù)據(jù)點(diǎn)，在環(huán)境坐標(biāo)系中有唯一的位置坐標(biāo)與之對應(yīng)。 同樣，攝像機(jī)在環(huán)境坐標(biāo)系中也有唯一的位置坐標(biāo)，因此，激光雷達(dá)與攝像機(jī)之間存在著固定的坐標(biāo)轉(zhuǎn)換。 激光雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定，就是通過提取標(biāo)定物在單線激光雷達(dá)和圖像上的對應(yīng)特征點(diǎn)，完成單線激光雷達(dá)坐標(biāo)、攝像機(jī)坐標(biāo)、圖像像素坐標(biāo)等多個傳感器坐標(biāo)的統(tǒng)一，實(shí)現(xiàn)激光雷達(dá)與攝像機(jī)的空間校準(zhǔn)。

當(dāng)完成攝像機(jī)外參標(biāo)定、激光雷達(dá)外參標(biāo)定之后，二者之間的關(guān)系其實(shí)就可以完全確定，激光雷達(dá)掃描點(diǎn)可投影到圖像像素坐標(biāo)系。

同相機(jī)的內(nèi)參標(biāo)定方法一樣，激光雷達(dá)與攝像機(jī)的外參標(biāo)定也可以使用標(biāo)定板的標(biāo)定方法。

來源：智駕最前沿