如何感知車輛運動過程中傳感器位置的偏差

在自動駕駛系統(tǒng)中，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要通過傳感器標(biāo)定消除安裝誤差，讓自動駕駛系統(tǒng)準確定位各個傳感器被安裝在什么位置。傳感器標(biāo)定為后續(xù)建圖、定位、感知和控制打下堅實基礎(chǔ)，是自動駕駛系統(tǒng)穩(wěn)定運行的核心部分與前置條件。標(biāo)定的精度會影響傳感器的使用上限精度，最終影響車輛的行駛狀態(tài)。

各路傳感器請匯報位置坐標(biāo)！

——傳感器標(biāo)定

自動駕駛系統(tǒng)中包含各種各樣的傳感器，傳感器是系統(tǒng)能感知周圍環(huán)境的決定性因素。在傳感器裝車后，需要對傳感器進行標(biāo)定，獲取各個傳感器的安裝位置，進而讓后續(xù)算法模塊更好地使用傳感器數(shù)據(jù)。

簡單來講，傳感器標(biāo)定需要告訴自動駕駛系統(tǒng)傳感器的準確位置。如果說定位是在地圖坐標(biāo)系確定自車的位置，那么標(biāo)定就是在車身坐標(biāo)系確定傳感器的位置。

從性質(zhì)上說，傳感器標(biāo)定可以分為內(nèi)參標(biāo)定與外參標(biāo)定。

內(nèi)參標(biāo)定主要與傳感器有關(guān)，它可以通過建立傳感器誤差模型，獲得傳感器特性參數(shù)、消除傳感器本身測量誤差。外參標(biāo)定與安裝位置有關(guān)，通過各種先驗信息獲取傳感器在車身坐標(biāo)系下的位姿。外參標(biāo)定求解的主要問題取決于車輛坐標(biāo)系的定義。

如果車輛坐標(biāo)系為車輛上的某一點，將車輛看作剛體，傳感器標(biāo)定解決的問題，即為固定車輛坐標(biāo)系下傳感器的位置確定。進一步，如果車輛坐標(biāo)系即為車輛上的某個傳感器坐標(biāo)系。傳感器外參標(biāo)定問題即簡化為多傳感器外參標(biāo)定問題。

如果車輛坐標(biāo)系為車輛自車地面上某一點。除了裝車后的傳感器位姿標(biāo)定，還包含自車狀態(tài)、以及環(huán)境變化影響下的傳感器坐標(biāo)系與車身坐標(biāo)系間的外參變化問題。

下面，我們就分別介紹一下自動駕駛中的內(nèi)參標(biāo)定與外參標(biāo)定。

傳感器校準第一回

——內(nèi)參標(biāo)定

由于與安裝位置無關(guān)，在自動駕駛系統(tǒng)中，傳感器的內(nèi)參一般在裝車前進行。下面，我們就以最常見的相機內(nèi)參為例，介紹相機內(nèi)參標(biāo)定的原理與方法。

1、相機內(nèi)參標(biāo)定

相機內(nèi)參標(biāo)定主要是為了獲取相機本身的性質(zhì)參數(shù)，包括相機的焦距，光心以及畸變參數(shù)等：

內(nèi)參的物理意義與相機模型強相關(guān)，常用的相機成像模型為小孔模型，等效焦距與光心用數(shù)學(xué)可表示為一個矩陣

? ? ?? ?

其中 fx、fy 是等效焦距，cx、cy 是光心。

畸變的產(chǎn)生，是由于相機本身不能精確地按照理想的成像模型進行透視投影，即物點在實際的相機成像平面上生成的像與理想成像之間存在一定偏差，這個偏差就是相機畸變造成的。以常見的小孔成像模型為例，畸變誤差主要是徑向畸變誤差（k1、k2、k3）和切向畸變誤差（p1、p2）。

目前業(yè)界常用的相機標(biāo)定方法是張正友方法。張正友方法通過多種位姿擺放的標(biāo)定板，提取棋盤格角點，計算出相機的內(nèi)參。感興趣的同學(xué)可以查閱相關(guān)論文[1]，本文不再贅述。

內(nèi)外兼修

——傳感器外參標(biāo)定

下面介紹傳感器外參標(biāo)定。外參標(biāo)定的問題核心是求解傳感器在車輛坐標(biāo)系下的位姿。由于涉及到車輛坐標(biāo)系的確定，傳感器外參標(biāo)定主要分為兩部分：

傳感器與車身的外參標(biāo)定，車身的特點在于沒有直接測量值，所以需要借助先驗信息，如工裝信息、環(huán)境信息等達到求解自車位姿變換關(guān)系的目的，進而完成傳感器和車身的標(biāo)定。

傳統(tǒng)意義上的多傳感器標(biāo)定，需要通過傳感器的測量信息來求解不同傳感器之間的位姿變換。

1、傳感器與車身的外參標(biāo)定

1.1、相機與車身的標(biāo)定

在以相機為主的自動駕駛傳感器配置方案中，車上一般會安裝多個相機。相機與車身的外參標(biāo)定可以通過引入房間坐標(biāo)系實現(xiàn)：標(biāo)定間墻面上貼若干標(biāo)記物，我們稱之為靶標(biāo)。如下圖所示:

相機通過檢測靶標(biāo)建立與房間坐標(biāo)系的關(guān)系，即可求解相機與房間的外參。在標(biāo)定階段保證車身停在房間的固定位置，即得到車身與房間的外參。通過坐標(biāo)轉(zhuǎn)換即可完成相機與車身的外參標(biāo)定。這種方法依賴于靶標(biāo)的角點精度，因此對環(huán)境有一定要求，且靶標(biāo)數(shù)量越多，精度越高。

在產(chǎn)線上，方案設(shè)計既要考慮傳感器標(biāo)定精度，又要兼顧車輛標(biāo)定效率和產(chǎn)線環(huán)境，考慮到產(chǎn)線環(huán)境中，車輛傳感器工裝位置與車輛?？课恢每梢暂^大程度保證精度。因此，可以減少靶標(biāo)數(shù)量，運用同樣的標(biāo)定原理，實現(xiàn)相機與車身的標(biāo)定。

1.2、激光雷達與車身的標(biāo)定

在以激光雷達為主的自動駕駛傳感器配置方案中，需要標(biāo)定激光雷達與車身的外參，類似于相機與車身的標(biāo)定原理，激光雷達與車身的標(biāo)定也可借助標(biāo)定板進行。標(biāo)定過程中，將多個標(biāo)定板置于激光雷達可掃描到的區(qū)域，通過已知的車身位姿、標(biāo)定板位姿和激光雷達工裝等先驗信息，可解算出激光雷達與車身的外參。

2、多傳感器聯(lián)合標(biāo)定

多傳感器聯(lián)合標(biāo)定是多傳感器融合的必要前提。單一傳感器往往會存在覆蓋范圍不足和觀測信息受限等局限與挑戰(zhàn)，多傳感器融合方案可以做到不同傳感器間的取長補短。根據(jù)傳感器特性與算法原理的不同，多傳感器標(biāo)定可分為基于共視特征信息的標(biāo)定和基于運動軌跡的標(biāo)定。

2.1、基于共視特征信息的標(biāo)定

1）多激光雷達之間的標(biāo)定

激光雷達可以直接測量周圍環(huán)境的距離信息，因此多激光雷達間的標(biāo)定方案較為成熟。對于有共視區(qū)域的激光雷達，可以通過場景的特征信息，運用 NDT 或 ICP 等配準方法實現(xiàn)點云特征匹配，從而完成多個激光雷達之間的外參標(biāo)定。

2）相機與激光雷達的外參標(biāo)定

相機與激光雷達的觀測信息表達方式是不一致的，那么如何進行二者之間的標(biāo)定呢？目前業(yè)界比較成熟的方案是通過引入統(tǒng)一觀測源建立約束。對于有共視區(qū)域的相機與激光雷達，可在共視區(qū)域內(nèi)布置靶標(biāo)作為統(tǒng)一觀測源, 分別獲取靶標(biāo)在相機坐標(biāo)系下和激光雷達坐標(biāo)系下的特征。通過兩種特征匹配，完成相機與激光雷達之間的外參標(biāo)定。下圖便是通過棋盤格靶標(biāo)作為統(tǒng)一觀測源的相機與激光雷達標(biāo)定流程圖。

2.2、基于運動軌跡的標(biāo)定

對于 IMU 這種直接估計位姿變化的傳感器，常見的方案是基于車輛運動軌跡的標(biāo)定。以激光雷達與 IMU、相機與 IMU 之間的標(biāo)定為例，可采用最經(jīng)典的手眼標(biāo)定方式，基于給定的 IMU 與激光雷達/相機之間的外參初值，通過激光雷達/相機的軌跡與 IMU 的軌跡進行外參優(yōu)化，從而完成最終的激光雷達/相機和 IMU 的外參標(biāo)定。下圖是激光雷達與 IMU 外參標(biāo)定的示意圖。

外參標(biāo)定有奇招

——在線標(biāo)定

區(qū)別于以上介紹的外參離線標(biāo)定方法（需要固定的場地、固定的靶標(biāo)、以及精確的車輛定位、固定的運動軌跡等信息）。在線標(biāo)定可在自然場景中, 根據(jù)離線標(biāo)定的結(jié)果、工裝、車輛運動等先驗信息，實現(xiàn)對離線標(biāo)定結(jié)果的全部參數(shù)或部分參數(shù)的修正。由于方案的靈活性，傳感器外參的在線標(biāo)定是近年業(yè)內(nèi)的研究重點。下面我們分別介紹一下傳感器與車身、多傳感器之間的在線標(biāo)定。

1、傳感器與車身的在線標(biāo)定

1.1、相機與車身的在線標(biāo)定

車輛行駛過程中，相機可根據(jù)行駛道路信息獲取場景中的一些平行或者正交的信息（如車道線、燈桿等）。空間平行線在相機圖像平面上的交點被稱為消失點。通過這些空間平行線得到的消失點，我們可以實時估計相機與車體的外參。該方案靈活性強，但魯棒性會有所下降，因此如何兼顧算法的魯棒性與靈活性是該類方案研究的重點。外參標(biāo)定前后的效果如下圖的（b 糾正前，俯視圖內(nèi)八）和（c 糾正后，俯視圖平行）所示，感興趣的同學(xué)可以參考[2]。

1.2、激光雷達與車身的在線標(biāo)定

與相機不同，激光雷達可以直接測量觀測點的 3D 距離。因此，激光雷達與車身的在線標(biāo)定也相對成熟?；谲囕v的運動先驗與場景先驗，在車輛行駛過程中，激光雷達可根據(jù)車輛的行駛方向、地平面點云等信息，實時糾正自身與車體的外參。

2、多傳感器的在線標(biāo)定

多傳感器在線標(biāo)定，尤其是激光雷達與相機的在線標(biāo)定，是業(yè)界公認的難點，在近年已有廣泛研究。目前業(yè)內(nèi)主要方法是通過最大化點云與圖像的配準信息來估計標(biāo)定參數(shù)。根據(jù)信息提取方式的不同，多傳感器在線標(biāo)定的研究方向可分為邊緣配準[3]、互信息[4]、分割[5][6]三種方法。

2.1、邊緣配準

邊緣配準方法首先提取圖像和激光雷達的邊緣信息，然后將激光雷達邊緣信息通過初值投影到圖像上，并采用優(yōu)化算法，最大化兩種邊緣信息乘積的值，以此完成激光雷達和相機的外參標(biāo)定。

此方法原理簡單，可操作性強，但由于只能獲取激光雷達的垂直邊緣信息，對于偏航角的估計效果要明顯優(yōu)于橫滾角與俯仰角。

2.2、互信息

互信息方法對激光雷達的強度信息與圖像的灰度信息進行互信息操作，使得互信息結(jié)果最大，從而完成標(biāo)定。如下圖所示，正確的激光雷達外參角度值（89degree）對應(yīng)的互相關(guān)系數(shù)最大。

此類方法對于激光雷達的強度值有較強依賴，若激光雷達線束較少，點云稀疏，匹配效果可能無法達到需求。

2.3、分割

分割方法需要對圖像/點云進行分割操作，分割后的信息會用于特征匹配。如下圖所示，此類方法可以只對圖像進行分割（圖①），也可以對圖像和點云都進行分割（圖②）。

①只對圖像分割

②對點云、圖像均進行分割

此類方法將激光雷達原始點云或分割后的點云通過初值回投到分割后的圖像上，采用局部優(yōu)化的方式，使得點云與圖像作用關(guān)系最大化，完成激光雷達與相機的外參標(biāo)定。

相較于提取邊緣的方法，此類方法可獲得圖像和點云的更多有效信息，且圖像分割相較于圖像邊緣提取，抗干擾能力強。

綜上所述，在線標(biāo)定優(yōu)勢在于可利用自然場景，完成傳感器矯正，缺點是需要在滿足條件的自然場景下進行，且若場景特性無法達到預(yù)期，會導(dǎo)致在線標(biāo)定結(jié)果偏差較大或標(biāo)定失敗。

傳感器標(biāo)定是自動駕駛系統(tǒng)的基礎(chǔ)環(huán)節(jié)，也是自動駕駛系統(tǒng)運行的關(guān)鍵條件。傳感器標(biāo)定結(jié)果的準確性與精確性，直接影響自動駕駛各功能模塊的運行效果。因此，一個準確的、高精度的標(biāo)定結(jié)果，是傳感器標(biāo)定的目標(biāo)，也是整個自動駕駛系統(tǒng)的需求與期望。目前傳感器標(biāo)定仍存在諸多挑戰(zhàn)，如何實現(xiàn)高精度的標(biāo)定、如何利用有限的環(huán)境完成標(biāo)定、如何完成不同類型傳感器之間的標(biāo)定，如何感知車輛運動過程中傳感器位置的偏差，如何對傳感器位置偏差實時糾正等，這些都是我們會不斷優(yōu)化和探索的方向。