VADv2：基于概率性規(guī)劃的端到端自動(dòng)駕駛

16km路線無(wú)后處理端到端閉環(huán)

概率性規(guī)劃

不同于感知，規(guī)劃中存在著更多的不確定性，對(duì)于同一場(chǎng)景，存在不同的合理的決策規(guī)劃結(jié)果。環(huán)境信息到?jīng)Q策規(guī)劃不存在明確的映射關(guān)系，因此學(xué)習(xí)擬人的駕駛策略極具挑戰(zhàn)性。以往的基于學(xué)習(xí)的規(guī)劃方法確定性地通過(guò)MLP回歸出規(guī)劃軌跡，無(wú)法應(yīng)對(duì)環(huán)境信息和決策規(guī)劃之間不明確的映射關(guān)系。同時(shí)基于神經(jīng)網(wǎng)絡(luò)輸出的軌跡無(wú)法保證滿足運(yùn)動(dòng)學(xué)約束，仍需要后端的軌跡優(yōu)化。

VADv2采用概率性規(guī)劃的方法，從大量的人類駕駛數(shù)據(jù)中，擬合每一時(shí)刻基于環(huán)境信息的自車軌跡概率分布，將問(wèn)題轉(zhuǎn)化為預(yù)測(cè)每一條軌跡和環(huán)境信息的相關(guān)性，從而應(yīng)對(duì)規(guī)劃中的不確定性。

圖1 規(guī)劃中的不確定性

算法框架

圖2 VADv2 算法框架

如圖2所示，VADv2以車載相機(jī)采集的流式圖像序列作為輸入。鑒于圖像信息稀疏性，VADv2將圖像信息轉(zhuǎn)換為具有高層語(yǔ)義信息的tokens。具體地，VADv2基于MapTRv2從環(huán)視圖像數(shù)據(jù)中提取地圖物理層和邏輯層的map tokens，同時(shí)從圖像中提取關(guān)于動(dòng)態(tài)障礙物的agent tokens和交通信號(hào)燈的traffic element tokens。此外，由于在連續(xù)的動(dòng)作空間上學(xué)習(xí)概率分布較為困難，VADv2將動(dòng)作空間離散化，通過(guò)最遠(yuǎn)軌跡采樣的方式從真實(shí)的軌跡數(shù)據(jù)中篩選出N條軌跡構(gòu)建軌跡集合,用于表征整個(gè)動(dòng)作空間。VADv2將軌跡通過(guò)正余弦編碼方式編碼為planning tokens。Planning tokens基于堆疊的Transformer結(jié)構(gòu)與包含環(huán)境信息的tokens交互，同時(shí)結(jié)合稀疏導(dǎo)航信息和自車狀態(tài)信息，輸出每一條軌跡的概率：

在訓(xùn)練階段，VADv2通過(guò)KL散度約束預(yù)測(cè)的概率分布和駕駛數(shù)據(jù)對(duì)應(yīng)分布之間的一致性，并引入額外的場(chǎng)景約束進(jìn)一步降低存在安全風(fēng)險(xiǎn)的軌跡的概率。在推理階段，VADv2在每一個(gè)時(shí)刻從軌跡概率分布中采樣一條高置信度的軌跡用于車輛控制。由于輸出多模式的軌跡簇，VADv2也可以和基于優(yōu)化或規(guī)則的規(guī)控架構(gòu)結(jié)合，進(jìn)行二階段優(yōu)化以及篩選過(guò)濾。

圖3 CARLA閉環(huán)規(guī)劃性能

圖4 消融實(shí)驗(yàn)

閉環(huán)驗(yàn)證

在CARLA仿真器上，VADv2能夠長(zhǎng)時(shí)間控車穩(wěn)定地行駛，正確地響應(yīng)交通信號(hào)燈，通過(guò)復(fù)雜路口，與其他車輛和行人交互，剎停避障等。同時(shí)，VADv2也在Town05 Benchmark上取得了顯著優(yōu)于其他方法的閉環(huán)性能（圖3）。消融實(shí)驗(yàn)如圖4所示，驗(yàn)證了各類token隱式表征和概率分布約束的有效性。

總結(jié)與展望

在CARLA仿真器上的閉環(huán)實(shí)驗(yàn)初步驗(yàn)證了該范式的可行性。未來(lái)的研究方向是如何與現(xiàn)有的規(guī)控架構(gòu)結(jié)合進(jìn)一步提升系統(tǒng)的魯棒性，以及在更加復(fù)雜的真實(shí)場(chǎng)景中展開(kāi)驗(yàn)證。

審核編輯：湯梓紅