了解下自動駕駛中會遇到哪些不確定性決策問題

決策是自動駕駛的關(guān)鍵部分之一，它首先融合多傳感信息，然后根據(jù)駕駛需求進(jìn)行任務(wù)決策，接著在能避開可能存在的障礙物前提下，通過一些特定的約束條件，規(guī)劃出兩點(diǎn)間多條可選安全路徑和，并在這些路徑中選取一條最優(yōu)的路徑作為車輛行駛軌跡。然而，要實(shí)現(xiàn)決策規(guī)劃是一個(gè)復(fù)雜的系統(tǒng)工程，需要精準(zhǔn)感知環(huán)境，理解交通參與者的意圖并能夠在廣泛豐富的場景下，實(shí)現(xiàn)穩(wěn)定安全的無人駕駛。

需要面對真實(shí)路況中的大量 “不確定性”。這種不確定性是貫穿上下游的，并且感知局限性、行為預(yù)測偶然性、規(guī)控交互性共同交織的挑戰(zhàn)。

1、?什么是確定性決策？

對于確定性決策問題，其在每個(gè)狀態(tài)下都有已知的可選動作，而每個(gè)動作都會導(dǎo)致一個(gè)確定的新狀態(tài)。自動駕駛傳統(tǒng)的行為決策、軌跡規(guī)劃、路徑規(guī)劃，都可以看作是確定性的決策。如左下圖，在自動駕駛卡車行駛的某個(gè)時(shí)刻，自車以及他車的狀態(tài)加上環(huán)境信息，即是我們此時(shí)的狀態(tài)(state)。在此狀態(tài)下，自車可以有多個(gè)宏觀動作(action)可以選擇，比如向左前方變道。

完成此動作后，自車狀態(tài)可由變道軌跡確定，他車狀態(tài)可由預(yù)測模塊確定，因此新的狀態(tài)也是可以唯一確定的。重復(fù)此過程，并探索其他不同的宏觀動作，我們便構(gòu)建了一個(gè)確定性的搜索樹。對于一個(gè)確定性的搜索樹進(jìn)行完整地求解需要從后往前遍歷搜索樹的各個(gè)節(jié)點(diǎn)，如右圖。

根據(jù)某狀態(tài)下最大收益的action確定該狀態(tài)的收益，進(jìn)而確定導(dǎo)致該狀態(tài)的action的收益。重復(fù)該過程則可以獲得在初始狀態(tài)下可以獲得的最大收益，同時(shí)得到確保該收益所需要執(zhí)行的行為動作序列。

2、什么是非確定性決策？

確定性的決策問題構(gòu)建和求解都比較簡單。但真實(shí)環(huán)境中，其他車輛的行為可能存在各種不確定性，因此執(zhí)行同一個(gè)action，其可能以一定概率導(dǎo)致不同的新狀態(tài)。如左下圖，當(dāng)從初始狀態(tài)，自車選擇往左前變道后，右側(cè)車輛在此過程可能保持勻速，從而自車仍然有往右變道超越的空間。

但如果右車此時(shí)加速，則會導(dǎo)致另外一個(gè)狀態(tài)，即自車不再有向右變道的空間。如果其他車輛不同action的概率已知，我們則構(gòu)建了一個(gè)隨機(jī)決策樹。隨機(jī)決策樹求解如右圖。求解過程和確定性決策樹的區(qū)別是，每個(gè)action的收益是其導(dǎo)致的各個(gè)隨機(jī)狀態(tài)收益的期望平均。

由于隨機(jī)狀態(tài)導(dǎo)致的分岔，隨機(jī)搜索樹的復(fù)雜度相比確定性搜索樹呈指數(shù)級增加，同時(shí)隨機(jī)決策問題的解不再是一個(gè)action序列，而是一個(gè)決策樹。

3、非確定性決策如何反常識（1）

從上面看，非確定性決策問題的求解和確定性決策沒有本質(zhì)區(qū)別，都是對搜索樹的反向遍歷。但工程實(shí)踐中，了解它們的區(qū)別很有意義。無論是確定性還是非確定性決策，其搜索樹都存在維度爆炸的問題，因此工程上很少使用暴力窮舉的解法。

對于確定性決策問題，比如行為序列決策，或軌跡/路徑規(guī)劃，都會把一整條動作的序列(sequence of actons)作為一個(gè)侯選解，進(jìn)而在動作序列的解空間中找到最優(yōu)序列。

雖然該過程相比暴力窮舉搜索樹并沒有簡化，但是我們一是可以利用梯度信息來加速求解（如基于優(yōu)化的軌跡/路徑規(guī)劃）；二是可以利用domain knowledge來對解空間進(jìn)行簡化，從而方便采樣求解（比如lattice planner）。

確定動作序列求解法在確定性決策規(guī)劃問題里確實(shí)獲得了成功，因此很自然地很多人希望把這種方法套用到非確定性問題里。但這樣會帶來一些問題。

對比右圖，右下為之前得到的非確定性問題的最優(yōu)解。而右上為確定動作序列套用到非確定搜索樹上的形式：動作序列在每個(gè)時(shí)間步會采用同樣的動作，無論此時(shí)是何種狀態(tài)。

可以看出，確定動作序列無法構(gòu)建出非確定問題決策樹的真實(shí)形式。那這具體會帶來什么問題呢？

4、非確定性決策如何反常識（2）

考慮這樣一個(gè)例子。在雙車道的高速公路上，自車以80km/h的速度飛馳。但前方出現(xiàn)了一個(gè)50km/h的慢車，左前方更遠(yuǎn)處還有一個(gè)30km/h的慢車。

預(yù)測模塊告知左前車有50%的可能即將變道。我們需要在此時(shí)規(guī)劃最優(yōu)的策略，從而避免本車被慢車阻擋。如果我們套用確定動作序列的求解方法，我們會發(fā)現(xiàn)我們只有3種可選的方案。

將3種方案套用到搜索樹上，即可得到各個(gè)方案的收益：方案1是直接減速跟隨50km/h的前車，損失為-5；方案2、3為往左變道然后保持車道或者再往右變道，各自有50%的概率被慢車阻擋，期望損失為-7.5。

此時(shí)如果我們對比三個(gè)方案，發(fā)現(xiàn)方案一損失最小，故而應(yīng)該是最優(yōu)的方案。但實(shí)際上真的是這樣的嗎？

如果我們采用右圖中的策略：先往左變道；如果前車保持車道，則自車再往右變道；如果前車往右變道，則自車保持車道。按此策略，我們100%可以避免被慢車阻擋，從而損失為0，故這才是最優(yōu)策略。

出現(xiàn)這樣的差異，原因在于確定動作序列求解法無法考慮自車可以在未來根據(jù)當(dāng)時(shí)狀況確定最優(yōu)策略，因而認(rèn)為如果向左變道，自車會有50%的概率被慢車阻擋，最后自然保守地選擇了跟隨前車。

我們生活中有時(shí)也會犯這樣的錯(cuò)誤。我們規(guī)劃人生時(shí)，要么不考慮未知情況，當(dāng)意外發(fā)生時(shí)則毫無準(zhǔn)備；要么考慮了各種意外，但認(rèn)為無論采用何種方案都會有遭遇意外的風(fēng)險(xiǎn)，從而變得畏首畏尾。

如果我們在考慮未來的各種可能時(shí)，能夠規(guī)劃將來不同情況下各自的應(yīng)對策略，則可以做出更為準(zhǔn)確的抉擇。

5、自動駕駛有哪些非確定性決策問題

自動駕駛中的不確定性決策主要有兩類問題。一種是宏觀問題，其考慮的動作都是宏觀的語義動作，而狀態(tài)轉(zhuǎn)移則是該動作完整執(zhí)行之后的結(jié)果。

這樣構(gòu)建方便規(guī)劃到更長遠(yuǎn)的情況，從而避免局部最優(yōu)，適合于一些長周期宏觀問題，比如規(guī)避擁堵等。這種構(gòu)建方式得到的搜索樹簡單，求解方便。難點(diǎn)在于如何對狀態(tài)轉(zhuǎn)移進(jìn)行準(zhǔn)確估計(jì)。

另一種是微觀問題，其動作action是系統(tǒng)動力學(xué)輸入，如加速度。而狀態(tài)轉(zhuǎn)移則是系統(tǒng)動力學(xué)模型。此類問題能精細(xì)地考慮短周期內(nèi)的敏感問題，比如他車行為預(yù)測不確定時(shí)自車的避障策略。此類問題建模簡單，但決策樹較復(fù)雜，求解實(shí)時(shí)性是主要難點(diǎn)。

不確定性決策是一個(gè)非常廣非常深的學(xué)科，無論是其建模還是求解都很多值得鉆研的知識。因此這次分享的主要目的不是做一個(gè)綜述，而是介紹非確定性決策和我們常識中的決策有何種不同，以及如果盲目套用傳統(tǒng)決策方法會帶來什么問題。這樣我們在今后的工程實(shí)踐中能夠更好地選擇解決非確定性決策問題的方法。

審核編輯：劉清