Apollo一路走來，正在走出高成本的科研范疇邁向?qū)嵱妙I(lǐng)域

百度Apollo目前歷經(jīng)四代，分別是Apollo1.0、1.5、2.0、2.5。

Apollo一路走來，正在走出高成本的科研范疇，邁向?qū)嵱妙I(lǐng)域。在Apollo1.5版上，激光雷達(dá)是最核心的，不僅完成傳統(tǒng)的局部導(dǎo)航，還完成通常由攝像頭完成的障礙物識別。2.0版上，增加交通信號燈檢測和障礙物分類。RTK與激光雷達(dá)點(diǎn)云融合定位，MPC模型預(yù)測法做控制算法，RNN做交通場景預(yù)測。Apollo重點(diǎn)模塊集中在障礙物感知、預(yù)測、高精度定位、路徑規(guī)劃、控制的工作。

這樣一輛車，總成本100多萬人民幣（含改裝成本），顯然只能做科研，即使做共享出行，成本都太高了。

2.5版上，Apollo有了重大改變，從高成本科研階段進(jìn)入實(shí)用化的階段，從以前的低速園區(qū)應(yīng)用，演進(jìn)到低成本方案的高速公路應(yīng)用。在Github上Apollo2.5是這樣說的 Vehicles with this version can drive autonomously on highways at higher speed with limited HD map support. The highway needs to have clear white painted lane marks with minimum curvatures. The performance of vision based perception will degrade significantly at night or with strong light flares.Be cautious when driving autonomously, Especially at night or in poor vision environment. Please test Apollo 2.5 with the support from Apollo engineering team. 在高精度地圖支持下，車輛可以在高速公路上以較高的速度自動駕駛，高速公路應(yīng)該車道線清晰，曲率不高。在強(qiáng)烈陽光和低照度下請謹(jǐn)慎，請在Apollo工程團(tuán)隊(duì)的支持下測試Apollo2.5。

和原來數(shù)十萬元的系統(tǒng)成本相比，Apollo2.5僅用一個廣角攝像頭和一個毫米波雷達(dá)就完成了高速公路自動駕駛，總體成本下降了90%，已經(jīng)具備量產(chǎn)條件。

Apollo2.5的基礎(chǔ)是百度的低成本“相對地圖”，這種地圖和凱迪拉克超級巡航上的激光雷達(dá)地圖類似。

由USHR為凱迪拉克制作的激光雷達(dá)地圖專為高速公路無人駕駛設(shè)計，地圖的內(nèi)容包括車道數(shù)量、車道寬度、水平寬度、速度上限、速度下限、海拔高度、順坡斜率、邊坡斜率、航向角、水平曲率半徑等，精度為10厘米。在凱迪拉克超級巡航里包括6自由度的MEMS IMU，使用天寶的RTX服務(wù)和一臺天寶的單頻雙星（GPS/GLONASS）接收機(jī)，使用4G通訊來矯正定位，包括精確衛(wèi)星時鐘，軌道和電離層信息，定位精度可達(dá)1.8米。

凱迪拉克使用6個毫米波雷達(dá)，包括1個長距超聲波雷達(dá)，可能是德國大陸汽車的ARS-410，5個短距離毫米波雷達(dá)，可能是大陸的SRR520。前后兩個攝像頭也由大陸提供，8-10個超聲波雷達(dá)，當(dāng)然車內(nèi)還有一個駕駛者狀態(tài)監(jiān)控攝像頭。圖中未標(biāo)出360環(huán)視系統(tǒng)，實(shí)際上凱迪拉克超級巡航也有360環(huán)視系統(tǒng)。這套系統(tǒng)遠(yuǎn)優(yōu)于特斯拉的Autopilot 2.5輔助駕駛系統(tǒng)。

中國的高速公路路況不同于美國，中國的高速公路有三大殺手，一是大貨車，二是無視交通法規(guī)的司機(jī)，三是豪車飆車。對這三大殺手，必須做出對應(yīng)，這就是場景決策或者說行為決策。大貨車由于國情因素，超載是不可避免的，不超載就會虧本。超載情況下，剎車性能大幅度下降，加上大貨車都是氣剎，反應(yīng)速度遠(yuǎn)低于小型車的液壓剎車，此外大貨車在高速上方向打的稍微急一點(diǎn)就可能翻車，會壓垮臨近車道的車。所以高速上盡量不跟大貨車，盡量不與大貨車平行。然而高速上也忌諱隨意變道，或者見大車就超。需要在兩者之間做一個平衡，找一個最優(yōu)策略。

有些司機(jī)，在高速逆行或倒車，如果按照一般無人車的原則是遇到障礙物就減速，而面對逆行或倒車，減速不是最優(yōu)策略，換道才是，不過也要看是否具備換道條件。最后是那些不在意超速罰款的豪車，四處穿插變道，任意超出，無人車要盡量遠(yuǎn)離這些車輛。

如何讓無人車面對這些場景時做出最優(yōu)選擇？

行為決策，第一種方法為人為編程法（Manual Programing），包括FSM(Finite State Machines)有限狀態(tài)機(jī)、行為樹、目標(biāo)導(dǎo)向、效用系統(tǒng)、Rule Based、HSM（Hierarachical State Machines）層次狀態(tài)機(jī)。

FSM有限狀態(tài)機(jī)，這是目前AI游戲界最常用的方法，也是小公司無人駕駛最常用的，簡單高效，最大的優(yōu)點(diǎn)是可視化，缺點(diǎn)是無法對應(yīng)太多的場景，一般不超過10個，在高速上場景比較簡單，尚可使用，低速市區(qū)則完全不能用。

第二種是Optimisation最優(yōu)法，包括CCO(Chance Control Optiminsation)。

第三種是Graph 搜索法，包括A+法（寶馬），RRTS（快速擴(kuò)展隨機(jī)樹法）。

第四種Model Predictive Control (MPC)法，例如Interactive Multi Model-Extended Kalman Filter (IMM-EKF)。

第五種Partially Observable Markov Decision Process (POMDP)，部分可觀察馬爾科夫決策過程法，降低對傳感器的依賴性。

Waymo使用POMDP來做行為決策，Waymo的 behavior prediction team由Stephane Ross領(lǐng)導(dǎo)，主要用POMDP來預(yù)測行人、車輛和騎自行車者的未來行為。預(yù)測行為與行為決策是聯(lián)為一體的。

這實(shí)際上一種強(qiáng)化學(xué)習(xí)。深度學(xué)習(xí)算法一般可分為三大類，即非監(jiān)督學(xué)習(xí)(unsupervised learning)、監(jiān)督學(xué)習(xí)(supervised leaning)和強(qiáng)化學(xué)習(xí)。根據(jù)Agent當(dāng)前狀態(tài)，選擇了動作a，這時與環(huán)境發(fā)生了交互，Agent觀測到下一個狀態(tài)，并收到了一定的獎賞r（有好有壞）。如此反復(fù)的與環(huán)境進(jìn)行交互，在一定條件下，Agent會學(xué)習(xí)到一個最優(yōu)/次優(yōu)的策略。這實(shí)際上就是個馬爾科夫決策過程（MDP），也就是阿爾法狗背后的算法。

而無人車的決策都來自傳感器得到的信息，這些信息都不能完整地描述環(huán)境，只是環(huán)境的一部分，因此需要使用POMDP，即部分觀察馬爾科夫決策過程。強(qiáng)化學(xué)習(xí)過程可以使用一個馬氏決策過程(M arkov decision process，MDP)表示，MDP由四元組 定義，其中S為狀態(tài)集，A為動作集，R ：SxA = R為獎賞函數(shù)，記R (s，a，st)為在狀態(tài) S下采用動作a到達(dá)st 后所得到的瞬間獎賞值；T：SxA = PD (為狀態(tài)轉(zhuǎn)移函數(shù)，其中T (s，a，st)為Agent在狀態(tài)S下采用動作a到達(dá)st的概率…。

如果Agent在學(xué)習(xí)過程中，無需學(xué)習(xí)MDP的模型知識，直接學(xué)習(xí)最優(yōu)策略， 我們稱這類方法為模型無關(guān)(Model free) ；如果在學(xué)習(xí)過程中，先學(xué)習(xí)MDP的模型知識，然后再根據(jù)這些推導(dǎo)、學(xué)習(xí)出最優(yōu)策略，我們稱之為模型有關(guān)( Model based)。其中前者是研究的重點(diǎn)，因?yàn)樵趯?shí)際中主要遇到的問題。是如何在模型不知的情況下學(xué)習(xí)到最優(yōu)策略。前者的算法主要有TD(λ), Q—learning 算法，后者主要有Dyna、Prioritized Sweeping、Sarsa 算法等。

無人車的POMDP一般包括狀態(tài)建模、行為建模、觀察建模、轉(zhuǎn)移函數(shù)建模、收益建模。狀態(tài)建模包括行人、車輛、騎車人可能的行為目標(biāo)點(diǎn)，映射到POMDP模型的七元組的S。將汽車的行為，恒速、加速、減速、左轉(zhuǎn)、右轉(zhuǎn)組合為多種行為。將車輛位置、速度和周圍移動目標(biāo)的位置集合映射到POMDP模型的七元組的Z。汽車的收益建模包括安全、舒適、高效三個目標(biāo)。

為了加快測試過程，百度開發(fā)了強(qiáng)大的仿真系統(tǒng)。在Apollo 中，對仿真平臺的定位是不僅僅是真實(shí)，而是要能夠進(jìn)一步：能夠發(fā)現(xiàn)無人車算法中的問題。因?yàn)樵谡麄€算法迭代閉環(huán)中，光有擬真是不夠的，還需要能夠發(fā)掘問題，發(fā)現(xiàn)了問題后才能去解決問題，也就是回到了開發(fā)過程。如此這樣，從開發(fā)到仿真再回到開發(fā)，仿真平臺同我們的開發(fā)過程串聯(lián)成一個閉環(huán)。只有閉環(huán)的東西才能構(gòu)成持續(xù)迭代和持續(xù)優(yōu)化狀態(tài)。所以仿真平臺在整個無人車算法迭代中的地位非常重要。

Apollo 仿真器的靜態(tài)世界的表達(dá)，正是直接使用了 Apollo 相對地圖數(shù)據(jù)。所以它是真實(shí)的，且是具有足夠低成本的。

相對低速場景，高速公路場景要簡單的多，更容易實(shí)現(xiàn)低成本可量產(chǎn)的無人駕駛。未來國內(nèi)第一輛量產(chǎn)的L4無人車，很有可能是百度Apollo與中國本土車企打造的。