2018年8月4月,北京理工大學(xué)大數(shù)據(jù)創(chuàng)新學(xué)習(xí)中心與中國科學(xué)院人工智能聯(lián)盟標(biāo)準(zhǔn)組聯(lián)合主辦了為期一天的專家講座活動------“2018深度強化學(xué)習(xí):理論與應(yīng)用”學(xué)術(shù)研討會?;顒蝇F(xiàn)場參與人數(shù)超過600人,在線同步觀看人數(shù)超過12萬人。學(xué)界與業(yè)界專家齊聚一堂,共同分享學(xué)習(xí)深度強化學(xué)習(xí)領(lǐng)域的最新研究成果。本文小編親臨現(xiàn)場,為您揭秘深度強化學(xué)習(xí)在自動駕駛技術(shù)中的應(yīng)用詳細(xì)報告。
楊明珠 大連交通大學(xué)
今天我的演講內(nèi)容主要分為四個部分:深度強化學(xué)習(xí)的理論、自動駕駛技術(shù)的現(xiàn)狀以及問題、深度強化學(xué)習(xí)在自動駕駛技術(shù)當(dāng)中的應(yīng)用及基于深度強化學(xué)習(xí)的禮讓自動駕駛研究。
首先是深度強化學(xué)習(xí)的理論,DQN做了深度的拓展,在離散型動作中應(yīng)用效果比較好,但連續(xù)性動作當(dāng)中表現(xiàn)效果并不好,所以做了一些改進和發(fā)展,如Double DQN等。
在連續(xù)型動作之中我個人比較喜歡DDPG的理念,原因有兩點:①之前學(xué)習(xí)到的經(jīng)驗和Policy數(shù)據(jù)放到Replaybuffer當(dāng)中,若之后的行為當(dāng)中發(fā)現(xiàn)和之前相似的地方就會直接從Replaybuffer當(dāng)中把之前的經(jīng)驗和數(shù)據(jù)直接調(diào)用出來,這樣就可以避免在重復(fù)進行一種訓(xùn)練或者采集的方式,節(jié)省時間、提高效率;②信任域的策略優(yōu)化,簡稱TRPO,其實是對之前的算法做了改進,如對狀態(tài)分布進行處理,利用重要性采樣對動作分布進行的處理及在約束條件當(dāng)中,把平均KL散度代替最大KL散度。
PPO也是最近比較熱門的一種深度強化學(xué)習(xí)算法,分為N個Actor,同時進行一些工作,這樣平均分配給很多個actor,合作來做的話效率會更高,而且會節(jié)省更多的時間。HER算法也是個人最喜歡的之前經(jīng)過所有訓(xùn)練,經(jīng)驗總結(jié)出來,這個工作結(jié)束以后全部消化一遍,然后做第二次實驗或者工作的時候吸取了前面的經(jīng)驗,然后再進行下面的訓(xùn)練或者工作的話,就會避免一些錯誤,如無人駕駛撞車了,上次為什么撞車了呢?第二次需要避免這個錯誤,即不讓它撞車。
自動駕駛公司分為互聯(lián)網(wǎng)公司(如Google、百度、蘋果和Uber)及傳統(tǒng)車企(如福特和汽車配件的博世、大眾、通用、寶馬和奔馳等)。目前自動駕駛技術(shù)有三個問題:①感知方面也可以叫做信息的預(yù)處理,主要包括對圖像或者視頻信息的分割、檢測或者識別,如果識別的準(zhǔn)確率更高可能會對之后的決策有比較好的優(yōu)勢。運行當(dāng)中也需要用到分割工作,如沿著車線走需要分割車線位置等。②決策方面其實是為了模仿人類,所以需要經(jīng)過很多訓(xùn)練,利用強化學(xué)習(xí)來做自動駕駛即像人考駕照的過程,學(xué)習(xí)怎樣開車,最后達到上路的水平。③控制方面就是故障安全機制,遇到危險的情況下來不及反應(yīng),就需要安全機制保障車內(nèi)的人身安全,我們做自動駕駛也就是為了減少交通事故的發(fā)生率,讓更多的人可以安安全全地坐上自動駕駛汽車。
現(xiàn)在解決自動駕駛技術(shù)問題有兩種方法:一種是低精度定位+低精度地圖+高準(zhǔn)確識別率,另一種是高精度定位+高精度地圖+更準(zhǔn)確的識別率。
百度是有采集信息的車輛,其實也是比較辛苦的,需要采集所有全景的圖像來做上傳,最后再和百度地圖結(jié)合,這樣才能制定比較好的高精度地圖,這樣成本會非常的高。
關(guān)于深度強化學(xué)習(xí)在自動駕駛當(dāng)中的應(yīng)用,有幾個團隊:WAYVE團隊、本田研究院團隊、堪薩斯州立大學(xué)團隊、韓國漢陽大學(xué)團隊。Wayve是我個人比較欣賞的團隊,是由英國劍橋的博士畢業(yè)生創(chuàng)立的自動駕駛。
Wayve在今年7月發(fā)布的文章是《Learning to Drive in a Day》,僅僅用了一個前景攝像頭,就是車前方的視頻作為輸入的State,輸出的Action就是保證在同一車道內(nèi)行進距離,行駛距離長,reward就大;行駛距離短,reward就短。結(jié)果是只用了單個攝像頭讓自動駕駛汽車在三十分鐘內(nèi)學(xué)會了保持在同一車道內(nèi)行駛二百五十米距離。這樣的方式我們是比較欣賞,但不太建議使用這種僅僅基于視覺的方式來做自動駕駛,因為開車肯定是眼觀六路耳聽八方,側(cè)面或者后面出現(xiàn)任何問題沒有辦法及時預(yù)警,沒有辦法及時處理,將來在上路的問題上肯定是有很大的缺陷。
賓夕法尼亞大學(xué),本田研究院和喬治亞理工學(xué)院合作團隊是采用TTC模式,能夠提前知道岔路口的狀態(tài),如何通過岔路口并且預(yù)測到達這個岔路口的時間是不是有危險,有沒有足夠的時間進行制動,TTC一般都是二點七秒,那個,該團隊存在的缺陷因為就是DQN存在的問題,即在離散動作當(dāng)中表現(xiàn)優(yōu)異,在連續(xù)性動作中表現(xiàn)不好,如果是在高速行駛的情況下如何應(yīng)用,解決得并不是太好。
如何在對抗性極強的情況下,對碰撞避免機制的行為進行訓(xùn)練,使系統(tǒng)進入不安全預(yù)警狀態(tài),堪薩斯州立大學(xué)團隊提出了一種基于深度強化學(xué)習(xí)的新框架,用于對自動駕駛汽車的碰撞避免機制的行為進行基準(zhǔn)測試,但是有一個缺點:無感知單元的預(yù)處理過程,并且沒有在連續(xù)性動作的決策任務(wù)。
我們將這些思想做了融合,提出了我們的一種新的自動駕駛技術(shù),就是禮讓自動駕駛。我們的禮讓自動駕駛也是從三個方面來說:感知、決策和控制單元。什么叫做禮讓,包括”安全行車、禮讓三先”:先讓,先慢,先停,我不去撞別人,別人撞我的時候要先避讓一下,避免發(fā)生撞擊的情況。
感知部分是圍繞檢測、識別和圖像分割等方面,檢測當(dāng)中我們用的最多的是YOLO算法,如果車速特別快的話也需要快速的檢測,然后再去做一些決策方面的,識別方面?zhèn)€人比較喜歡VCG模型,模型結(jié)構(gòu)簡單而且,識別效果也是比較不錯的。分割當(dāng)中有局部分割、語義分割和全景分割,現(xiàn)在應(yīng)用最多的是語義分割和全景分割。感知模塊我們借鑒AndreasGeiger的思想,將地圖、三維傳感器、二維傳感器中的信息給到“世界模型”(world model),我們把感知部分所有信息匯總到一個地圖當(dāng)中,做成一個Map,相當(dāng)于解除了我們對于高精度地圖的高度依賴感,同時可以理解每個時刻的不同物體,相對于地面和道路這些位置,并且可以做之后的預(yù)測,相當(dāng)于之后的路徑規(guī)劃問題。
我們采用DDPG算法改進自動駕駛決策的部分,同時加入禮讓的駕駛概念,就是我們在遇到問題的時候要首先想到先做避讓,也就是主動避讓的情況,連續(xù)動態(tài)的情況下可以讓自動駕駛汽車避免發(fā)生碰撞。
那么“禮讓”這一詞最早起源于機器人,但機器人的速度會比較慢,如果轉(zhuǎn)移到車輛方面其實還是有些難度的,而且高速當(dāng)中的禮讓應(yīng)該還是比較困難的問題,所以這也是我們?nèi)蘸蠊ぷ鞯碾y點。決策方面我們可能會結(jié)合PPO與HER的思想,個人比較喜歡這兩種算法,所以會結(jié)合在里面,自動駕駛在高速運行的情況下也會需要一個快速決策的過程,所以選用PPO算法使得速度能夠提升。
駕駛一段時間以后我們會在第二次自動駕駛的時候總結(jié)第一次的經(jīng)驗,因為人都是在經(jīng)驗當(dāng)中不斷積累,日后才能達到會開車的水平,所以我們也在說學(xué)習(xí)駕車的思想,然后通過HER促進自動駕駛車輛,總結(jié)之前的經(jīng)驗,使其在之后的駕駛過程當(dāng)中少犯錯誤,盡量避免發(fā)生不必要的危險。決策的過程當(dāng)中個人還是比較喜歡Actor-Critic機制,通用reply buffer是我們對之前駕駛的經(jīng)驗和其所得到的Policy的存儲過程,之后的駕駛?cè)蝿?wù)當(dāng)中遇到類似的問題直接可以采用這種經(jīng)驗,不需要再做其它的改變或者訓(xùn)練。
控制方面主要還是RSS模型上面做出一些改進,因為不可能只是關(guān)注到前方的避讓或者碰撞,也要關(guān)注后方,別人撞你的時候應(yīng)該怎么辦,所以采用的是雙保險的機制,為了保證自動駕駛汽車的安全。當(dāng)然如果傳感器檢測到有危險,或者是距離太近的情況下,自動駕駛汽車會直接進入安全機制,或者是作出禮讓的行為,因為我們貫穿始終的都是禮讓自動駕駛。
仿真平臺TORCS屬于3D賽車模擬游戲,個人比較喜歡通過這個來玩賽車游戲,做的效果是很好的,而且是世界通用的賽車游戲,也是相對有說服力,效果會比較好一點,但是場景單一,不適合在復(fù)雜場景下做訓(xùn)練。
結(jié)論與展望:DQN出現(xiàn)最早,改良版本最多,離散情況效果最佳,原理相對較簡單,易于掌握與入門。DDPG是在DQN的基礎(chǔ)上進行改良,原理易懂,在連續(xù)動作中表現(xiàn)優(yōu)異,適用于自動駕系統(tǒng)的決策研究。之后出現(xiàn)的A3C、PPO、HER等算法在連續(xù)動作中都有很好的應(yīng)用與體現(xiàn)。目前,有很多人在將分層強化學(xué)習(xí)和逆向強化學(xué)習(xí)(模仿學(xué)習(xí))應(yīng)用于自動駕駛技術(shù)當(dāng)中,效果有待考究實驗。
實際上,基于時間空間的博弈動力學(xué)研究表明,機器人在目前的實驗與發(fā)展?fàn)顟B(tài)下不具備倫理判斷能力與決策功能。所以,將機器人置于倫理困境是超出了機器人研究的能力范圍。德國聯(lián)邦交通和數(shù)字基礎(chǔ)設(shè)施部委員會說過,自動駕駛系統(tǒng)需要更好地適應(yīng)人之間的交流,也就是讓車輛或者機器適應(yīng)我們的生活節(jié)奏,不是我們?nèi)巳ミm應(yīng)機器應(yīng)該怎么做,或者是機器人之間的交流,總體來說就是以人為主,包括之后發(fā)生不可避免事故的時候主動的決定權(quán),包括最終行為的決定權(quán),必須要歸人來掌握,尤其是必須歸駕駛員掌握。吳焦蘇老師的一句話讓我印象深刻:“自動駕駛系統(tǒng)的安全性不能得到嚴(yán)格保證之前不應(yīng)當(dāng)被批準(zhǔn)量產(chǎn)”。其實這也是對我們生命的負(fù)責(zé)任,因為如果自動駕駛車輛不能保證百分之百不發(fā)生事故,或者不能保證百分之百不會撞擊的話就不能上路,因為我們要對自己的生命負(fù)責(zé),也要對他人生命負(fù)責(zé)。
-
自動駕駛
+關(guān)注
關(guān)注
781文章
13449瀏覽量
165251 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5422瀏覽量
120587
原文標(biāo)題:深度強化學(xué)習(xí)在自動駕駛技術(shù)中的應(yīng)用——楊明珠
文章出處:【微信號:IV_Technology,微信公眾號:智車科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論