如何基于深度神經(jīng)網(wǎng)絡設計一個端到端的自動駕駛模型?如何設計一個基于增強學習的自動駕駛決策系統(tǒng)?簡述算法設計思路。
【問題1】
如何基于深度神經(jīng)網(wǎng)絡
設計一個端到端的自動駕駛模型?
分析與解答
本題屬于開放性設計題,回答者需要了解自動駕駛模型的基本功能和研發(fā)中涉及到的主要問題,并結合深度學習領域的相關知識給出設計方案。
自動駕駛模型是自動駕駛系統(tǒng)的重要組成部分,其在功能上試圖模仿人類司機,通過給定當前的車輛狀態(tài)和周圍環(huán)境信息,輸出為對車輛控制信號。傳統(tǒng)的駕駛模型設計方法人為地將自動駕駛任務分解成車道識別、場景抽象、路徑規(guī)劃和控制決策等多個子任務,然后再根據(jù)各個子任務的輸出,通過人工定義的規(guī)則來控制汽車的前進;而通過建立從輸入信號到輸出信號的端到端模型,可以
無需引入大量的人工規(guī)則來控制汽車的行駛;
使整個自動駕駛系統(tǒng)的結構更加簡單、高效;
使模型自主地學到人沒有指定的子任務。
而對于端到端駕駛模型的具體設計,這里介紹業(yè)界較有影響力的工作——Nivdia于2016年提出的PilotNet模型以供參考。
PilotNet模型是一個端到端的深度神經(jīng)網(wǎng)絡,可以在自動駕駛系統(tǒng)中控制車輛前進的方向。模型根據(jù)安裝在汽車擋風玻璃前的三個攝像頭采集到的原始圖片,通過深度神經(jīng)網(wǎng)絡學習出汽車前進所需要轉動的角度。其整體架構如 Fig. 2 所示 [3]。
Figure 1:Nivdia端到端的自動駕駛系統(tǒng)
PilotNet是一個9層神經(jīng)網(wǎng)絡,由1個歸一化層(Normalization Layer)、5個卷積層(Convolutional Layer)和3個全連接層(Fully Connected Layer)組成,如 fig. 3 [4] 所示。模型的輸入為映射到YUV平面的原始輸入圖像,輸出為車輛前進需要偏轉的方向。網(wǎng)絡的前三個卷積層采用5*5的卷積核,后兩個卷積層采用3*3的卷積核。訓練數(shù)據(jù)包含在不同類型道路上(高速公路、住宅區(qū)的街道、鄉(xiāng)間小路等)、不同光線強度、不同天氣條件下的真實的汽車行駛過程中收集到的視頻采樣圖片。
Figure 2: PilotNet網(wǎng)絡結構圖
PilotNet在模擬仿真和實際路測均取得較好的實驗結果。實驗中定義車輛自動化程度為評測指標,即:
模擬系統(tǒng)中車輛偏離道路中心線超過一米時會發(fā)生一次人工干預,并假設人工干預平均需要消耗的時間約為6s/次。PilotNet模型在仿真系統(tǒng)上的評測結果為90%,路測指標可以達到98%。
【問題2】
如何設計一個基于增強學習的自動駕駛決策系統(tǒng)?
簡述算法設計思路
分析與解答
傳統(tǒng)的自動駕駛決策系統(tǒng)多數(shù)采用人工定義的規(guī)則,但是人工定義的規(guī)則不夠全面,容易漏掉一些邊界情況,因而會考慮采用增強學習的原理設計一個自動駕駛的決策系統(tǒng),使自動駕駛的決策系統(tǒng)能從數(shù)據(jù)中自動學習并優(yōu)化自身的決策過程。
對于這一問題的解答可以參考Mobileye提出的基于增強學習的多智能體決策系統(tǒng) [5] 。自動駕駛的決策系統(tǒng)不同于傳統(tǒng)的機器人決策系統(tǒng):首先,其屬于多智能體的場景,其他智能體的行為難以預測,并會對主智能體的行為造成影響;其次,在決策中需要確保策略的安全性,安全地處理意料之外的場景,防止交通事故的發(fā)生。
所以,
Figure 3: 雙向變道決策過程的DAG
擴展與總結
自動駕駛系統(tǒng)極其復雜,本章所涉及的內容僅僅涵蓋了其中一部分研發(fā)問題與進展。深度學習在自動駕駛領域的應用在圖像識別、場景分割等計算機視覺相關領域中較為廣泛與深入,而在控制、決策方面的應用還處在初步的嘗試階段。通過本章的介紹,希望大家能夠初步了解深度學習在自動駕駛系統(tǒng)中的應用現(xiàn)狀與主流應用方式,而更深入的學習了解則請閱讀相關參考文獻。
-
自動駕駛
+關注
關注
781文章
13449瀏覽量
165262
原文標題:兩道算法工程師的面試題,80%的人答不上來
文章出處:【微信號:IV_Technology,微信公眾號:智車科技】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論