一種以50幀/秒進行端到端車道檢測的方法

摘要：現(xiàn)代汽車融合了越來越多的駕駛輔助功能，其中包括車道保持功能。該功能可以讓汽車正確定位在車道線內(nèi)，這對于完全自動駕駛汽車中車道偏離或軌跡規(guī)劃決策有很重要的意義。傳統(tǒng)車道檢測方法依賴于高度專業(yè)的手工特征標記和后處理啟發(fā)式算法的組合，這些技術(shù)計算昂貴，并且由于道路現(xiàn)場變化而易于擴展。最近有研究利用深度學習模型來進行像素級車道分割訓練，也可以用于圖像由于較大的接收范圍而沒有標記的情況。盡管有其優(yōu)點，但這些方法僅限于檢測預和定義固定數(shù)量的車道，并且不能應對車道變化。

在本文中，我們超越了上述限制，提出將車道檢測問題看作一個實例分割問題（其中每個車道都形成自己的實例）可以進行端到端的訓練。為了在裝配車道前對分段的車道實例進行參數(shù)化，我們應用了一個以圖像為條件的學習透視變換（不適用于固定的“鳥瞰”變換），這樣，我們確保了一種對道路變化具有魯棒性的車道匹配，不像現(xiàn)有的方法，依靠固定、預定義轉(zhuǎn)換的方法?？傊?，我們提出了一種快速車道檢測算法，運行速度為50幀/秒，可以處理不同數(shù)量的車道并應對車道變化。我們在tuSimple數(shù)據(jù)集上驗證了我們的方法并獲得了不錯的結(jié)果。

本文作者Davy Neevn是魯汶大學博士研究生，魯汶大學是比利時久負盛名的最高學府，歐洲歷史最悠久且最受人尊敬的大學之一，也是享譽全球的世界級頂尖研究型大學。Davy Neevn近幾年一直在從事語義分割、場景理解、實例分割等課題的研究。

傳統(tǒng)車道線檢測技術(shù)

目前，無論是在學術(shù)還是工業(yè)層面，自動駕駛都是計算機視覺和機器人技術(shù)研究的主要焦點。不論何種方案，都需要使用各種傳感器和控制模塊，感知汽車周圍的環(huán)境?；跀z像頭的車道檢測是環(huán)境感知的重要方法，它可以讓車輛在車道內(nèi)正確定位，同時它對后續(xù)的車道偏離或軌跡規(guī)劃也至關(guān)重要。因此，準確的基于攝像頭的車道檢測是實現(xiàn)完全自動駕駛的關(guān)鍵推動因素。傳統(tǒng)的車道檢測方法（例如[9]，[15]，[17]，[33]，[35]）依靠高度專業(yè)化的手工特征標記和啟發(fā)式識別來識別車道線。這種手工標記的方法主要是基于顏色的特征[7]，結(jié)構(gòu)張量[25]，條形過濾器[34]，脊線特征[26]等，它們可能與霍夫變換 [23]， [37]或卡爾曼濾波器[18]，[8]，[34] 相結(jié)合。識別車道線后，采用后處理技術(shù)來濾除誤檢以形成最終車道。通常，這些傳統(tǒng)方法很容易由于道路場景變化而導致魯棒性問題。

基于深度學習的車道線檢測

最近的研究有人用深度神經(jīng)網(wǎng)絡(luò)取代手工標記，通過構(gòu)建一定量學習密集的特征檢測器進行預測，即像素級的車道分段。 Gopalan等人[11]使用像素級特征描述符來建模，并且使用增強算法來選擇用于檢測車道標記的相關(guān)特征。類似地，Kim和Lee [19]將卷積神經(jīng)網(wǎng)絡(luò)（CNN）與RANSAC算法結(jié)合起來以檢測車道線。注意，在他們的方法中，CNN主要用于圖像增強，并且只有道路場景復雜時才會使用。Huval等人[16]用CNN模型用于高速公路駕駛，其中包括執(zhí)行車道檢測和端到端CNN分類。Li等人[22]提出了使用多任務(wù)深度卷積網(wǎng)絡(luò)，其重點在于尋找?guī)缀诬嚨缹傩裕缥恢煤头较?，以及檢測車道的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。還有人 [21] 做了更多的研究，利用深度神經(jīng)網(wǎng)絡(luò)訓練如何在不利的天氣和低照度條件下共同處理車道和道路標記檢測和識別。上述神經(jīng)網(wǎng)絡(luò)模型除了更好地劃分車道標記的能力之外[16]，它們也可以在圖像中標記不存在的情況下，估計車道線。然而，生成的二元分段車道仍然需要分解到不同的車道實例中。

為了解決這個問題，一些研究應用了后處理技術(shù)，這些技術(shù)依賴幾何特性為指導的啟發(fā)式算法。啟發(fā)式方法在計算上比較昂貴，并且由于道路場景變化容易出現(xiàn)魯棒性問題。

實例分割方法實現(xiàn)端到端車道檢測

在本文中，我們超越了上述限制，提出將車道檢測問題作為一個實例分割問題，其中每個車道在車道類中形成自己的實例。受密集預測網(wǎng)絡(luò)在語義分割[24]，[28]，[31]，[6]和實例分割任務(wù)[36]，[38]，[30]，[2]，[14]等成功的啟發(fā)， [5]我們設(shè)計了一個多任務(wù)網(wǎng)絡(luò)分支，包括一個車道分割分支和一個車道嵌入分支，可以進行端到端的訓練。車道分割分支具有兩個輸出類別，即背景或車道，而車道嵌入分支進一步將分段的車道像素分解成不同的車道實例。通過將車道檢測問題分解為上述兩個任務(wù)，我們可以充分利用車道分割分支的功能，而不必為不同的車道分配不同的類別。相反，使用聚類損失函數(shù)訓練的車道嵌入分支將車道ID分配給來自車道分割分支的每個像素，同時忽略背景像素。通過這樣做，我們減輕了車道變化的問題，并且我們可以處理可變數(shù)量的車道。

通過估算車道實例，即哪些像素屬于哪條車道，我們希望將它們中的每一個轉(zhuǎn)換為參數(shù)描述。為此，曲線擬合算法被廣泛用于文獻中。流行的模型是三次多項式[32]，[25]，樣條曲線[1]或布盧姆曲線[10]。為了在保持計算效率同時提高組合的質(zhì)量，通常使用變換[39]將圖像轉(zhuǎn)換為“鳥瞰”圖像并在那里執(zhí)行曲線擬合。通常，變換矩陣是在單個圖像上計算的，并保持固定。但是，如果地平面變化較大（例如通過傾斜上坡），則該固定變換不再有效。為了彌補這種情況，我們在對曲線進行擬合之前對圖像應用透視變換，與現(xiàn)有的依靠固定變換矩陣進行透視變換的方法相反，我們訓練一個神經(jīng)網(wǎng)絡(luò)來輸出變換系數(shù)。神經(jīng)網(wǎng)絡(luò)將圖像作為輸入，并針對車道配合問題量身定制一個損失函數(shù)進行優(yōu)化。

該方法的一個固有優(yōu)點是對路面變化具有魯棒性，并且為了更好地擬合車道而特別進行了優(yōu)化。整個識別過程的概述可以在圖1中看到。我們的貢獻可以總結(jié)如下：（1）分支的多任務(wù)體系結(jié)構(gòu)，將車道檢測問題作為實例分割任務(wù)來處理，處理車道變化和允許推斷任意數(shù)量的車道。特別地，車道分割分支輸出密集的每像素車道段，而車道嵌入分支進一步將分段的車道像素分解成不同的車道實例。（2）給定輸入圖像的網(wǎng)絡(luò)估計透視變換的參數(shù)，透視變換允許車道擬合對路面變化具有魯棒性，例如，上坡/下坡。

圖1.系統(tǒng)概述。給定一個輸入圖像，Lane Net輸出一個車道實例地圖，車道ID標記每個車道像素。接下來，使用H-Net輸出的變換矩陣變換車道像素，H-Net學習以輸入圖像為條件的透視變換。對于每一條車道，都用三階多項式擬合，并且車道被重投影到圖像上。

通過訓練神經(jīng)網(wǎng)絡(luò)進行端到端的車道檢測，將車道檢測作為實例分割問題來實現(xiàn)，解決了上述車道切換以及車道數(shù)的限制的問題。我們將稱之為LaneNet（參見圖2）的網(wǎng)絡(luò)，將二進制車道分割與單鏡頭實例分割的聚類損失函數(shù)相結(jié)合。在LaneNet的輸出中，每個車道像素被分配它們對應車道的ID。因為LaneNET輸出每個車道的像素集合，我們必須通過這些像素來獲得車道參數(shù)化的曲線。

通常情況下，車道像素被投影成“鳥瞰圖”表示，使用一個固定的轉(zhuǎn)換矩陣。然而，由于變換參數(shù)對所有圖像都是固定的，所以當遇到非地面時，例如在斜坡上，這會引起一些問題。為了緩解這個問題，我們訓練一個網(wǎng)絡(luò)，稱為H-Network，它可以估算輸入圖像上的“理想”透視變換的參數(shù)。

圖2. LaneNet結(jié)構(gòu)。分割分支（底部）被訓練以產(chǎn)生二進制車道。嵌入分支（TOP）生成每個車道像素的n維嵌入，使得來自同一車道的嵌入是緊密的，而來自不同車道的嵌入是相距甚遠的。為了簡單起見，我們展示了每個像素的二維嵌入，它被可視化為XY網(wǎng)格中的顏色映射（所有像素）和點（僅是車道像素）。在利用分割分支的二值分割圖遮蔽背景像素之后，將車道嵌入（藍點）聚集在一起并分配給它們的聚類中心（紅點）。

結(jié)論

在本文中，我們介紹了一種以50幀/秒進行端到端車道檢測的方法。受到最近實例分割技術(shù)的啟發(fā)，與其他相關(guān)的深度學習方法相比，我們的方法可以檢測可變數(shù)量的車道并且可以應對車道變換。為了使用低階多項式對分段車道進行參數(shù)化，我們已經(jīng)訓練了一個網(wǎng)絡(luò)來生成透視變換的參數(shù)，以圖像為條件，其中車道擬合是最優(yōu)的。與流行的“鳥瞰視圖”方法不同，我們的方法通過調(diào)整相應地參數(shù)進行變換，可以有效抵抗地平面的坡度變化。