自動(dòng)駕駛中進(jìn)行車(chē)道線(xiàn)檢測(cè)的實(shí)用算法

作者 |?Ethon ? 車(chē)道識(shí)別是自動(dòng)駕駛領(lǐng)域的一個(gè)重要問(wèn)題，今天介紹一個(gè)利用攝像頭圖像進(jìn)行車(chē)道識(shí)別的實(shí)用算法。該算法利用了OpenCV庫(kù)和Udacity自動(dòng)駕駛汽車(chē)數(shù)據(jù)庫(kù)的相關(guān)內(nèi)容。 該算法包含以下步驟：

攝像頭校準(zhǔn)，以移除鏡頭畸變（Lens distortion）的影響

圖像前處理，用于識(shí)別車(chē)道線(xiàn)

道路視角變換（Perspective transform）

車(chē)道線(xiàn)檢測(cè)

車(chē)輛定位和車(chē)道半徑計(jì)算

01 ? 攝像頭校準(zhǔn) ? ?

攝像頭輸出的視頻可以看做一系列圖像的時(shí)間序列。鏡頭的結(jié)構(gòu)特性造成利用針孔攝像機(jī)拍攝的圖像容易發(fā)生徑向畸變，導(dǎo)致根據(jù)物體與光軸的距離而導(dǎo)致不一致的放大。

以下圖片展示了兩種典型的徑向偏差。

為了 正確的識(shí)別圖像中的車(chē)道，首先需要消除圖像中的徑向偏差。計(jì)算機(jī)視覺(jué)專(zhuān)家們找到了一種有效的方式來(lái)修正徑向偏差：首先將圖像轉(zhuǎn)換成棋盤(pán)模型，然后校正攝像頭，使獲得的圖像中白色和黑色格子達(dá)到相同規(guī)尺度。 為了修正失真效應(yīng)，需要識(shí)別棋盤(pán)的中心并利用期望的棋盤(pán)尺度來(lái)計(jì)算失真系數(shù)，并用其來(lái)消除圖像的徑向失真。

在上圖中，最左邊的圖像顯示了原始的失真圖像，最右側(cè)的圖可以看出圖像頂部的角度扭曲，中間的圖像是經(jīng)過(guò)攝像頭校準(zhǔn)后的未失真圖像。 OpenCV的findChessBoardCorners和calibrateCamera函數(shù)可以用來(lái)實(shí)現(xiàn)以上的攝像頭校準(zhǔn)過(guò)程。?

?

02 ? 圖像預(yù)處理 ? ?

解決了攝像頭圖像失真問(wèn)題后，我們繼續(xù)探索檢測(cè)車(chē)道的算法。在計(jì)算機(jī)視覺(jué)領(lǐng)域，分離和檢測(cè)對(duì)象的一種常用方法是使用顏色變換和梯度來(lái)生成一個(gè)具有過(guò)濾閾值的二值化圖像。

對(duì)于顏色變換，我們嘗試了HSL、LAB和LUA三種顏色空間，以找出哪一種最適合于過(guò)濾在道路上的車(chē)道線(xiàn)的像素。 HSL:??通過(guò)對(duì)色相(H)、飽和度(S)、明度(L)三個(gè)顏色通道的變化以及它們相互之間的疊加來(lái)得到各式各樣的顏色的 LAB:??由亮度(L)和有關(guān)色彩的A, B三個(gè)要素組成。L表示亮度(Luminosity)，A表示從洋紅色至綠色的范圍，B表示從黃色至藍(lán)色的范圍 LUV:??由CIE XYZ空間經(jīng)簡(jiǎn)單變換得到，具視覺(jué)統(tǒng)一性。L表示物體亮度，U和V是色度 經(jīng)過(guò)試驗(yàn)，我們發(fā)現(xiàn)LAB的B道和LUV的L通道是識(shí)別車(chē)道線(xiàn)的最佳組合。 接下來(lái)，我們?cè)囼?yàn)了Sobel梯度濾波器。圖像梯度度量了顏色變化的方向強(qiáng)度。Sobel是一種利用高斯平滑和微分運(yùn)算來(lái)降低噪聲影響的梯度濾波器。

03 ? 視角變換 ? ?

車(chē)道檢測(cè)的難點(diǎn)在于準(zhǔn)確獲得車(chē)道線(xiàn)的方向以及角度。在攝像頭的默認(rèn)視角下，遠(yuǎn)離攝像機(jī)的物體顯得更小，同時(shí)車(chē)道線(xiàn)在遠(yuǎn)離汽車(chē)的方向逐漸相交，這和實(shí)際情況是不符的。解決這種視點(diǎn)扭曲的一種方法是改變圖像的視角，比如可以從上往下看（鳥(niǎo)瞰圖）。

OpenCV提供了?getPerspectiveTransform? 和 warpPerspective函數(shù)，可用于進(jìn)行圖像的視角變換。首先，我們?cè)趫D像中選擇想要變換的區(qū)域，在下圖中，我們選擇了汽車(chē)前面的車(chē)道線(xiàn)部分。

接下來(lái)，選擇代表目標(biāo)空間的點(diǎn)集，在本例中，任何矩形內(nèi)的點(diǎn)集都可以。我們可以使用warpPerspective函數(shù)將選定區(qū)域變換到我們選擇的視角中。 下圖顯示了兩條不同路段的車(chē)道線(xiàn)進(jìn)行視角變換后的結(jié)果。

04 ? 車(chē)道檢測(cè) ? ?

下面，我們正式開(kāi)始進(jìn)行車(chē)道檢測(cè)。在前面的各步驟中，我們進(jìn)行了圖像的二元閾值化和視角變換，最終獲得一個(gè)黑白圖像，其中白色的像素代表我們?cè)噲D檢測(cè)的車(chē)道線(xiàn)的部分。

接下來(lái)，我們需要找到一個(gè)最佳起始點(diǎn)來(lái)尋找屬于左車(chē)道線(xiàn)的像素和屬于右車(chē)道線(xiàn)的像素。一種有效的方法是生成圖像中車(chē)道線(xiàn)像素的直方圖。直方圖應(yīng)該有兩個(gè)尖峰，各代表一條車(chē)道線(xiàn)，左邊的尖峰是左邊的車(chē)道線(xiàn)，右邊的尖峰是右邊的車(chē)道線(xiàn)。

然后將兩個(gè)峰值的位置作為起始點(diǎn)來(lái)搜索屬于每條車(chē)道線(xiàn)的像素。我們采用了滑動(dòng)窗口搜索技術(shù)，它從底部開(kāi)始，迭代地掃描到圖像的頂部，并將檢測(cè)到的像素添加到列表中。如果在一個(gè)窗口中檢測(cè)到足夠數(shù)量的像素，那么下一個(gè)窗口將以它們的平均位置為中心，這樣我們就沿著像素的路徑尋遍整個(gè)圖像。 在我們檢測(cè)到每個(gè)車(chē)道線(xiàn)的像素之后，我們就可以通過(guò)這些點(diǎn)來(lái)擬合一個(gè)多項(xiàng)式，從而產(chǎn)生一條平滑曲線(xiàn)，從而實(shí)現(xiàn)車(chē)道線(xiàn)的最佳近似。 下面的圖像展示了滑動(dòng)窗口技術(shù)的作用，多項(xiàng)式曲線(xiàn)通過(guò)檢測(cè)到的車(chē)道線(xiàn)像素?cái)M合獲得(紅色為左車(chē)道像素，藍(lán)色為右車(chē)道像素)。

下面是滑動(dòng)窗口搜索技術(shù)的另一個(gè)視圖，高亮顯示并填充搜索區(qū)域:

05 ? 車(chē)輛/車(chē)道線(xiàn)位置 ? ?

最后，利用兩個(gè)檢測(cè)到的車(chē)道線(xiàn)的位置，并假設(shè)攝像頭位于圖像的中心位置，可以計(jì)算出汽車(chē)相對(duì)于車(chē)道的位置。根據(jù)圖像的分辨率，能夠進(jìn)行從像素到米的換算。

此外，利用尺度測(cè)量，我們還可以通過(guò)擬合一個(gè)新的多項(xiàng)式到物理空間來(lái)計(jì)算車(chē)道線(xiàn)的曲率，然后計(jì)算曲率半徑。這條線(xiàn)的曲率半徑就是這兩個(gè)半徑的平均值，下圖顯示了兩條車(chē)道線(xiàn)的曲線(xiàn)半徑和中心偏移量(圖像中不可見(jiàn))。

06 ? 結(jié)果 ? ?

以上介紹了自動(dòng)駕駛中進(jìn)行車(chē)道線(xiàn)檢測(cè)的實(shí)用算法，我們通過(guò)一個(gè)多邊形投影區(qū)域來(lái)顯示檢測(cè)結(jié)果，可以看到檢測(cè)結(jié)果與實(shí)際非常吻合。

? ?

編輯：黃飛

?