基于毫米波雷達(dá)和機(jī)器視覺(jué)的夜間前方車(chē)輛檢測(cè)方案

為研究夜間追尾事故中本車(chē)智能防撞預(yù)警方法，本文提出了一種基于毫米波雷達(dá)和機(jī)器視覺(jué)的前方車(chē)輛檢測(cè)方法。利用多傳感器融合數(shù)據(jù)，檢測(cè)前方車(chē)輛的距離、速度等。建立傳感器之間轉(zhuǎn)換關(guān)系，轉(zhuǎn)換雷達(dá)目標(biāo)的世界坐標(biāo)到圖像坐標(biāo)。

在圖像上形成感興趣區(qū)域，利用圖像處理方法減少干擾點(diǎn)，運(yùn)用 Dempster-Shafer（D-S）證據(jù)理論，融合特征信息，得到總的信任度值檢驗(yàn)感興趣區(qū)域內(nèi)的車(chē)輛。實(shí)驗(yàn)采集多段夜間道路行車(chē)視頻數(shù)據(jù)，統(tǒng)計(jì)實(shí)現(xiàn)尾燈識(shí)別的幀數(shù)，與主觀判斷進(jìn)行比較。結(jié)果表明：該方法能夠?qū)崿F(xiàn)對(duì)夜間前方車(chē)輛的檢測(cè)和定位。

本文來(lái)自 2016 年 6 月 15 日出版的《 汽車(chē)安全與節(jié)能學(xué)報(bào) 》，作者是吉林大學(xué)交通學(xué)院的金立生教授和程蕾以及清華大學(xué)汽車(chē)安全與節(jié)能?chē)?guó)家重點(diǎn)實(shí)驗(yàn)室的成波教授。

道路交通事故中由追尾相撞導(dǎo)致的事故占很大比例，而夜間交通事故尤為嚴(yán)重，約占交通事故總數(shù)的 40%。夜間車(chē)輛檢測(cè)技術(shù)已成為智能車(chē)輛安全輔助駕駛系統(tǒng)的重要組成部分，用于準(zhǔn)確地識(shí)別夜間前方車(chē)輛，為駕駛員及時(shí)提供前方車(chē)輛信息及路況，降低夜間交通事故的發(fā)生 [1]。

夜間由于光線強(qiáng)度不夠，大部分白天的車(chē)輛特征信息已經(jīng)不可用，因此用于白天的車(chē)輛檢測(cè)算法基本失效。車(chē)輛尾燈是夜間車(chē)輛的明顯特征，目前，對(duì)于夜間前方車(chē)輛檢測(cè)識(shí)別的研究主要是利用單目視覺(jué)傳感器，獲取車(chē)輛前方的視覺(jué)感知信息，基于圖像信息提取尾燈特征進(jìn)行前方車(chē)輛識(shí)別。

劉尊洋等人結(jié)合車(chē)輛尾燈的顏色與亮度檢測(cè)尾燈 [2]；吳海濤等人對(duì)前車(chē)燈對(duì)配對(duì)進(jìn)行車(chē)輛的跟蹤 [3]；唐佳林等人采用幀差法提取感興趣區(qū)域 [4]；王孝蘭選擇基于模糊理論的分割方法對(duì)圖像進(jìn)行分割，提取車(chē)牌、尾燈的特征 [5]；祁秋紅等人通過(guò)色調(diào)（hue）-飽和度（saturation）-明度（value）的顏色模型（HSV）對(duì)尾燈的顏色信息進(jìn)行分割，辨出車(chē)輛位置[6]；周俊杰采用基于R通道直方圖的紅（red）-綠（green）-藍(lán)（blue）彩色（RGB）空間自適應(yīng)閾值分割圖像，自適應(yīng)效果不是很理想 [7]。

機(jī)器視覺(jué)是一種用于車(chē)輛檢測(cè)的有效傳感器，但其有一定的局限性，因此有文獻(xiàn)提出綜合考慮激光雷達(dá)和機(jī)器視覺(jué)的信息，進(jìn)行前方目標(biāo)車(chē)輛檢測(cè) [8-9]。雖然激光雷達(dá)和機(jī)器視覺(jué)在一定程度可以互補(bǔ)，但激光雷達(dá)對(duì)天氣、燈光、障礙物表面光滑度等干擾非常敏感，不適合復(fù)雜道路環(huán)境。

由于毫米波雷達(dá)不易受外界干擾而且測(cè)量的距離精度高，可以準(zhǔn)確獲得前方車(chē)輛的速度、角度等深度信息。因此，本文提出利用毫米波雷達(dá)和機(jī)器視覺(jué)進(jìn)行多傳感器數(shù)據(jù)融合，通過(guò)先驗(yàn)知識(shí)篩選毫米波雷達(dá)探測(cè)到的障礙物數(shù)據(jù)，融合雷達(dá)數(shù)據(jù)和圖像信息初步確立動(dòng)態(tài)感興趣區(qū)域（Region of Interest，ROI），在縮小的范圍內(nèi)基于視覺(jué)傳感器提取表征車(chē)輛的特征，運(yùn)用 D-S 證據(jù)理論（Dempster-Shafer Evidential Theory）融合信息，減少了計(jì)算量和主觀閾值對(duì)檢測(cè)精確度的影響，提高了執(zhí)行速度和車(chē)輛定位的準(zhǔn)確性。

1. 夜間車(chē)輛檢測(cè)算法實(shí)現(xiàn)

整個(gè)過(guò)程分為假設(shè)產(chǎn)生（Hypothesis Generation，HG）和假設(shè)檢驗(yàn)（Hypothesis Verifcation，HV）兩部分：

假設(shè)產(chǎn)生過(guò)程利用雷達(dá)獲取候選目標(biāo)的的距離、角度、速度等信息，進(jìn)而得到候選目標(biāo)的世界坐標(biāo)，逆用攝像機(jī)標(biāo)定原理得到世界坐標(biāo)與圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系，初步確定候選目標(biāo)在圖像上的區(qū)域，即感興趣區(qū)域 ROI；

假設(shè)驗(yàn)證過(guò)程是通過(guò)改進(jìn)的自適應(yīng)閾值確定方法（大津法，OTSU 法）進(jìn)行圖像分割處理，進(jìn)而利用圖像處理方法、先驗(yàn)知識(shí)和 D-S 證據(jù)理論對(duì)感興趣區(qū)域檢測(cè)是否存在車(chē)輛特征。

圖 1 夜間前方車(chē)輛檢測(cè)方法流程圖

算法流程圖如圖 1 所示。

2. 假設(shè)產(chǎn)生（HG）

2.1 雷達(dá)數(shù)據(jù)處理及初選目標(biāo)的確定

毫米波雷達(dá)接收到的是十六進(jìn)制數(shù)據(jù)，根據(jù)雷達(dá)協(xié)議解算數(shù)據(jù)，并提取可以用于車(chē)輛檢測(cè)的有效信息包括：前方車(chē)輛相對(duì)于本車(chē)的角度、距離、速度、反射強(qiáng)度。在實(shí)際測(cè)量中，毫米波雷達(dá)獲取的信號(hào)有一部分是空目標(biāo)信號(hào)、無(wú)效目標(biāo)信號(hào)、靜止目標(biāo)信號(hào)，首先要去除這 3 種目標(biāo)信號(hào)的干擾。

根據(jù)國(guó)家規(guī)定車(chē)道寬度設(shè)置橫向?qū)挾乳撝?，進(jìn)行目標(biāo)與自車(chē)的同車(chē)道判斷，保留行駛方向距離閾值和相對(duì)速度閾值內(nèi)的目標(biāo)，對(duì)篩選出的前方目標(biāo)由近及遠(yuǎn)的原則重新排序，使用同車(chē)道近距離原則初選有效目標(biāo)，如表 1 所示。

表 1 初選有效目標(biāo)信號(hào)

表 1 中：ID 表示雷達(dá)檢測(cè)得到的目標(biāo)信號(hào)的標(biāo)準(zhǔn)幀號(hào)；α、R、Δv 分別為本車(chē)與目標(biāo)信號(hào)的相對(duì)角度、相對(duì)距離、相對(duì)速度（?v = v1 - v0，v1 為目標(biāo)速度，v0 為本車(chē)速度）；p 從目標(biāo)返回信號(hào)的強(qiáng)度，即反射率。

長(zhǎng)距離的毫米波雷達(dá)掃描范圍是 1~175 m，中距離是 1~60 m。距離小于 1 m 時(shí)雷達(dá)就不能識(shí)別物體。以避免車(chē)輛行駛過(guò)程中與前方車(chē)輛發(fā)生追尾碰撞為出發(fā)點(diǎn)，在有效目標(biāo)選擇過(guò)程中最關(guān)注的是與本車(chē)位于同一車(chē)道的前方最近車(chē)輛。當(dāng) Δv＜0，有出現(xiàn)追尾事故的可能。因此，把雷達(dá)掃描近距離 1~60 m 內(nèi)、離本車(chē)最近且 Δv＜0 的車(chē)輛作為初選目標(biāo)。

2.2 雷達(dá)數(shù)據(jù)和機(jī)器視覺(jué)的融合

雷達(dá)和機(jī)器視覺(jué)是不同坐標(biāo)系的傳感器，因此要實(shí)現(xiàn)雷達(dá)和機(jī)器視覺(jué)的空間融合，必須建立兩傳感器所在坐標(biāo)系的轉(zhuǎn)換模型，即雷達(dá)坐標(biāo)與圖像像素坐標(biāo)之間的轉(zhuǎn)換。雷達(dá)坐標(biāo)系與圖像像素坐標(biāo)系之間有著密切的聯(lián)系 [10]，按照右手系原則建立坐標(biāo)系，由式 (1)-(2) 確定坐標(biāo)系之間的空間位置關(guān)系。

將世界坐標(biāo)系中的點(diǎn) ( XW, YW, ZW ) 變換到圖像像素坐標(biāo) ( u, v )，轉(zhuǎn)換公式為：

式中：( XW, YW, ZW, 1 )^T 是點(diǎn)的世界坐標(biāo)，與其對(duì)應(yīng)的攝像機(jī)齊次坐標(biāo)是 ( XC, YC, ZC, 1 )^T，dx 與 dy 分別表示每個(gè)像素在橫、縱軸上的物理單位下的大小，f 是攝像機(jī)的焦距，s' 表示因攝像機(jī)成像平面坐標(biāo)軸相互不正交引出的傾斜因子（Skew Factor），R 代表旋轉(zhuǎn)矩陣（為一個(gè) 3×3 的正交單位矩陣），t 代表平移向量，I 是元素全為 1 的對(duì)角矩陣，O=(0, 0, 0)^T。

毫米波雷達(dá)獲取的前方障礙物信息是在極坐標(biāo)下的二維信息，將障礙物 P 的極坐標(biāo)下的二維信息轉(zhuǎn)換到直角坐標(biāo)系中，雷達(dá)坐標(biāo)系的 X0O0Z0 平面與世界坐標(biāo)系的 XOZ 平面平行，兩平面之間的距離為 Y0，通過(guò)雷達(dá)可以得到前方車(chē)輛中心點(diǎn)投影到雷達(dá)掃射平面內(nèi)的點(diǎn) P 相對(duì)雷達(dá)的距離 R 和角度 α，確定點(diǎn) P 在世界坐標(biāo)系下的坐標(biāo)，轉(zhuǎn)換關(guān)系如下：

由雷達(dá)獲得前方車(chē)輛形心點(diǎn)的輸入，綜合以上建立雷達(dá)坐標(biāo)系和圖像像素坐標(biāo)系之間的相對(duì)關(guān)系，即可獲得前方車(chē)輛在像素平面的投影，基于車(chē)輛的常用外形（寬高比）投影在像素平面上，建立可以根據(jù)距離變化的動(dòng)態(tài)感興趣區(qū)域，縮小在圖像上的搜索時(shí)間，減少計(jì)算量。通過(guò)統(tǒng)計(jì)發(fā)現(xiàn)一般車(chē)輛的寬高比在 0.7~2.0 范圍內(nèi)，常見(jiàn)轎車(chē)、運(yùn)動(dòng)型多功能車(chē)（Sport Utility Vehicle，SUV）、面包車(chē)、商用車(chē)輛等車(chē)型的寬高比在 0.7~1.3 范圍內(nèi) [11]，為了避免后續(xù)尾燈檢測(cè)時(shí)會(huì)遺漏尾燈目標(biāo)，本文選取常見(jiàn)幾種車(chē)型的最大寬高比 W/H=1.3。

動(dòng)態(tài)感興趣區(qū)域的確定如下：

式中：( x_lt, y_lt )，( x_rb, y_rb )分別為動(dòng)態(tài)感興趣矩形區(qū)域的左上角點(diǎn)和右下角點(diǎn)的像素坐標(biāo)，( x, y )為車(chē)輛形心點(diǎn)的像素坐標(biāo)。

圖 2 雷達(dá)掃描圖

圖 3 雷達(dá)目標(biāo)在圖像上的的 ROI

雷達(dá)掃描圖如圖 2 所示。雷達(dá)坐標(biāo)系中的目標(biāo)經(jīng)坐標(biāo)轉(zhuǎn)換關(guān)系在圖像上形成的感興趣區(qū)域如圖 3 中的 (a) 列所示。動(dòng)態(tài)感興趣區(qū)域的大小會(huì)隨目標(biāo)的距離發(fā)生變化，以更適合的尺寸截取感興趣區(qū)域圖像進(jìn)行下一步檢測(cè)驗(yàn)證，縮小了檢測(cè)范圍，從而減少計(jì)算量提高檢測(cè)實(shí)時(shí)性。獲取的感興趣區(qū)域圖像如圖 3b 列所示。

3. 假設(shè)驗(yàn)證（HV）

3.1 圖像分割

前方車(chē)輛尾燈對(duì)的灰度級(jí)與路面及背景的灰度級(jí)有明顯區(qū)別，采用閾值分割的方法可以快速準(zhǔn)確地將尾燈對(duì)分割出來(lái)。

本文采用改進(jìn)的 OTSU 算法分割圖像，凸顯出表征車(chē)輛特征的尾燈部分。改進(jìn)的 OTSU 算法是以傳統(tǒng) OTSU 為基礎(chǔ)，從最小灰度值到最大灰度值遍歷，當(dāng)灰度 T 使得方差 σ^2 = w_0*w_1*(μ_0-μ_1)^2 最大時(shí)，再次利用傳統(tǒng) OTSU 對(duì)圖像中大于 T 的部分從灰度 T 到最大灰度值遍歷，得到閾值 T0 使大于灰度值 T 的部分的方差最大，提取閾值 T0，用 T0 對(duì)感興趣區(qū)域圖像進(jìn)行二值化分割，目標(biāo)灰度為 1，背景灰度為 0。

圖 4 分割后圖像

分割后的圖像如圖 4 所示。