機(jī)器視覺在ADAS系統(tǒng)中的應(yīng)用

為了改善道路交通安全狀況，國內(nèi)外眾多的科研機(jī)構(gòu)、汽車企業(yè)均投入大量精力在汽車安全防護(hù)系統(tǒng)的研究和開發(fā)領(lǐng)域。研發(fā)內(nèi)容從最早的機(jī)械和電子裝置，發(fā)展到今時今日關(guān)注的熱點———先進(jìn)輔助駕駛系統(tǒng)（ADAS）。

以 ADAS 為代表的系統(tǒng)在硬件上應(yīng)用了多種傳感器，如超聲波傳感器、視覺傳感器、雷達(dá)、GPS 等，在行車過程中感知車輛自身狀態(tài)及環(huán)境變化，采集車輛數(shù)據(jù)和環(huán)境數(shù)據(jù)，依據(jù)這些數(shù)據(jù)，進(jìn)行交通場景識別、交通事件預(yù)測，并給出相應(yīng)的駕駛建議和應(yīng)急措施，輔助駕駛?cè)藛T進(jìn)行決策，避免交通事故發(fā)生，減少事故造成的傷害。

在實際駕駛過程中，駕駛員獲取絕大部分信息均來自于視覺，比如：路面狀況、交通標(biāo)志、標(biāo)線和信號、障礙物等，研究表明大約有 90% 的環(huán)境信息來自于視覺，如果能很好地利用視覺傳感器理解路面環(huán)境，對實現(xiàn)車輛智能化是一個很好的選擇?；谝曈X導(dǎo)航的交通標(biāo)志檢測、道路檢測、行人檢測和障礙物檢測的車輛駕駛輔助系統(tǒng)，可以降低駕駛員的勞動強(qiáng)度，提高行駛安全性，減少交通事故。

駕駛輔助系統(tǒng)在為駕駛員提供決策建議的過程中，使用了大量的視覺信息數(shù)據(jù)，在這方面視覺圖像具有無法比擬的優(yōu)勢：

視覺圖像包含的信息量大，例如可視范圍內(nèi)物體的距離信息、物體形狀、紋理和顏色等；

視覺信息的獲取是非接觸的，不會破壞路面和周圍環(huán)境，也不需要對現(xiàn)有道路設(shè)施進(jìn)行大范圍的配套修建；

一次視覺圖像的獲取，可同時實現(xiàn)道路檢測、交通標(biāo)志檢測、障礙物檢測等多項工作；

視覺信息的獲取過程中不會出現(xiàn)車輛相互干擾的情況。

綜上所述，智能車輛機(jī)器視覺技術(shù)在智能交通、汽車安全輔助駕駛、車輛的自動駕駛等方面有著廣泛的應(yīng)用前景。

1. 機(jī)器視覺在先進(jìn)輔助駕駛系統(tǒng)中的應(yīng)用

目前，視覺傳感器及機(jī)器視覺技術(shù)被廣泛應(yīng)用到了各類先進(jìn)輔助駕駛系統(tǒng)中。其中，行車環(huán)境的感知是基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)的重要組成部分之一。

行車環(huán)境的感知主要是依靠視覺技術(shù)感知車輛行駛時的道路信息、路況信息和駕駛員狀態(tài)，為輔助駕駛系統(tǒng)提供決策所必需的基礎(chǔ)數(shù)據(jù)。其中，

道路信息主要是指車外的靜態(tài)信息，包括：車道線、道路邊沿、交通指示標(biāo)志和信號燈等；

路況信息主要是指車外的動態(tài)信息，包括：行車前方障礙物、行人、車輛等；

駕駛員狀態(tài)屬于車內(nèi)信息，主要包括：駕駛員的疲勞、異常駕駛行為等，通過提醒駕駛員可能發(fā)生的不安全行為，避免車輛發(fā)生安全事故。

借助機(jī)器視覺技術(shù)對行車環(huán)境進(jìn)行感知，可獲取各種車內(nèi)、外的靜態(tài)信息和動態(tài)信息，幫助輔助駕駛系統(tǒng)做出決策判斷。

根據(jù)上述分類，可知目前應(yīng)用較多的基于機(jī)器視覺的先進(jìn)輔助駕駛系統(tǒng)的關(guān)鍵技術(shù)包括：車道線檢測技術(shù)、交通標(biāo)志識別技術(shù)、車輛識別技術(shù)、行人檢測技術(shù)和駕駛員狀態(tài)檢測技術(shù)等。

1.1 車道線檢測技術(shù)

目前已有的車道線檢測技術(shù)研究成果中，主要涉及設(shè)備和算法兩個方面。車道線檢測技術(shù)的數(shù)據(jù)采集基于不同的傳感器設(shè)備，例如激光雷達(dá)、立體視覺、單目視覺等。對采集到的信息，需要匹配適合的算法，例如基于模型的方法和基于特征的方法進(jìn)行計算和決策。

激光雷達(dá)的機(jī)器視覺原理是通過不同的顏色或材質(zhì)有不同反射率的特點進(jìn)行道路識別；

立體視覺與激光雷達(dá)相比精確性高，但實現(xiàn)圖像匹配難度大，設(shè)備成本較高，且由于算法復(fù)雜，導(dǎo)致了實時性較差；

單目視覺在應(yīng)用中主要通過基于特征、模型、融合和機(jī)器學(xué)習(xí)的方法實現(xiàn)，是目前進(jìn)行車道線識別最主流的方法。

基于特征的算法首先進(jìn)行圖像特征提取，比如邊緣信息。利用這些特征信息，按照預(yù)定規(guī)則獲得車道線標(biāo)記。例如 Lee 等人在 2002 年就提出了一種基于特征的車道線檢測方法，他們使用邊緣分布函數(shù)來統(tǒng)計全局的梯度角累積分化找出最大的累積量，結(jié)合左右車道線的對稱特性，確定出車道線的位置。此類算法的主要優(yōu)點在于其對車道線的形狀不敏感，在噪聲干擾較強(qiáng)的情況下（如陰影、標(biāo)志線磨損等）仍具有較好的魯棒性，能較為可靠地檢測出車道線的直線模型。

Lopez 等人于 2010 年提出使用圖像的「脊峰」替代圖像邊緣信息提取車道線特征數(shù)據(jù)的方法?！讣狗濉箍梢苑从硤D像鄰域像素點的匯聚程度，在車道線標(biāo)志線區(qū)域中，它的表示形態(tài)是在車道線中間的具有局部極大值的明亮區(qū)域。與圖像邊緣相比較，「脊峰」更加適合應(yīng)用于車道線檢測的應(yīng)用場合。

基于模型的車道線識別方法是運用數(shù)學(xué)的思維建立道路模型，分析圖像信息獲取參數(shù)，從而完成車道線檢測。Shengyan Zhou等提出了一種基于 Gabor 濾波器與幾何模型的車道線識別方法。在智能車前方存在車道標(biāo)示線的前提下，可以用車道線原點、寬度、曲率、起始位置這 4 個參數(shù)對其進(jìn)行描述。先對攝像機(jī)進(jìn)行預(yù)標(biāo)定，在計算完模型參數(shù)后篩選出若干車道線模型。算法通過局部 Hough 變換和區(qū)域定位估算所需參數(shù)，確定最終使用模型并完成與實際車道線的匹配。

一般來講，基于模型的車道線識別方法主要分為簡單的直線模型和較為復(fù)雜的模型（如二次曲線和樣條曲線），實際應(yīng)用中需要根據(jù)具體的使用場合和道路特點選擇不同的方法。例如大多數(shù)的車道偏離預(yù)警系統(tǒng)均采用簡單的直線模型來刻畫車道線；而需要靈活擬合車道線的場合下，如車道線預(yù)估與跟蹤問題，則通常使用較復(fù)雜的模型算法。

1.2 交通標(biāo)志識別技術(shù)

交通標(biāo)志識別可提示駕駛員道路環(huán)境中的交通標(biāo)志，幫助駕駛員做出正確決策，提高駕駛安全性。交通標(biāo)志通常都具有較明顯的視覺特征，如顏色、形狀等，利用此類視覺特征可以檢測出不同交通標(biāo)志，在交通標(biāo)志檢測方法研究的相關(guān)文獻(xiàn)中，顏色特征和形狀特征相結(jié)合的相關(guān)檢測方法較為廣泛。但由于實際情況下，交通標(biāo)志的圖像采集數(shù)據(jù)的質(zhì)量可能會受到光照、天氣變化等影響;同時，交通標(biāo)志被遮擋、扭曲、磨損等，也會影響算法準(zhǔn)確性。

目前交通標(biāo)志識別技術(shù)的實現(xiàn)方法，大部分都是通過設(shè)定顏色分量的閾值范圍實現(xiàn)圖像分割，從復(fù)雜的背景區(qū)域中得到感興趣區(qū)域（ROI），然后在感興趣區(qū)域上進(jìn)行形狀的過濾，從而檢測出交通標(biāo)志的所在區(qū)域。常見的算法有直接彩色閾值分割算法，直接在 RGB 顏色空間對圖像所有像素進(jìn)行分割，通過角點檢測確定目標(biāo)區(qū)域是否有交通標(biāo)志，該算法對光照影響和遮擋問題的解決效果不佳，因此許多學(xué)者都對該算法進(jìn)行了改進(jìn)，常用的是將 RGB 圖像轉(zhuǎn)化到 HSV、HIS 等更符合人類對顏色的視覺理解的顏色模型下再進(jìn)行圖像分割和提取，有效地克服了交通標(biāo)志的光照影響和遮擋難題。

交通標(biāo)志識別技術(shù)最具代表性的應(yīng)用是在智能交通系統(tǒng)（ITS）之中。2010 年，美國馬薩諸塞州大學(xué)研制的 TSR 系統(tǒng)，該識別系統(tǒng)采用顏色閾值分割算法和主成分分析方法進(jìn)行目標(biāo)檢測與識別，系統(tǒng)的識別準(zhǔn)確率高達(dá) 99.2%，針對輕微目標(biāo)遮擋以及能見度較低的天氣情況，該算法都能取得不錯效果，具有一定的魯棒性和適用性，處理速度為每幀 2.5 s，系統(tǒng)的主要不足就是難以滿足實時性要求。

2011 年德國舉辦了交通標(biāo)志識別大賽（IJCNN 2011），促進(jìn)了交通標(biāo)志檢測和識別研究的快速發(fā)展。2011 年，Ciresan 等人在 IJCNN 大賽上對 GTSRB 數(shù)據(jù)庫采用深度卷積神經(jīng)網(wǎng)絡(luò)的識別方法，獲得了比人類平均識別率更高的結(jié)果。

2012 年，Greenhalghd 等人在歸一化的 RGB 空間中選?。液?B 通道的最大值以及結(jié)合 RGB 圖像提取 MSEＲ區(qū)域并利用 SVM 進(jìn)行交通標(biāo)志判斷，該方法有較好的實時性。2013年 Kim J.B. 認(rèn)為顏色形狀容易受周圍環(huán)境影響，增加了視覺顯著性模型進(jìn)行交通標(biāo)志檢測并具有較高的實時性。

1.3 車輛識別技術(shù)

在車輛識別技術(shù)方面，目前許多專家學(xué)者都在研究多傳感器融合技術(shù)。這是由于單一的傳感器在復(fù)雜的交通環(huán)境下檢測車輛的難度加大，且不同車輛具有各自不同的外形、大小和顏色，在物體之間的遮擋、雜亂且動態(tài)變化的背景下，多傳感器融合可以達(dá)到作用互補(bǔ)的效果，是車輛識別技術(shù)的發(fā)展趨勢。

雷達(dá)在檢測車輛前方障礙物的位置、速度、深度等信息方面具有明顯優(yōu)勢，種類主要包括激光雷達(dá)、毫米雷達(dá)、微波雷達(dá)，其中激光雷達(dá)又可分為單線、四線及多線。基于車載攝像頭的視覺信息，可以對外部環(huán)境進(jìn)行立體視覺或單目視覺的檢測。立體視覺檢測的目的在于獲取障礙物的深度信息，但在實際應(yīng)用中，較大的計算量難以保證高速行駛中的實時性，且由于車輛顛簸等影響，雙目或多目攝像頭的標(biāo)定參數(shù)往往會有較大偏差，產(chǎn)生較多的誤檢及漏檢情況。單目視覺在實時性方面擁有較大優(yōu)勢，是目前最常用的檢測方法，主要包括：基于先驗知識的檢測方法、基于運動的檢測方法、基于統(tǒng)計學(xué)習(xí)的檢測方法。

基于先驗知識的檢測方法：提取車輛的某些特征作為先驗知識，原理與車道檢測技術(shù)中基于特征的檢測算法類似，經(jīng)常作為先驗知識的車輛特征包括：車輛的對稱性、顏色、陰影、邊緣特征、紋理特征等信息。該方法在圖像空間中進(jìn)行搜索，找到與先驗知識模型匹配的區(qū)域，即可能存在車輛的區(qū)域（ROI）。對于確定出的 ROI 區(qū)域通常還會采用機(jī)器學(xué)習(xí)的方法進(jìn)一步確認(rèn)。

基于運動的檢測方法：由于在不同的實際環(huán)境中物體運動時產(chǎn)生的圖像信息不同，基于此特點，通常需要對多幅差異較大的圖像進(jìn)行處理，積累足夠的信息后對運動物體進(jìn)行識別，實現(xiàn)對障礙物的檢測。但此方法由于計算量大的局限，實際應(yīng)用中實時性欠佳。基于運動的檢測方法中，主要是光流法，該方法是機(jī)器視覺和模式識別中檢測運動物體常用的方法之一，它利用了同一平面內(nèi)運動物體的圖像像素序列灰度分布的變化，建立坐標(biāo)系檢測并獲取障礙物位置。

基于統(tǒng)計學(xué)習(xí)的檢測方法：首先需要采集足夠多的前方車輛樣本，樣本需涵蓋不同的環(huán)境、天氣、遠(yuǎn)近等情況。在訓(xùn)練樣本數(shù)據(jù)的過程中，一般采用神經(jīng)網(wǎng)絡(luò)、Haar 小波等方法。訓(xùn)練完成后，便可應(yīng)用于要實現(xiàn)的具體功能上。

1.4 行人檢測技術(shù)

行人檢測技術(shù)與現(xiàn)行的智能駕駛輔助技術(shù)相比具有一定的特殊性，主要體現(xiàn)在行人兼具剛性和柔性物體的特性，對行人的檢測易受到行人自身行為、穿著、姿態(tài)等因素的影響。行人檢測技術(shù)，即從傳感器采集到的圖像中提取行人位置，對行人運動行為進(jìn)行判斷的方法，通過提取視頻中運動目標(biāo)區(qū)域的信息，使用背景減除法、光流法、幀差法等，結(jié)合人體形態(tài)、膚色等特征判斷。在獲取的靜態(tài)圖片中，使用的方法主要有模板匹配方法，基于形狀檢測方法，基于機(jī)器學(xué)習(xí)的檢測方法。由于前兩種方法存在明顯缺點，近年來實際應(yīng)用較少，本文著重介紹基于機(jī)器學(xué)習(xí)的檢測方法的發(fā)展現(xiàn)狀。

基于機(jī)器學(xué)習(xí)的行人檢測方法的性能提升主要依賴行人特征描述以及分類器的訓(xùn)練。特征描述的復(fù)雜程度又影響了檢測方法的實時性，HOG 是目前廣泛使用的行人特征描述方法，另外 Haar、LBP 及其改進(jìn)方法也是行人特征描述的常用方法。機(jī)器學(xué)習(xí)的分類器涉及到行人檢測的檢測率，神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和 Boosting 方法是常見的機(jī)器學(xué)習(xí)分類器。

許多行人檢測技術(shù)的算法都是以上述方法及其改進(jìn)方法的基礎(chǔ)上進(jìn)行研究，從而在不同方面優(yōu)化了行人檢測技術(shù)。以 HOG 與線性向量機(jī)（SVM）結(jié)合為例，HOG 刻畫了圖像的局部梯度幅值和方向特征，基于梯度特征、對塊的特征向量進(jìn)行歸一化處理、允許塊之間相互重疊，因此對光照變化和小量的偏移并不敏感，能有效地刻畫出人體的邊緣特征。HOG 特征和 SVM 在場景簡單的 MIT 行人數(shù)據(jù)庫測試中，該組合檢測率近乎 100%。

1.5 駕駛員狀態(tài)檢測技術(shù)

早期駕駛員狀態(tài)檢測的方法主要是基于車輛運行狀態(tài)的檢測方法，包括車道偏離報警、轉(zhuǎn)向盤檢測等，此類方法對駕駛員本身特征敏感度不高，容易因環(huán)境因素誤判，因此在近年來的研究中很少單一使用。本文將分別介紹基于駕駛員面部特征的檢測技術(shù)，以及該技術(shù)與多傳感器融合的駕駛員狀態(tài)檢測技術(shù)。

目前在基于駕駛員面部特征的檢測技術(shù)中比較常用的是駕駛員的頭部特征，駕駛員頭部的可視化特征可集中反映駕駛員的精神狀態(tài)，比如眼睛的眨動狀態(tài)和頻率、嘴部運動特征、頭部姿勢等，這些特征都可通過攝像頭采集，不會對駕駛員正常駕駛產(chǎn)生影響，這種非接觸式的方法也逐漸成為此類技術(shù)的主流方法。

FaceLAB 是基于眼部特征的駕駛員狀態(tài)檢測技術(shù)的代表，該技術(shù)通過檢測駕駛員頭部姿態(tài)、眼瞼運動、凝視方向、瞳孔直徑等特征參量，進(jìn)行多特征信息融合，實現(xiàn)對駕駛員疲勞狀態(tài)的實時檢測，系統(tǒng)采用眼睛睜閉和注視方向檢測方法，解決了在暗光照、頭部運動和駕駛員佩戴眼鏡條件下的視線跟蹤問題。2008 年，最新版的 FaeeLAB0 v4 系統(tǒng)采用領(lǐng)先的紅外光主動照明技術(shù)，進(jìn)一步增強(qiáng)了視線檢測的準(zhǔn)確度和精度，且能獨立地跟蹤每一只眼睛。

基于駕駛員面部特征與多傳感器融合的檢測技術(shù)，其主要代表是歐盟名為「AWAKE」的項目研究，該項目利用圖像、壓力等多種傳感器，通過對駕駛員眼瞼運動、視線方向、轉(zhuǎn)向盤握緊力等駕駛狀態(tài)，及車道跟蹤、周邊車距檢測、油門加速度計和制動器的使用等的分析，將駕駛員的疲勞程度劃分為清醒、可能疲勞和疲勞 3 種狀態(tài)，對駕駛員狀態(tài)進(jìn)行較為全面的檢測和綜合評價。

該項目的駕駛員報警系統(tǒng)，由聲音、視覺、觸覺報警器組成，當(dāng)檢測到疲勞發(fā)生時，可根據(jù)疲勞程度的不同，通過強(qiáng)弱不同的聲光刺激和安全帶抖動來提高駕駛員的警覺性。在此研究基礎(chǔ)上，日產(chǎn)公司研制出一種報警系統(tǒng)，當(dāng)該系統(tǒng)判斷駕駛員處于疲勞駕駛狀態(tài)時，電子報警器就會鳴響，并向駕駛室噴放一種含有薄荷和檸檬等醒腦物質(zhì)的香氣，及時消除司機(jī)睡意，如果駕駛員疲勞狀態(tài)得不到改善，該系統(tǒng)會使用聲光報警，并且自動停車。

2. 結(jié)語

汽車技術(shù)的發(fā)展進(jìn)入了智能化時代，機(jī)器視覺在眾多汽車駕駛輔助技術(shù)中均有應(yīng)用，機(jī)器視覺領(lǐng)域的技術(shù)進(jìn)步無疑將推動汽車駕駛輔助技術(shù)的發(fā)展。因此圖像采集質(zhì)量的提升、圖像處理算法的優(yōu)化，如何更快速地實現(xiàn)圖像智能生成、處理、識別并給出決策建議，都是機(jī)器視覺領(lǐng)域需要解決的重要問題。

未來，隨著各類傳感器的技術(shù)革新、圖像處理算法復(fù)雜度的降低，機(jī)器視覺技術(shù)將更好地滿足行車過程中實時性、準(zhǔn)確性的要求。