車(chē)載紅外夜視技術(shù)發(fā)展研究綜述

根據(jù)世界衛(wèi)生組織的最新調(diào)查，在許多國(guó)家的死亡人數(shù)中由交通事故造成的死亡占據(jù)很大的比例。每年有大約125萬(wàn)人死于道路交通事故，其中超過(guò)一半的人數(shù)是弱勢(shì)道路使用者（行人、騎車(chē)者、摩托車(chē)手）。盡管在夜間道路上的車(chē)輛較少，但是夜間發(fā)生交通事故比例卻很高。

一個(gè)有效減少此類(lèi)道路交通事故傷亡人數(shù)的策略是使用汽車(chē)夜視輔助駕駛系統(tǒng)，在危險(xiǎn)的駕駛情況下給出預(yù)警或者幫助駕駛員做出決策。當(dāng)前汽車(chē)輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems，ADAS）應(yīng)用基于雷達(dá)、激光測(cè)距雷達(dá)、攝像機(jī)以及超聲波等不同的傳感器系統(tǒng)，與其他技術(shù)相比，攝像機(jī)是減少道碰撞事故發(fā)生的重要手段。很多汽車(chē)廠商在他們生成的車(chē)輛上安裝了可見(jiàn)光攝像頭用于障礙物檢測(cè)，比如奧迪、大眾和豐田一些車(chē)型的泊車(chē)輔助系統(tǒng)。由于可見(jiàn)光相機(jī)在夜間、霧天等能見(jiàn)度比較低的條件下對(duì)目標(biāo)檢測(cè)的效果并不理想，為了克服可見(jiàn)光這方面的不足，對(duì)于紅外夜視輔助系統(tǒng)的研究越來(lái)越多，基于紅外傳感器的夜視系統(tǒng)有許多的優(yōu)點(diǎn)，具體表現(xiàn)在以下幾個(gè)方面：

①紅外夜視儀系統(tǒng)通過(guò)接收外界目標(biāo)的紅外輻射成像，并不依賴場(chǎng)景的光照條件，凡是溫度高于絕對(duì)零度的物體，都會(huì)輻射紅外線。

②相對(duì)于可見(jiàn)光相機(jī)，紅外熱像儀分辨率、成像效果以及性價(jià)比在不斷提高，越來(lái)越多的監(jiān)控場(chǎng)景開(kāi)始使用紅外相機(jī)。

③紅外夜視儀具有全天候工作的能力，可顯著降低夜間駕駛風(fēng)險(xiǎn)，幫助其在全黑夜間、雨雪天氣、霧霾天氣以及對(duì)面車(chē)燈眩光等人眼能見(jiàn)度較低的情況下，輸出前方路況的清晰熱圖像，有效提升駕駛員視覺(jué)范圍，避免車(chē)輛、行人以及障礙物的碰撞，有效提升駕駛安全。

基于以上原因，車(chē)載紅外夜視技術(shù)受到了國(guó)內(nèi)外各大汽車(chē)制造廠商和研究機(jī)構(gòu)的高度重視，隨著技術(shù)的成熟，車(chē)載紅外夜視系統(tǒng)的應(yīng)用逐漸推廣開(kāi)來(lái)。

在車(chē)載輔助駕駛系統(tǒng)中行人檢測(cè)是一項(xiàng)核心的技術(shù)，其作用是通過(guò)安裝在車(chē)輛上的攝像機(jī)自動(dòng)檢測(cè)行人，估計(jì)出潛在的危險(xiǎn)以保護(hù)行人。由于車(chē)載視覺(jué)系統(tǒng)面臨著一個(gè)開(kāi)放的環(huán)境，針對(duì)行人檢測(cè)除了存在著行人姿態(tài)、尺度、遮擋等難題，根據(jù)實(shí)際的應(yīng)用場(chǎng)景還要考慮系統(tǒng)的魯棒性、檢測(cè)的實(shí)時(shí)性以及攝像機(jī)的運(yùn)動(dòng)等因素。針對(duì)以上存在的問(wèn)題，車(chē)載視覺(jué)的行人檢測(cè)受到廣泛的關(guān)注。為了使研究者更好地了解和掌握技術(shù)的發(fā)展趨勢(shì)，有許多綜述文獻(xiàn)對(duì)行人檢測(cè)的技術(shù)進(jìn)行了歸納總結(jié)。較早的有賈慧星等對(duì)2000-2005年間車(chē)載輔助駕駛系統(tǒng)中行人感興趣區(qū)域（Regions of Interests，ROIs）生成和對(duì)象識(shí)別兩個(gè)方面主要的研究方法進(jìn)行了分析和對(duì)比。許騰等同樣圍繞著這兩個(gè)環(huán)節(jié)對(duì)2005-2012年的主流車(chē)載行人檢測(cè)算法特征進(jìn)行了詳細(xì)的研究。車(chē)載行人檢測(cè)方法發(fā)展迅速，每年都有新的算法涌現(xiàn)，因此有必要對(duì)近些年的車(chē)載行人檢測(cè)算法進(jìn)展進(jìn)行分析，并進(jìn)一步對(duì)用于紅外成像的行人檢測(cè)方法進(jìn)行歸納梳理。此外，車(chē)載紅外夜視系統(tǒng)中行人檢測(cè)算法運(yùn)行時(shí)要有確保良好的魯棒性和實(shí)時(shí)性，所應(yīng)用的硬件平臺(tái)就要有足夠的計(jì)算能力，但同時(shí)系統(tǒng)受到體積、功耗和成本等的限制，因此本文對(duì)目前適用于車(chē)載的硬件處理器的特性進(jìn)行了簡(jiǎn)單的對(duì)比分析。

1 車(chē)載紅外夜視技術(shù)相關(guān)發(fā)展?fàn)顩r

1.1 夜視技術(shù)分類(lèi)和對(duì)比

根據(jù)成像的原理，夜視系統(tǒng)主要分為主動(dòng)夜視系統(tǒng)和被動(dòng)夜視系統(tǒng)，其中微光和紅外成像是運(yùn)用最廣的夜視技術(shù)。微光是泛指夜間或者低照度條件下微弱的光，波長(zhǎng)約在0.4~2um。微光夜視技術(shù)又稱為像增強(qiáng)技術(shù)，通過(guò)像增強(qiáng)器將微弱或者能量比較低的光轉(zhuǎn)化為增強(qiáng)的光學(xué)圖像，以實(shí)現(xiàn)直接觀察。紅外夜視技術(shù)分為主動(dòng)紅外夜視技術(shù)和被動(dòng)紅外夜視技術(shù)。主動(dòng)紅外夜視技術(shù)是通過(guò)紅外燈主動(dòng)照射并利用目標(biāo)反射回來(lái)的紅外光來(lái)實(shí)施觀察的紅外技術(shù)，對(duì)應(yīng)裝備為主動(dòng)夜視系統(tǒng)。被動(dòng)紅外夜視技術(shù)是借助于目標(biāo)自身發(fā)射的紅外輻射來(lái)實(shí)現(xiàn)觀察的紅外技術(shù)，將人眼所不能直接看到的目標(biāo)表面的溫度分布變成人眼可看到的代表溫度分布的熱圖像，其裝備為熱成像儀。針對(duì)各成像技術(shù)的特點(diǎn)，其對(duì)應(yīng)優(yōu)缺點(diǎn)總結(jié)對(duì)比如表1所示。

表1 各成像技術(shù)優(yōu)缺點(diǎn)對(duì)比

對(duì)于車(chē)載平臺(tái)的夜視技術(shù)，在考慮到夜視距離、惡劣天氣以及會(huì)車(chē)時(shí)強(qiáng)光照影響時(shí)，熱成像技術(shù)相對(duì)于其他兩種技術(shù)有著更好的適用特性，并且隨著非制冷紅外探測(cè)器的發(fā)展，其性價(jià)比在不斷提升，應(yīng)用也越來(lái)越廣泛。如圖1所示為夜晚相同視角下可見(jiàn)光相機(jī)和熱紅外相機(jī)成像對(duì)比效果。

圖1 可見(jiàn)光和紅外成像效果對(duì)比

1.2 車(chē)載紅外夜視儀的發(fā)展?fàn)顩r

過(guò)去的十幾年里，關(guān)于汽車(chē)夜視輔助駕駛系統(tǒng)的研究已經(jīng)有了很大進(jìn)展，并且相關(guān)研究表明車(chē)載紅外夜視儀在減少夜間行車(chē)事故中有很好的效果。其相應(yīng)的產(chǎn)品需求量在迅速增長(zhǎng)，促使了各大汽車(chē)廠商、紅外夜視相關(guān)產(chǎn)品的供應(yīng)商加大了研究的力度。當(dāng)前用于車(chē)載的紅外夜視儀主要有兩種：主動(dòng)式和被動(dòng)式。

圖2 車(chē)載夜視儀發(fā)展時(shí)間線

車(chē)載紅外夜視儀的發(fā)展概況如圖2所示。美國(guó)的通用汽車(chē)公司在2000年對(duì)旗下產(chǎn)品卡迪拉克轎車(chē)配備了夜視系統(tǒng)，是全世界第一款將夜視系統(tǒng)配備在汽車(chē)上的汽車(chē)品牌，該夜視系統(tǒng)使用的是紅外熱成像探測(cè)器，安裝在車(chē)輛的前部以便接收前方目標(biāo)的紅外輻射，夜視距離在300 m左右。此后德國(guó)豪華車(chē)奔馳和寶馬在2005年分別推出了汽車(chē)夜視系統(tǒng)，寶馬7系車(chē)配備的是被動(dòng)夜視系統(tǒng)，將熱成像儀添加了防撞層安裝在汽車(chē)前端，夜視距離可達(dá)300 m左右，中等車(chē)速下水平視角達(dá)到24°，奔馳S550和E級(jí)車(chē)型上使用了主動(dòng)夜視系統(tǒng)，系統(tǒng)由紅外線燈、紅外線攝像機(jī)和顯示器組成，最遠(yuǎn)可探測(cè)距離達(dá)到150 m，與被動(dòng)式夜視系統(tǒng)相比，該系統(tǒng)在價(jià)格上較便宜，但是在面對(duì)相向車(chē)輛的燈光照射時(shí)成像質(zhì)量差。奧迪直到2010年開(kāi)始夜視系統(tǒng)的配備，在應(yīng)用效果上并不遜色。

隨著車(chē)載夜視系統(tǒng)的流行，國(guó)內(nèi)眾多企業(yè)和研究機(jī)構(gòu)開(kāi)始相關(guān)方面的研究。在中國(guó)，夜視系統(tǒng)除了裝配在奔馳、奧迪、寶馬等豪華品牌的進(jìn)口車(chē)型上，紅旗HQ3、比亞迪思銳等國(guó)產(chǎn)車(chē)型上也先后進(jìn)行配備，打破了豪華車(chē)的壟斷，但是大多是采用主動(dòng)式紅外夜視技術(shù)，產(chǎn)品的環(huán)境適應(yīng)性和夜視距離受到了很大限制。

此外一些夜視儀的供應(yīng)商對(duì)車(chē)載夜視技術(shù)的發(fā)展有很大的推動(dòng)作用，國(guó)外的奧托立夫（Autoliv）是主要的系統(tǒng)供應(yīng)商，FLIR是最主要的紅外熱像儀供應(yīng)商；國(guó)內(nèi)有高德紅外、浙江大立科技以及保千里等夜視儀供應(yīng)商。隨著技術(shù)的發(fā)展和夜視系統(tǒng)的成本降低，未來(lái)幾年車(chē)載夜視系統(tǒng)將會(huì)得到逐漸普及和應(yīng)用。

2 車(chē)載紅外行人檢測(cè)算法

2.1 車(chē)載視覺(jué)行人檢測(cè)技術(shù)

傳統(tǒng)的車(chē)載視覺(jué)行人檢測(cè)的框架如圖3所示，是使用相當(dāng)廣泛的基于滑動(dòng)窗口的多尺度行人檢測(cè)框架。

圖3 傳統(tǒng)車(chē)載視覺(jué)行人檢測(cè)框架

該框架的主要思想是：利用預(yù)先訓(xùn)練好的分類(lèi)器判別當(dāng)前窗口內(nèi)是否包含行人，然后對(duì)判別含有行人的窗口進(jìn)行融合，從而給出行人在圖片中的位置。現(xiàn)有的綜述文獻(xiàn)大多是圍繞該框架從感興趣區(qū)域分割方法、特征提取和分類(lèi)器構(gòu)造等方面進(jìn)行展開(kāi)，根據(jù)所用信息的不同采取不同的感興趣區(qū)域分割算法，然后利用梯度方向直方圖（Histogram of Orientedgradient，HOG）、局部二值模式（Local Binary Pattern，LBP）等特征的改進(jìn)或者融合，使用支持向量機(jī)（Support Vector Machine，SVM）或者Boosting等分類(lèi)器的改進(jìn)形式訓(xùn)練特征。對(duì)其中的技術(shù)細(xì)節(jié)本文不再做詳細(xì)闡述，可以參考相應(yīng)文獻(xiàn)進(jìn)一步了解。

車(chē)載行人檢測(cè)系統(tǒng)對(duì)魯棒性和實(shí)時(shí)性都有很高的要求，傳統(tǒng)的檢測(cè)框架在圖像的多尺度金字塔進(jìn)行搜索可以提高檢測(cè)精度，但是多尺度遍歷的方法對(duì)算法的檢測(cè)速度有很大的制約。為了能夠在精確提取特征的同時(shí)又不明顯犧牲算法的實(shí)時(shí)性，2009年Dollar等提出了CHNFTRS（Channel Features，通道特征）的方法，利用積分圖像快速計(jì)算圖像的顏色、梯度幅值以及梯度方向等通道特征，CHNFTRS方法在檢測(cè)精度和效率上超過(guò)HOG特征，是當(dāng)時(shí)最優(yōu)的檢測(cè)算法。隨后Dollar又以CHNFTRS方法為核心進(jìn)行了改進(jìn)（Fastest Pedestrian Detector in the West，F(xiàn)PDW），采用鄰近尺度特征估計(jì)的方法，在不降低檢測(cè)性能的前提下加速了行人檢測(cè)，對(duì)于640 x 480像素分辨率的圖像，每秒可以處理6幀左右。Benenson等使用CHNFTRS的特征，提出了多尺度訓(xùn)練模型框架VeryFast，將檢測(cè)時(shí)間從檢測(cè)階段轉(zhuǎn)移到了訓(xùn)練階段，在使用GPU處理器加速的條件下實(shí)現(xiàn)了100 fps的檢測(cè)速度。后來(lái)Dollar本人在2014年又結(jié)合快速特征金字塔計(jì)算特征通道的方法，提出了ACF（Aggregated Channel Features，聚合通道特征）檢測(cè)框架，ACF框架能夠在保證實(shí)時(shí)性的同時(shí)，檢測(cè)效果的魯棒性在當(dāng)前特征統(tǒng)計(jì)學(xué)習(xí)的算法中也處于領(lǐng)先水平。

此外，近幾年隨著GPU（Graphics Processing Units）處理器在圖像處理上廣泛應(yīng)用，深度學(xué)習(xí)發(fā)展趨勢(shì)迅速，尤其是在圖像目標(biāo)檢測(cè)和分類(lèi)領(lǐng)域卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）算法相對(duì)傳統(tǒng)的檢測(cè)算法性能提升顯著。首先是Ross Girshick將傳統(tǒng)計(jì)算機(jī)視覺(jué)領(lǐng)域的方法選擇性搜索（Selective Search）與CNN結(jié)合，先后提出了R-CNN、FastR-CNN、Faster R-CNN等框架，基于區(qū)提名的R-CNN系列的算法在檢測(cè)精度上有了很大的提升，但是檢測(cè)的速度較慢，針對(duì)這個(gè)問(wèn)題出現(xiàn)了端到端（end-to-end）目標(biāo)檢測(cè)方法，比如SDD以及Redmon等人提出YOLO系列，在檢測(cè)速度上做到了實(shí)時(shí)。Liliang Zhang等基于可見(jiàn)光行人數(shù)據(jù)庫(kù)訓(xùn)練了專用于行人檢測(cè)的深度學(xué)習(xí)網(wǎng)絡(luò)，其實(shí)驗(yàn)結(jié)果與其他主流的檢測(cè)算法相比有了極大的提升。最后針對(duì)上述總結(jié)按時(shí)間順序列出了2009年來(lái)具有代表性的一些算法見(jiàn)表2。

表2 近10年以來(lái)主流行人檢測(cè)算法比較

2.2 車(chē)載紅外行人檢測(cè)算法應(yīng)用現(xiàn)狀

上一小節(jié)主要針對(duì)可見(jiàn)光領(lǐng)域的行人檢測(cè)算法的概括，雖然可見(jiàn)光和紅外圖像存在著很多差異，主要表現(xiàn)在紅外圖像沒(méi)有豐富的顏色特征、紋理特征，但可見(jiàn)光的一些處理算法對(duì)于紅外圖像有很好的指導(dǎo)意義，紅外圖像的行人檢測(cè)技術(shù)進(jìn)展與上一節(jié)分析的行人檢測(cè)技術(shù)發(fā)展路線是相對(duì)應(yīng)的。

紅外行人檢測(cè)的傳統(tǒng)框架主要包括ROIs提取、分類(lèi)器識(shí)別等階段。由于紅外圖像中行人相對(duì)于背景往往有較高的亮度，因此在ROIs區(qū)域分離的時(shí)候，通常采取的手段有閾值分割、區(qū)域生長(zhǎng)和關(guān)鍵點(diǎn)提取的方法。閾值分割的方法是通過(guò)檢測(cè)圖像中的熱點(diǎn)區(qū)域，可以采用靜態(tài)閾值或動(dòng)態(tài)閾值的方法分割出可能包含行人的區(qū)域；此外針對(duì)紅外圖像背景較為簡(jiǎn)單的特性，可以通過(guò)提取關(guān)鍵點(diǎn)來(lái)生成ROIs，例如文獻(xiàn)中使用旋轉(zhuǎn)和尺度不變的SURF特征分割ROIs區(qū)域；另外還有結(jié)合距離信息的方法，主要實(shí)現(xiàn)手段有雷達(dá)測(cè)距和立體視覺(jué)，其中基于立體視覺(jué)的ROIs分割技術(shù)應(yīng)用較為廣泛。它通過(guò)獲取的3D圖像估計(jì)地平面位置，結(jié)合行人身高先驗(yàn)知識(shí)估計(jì)可能包含人體的區(qū)域。用于紅外行人檢測(cè)的特征描述子有上述提及的HOG特征、LBP特征及其改進(jìn)和融合特征，此外還有強(qiáng)度自相似性（Intensity Self-Similarity，ISS）特征，其中Brehar等使用自適應(yīng)閾值分割提取ROIs，使用梯度方向、亮度、梯度值特征，使用快速金字塔構(gòu)建的方法，針對(duì)640 x 480像素分辨率的紅外圖像，實(shí)現(xiàn)了30 fps的檢測(cè)幀率。

受車(chē)載平臺(tái)的計(jì)算資源限制，傳統(tǒng)的滑動(dòng)串口的檢測(cè)框架會(huì)先對(duì)ROIs提取，但是要獲取準(zhǔn)確的ROIs一般要增加額外的傳感器設(shè)備，這使得系統(tǒng)的成本和復(fù)雜性提升。針對(duì)單目紅外夜視儀，傳統(tǒng)的檢測(cè)框架的實(shí)時(shí)性和精度很難滿足需求；Dollar的ACF檢測(cè)方法由于檢測(cè)精度和算法的實(shí)時(shí)性都有很大的提升，越來(lái)越多的研究者將該方法應(yīng)用于紅外行人檢測(cè)。

Brehar等在分割出的ROIs基礎(chǔ)上，使用紅外圖像的亮度值、梯度值和梯度方向等特征訓(xùn)練ACF分類(lèi)器，獲得了較高的檢測(cè)精度并且實(shí)現(xiàn)了30 fps的檢測(cè)幀率。Hwang等改進(jìn)的ACF的特征，在可見(jiàn)光和紅外的多光譜的行人數(shù)據(jù)集上，針對(duì)紅外行人提出了T + THOG的特征組合方式，其檢測(cè)精度比原有算法有所提高。此外深度學(xué)習(xí)網(wǎng)絡(luò)在紅外行人檢測(cè)上一樣取得了當(dāng)前相對(duì)其他算法的最好的檢測(cè)效果。

3 系統(tǒng)硬件平臺(tái)

車(chē)載視覺(jué)行人檢測(cè)系統(tǒng)對(duì)于系統(tǒng)的魯棒性和實(shí)時(shí)性都有很高的要求，要滿足實(shí)際的應(yīng)用需求主要從行人檢測(cè)算法的設(shè)計(jì)和系統(tǒng)的硬件平臺(tái)的選取著手。目前很多文獻(xiàn)中提出的算法都是在桌面計(jì)算機(jī)實(shí)現(xiàn)的，很少考慮在嵌入式平臺(tái)實(shí)時(shí)運(yùn)行，因此在實(shí)際應(yīng)用時(shí)要根據(jù)所選的處理器的特性進(jìn)行移植優(yōu)化。當(dāng)前由于數(shù)字處理器的快速發(fā)展，用于車(chē)載平臺(tái)的處理器種類(lèi)也比較多，主流的計(jì)算平臺(tái)主要有以下幾類(lèi)：

1）DSP處理器

數(shù)字信號(hào)處理器（Digital Signal Processor，DSP）專門(mén)用于處理復(fù)雜的、數(shù)學(xué)密集型的應(yīng)用場(chǎng)景，被廣泛的用于圖像、語(yǔ)音等信號(hào)處理。DSP處理器在架構(gòu)和指令集上不同于傳統(tǒng)的CPU處理器，通過(guò)使用乘加指令之類(lèi)的專用操作實(shí)現(xiàn)比傳統(tǒng)處理器更快的執(zhí)行效率，軟件編程簡(jiǎn)單，在算法評(píng)估和實(shí)現(xiàn)階段可以大大縮短項(xiàng)目開(kāi)發(fā)的周期，DSP在汽車(chē)行業(yè)中的地位非常突出，并且廣泛應(yīng)用于車(chē)載系統(tǒng)。例如，美國(guó)德州儀器TI的針對(duì)輔助駕駛系統(tǒng)ADAS的TDAx系列的處理器集成了多核DSP、通用處理器GPP以及嵌入式視覺(jué)引擎等模塊，具有低功耗、高性能特性，并且支持多傳感器信息融合，非常適用于車(chē)載平臺(tái)算法處理。

2）FPGA處理器

現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（Field-Programmable Gate Array，F(xiàn)PGA）由可編程邏輯組件和可編程互連組成，可用于創(chuàng)建高性能并行流水線數(shù)據(jù)處理結(jié)構(gòu)，因?yàn)闆](méi)有類(lèi)似DSP或CPU的指令獲取或等待的操作，因此執(zhí)行速度更快。FPGA用于圖像處理具有可重構(gòu)、低功耗和低成本等的優(yōu)勢(shì)，因此很多行人檢測(cè)系統(tǒng)使用FPGA保證實(shí)時(shí)性，基于FPGA實(shí)現(xiàn)的行人檢測(cè)系統(tǒng)缺點(diǎn)在于開(kāi)發(fā)難度大、項(xiàng)目周期長(zhǎng)，但是隨著相應(yīng)的開(kāi)發(fā)工具的改進(jìn)和支持，這一現(xiàn)狀會(huì)逐漸得到改善，例如FPGA解決方案供應(yīng)廠商Xilinx基于新的硬件平臺(tái)zynq處理器以及7系列處理器提供了高層次綜合工具（High Level Synthesis，HLS），使得復(fù)雜算法開(kāi)發(fā)可以使用C、C++語(yǔ)言實(shí)現(xiàn)，極大降低了算法實(shí)現(xiàn)的復(fù)雜度。

3）GPU處理器

GPU圖形處理單元有大量的處理內(nèi)核組成，支持大規(guī)模的并行計(jì)算，尤其適合計(jì)算密集型的任務(wù)，深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展帶來(lái)了GPU的廣泛應(yīng)用。起初GPU主要以顯卡的形式應(yīng)用于圖形處理，隨著更多通用計(jì)算庫(kù)的出現(xiàn)，它們?cè)诳茖W(xué)計(jì)算中的應(yīng)用也迅速擴(kuò)大，例如NVIDIA的CUDA庫(kù)有助于快速開(kāi)發(fā)算法?；贕PU的處理方案在可見(jiàn)光以及紅外圖像的行人檢測(cè)中都實(shí)現(xiàn)了實(shí)時(shí)處理，尤其是基于深度學(xué)習(xí)的方法在GPU的加速下行人檢測(cè)的精度和速度能達(dá)到實(shí)際應(yīng)用的需求。盡管GPU處理器性能高效，但許多GPU的功耗過(guò)高不適合車(chē)載平臺(tái)，文獻(xiàn)中使用NVIDIA GeForce GPU實(shí)現(xiàn)了30 fps的行人檢測(cè)和姿態(tài)識(shí)別的幀率功耗（大約在244瓦）。隨著汽車(chē)平臺(tái)的GPU處理器的技術(shù)發(fā)展，新型的GPU架構(gòu)帶來(lái)了更強(qiáng)的計(jì)算能力和更低的功耗，未來(lái)車(chē)載系統(tǒng)中GPU將會(huì)大展身手。

此外，還有其他的一些處理平臺(tái)可用于車(chē)載行人檢測(cè)系統(tǒng)。針對(duì)現(xiàn)有的平臺(tái)，在進(jìn)行硬件系統(tǒng)設(shè)計(jì)的時(shí)候要綜合考慮處理器的功耗、成本以及計(jì)算能力，結(jié)合不同的處理器各自的特性進(jìn)行選擇。

4 總結(jié)與展望

本文介紹了車(chē)載夜視儀相關(guān)技術(shù)的進(jìn)展?fàn)顩r，首先對(duì)車(chē)載夜視技術(shù)進(jìn)行了闡述，對(duì)車(chē)載紅外夜視儀的應(yīng)用發(fā)展進(jìn)行了分析，然后歸納總結(jié)了2009年以來(lái)的主流紅外行人檢測(cè)算法，最后對(duì)比分析了車(chē)載夜視儀不同的硬件平臺(tái)的特點(diǎn)。

隨著紅外探測(cè)器的價(jià)格下降、成像分辨率增高，車(chē)載夜視儀今后會(huì)有很大的市場(chǎng)需求。然而研發(fā)基于紅外的車(chē)載夜視輔助系統(tǒng)需要應(yīng)對(duì)以下挑戰(zhàn)：①系統(tǒng)要能夠應(yīng)對(duì)復(fù)雜的道路場(chǎng)景，需要在全天候條件工作；②車(chē)載移動(dòng)平臺(tái)下，紅外成像中行人的尺度和外觀變化大，并且存在遮擋、姿態(tài)的變化，給檢測(cè)帶來(lái)了難度；③系統(tǒng)設(shè)計(jì)考慮低功耗、低成本，并且系統(tǒng)的檢測(cè)算法滿足高準(zhǔn)確率以及運(yùn)行的實(shí)時(shí)性。圍繞著以上存在的問(wèn)題，筆者認(rèn)為未來(lái)的研究重點(diǎn)主要在以下幾個(gè)方面：

1）構(gòu)建更為豐富的數(shù)據(jù)集

基于統(tǒng)計(jì)學(xué)習(xí)或者深度學(xué)習(xí)的方法都需要大量的訓(xùn)練樣本，特別是對(duì)于特殊場(chǎng)景下的行人檢測(cè)，例如存在部分遮擋、分辨率較低、遠(yuǎn)距離的行人需要建立相應(yīng)的數(shù)據(jù)庫(kù)進(jìn)行準(zhǔn)確的標(biāo)注，以提高行人檢測(cè)的準(zhǔn)確率，降低虛警率。

2）多傳感器融合

基于單目視覺(jué)紅外攝像機(jī)的行人檢測(cè)其可利用的信息相對(duì)較少，對(duì)多視角和遮擋問(wèn)題很難解決。可以利用增加可見(jiàn)光相機(jī)或者多紅外相機(jī)獲取立體數(shù)據(jù)，立體視覺(jué)中的深度信息利于提升行人檢測(cè)系統(tǒng)的魯棒性；此外激光雷達(dá)傳感器可以獲取目標(biāo)的距離信息，能夠有效的分割ROIs區(qū)域。不同的傳感器有著各自的優(yōu)缺點(diǎn)，將這些傳感器有機(jī)的結(jié)合起來(lái)，保證檢測(cè)系統(tǒng)在任何條件下都能魯棒的工作是一個(gè)熱點(diǎn)研究方向。

3）設(shè)計(jì)自適應(yīng)的分類(lèi)器

目前大部分車(chē)載行人檢測(cè)系統(tǒng)使用的離線構(gòu)建的通用行人分類(lèi)器，該分類(lèi)器是利用預(yù)先準(zhǔn)備的大量樣本集進(jìn)行訓(xùn)練學(xué)習(xí)獲得的，且訓(xùn)練之后不再更新。由于所使用的初始樣本集不會(huì)涵蓋所有的情況（不同季節(jié)、不同場(chǎng)景），所以分類(lèi)器不具備自適應(yīng)特性，對(duì)于一些特殊場(chǎng)景下的行人檢測(cè)精度會(huì)降低。如何利用在線學(xué)習(xí)的算法，通過(guò)在線獲取樣本進(jìn)行分類(lèi)器的更新，使行人檢測(cè)系統(tǒng)通過(guò)自主學(xué)習(xí)提高檢測(cè)性能是未來(lái)的研究重點(diǎn)。