電子后視鏡結(jié)構(gòu)設(shè)計與延時分析

電子后視鏡（Camera Monitor Systems, CMS）是由攝像機與監(jiān)視器組成的系統(tǒng)，在規(guī)定視野內(nèi)需要看清車輛后方、側(cè)方視野，是一種新型間接視野裝置，新版GB15084標(biāo)準(zhǔn)稱之為“攝像機-監(jiān)視器系統(tǒng)（camera-monitor system）”，簡稱CMS。電子后視鏡的優(yōu)點是消除了傳統(tǒng)光學(xué)后視鏡受限于鏡面曲率、形狀、大小角度等因素造成的視野限制，視野盲區(qū)相對小很多，整個視野更加寬闊，這樣一來，駕駛員可以看到更多的細(xì)節(jié)，提升行駛過程中的安全性。

隨著電子技術(shù)的高速發(fā)展，以計算機技術(shù)為基礎(chǔ)的視頻圖像處理系統(tǒng)在圖像處理速度、集成度和穩(wěn)定性方面都得到了較大提升，為汽車電子后鏡的智能化發(fā)展創(chuàng)造了條件。國內(nèi)外汽車廠商紛紛啟動了CMS研發(fā)計劃，特別是造車新勢力中的新能源汽車更是熱衷于率先應(yīng)用CMS，以便提升汽車的視覺性能。

CMS與行程記錄儀具有相似之處，都能實時顯示汽車行駛過程中的周圍環(huán)境，即圖像顯示。不同的是，電子后視鏡需要具備實時特性，才能確保安全監(jiān)測周圍行人、同/逆方向行駛汽車、靜止/運動物體等。《道路車輛-攝像機監(jiān)控系統(tǒng)的人體工程學(xué)和性能方面-要求和測試程序》（ISO 16505－2019）中規(guī)定CMS的延時應(yīng)足夠短，以便幾乎同時渲染場景，在（22±5）℃的室溫下，延時應(yīng)小于200ms。聯(lián)合國R046關(guān)于輪式車輛安裝及/或用在輪式車輛上的裝備及零部件采用統(tǒng)一的技術(shù)法規(guī)，以及滿足這些法規(guī)認(rèn)證相互認(rèn)可的條件。

一、CMS 延時產(chǎn)生的距離差

由于具備實時性的特點，汽車物理后視鏡沒有延時的技術(shù)問題，駕駛員坐在駕駛室座位上直接獲取汽車后方、側(cè)方和下方等外部信息。但是CMS 需要經(jīng)過圖像信息處理，產(chǎn)生了圖像視頻信息的延時。在高速公路上行駛車輛的延時距離如圖所示。陰影部分為ISO 16505 中的III 類車后視鏡。

高速公路上行駛車輛的延時距離

駕駛員應(yīng)能在水平路面上清晰的視野，能夠觸及到4米寬、后方20米處延伸至地平線的區(qū)域。當(dāng)汽車在高速公路上行駛時，特別是在特殊情況下慢車道行駛的汽車通過視鏡觀察左側(cè)車輛時，由于CMS的延時效應(yīng)，顯示屏上觀察到的左側(cè)高速行駛車輛位置與實際位置之間可能存在距離差。

具體來說，當(dāng)一輛以極低速度行駛的汽車與另一輛以120 km/h（即0.0333 m/s）的速度行駛、對應(yīng)延時200 ms的汽車相對而行時，根據(jù)下表中的數(shù)據(jù)，它們之間的距離差為6.66米。因此，當(dāng)汽車駛?cè)敫咚俟分鞯罆r，必須充分考慮并預(yù)留足夠的安全距離，以確保行車安全。? ? ? ??

CMS 延時與行駛距離關(guān)系

二、 高速公路汽車行駛速度與距離

當(dāng)汽車由低速道路行駛至高速公路時，由于各個車道的速度不同，CMS延時所產(chǎn)生的距離差也各不相同。如下圖所示，因此，在駕駛車輛時需要判斷并應(yīng)對不同車道高速行駛車輛的車速和CMS延時對應(yīng)的距離差異。

車輛駛?cè)敫咚俟返念A(yù)留安全距離

當(dāng)汽車行駛在三車道高速公路上時，各個車道的行駛速度有所差異，即120～100 km/h、100～80 km/h和80～60 km/h。駕駛員通過CMS觀察后方行駛車輛時，需預(yù)留適當(dāng)?shù)木彌_時間，以應(yīng)對相應(yīng)的汽車瞬間行駛距離，具體數(shù)據(jù)如下表所示。??

高速路行駛汽車CMS 延時與距離關(guān)系

三、視覺感知的時間延遲對汽車行駛間距的影響

根據(jù)視覺時間特性，人眼對外來光線的亮度感覺屬于能量積累型，即從光線接收到產(chǎn)生亮度感覺并非瞬時，兩者間的延時差稱為視覺延時。研究結(jié)果證實，視覺時間特性的存在會導(dǎo)致位置誤差，并指出這個誤差與目標(biāo)物運動的速度以及視覺系統(tǒng)延時有關(guān)。實驗驗證了視覺時間特性與定位空間誤差距離之間的關(guān)系。

通過實驗測試視覺系統(tǒng)對亮影像動態(tài)響應(yīng)特性的影響研究，得到了具體的視覺延時數(shù)據(jù)。即用最小二乘法擬合數(shù)據(jù)得到的常數(shù)近似于一階系統(tǒng)響應(yīng)特性曲線的指數(shù)函數(shù)，從而建立了視覺系統(tǒng)的動態(tài)響應(yīng)數(shù)學(xué)模型。將適用于特定環(huán)境下的特性模型進(jìn)行推廣。首次通過行為實驗測試得到視覺感知亮度與激勵時間的對應(yīng)關(guān)系，并分析發(fā)現(xiàn)視覺系統(tǒng)對亮度的響應(yīng)過程就是亮影像的建立過程（暗影的消退過程）。這一結(jié)果有力地證實了視覺系統(tǒng)的延時、影像殘留等一些說法的真實性，同時能夠詳細(xì)地給出響應(yīng)時間與響應(yīng)亮度的關(guān)系。

視覺系統(tǒng)的時域動態(tài)特性如同動態(tài)信號有時域和頻域描述一樣，系統(tǒng)的動態(tài)特性也有時域與頻域之分。通過從時域和頻域兩個不同的角度考察和描述系統(tǒng)的動態(tài)特性，分別得到時域動態(tài)特性和頻域動態(tài)特性，如下表所示。

CMS 延時+視覺感知延時距離差

根據(jù)研究和實驗證據(jù)，我們可以得知人類視覺系統(tǒng)對亮度影像的動態(tài)響應(yīng)特性。視覺感知的延時時間通常在5到7毫秒之間，也就是說，人們在識別圖像信息時具有一定的延遲效應(yīng)。當(dāng)駕駛員觀察電子后視鏡的顯示屏幕時，也需要考慮到這個視覺延時。

當(dāng)我們在高速公路、城市道路和鄉(xiāng)村道路上以每小時120公里、60公里和30公里的速度行駛時，CMS系統(tǒng)的自身延時會產(chǎn)生距離差。因此，考慮到視覺延時，駕駛員觀察CMS屏幕時的延時時間應(yīng)增加約5毫秒。這種延時距離差的具體數(shù)值如上表所示。

四、電子后視鏡結(jié)構(gòu)設(shè)計與延時分析

4.1 CMOS 圖像傳感器性能

互補型金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor, CMOS）圖像傳感器的種類相當(dāng)豐富，其中索尼的IMX490圖像傳感器適用于高級駕駛輔助系統(tǒng)（Advanced Driving Assistance System, ADAS）多媒體攝像頭。背照式和疊加式CMOS設(shè)備選用該圖像傳感器，能夠同時拍攝高動態(tài)范圍圖像（High Dynamic Range, HDR）和發(fā)光二極管（Light Emitting Diode, LED）閃爍，具備2896（高）×1876（水平）像素，實現(xiàn)ADAS/自動駕駛的廣角鏡頭拍攝。其動態(tài)范圍HDR達(dá)到120 dB的功能是常規(guī)設(shè)備的三倍，再加上運動偽影緩解和高靈敏度，性能卓越。

索尼的IMX290圖像傳感器則在黑暗條件下也能捕捉到高分辨率的彩色圖像，采用背照式結(jié)構(gòu)并擴(kuò)大了光電二極管面積，相比現(xiàn)有相同像素的產(chǎn)品，靈敏度提高了100%以上。它內(nèi)置可編程的增益放大器，能夠?qū)㈦娦盘柗糯蟮?2 dB。當(dāng)與兼容的圖像信號處理器（Image Signal Processor, ISP）結(jié)合時，通過設(shè)置2或3個多次曝光時間，支持HDR系統(tǒng)，包括一個對近紅外光有更高靈敏度的像素結(jié)構(gòu)及推薦的記錄像素數(shù)量，因此與傳統(tǒng)型號相比大大擴(kuò)展了動態(tài)范圍。

這款傳感器具有1920（高）×1080（水平）像素，全高清1080 P模式下的最大幀率為120 f/s。芯片上的10位/12位A/D轉(zhuǎn)換器具備相關(guān)雙取樣電路（Correlated Double Sampling, CDS）/可編程增益放大器（Programmable Gain Amplifier, PGA）功能、支持輸入/輸出切換、邏輯并行輸出、低電壓差分信號（Low Voltage Differential Signaling, LVDS），以及多種數(shù)據(jù)速率（Double Data Rate, DDR）輸出、CSI-2串行數(shù)據(jù)輸出、2 Lane/4 Lane, RAW10/RAW12輸出等特性。此外，它還通過了AEC-Q100等級為2的測試認(rèn)證。

4.2 電子后視鏡電路結(jié)構(gòu)

CMS電子基于ARM嵌入式系統(tǒng)、系統(tǒng)級芯片（System on Chip, SoC）、現(xiàn)場可編程邏輯門陣列（Field Programmable Gate Array, FPGA）等多種結(jié)構(gòu)，由光學(xué)透鏡組、CMOS圖像傳感器、ISP、Soc中央處理器、DDR3存儲器、TF卡存儲器、17.78 cm（7寸）薄膜晶體管（Thin Film Transistor, TFT）顯示屏和控制器局域網(wǎng)（Controller Area Network, CAN）總線接口組成，如下圖所示。

電子后視鏡系統(tǒng)CMS 結(jié)構(gòu)

通過分析電子后視鏡的電路結(jié)構(gòu)可以得出系統(tǒng)的延時特性，以下具體分析硬件電路及軟件控制所產(chǎn)生的系統(tǒng)延時：

1）圖像傳感器構(gòu)成的延時：CMOS圖像傳感器通常情況下，輸出接口有LVDS及Mipi等輸出形式，從CMOS傳感器角度評估為60 f/s，其對應(yīng)延時為1/60=16.66 ms，電子后視鏡CMS的初始延時為固定值。 2）17.78 cm（7寸）TFT顯示屏構(gòu)成的延時：Soc中央處理器通過LVDS輸出接口將圖像信息傳送到17.78 cm（7寸）TFT顯示屏，幀率為60 f/s，對應(yīng)延時為1/60=16.66 ms，CMS的最后一環(huán)節(jié)延時為固定值。

3）SoC中央處理器構(gòu)成的延時：電子后視鏡CMS與行車記錄儀在功能上有相同之處。行車記錄儀配置一個攝像的鏡頭，在汽車行駛的過程中，通過鏡頭拍攝視頻信息傳送到主機內(nèi)部，保存到視頻存儲器或者TF存儲卡，通過行車記錄儀可以查看記錄的視頻，或者通過手機、平板設(shè)備或電腦讀取保存的視頻信息已經(jīng)得到廣泛應(yīng)用，行車記錄儀產(chǎn)品型號眾多，技術(shù)相對比較成熟。

CMS相應(yīng)有國際標(biāo)準(zhǔn)ISO 16505、聯(lián)合國R046標(biāo)準(zhǔn)和中國標(biāo)準(zhǔn)的詳細(xì)的技術(shù)要求，對應(yīng)有亮度調(diào)節(jié)和對比度復(fù)現(xiàn)、灰度等級復(fù)現(xiàn)、色彩還原、彌散、光暈和眩光、點光源、幾何畸變、閃爍、幀率、系統(tǒng)延時、平均放大倍數(shù)、分辨率、放大倍數(shù)縱橫比、景深等等技術(shù)參數(shù)。

4.3 電子后視鏡延時特性分析和探討

攝像頭作為電子后視鏡的主要硬件組成部分，由光學(xué)透鏡和CMOS圖像傳感器組合而成。其輸出接口通常采用Mipi或LVDS形式，而幀率的最高參數(shù)為60 f/s，即延遲為16.66毫秒。另外，電子后視鏡的SoC處理器負(fù)責(zé)圖像補償、圖像畸變矯正和系統(tǒng)功能控制，所產(chǎn)生的總體延時約為40毫秒。此外，電子后視鏡還配備了一塊17.78厘米（7寸）TFT顯示屏，其接收接口同樣采用Mipi或LVDS形式，幀率為60 f/s，顯示所產(chǎn)生的延遲為16.66毫秒。綜合考慮系統(tǒng)總延時，計算得出結(jié)果為73.33毫秒。

為了優(yōu)化技術(shù)方案，電子后視鏡CMS采用了圖像信號處理器ISP專用芯片。該類芯片利用硬件電路進(jìn)行圖像補償和圖像畸變矯正，因此可以忽略其產(chǎn)生的延遲。相比之下，SoC處理器僅負(fù)責(zé)系統(tǒng)功能控制，這在很大程度上節(jié)省了圖像數(shù)據(jù)處理時間。因此，電子后視鏡CMS的總延時等于CMOS圖像傳感器（60 f/s）加上TFT顯示屏的延遲，其中60 f/s相當(dāng)于1/60+1/60=33.33毫秒。

五、總結(jié)

根據(jù)對電子后視鏡CMS的硬件電路結(jié)構(gòu)分析，我們從電路硬件的角度得出了最小延時為33.33毫秒的結(jié)論。在考慮了硬件電子電路延時、圖像信息處理和系統(tǒng)控制等因素后，我們得出了CMS的總延時為43.33毫秒。因此，我們可以得出結(jié)論，CMS最理想的總延時范圍應(yīng)在33.33～43.33毫秒之間。? ??

CMS的動態(tài)技術(shù)和性能對其產(chǎn)品的推廣應(yīng)用具有重要影響。根據(jù)ISO 16505的規(guī)定，CMS的延時應(yīng)為200毫秒。結(jié)合上述分析，我們可以推斷，在高速公路上，當(dāng)汽車靜止或以低速進(jìn)入高速公路時，大約有6.83毫秒的距離差。這也可以理解為，當(dāng)?shù)退傩旭偟钠嚺c行駛速度為120公里/小時的車輛交會時，車輛行駛了6.83米的距離，而低速車輛才看到高速行駛的汽車。?

從另一個角度來看，這意味著當(dāng)?shù)退傩旭偟钠囻{駛員看到相鄰的高速行駛汽車時，高速行駛的汽車已經(jīng)超越了低速行駛的汽車。也就是說，200毫秒的延時存在安全問題。因此，制定合理且安全的電子后視鏡CMS延時參數(shù)顯得尤為重要。?

編輯：黃飛

?