詳解智能座艙內(nèi)部的各種攝像頭

一、概述

相比起用于ADAS感知系統(tǒng)的攝像頭，用于智能座艙內(nèi)部的攝像頭，其功能特性和性能要求相對簡單。例如，OMS乘客監(jiān)控攝像頭，一般達(dá)到5MP即可有良好的效果。同時，OMS也可應(yīng)用于車內(nèi)會議系統(tǒng)，還應(yīng)用于車內(nèi)兒童檢測。DMS駕駛員監(jiān)測系統(tǒng)，SVC 360環(huán)視攝像頭，DVR行車記錄儀，均為自動駕駛域ADC與智能座艙域CDC共用的攝像頭。下文將簡要介紹這些攝像頭。

對于車載攝像頭來說，它的特點在于攝像頭的安裝位置，和ISP處理芯片之間的距離。在2MP以下的攝像頭，一般會直接輸出YUV格式的圖像數(shù)據(jù)，無需額外的ISP進(jìn)行圖像處理。而2MP以上，則攝像頭會輸出raw原始數(shù)據(jù)，需要有獨立的ISP進(jìn)行攝像頭圖像格式處理。由于攝像頭使用數(shù)目很多，如果每個攝像頭都安排一個ISP，那么成本將非常巨大。因此需要將ISP安排在CDC座艙控制器內(nèi)部，而通過高速傳輸線纜將攝像頭的raw數(shù)據(jù)傳送到集中式的ISP來進(jìn)行處理。此時就需要使用高速視頻傳輸總線。

如同高速音視頻傳輸接口章節(jié)所描述的一樣，此時一般使用GMSL或者FPDlink，實現(xiàn)遠(yuǎn)端Camera的raw數(shù)據(jù)傳輸?shù)紺DC中來。未來還可能采用的技術(shù)有Mipi-A phy 和ASA。此時Serdes芯片一般成對設(shè)置，在攝像頭端集成有serializer chip；在CDC端則設(shè)計有desilizer chip；它們之間的距離可以長達(dá)10米，最長不超過15米。

作為Camera傳輸?shù)臉蚪有酒蛡鬏敂?shù)據(jù)線，可以參考如下圖片了解：

二、 OMS

OMS(Occupant Monitor System) 乘客及后座檢測系統(tǒng)的簡稱。在法規(guī)上，已經(jīng)有不少地區(qū)和國家在立法要求進(jìn)行車內(nèi)兒童檢測。歐洲NCAP計劃從2023年1月起增加對車內(nèi)兒童存在檢測的評分，各項規(guī)定非常細(xì)致。美國正在立法要求所有新車預(yù)裝兒童存在檢測功能，預(yù)計在2025年全面實施。據(jù)說國內(nèi)相關(guān)規(guī)范也在評估制訂中。

OMS攝像頭可以在一定程度上滿足車內(nèi)兒童存在檢測的要求。為了提高檢測的準(zhǔn)確性，甚至還要求增加生命體征檢測雷達(dá)(UWB或者毫米波雷達(dá))。從目前的實踐來看，一般在前排后視鏡位置布置一顆5MP，甚至8MP的OMS主攝像頭；在第二排第三排座位上方增加2MP的后排OMS。通過人臉識別，動作捕獲，活體檢測等AI算法的應(yīng)用，OMS可以提升智能座艙車內(nèi)的感知。

OMS還可以為如下應(yīng)用功能提供支持：車內(nèi)視頻會議系統(tǒng)；安全支付系統(tǒng)；人工智能助手融合感知系統(tǒng)等。
為了保證在座艙環(huán)境內(nèi)任何光照強度下都能正常使用，OMS一般要求支持RGB-IR，可見光和紅外光雙波段工作模式，同時需要布置紅外補光燈。在夜間可以采用IR紅外光進(jìn)行檢測；在白天采用RGB可見光進(jìn)行工作。

2.1 TOF

TOF是Time of flight的簡寫，直譯為飛行時間的意思。所謂飛行時間法3D成像，是通過給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標(biāo)物距離。這種技術(shù)跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學(xué)部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非嵌入式三維探測、適用領(lǐng)域非常類似的雙目測量系統(tǒng)相比，TOF相機具有根本不同的3D成像機理。雙目立體測量通過左右立體像對匹配后，再經(jīng)過三角測量法來進(jìn)行立體探測，而TOF相機是通過入、反射光探測來獲取的目標(biāo)距離獲取。

由于TOF采用多點發(fā)射和測量的方法來計算并得出深度信息，因此它的特點是分辨率低，功耗高。受激光發(fā)射點的限制，其分辨率一般不會超過640*480，功耗卻是結(jié)構(gòu)光的十倍以上。

2.2 雙目結(jié)構(gòu)光+RGB

雙目結(jié)構(gòu)光采用的是雙目立體視覺的技術(shù)，它模仿人眼的左右視差，用2個紅外攝像頭從左右兩個方向獲取被測物體的兩幅圖像，然后計算圖像對應(yīng)點之間的偏差，采用三角測量的方式計算得出視差圖，再轉(zhuǎn)換為3D深度信息。在這里的結(jié)構(gòu)光，指的是紅外投射器會投出一個簡單的紅外光點陣，用來增強物體表面的紋理，然后再由IR攝像頭拍攝物體圖像，利用算法進(jìn)行后期計算處理。

雙目立體視覺系統(tǒng)的四個基本步驟：

1 相機標(biāo)定：主要包含兩部分內(nèi)容: 單相機的內(nèi)參標(biāo)定和雙目相機的外參標(biāo)定，前者可以獲得每個相機的焦距、光心、畸變系數(shù)等參數(shù)，后者可以獲得雙目相機之間的相機坐標(biāo)系的旋轉(zhuǎn)、平移關(guān)系。

2 立體校正：該過程是根據(jù)相機的標(biāo)定結(jié)果，對兩個相機采集到的原始圖像進(jìn)行校正，校正后的兩張圖像位于同一平面且互相平行，即圖像的每行像素之間共線。

3 立體匹配：該過程是根據(jù)立體校正后的圖像，進(jìn)行像素點的匹配，匹配成功的點表示真實世界中的某點在這兩個圖像中的不同位置。

4 深度計算：對立體匹配后得到的2幅圖，利用三角測量法逐個計算每一個像素點的視差，得到視差圖后，再轉(zhuǎn)換成為深度圖。

雙目的優(yōu)點是硬件資源需求低，只要2個普通的IR相機，搭配一顆帶DSP的SOC芯片即可計算獲取深度圖。但它的缺點是必須配置雙目，并要求具有一定的基線長度，因此它的安裝環(huán)境受限。

2.3 單目結(jié)構(gòu)光

結(jié)構(gòu)光，英文叫做 Structured light，基本原理是通過近紅外激光器，將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進(jìn)行采集。這種具備一定結(jié)構(gòu)的光線(激光散斑)，會因被攝物體的不同深度區(qū)域，而采集不同的圖像相位信息，然后通過運算單元將這種結(jié)構(gòu)的變化換算成深度信息，以此來獲得三維結(jié)構(gòu)。簡單來說就是，通過光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu)，再將獲取到的信息進(jìn)行更深入的應(yīng)用。通常采用特定波長的不可見的紅外激光作為光源，它發(fā)射出來的光經(jīng)過一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。

相對于TOF，結(jié)構(gòu)光的功耗較低，因為它只需要投射一小塊區(qū)域就可以滿足要求。它的分辨率和精度都高于TOF，且成本也比TOF低。相比雙目結(jié)構(gòu)光，單目結(jié)構(gòu)光的基線可以做得較小，方便布置在車內(nèi)環(huán)境中。并且它在低光照條件下仍然可以使用，更適合車內(nèi)環(huán)境。

2.4 OMS視覺方案

在智能座艙內(nèi)部的感知系統(tǒng)中，OMS發(fā)揮出巨大的作用和優(yōu)勢。在語音識別之外，多模態(tài)識別對視覺感知的需求越來越高。其中，增加了深度信息的手勢識別，人臉面部表情識別，情緒識別，口語識別等功能將給車載AI助手賦予更高的智能，提升了智能座艙的用戶感受度，給予了良好的體驗。

對上述感知攝像頭方案進(jìn)行比較，除了不帶深度信息的單目RGB+IR之外，其余3種都是深度相機的可選項。

雙目結(jié)構(gòu)光+RGB方案，最大的問題在于實現(xiàn)算法需要很高的計算資源，導(dǎo)致實時性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計算越復(fù)雜，同時，純雙目方案受光照，物體紋理性質(zhì)影響。所增加的RGB攝像頭只有1路，主要用于與深度圖的對比顯示。

TOF方案，由于硬件條件限制，其分辨率較低，感知精度低于結(jié)構(gòu)光和雙目立體方案。需要多點激光發(fā)射，硬件成本高，但是它的算法復(fù)雜度低，實時性高，可達(dá)120幀率，并且硬件計算資源需求較低。

單目結(jié)構(gòu)光方案，目的就是為了解決雙目中匹配算法的復(fù)雜度和魯棒性問題而提出，該方案解決了大多數(shù)環(huán)境下雙目的問題。但是，在強光下，結(jié)構(gòu)光核心技術(shù)激光散斑會被淹沒，因此，在陽光強烈的時候，可能會失效。

三、DMS

DMS(Driver Monitor System)駕駛員監(jiān)測系統(tǒng)的簡稱。指在駕駛員行駛過程中，全天候監(jiān)測駕駛員的疲勞狀態(tài)，危險駕駛行為等。在發(fā)現(xiàn)駕駛員出現(xiàn)疲勞，打哈欠，瞇眼睛，抽煙，接打手持電話等行為后，DMS系統(tǒng)及時的對此類行為進(jìn)行分析，并進(jìn)行語音和燈光等提示，起到警示駕駛員，糾正錯誤駕駛行為的作用。

由于DMS主要用于駕駛員異常行為的監(jiān)測，因此它主要屬于ADC自動駕駛域，而不屬于CDC智能座艙域。但是DMS一般安裝在艙內(nèi)A柱下方，直接面對駕駛員的面部，因此也可以算入智能座艙內(nèi)部的攝像頭之一。

DMS一般采用2MP的紅外攝像頭，無需采用RGB工作模式。它所拍攝的畫面，需要讓“機器”能夠看得清，讓AI算法對駕駛員的狀態(tài)分析準(zhǔn)確；而無需讓“人”看得舒服。因此，DMS只要求到2MP的像素分辨率即可，并且需要紅外補光攝像頭，保證在任何光照條件下都能夠讓機器看清楚駕駛員的面部特征。

需要注意的是，DMS和OMS都具有紅外補光燈，因此需要設(shè)計專門的紅外燈同步信號，確保DMS和OMS的補光燈不能同時工作，以避免產(chǎn)生過曝現(xiàn)象。

DMS感知算法的進(jìn)一步提升，還包括眼動跟蹤，面部表情，情緒監(jiān)測等。與人工智能助手相配合的多模態(tài)識別，還將包含口型檢測等進(jìn)一步的AI識別算法得到應(yīng)用。

四、行車記錄儀

車載DVR，即Digital Video Recorder，也正是行車記錄儀。在DVR的功能當(dāng)中，分為車載前裝DVR和后裝DVR。后裝DVR一般是獨立的行車記錄儀設(shè)備，它使用音視頻編碼技術(shù)，將DVR自帶的攝像頭數(shù)據(jù)進(jìn)行轉(zhuǎn)換和壓縮，保存在DVR的存儲設(shè)備中。由于后裝設(shè)備無需滿足車規(guī)標(biāo)準(zhǔn)，在汽車出廠時也不包含此設(shè)備，需要在汽車配件市場進(jìn)行后期安裝，因此它可以采用消費級的電子芯片，其可靠性也遠(yuǎn)遠(yuǎn)達(dá)不到車規(guī)級的要求。

前裝DVR則需要滿足車規(guī)級標(biāo)準(zhǔn)，在汽車出廠時就已經(jīng)安裝完畢，它的使用年限和可靠性都需要按車規(guī)電子的標(biāo)準(zhǔn)來要求。

通常，前裝DVR可以無需設(shè)置單獨的攝像頭，而是直接復(fù)用ADAS自動駕駛域的攝像頭即可。一般來說，DVR可以保存前向廣域攝像頭(FOV達(dá)到120°)+SVC 360環(huán)視攝像頭的圖像數(shù)據(jù)。為了滿足白天+黑夜的數(shù)據(jù)記錄要求，以及滿足進(jìn)出隧道等攝像頭高動態(tài)范圍識別要求，前向DVR攝像頭和SVC環(huán)視都要求滿足HDR(High Dynamic Range)的要求。因此，必須要求攝像頭支持HDR模式，ISP也要求支持HDR模式。

五、360環(huán)視

SVC(Surround View Cameras)即環(huán)視攝像頭，它一般布局在車頭(前向)，車尾(后向)，左后視鏡(左向)，右后視鏡(右向)。SVC是多攝像頭系統(tǒng)，允許駕駛員擁有360度視野，實時查看車輛周邊環(huán)境。此系統(tǒng)通過顯示圖像合成算法，將多個攝像頭的視角融合，得到在高處環(huán)視車輛的“上帝視角”。

SVC 同樣主要屬于ADC自動駕駛域，因為對于泊車輔助系統(tǒng)來說，需要SVC攝像頭來幫助感知泊車的停車位和周邊環(huán)境。因此，SVC 360環(huán)視攝像頭也被稱為Parking Assistance Camera。

SVC攝像頭具有如下幾個特點：

六、流媒體后視鏡

6.1 法規(guī)

CMS(Camera Monitor System)即流媒體后視鏡。CMS是用電子方式取代傳統(tǒng)的玻璃鏡面倒車鏡，它有很多個名字，有叫電子側(cè)視鏡，虛擬倒車鏡，電子倒車鏡， 電子取代鏡等，ISO 國際標(biāo)準(zhǔn)組織稱其為攝像頭監(jiān)控系統(tǒng)，即 Camera Monitor System。

圖片來源：奧迪

奧迪 e-tron 在 CMS 系統(tǒng)搭載了兩個 7 英寸、1280x1080 的 OLED 屏幕。據(jù)稱是 OLED 屏響應(yīng)速度快大約 100 毫秒。奧迪表 示，外側(cè)攝像頭系統(tǒng)有助于將阻力系數(shù)從美國版的 0.28 提高到 歐洲版的 0.27。對于純電動汽車來說，在高速公路上，這個微小的差別可以增加 3 英里的續(xù)航里程。這個非規(guī)則形狀的 OLED 屏成本極高，且角度略低，容易導(dǎo)致駕駛員分心，下一代奧迪很有可能改回標(biāo)準(zhǔn)矩形，放在 A 柱附近。

目前全球只有日本和歐洲的法規(guī)允許使用電子后視鏡系統(tǒng)代替玻璃視鏡。歐洲法規(guī)方面主要有 UN ECE R46-2016《關(guān)于間接視野裝置及安裝間接視野裝置車輛認(rèn)證的統(tǒng)一規(guī)定》和 ISO 16505-2019《攝像頭監(jiān)視系統(tǒng)的人體工程學(xué)和性能方面的要求和試驗程序》 。還有一個法規(guī) IEEEP 2020 Standard for Automotive System Image Quality（車載相機圖像質(zhì)量標(biāo)準(zhǔn)）， IEEEP2020 希望規(guī)范是車上的所有的攝像頭圖像質(zhì)量相關(guān)的測試和問題。無論是人類視覺應(yīng)用，還是計算機視覺應(yīng)用都在其范疇。并且其主要規(guī)范的就是攝像頭成像系統(tǒng)的圖像質(zhì)量。

目前CMS還需要專用的攝像頭(HDR)，傳輸通道，以及顯示屏。攝像頭分辨率和幀率一般最高只能達(dá)到2MP 60fps或者4MP 30fps，且成本相當(dāng)高昂，在實用性上還有一定的差距。

最新的中國國標(biāo)GB 15084-2022已經(jīng)于2023-07-01生效，允許汽車安裝流媒體后視鏡，其中包括各種I，II，III類鏡。

6.2 CMS性能要求

對于乘用車來說，首先需要區(qū)分I類鏡和III類鏡的區(qū)別，這個十分重要。

I類鏡，也稱為電子內(nèi)后視鏡，它主要是利用后置攝像頭，將Camera拍攝到的視頻流傳輸?shù)杰噧?nèi)中央的后視鏡上進(jìn)行顯示。而III類鏡，也稱為電子外后視鏡，它主要用于替代車身左右側(cè)外部后視鏡，將安裝在車身兩側(cè)向后觀察位置的攝像頭視頻流顯示在車內(nèi)顯示屏上。

在GB15084-2022中，對CMS的性能提出了非常具體的要求，并提出了檢測標(biāo)準(zhǔn)：

亮度調(diào)節(jié)：監(jiān)視器的亮度應(yīng)能根據(jù)環(huán)境條件手動或自動調(diào)節(jié)。

方向均勻性：為了確保駕駛員在預(yù)期的不同方向觀察顯示屏?xí)r，顯示屏具有足夠的可見性，限制從不同方向觀察的圖像亮度衰減，并規(guī)定了方向均勻性。

亮度對比度復(fù)現(xiàn)：為了確保CMS在不同使用環(huán)境條件下的圖像質(zhì)量以及可辨識的車外視野，規(guī)定了亮度對比度復(fù)現(xiàn)的要求，分別選取陽光直射，散射環(huán)境光，日落條件，夜間條件等4種典型場景來評估。

灰度與色彩還原：CMS應(yīng)能在顯示屏上顯示至少8個不同的灰度等級；在色彩還原度測試上，按ISO16505規(guī)定的方法進(jìn)行試驗，并滿足規(guī)定的要求。

彌散：為了避免強光源照射攝像機鏡頭而在顯示屏上形成光芒狀的亮條對駕駛員產(chǎn)生干擾，規(guī)定了彌散要求，限制彌散亮度值，不大于引起彌散的光源影像最大亮度值的10%。

光暈和眩光：按ISO16505規(guī)定的方法進(jìn)行試驗，光暈和鏡頭眩光區(qū)域應(yīng)不大于所顯示影像面積的25%。

點光源：為了在夜間行車時駕駛員能夠明確區(qū)分車后機動車的兩個前照燈，規(guī)定了點光源的要求。點光源發(fā)現(xiàn)系數(shù)應(yīng)不小于2.7，或點光源對比度系數(shù)應(yīng)不小于0.12。

銳度，景深，幾何畸變：為了使駕駛員觀察車外視野內(nèi)目標(biāo)的識別能力，需要規(guī)定銳度，景深，幾何畸變的測試標(biāo)準(zhǔn)，并按ISO16505規(guī)定的方法進(jìn)行驗證。

幀率：CMS的幀率至少為30fps，在低光照條件或車輛低速行駛時可以降低到15fps。

成像時間和系統(tǒng)延遲：顯示器成像時間應(yīng)小于55ms，車外事件發(fā)生時到車內(nèi)監(jiān)視器輸出圖像的時間為系統(tǒng)延時，不應(yīng)低于200ms。

根據(jù)上述國標(biāo)的測試標(biāo)準(zhǔn)來看，CMS要滿足汽車前裝的要求，需要從攝像頭，控制芯片，ISP處理，顯示屏等一系列環(huán)節(jié)進(jìn)行系統(tǒng)分析，在光學(xué)，機械，電子等方面進(jìn)行軟硬綜合一體的設(shè)計，才能得到滿意的結(jié)果。

6.3 CMS系統(tǒng)架構(gòu)

CMS系統(tǒng)有“MCU方案”和“SOC方案”兩種配置——前者功能簡單、價格低、延時低；后者功能豐富、價格高、延時高。CMS系統(tǒng)核心的處理任務(wù)是ISP，如果只是將CMS攝像頭采集到的圖像用來做顯示的話，就只需要MCU即可；另外可以在經(jīng)過ISP處理后的圖像基礎(chǔ)上加一些應(yīng)用層的功能（例如BSD、開門預(yù)警等功能），但是需要加SOC。前者M(jìn)CU方案功能簡單，省去了SOC核心板成本，價格更低；后者SOC方案價格更高，由于新增一些功能處理，系統(tǒng)延時也相較于前者更高。MCU方案中ISP處理可以放在顯示屏里（屏廠Tier1偏好的方式），也可以放在攝像機里（攝像機Tier1偏好的方式）。對于MCU方案，CMS系統(tǒng)負(fù)責(zé)ISP的處理器可以放在屏幕里，也可以放在攝像機中，這種方案沒有獨立的CMS控制器。對于SOC方案，可以放在獨立的CMS控制器中，未來也可以被集成到智能駕駛域控制器或者智能座艙域控制器中。

上述不同的方案對應(yīng)了不同的系統(tǒng)成本，簡要介紹2種不同的系統(tǒng)架構(gòu)方案：

1、處理芯片ISP集成在屏幕，與相機模組分離：顯示屏供應(yīng)商希望把整個處理囊括在屏里，也就是把基于顯示屏為處理核心的模塊嵌入到屏的板子上，來處理前端相機傳輸進(jìn)來的圖像信息，來配合整個屏的模組模塊化設(shè)計。。

2、處理芯片ISP與相機集成在外耳，與艙內(nèi)顯示屏分離：做耳鏡也就是攝像頭的供應(yīng)商，他們希望把處理器嵌入到兩側(cè)耳鏡當(dāng)中，來適配艙內(nèi)不同屏的廠家。這種方案可以使得整個系統(tǒng)小型化，在外耳鏡端器件可以用小的封裝在長條形或者半圓形的兩側(cè)耳鏡模塊當(dāng)中。攝像頭采集到的Rawdata傳輸進(jìn)來可以在耳鏡端直接做ISP處理，然后在艙內(nèi)顯示屏中做顯示。

3、處理芯片ISP集成在智能座艙域控制器CDC，Camera復(fù)用：在這種方案下，將以中央計算平臺為中心，利用智能座艙SOC芯片強大的ISP處理能力，同時復(fù)用車載攝像頭輸入原始raw data，實現(xiàn)成本最優(yōu)。

在本方案中，攝像頭為原車載ADAS域攝像頭，ISP使用了中央計算平臺中的智能座艙SOC，新增器件只有顯示屏，可見在三種方案中成本最佳。但該方案對于III類鏡所需的功能安全要求是一個挑戰(zhàn)，因此還未能達(dá)到立即商用的程度，可以作為未來發(fā)展的一個方向進(jìn)行研究。

審核編輯：黃飛

?