關(guān)于汽車(chē)360度全景影像系統(tǒng)工作原理研究和應(yīng)用分析

一、背景
駕車(chē)時(shí)我們通常會(huì)參考位于車(chē)身兩側(cè)的后視鏡和車(chē)內(nèi)的后視鏡，觀察車(chē)輛兩側(cè)和后方的狀況，雖然在駕駛時(shí)可以保證較高的安全性，但在泊車(chē)時(shí)僅僅依靠這三個(gè)后視鏡所提供的信息卻遠(yuǎn)遠(yuǎn)不夠。倒車(chē)?yán)走_(dá)雖然可以提供前后障礙物的聲音提醒，但對(duì)于車(chē)輛兩側(cè)出現(xiàn)的障礙物卻無(wú)法進(jìn)行檢測(cè)。倒車(chē)影像系統(tǒng)雖然可以將車(chē)輛倒車(chē)時(shí)的影像信息顯示在中控臺(tái)的顯示屏上，但車(chē)輛前后及兩側(cè)仍存在著很大的盲區(qū)，并且在駐車(chē)時(shí)多數(shù)發(fā)生的刮蹭狀況并不是在車(chē)身前后而是在兩側(cè)。
如果地上只有車(chē)位線(xiàn)，沒(méi)有其它參照物，估計(jì)很少有人能夠端端正正地把車(chē)停到車(chē)位中間，不是偏一邊就是跨位停車(chē)。如果兩車(chē)夾一空位，現(xiàn)在的車(chē)位都不是標(biāo)準(zhǔn)停車(chē)位，往往偏窄，估計(jì)也要前前后后倒好幾把才能勉強(qiáng)進(jìn)去，而且很可能停得連自己的車(chē)門(mén)也開(kāi)不了。
加上近年汽車(chē)的快速增加使得城市道路、小區(qū)停車(chē)日漸擁堵，令駕駛員在泊車(chē)時(shí)受到視野和車(chē)位狹小等客觀條件的限制，而極易發(fā)生擦碰事故，帶來(lái)不必要的損失。大多數(shù)的車(chē)輛刮蹭都是在出入車(chē)位和讓車(chē)時(shí)造成的，雖然車(chē)速不會(huì)很快，但不小心刮蹭到愛(ài)車(chē)的漆面仍是件非常惱人的事情。因此有了車(chē)身周?chē)碍h(huán)視行車(chē)輔助的需求。

這個(gè)全景環(huán)視概念最早是由K.Kate，M.Suzuki，Y.Fujita，Y.Hirama等四人于2006年首先提出。這一概念提出后，馬上引起了國(guó)內(nèi)外眾多汽車(chē)生產(chǎn)廠商和相關(guān)科研單位的注意。雖然過(guò)去了六年，但到目前為止，基于這一觀點(diǎn)研發(fā)出成熟產(chǎn)品的廠家卻屈指可數(shù)。2007年，日產(chǎn)公司發(fā)布了首款全景行車(chē)安全系統(tǒng)“環(huán)景監(jiān)視系統(tǒng)AVM”，2008年本田推出了multi-view camera system，2009年阿爾派推出TOPVIEW系統(tǒng)，2010年Fujitsu公司開(kāi)發(fā)了Multi-Angle Vision系統(tǒng)，寶馬公司自主研發(fā)的只有左、右、后三個(gè)方位視圖的泊車(chē)輔助系統(tǒng)首先應(yīng)用在X6上，寶馬74系列上的全景系統(tǒng)還是其供應(yīng)商提供的。

二、簡(jiǎn)介
360度全景影像系統(tǒng)，又叫衛(wèi)星全景行車(chē)安全系統(tǒng)（也有叫全景輔助泊車(chē)系統(tǒng)、全景環(huán)視系統(tǒng)、全景式監(jiān)控影像系統(tǒng)、360度全景泊車(chē)輔助系統(tǒng)、汽車(chē)360環(huán)視系統(tǒng)），系統(tǒng)同時(shí)采集車(chē)輛四周的影像，經(jīng)過(guò)圖像處理單元一系列的智能算法處理，最終形成一幅車(chē)輛四周的全景俯視圖顯示在屏幕上，直觀地呈現(xiàn)出車(chē)輛所處的位置和周邊情況。系統(tǒng)大大地拓展了駕駛員對(duì)周?chē)铜h(huán)境的感知能力，使駕駛員在處理車(chē)輛起步、行車(chē)轉(zhuǎn)彎、泊車(chē)入位、窄道會(huì)車(chē)、規(guī)避障礙等情況時(shí)從容不迫、輕松自如，可以有效減少刮蹭、甚至碰撞碾壓等事故的發(fā)生。

三、工作原理
360度全景影像系統(tǒng)主要由以下六部分組成：圖像獲取、攝像機(jī)定標(biāo)、圖像變換、圖像美化、圖像無(wú)縫拼接融合、圖像顯示。圖像的獲取往往利用安裝在車(chē)身前后左右4個(gè)超廣角攝像頭SWVC（Super-Wide-View-Camera）捕捉車(chē)輛周?chē)鸂顩r。但由于采用SWVC后影像會(huì)產(chǎn)生“魚(yú)眼失真”的現(xiàn)象，所以必須通過(guò)數(shù)學(xué)算法進(jìn)行畫(huà)面合成和畫(huà)面修正，合成一幅車(chē)身周?chē)娜傍B(niǎo)瞰圖，從而將車(chē)輛四周真實(shí)畫(huà)面展示在車(chē)載顯示屏上，避免行車(chē)過(guò)程中的碰撞危險(xiǎn)。因此，攝像機(jī)定標(biāo)、圖像美化、圖像無(wú)縫拼接融合的核心算法將主導(dǎo)整個(gè)系統(tǒng)。

在攝像機(jī)內(nèi)參標(biāo)定部分，考慮制作標(biāo)定工具取代手工作業(yè)，配合相應(yīng)的算法進(jìn)行攝像機(jī)標(biāo)定。在攝像機(jī)外參標(biāo)定部分，將打破傳統(tǒng)的標(biāo)定方法，引入進(jìn)化計(jì)算的思想優(yōu)化算法，在不影響標(biāo)定精度的前提下簡(jiǎn)化標(biāo)定流程、縮短標(biāo)定時(shí)間。在圖像拼接部分，因?yàn)椴煌瑪z像機(jī)成像系統(tǒng)的差異導(dǎo)致相同時(shí)間坐標(biāo)點(diǎn)的成像也會(huì)有所偏差，所以舍棄利用相關(guān)點(diǎn)配準(zhǔn)再融合的方法，并直接根據(jù)人眼視覺(jué)模型，采用視覺(jué)過(guò)渡的方法對(duì)圖像進(jìn)行拼接融合。具體的實(shí)施步驟：
(1) 圖像的獲?。豪?70度以上超廣角攝像機(jī)獲取模擬信號(hào)，并將信號(hào)解析為圖像數(shù)據(jù)；
(2) 攝像機(jī)標(biāo)定模型的建立：建立世界坐標(biāo)與攝像機(jī)坐標(biāo)的關(guān)系，建立攝像機(jī)坐標(biāo)與圖像坐標(biāo)的關(guān)系，從而確定世界坐標(biāo)與圖像坐標(biāo)的關(guān)系；
(3) 攝像機(jī)內(nèi)參的標(biāo)定：對(duì)攝像頭內(nèi)參進(jìn)行標(biāo)定；
(4) 攝像機(jī)外參的標(biāo)定：對(duì)攝像頭外參進(jìn)行標(biāo)定；
(5) 圖像光照一致性研究：研究同一場(chǎng)景下成像灰度值的關(guān)系，分析不同角度的光源對(duì)攝像機(jī)成像造成的影響，從而提出消減這種影響的算法；
(6) 圖像拼接融合：根據(jù)人眼的視覺(jué)模型，研究圖像縫隙視覺(jué)過(guò)渡的方法，從而消除圖像拼接引起的縫隙，達(dá)到圖像融合的目的。
(7) 圖像的顯示：優(yōu)化系統(tǒng)算法，將所得圖像對(duì)接顯示屏顯示。
(8) 形成產(chǎn)品：形成一套成熟的產(chǎn)品，該產(chǎn)品滿(mǎn)足360度全景影像系統(tǒng)功能。
在對(duì)圖像的處理上，不同的車(chē)型，因?yàn)樗膫€(gè)攝像頭安裝的高度、寬度、仰角都不一樣，所以，真正的全景環(huán)視產(chǎn)品，針對(duì)每個(gè)車(chē)型都要有一套與之配套的差數(shù)軟件，才能真正實(shí)現(xiàn)無(wú)縫合成全景顯示。如果軟件做得好，可以把這些參數(shù)做到一起，通過(guò)后期的調(diào)試實(shí)現(xiàn)自適應(yīng)。

四、關(guān)于算法
360度全景影像系統(tǒng)關(guān)鍵就在算法上，有很多人認(rèn)為搞幾個(gè)軟件人員就可以將產(chǎn)品搞起來(lái)，實(shí)際上不是這么簡(jiǎn)單的，每一種技術(shù)的積累是有過(guò)程的，除了對(duì)硬件本身有要求外，對(duì)算法的邏輯關(guān)系有非常重要的要求。
比如我們想計(jì)算達(dá)到1萬(wàn)這個(gè)結(jié)果就有很多種算法：有100X100，慢一點(diǎn)是10X10X100，再慢一點(diǎn)是10X10X10X10，最慢的1+1+1+……1+1同樣達(dá)到1萬(wàn)的結(jié)果，不同的計(jì)算方式，反映出來(lái)的效率是完全不一樣的。而一個(gè)全景要同時(shí)處理四組攝像頭采集的數(shù)據(jù)，攝像頭的采集是按幀來(lái)計(jì)算畫(huà)面的，一般不小于16幀，16乘于4，也就是說(shuō)最簡(jiǎn)單的要求同步處理64幅畫(huà)面的效果，同時(shí)還要進(jìn)行補(bǔ)光平衡、裁剪、矯正、拼接等復(fù)雜的計(jì)算處理。不同的邏輯算法，帶來(lái)的效果是完全不一樣的，如果算法復(fù)雜，處理的數(shù)據(jù)多了，時(shí)間長(zhǎng)了，就會(huì)造成反應(yīng)遲緩、停頓、死機(jī)等現(xiàn)象出現(xiàn)，甚至造成硬件的癱瘓和損壞，這和電腦處理高清圖片、視頻是一樣的道理。
我們的理解，復(fù)雜的算法是需要天才來(lái)搞的，就象陳景潤(rùn)和華羅庚一樣能有幾個(gè)？很多前裝的車(chē)輛為什么要用分割線(xiàn)掩蓋技術(shù)的缺陷，因?yàn)樗麄兗词褂泻芏嘬浖瞬?，但不一定有?shù)學(xué)天才，這種人才是可遇不可求的。算法部分是通過(guò)ARM系統(tǒng)完成的，就像導(dǎo)航系統(tǒng)一樣，而一般軟件工程師以完成MCU部分為主，解決一些人員操控或者與其它系統(tǒng)之間的銜接匹配問(wèn)題。如：為便于駕駛?cè)藛T確認(rèn)主要畫(huà)面（前進(jìn)和倒車(chē)畫(huà)面），需要有專(zhuān)門(mén)和車(chē)輛通訊配套的控制端口，以便在車(chē)輛前進(jìn)時(shí)自動(dòng)切換為前進(jìn)主畫(huà)面，倒車(chē)時(shí)切換為倒車(chē)主畫(huà)面；通過(guò)音響系統(tǒng)提供警報(bào)音，并在主畫(huà)面提示危險(xiǎn)物體，以便提醒駕駛?cè)藛T進(jìn)行危險(xiǎn)避讓。