魚眼相機(jī)的成像原理與成像模型解析

“800萬(wàn)像素”，“250m測(cè)距能力”等字眼頻繁出現(xiàn)在自動(dòng)駕駛相關(guān)的宣傳報(bào)道中，這源于自動(dòng)駕駛對(duì)感知能力“更遠(yuǎn)、更強(qiáng)”的不懈追求。車上不裝十幾個(gè)攝像頭，主機(jī)廠市場(chǎng)部小姐姐都沒底氣宣傳新車具備真正的高級(jí)輔助駕駛功能。而按照這種硬件堆疊的思路，在走到了自動(dòng)駕駛量產(chǎn)落地的那一刻，平平無(wú)奇的車身不知道會(huì)不會(huì)更名為“攝像頭車身”。

電子電氣架構(gòu)的分久必合，正在將車內(nèi)幾十個(gè)ECU往融合為個(gè)位數(shù)的域控制器方向發(fā)展，直至最終演變?yōu)橐粌蓚€(gè)高性能計(jì)算單元。而智駕域內(nèi)的傳感器大佬闊太太們，雖仍處在數(shù)量和性能同時(shí)無(wú)序增長(zhǎng)的階段，但在可預(yù)見的時(shí)間節(jié)點(diǎn)，也終將走向融合與集中的發(fā)展道路。

對(duì)于相機(jī)一類傳感器來(lái)說，如果視場(chǎng)角足夠大，感知距離也在場(chǎng)景的需求范圍內(nèi)，那么再搭配上訓(xùn)練有素的感知算法，勢(shì)必將大大減少此種場(chǎng)景下相機(jī)的需求數(shù)量，同步提高獲取感知關(guān)聯(lián)數(shù)據(jù)的能力。而可能具有此種潛質(zhì)的選手，便是魚眼相機(jī)，一種已經(jīng)在環(huán)視和泊車場(chǎng)景中成熟應(yīng)用，并在ADAS場(chǎng)景中嶄露頭角的希望之星。

在環(huán)視場(chǎng)景中，魚眼相機(jī)通過將大角度范圍（180°）內(nèi)的光線，進(jìn)行壓縮、扭曲之后提供大角度范圍內(nèi)車輛周邊環(huán)境數(shù)據(jù)，并通過將多個(gè)相機(jī)圖像的拼接，去扭和變形之后實(shí)現(xiàn)低速場(chǎng)景下非常實(shí)用的360°全景影像功能。而在泊車場(chǎng)景下，通過和超聲波雷達(dá)融合，完成對(duì)停車線的識(shí)別，障礙物的檢測(cè)，從而實(shí)現(xiàn)不同等級(jí)的泊車功能。

伴隨著魚眼相機(jī)自身內(nèi)力的提升（支持光流及多目標(biāo)檢測(cè)等）、針對(duì)魚眼相機(jī)感知算法的突破，以及自動(dòng)駕駛到了拼價(jià)格刺刀的時(shí)候，魚眼相機(jī)有希望迎來(lái)在自動(dòng)駕駛舞臺(tái)上的“鯉魚躍龍門”時(shí)刻。自動(dòng)駕駛?cè)谠挼诙?，延續(xù)作者以往的風(fēng)格，選取當(dāng)前平平無(wú)奇，但有希望在未來(lái)一鳴驚人的魚眼相機(jī)來(lái)進(jìn)行一番吹噓。

成像原理

在前面介紹單目相機(jī)和雙目相機(jī)的文章中，我們了解到這兩位仁兄都是基于透鏡成像原理工作的。在對(duì)相機(jī)建模時(shí)，通常使用形象通俗的小孔成像模型進(jìn)行描述。 在小孔成像模型中，遵循相似成像準(zhǔn)則。物體在經(jīng)過射影變換之后成的像，保持了絕大部分幾何性質(zhì)不變。比如直線經(jīng)過變換之后仍是直線，曲線經(jīng)過變換之后仍是曲線，兩線交點(diǎn)變換過來(lái)后仍是兩線交點(diǎn)等等。而由于透鏡制造工藝誤差等原因引入的圖像畸變，我們總是想方設(shè)法校正掉。


另一方面，在小孔成像模型中，如果焦距一定，那么圖像傳感器像素平面的面積直接決定了相機(jī)視場(chǎng)角的大小，超過這個(gè)視場(chǎng)角范圍的物體不會(huì)被鏡頭獲取到。因此基于透鏡成像原理的相機(jī)，視場(chǎng)角無(wú)法做到足夠大，水平視場(chǎng)角一般小于140°。

但是在一些領(lǐng)域，比如氣象科學(xué)（這也是魚眼相機(jī)誕生的地方），科技工作者需要對(duì)天空天象變化進(jìn)行觀測(cè)，需要有一種相機(jī)能將整個(gè)半球形天空一次性拍攝下來(lái)。而在安防監(jiān)控領(lǐng)域，安保團(tuán)隊(duì)期望有一種相機(jī)能從俯視角度一次性拍攝整個(gè)監(jiān)控區(qū)域。而為了實(shí)現(xiàn)這些目的，就需要相機(jī)具有水平180°甚至更大的視場(chǎng)角能力。

就在科研人員陷入苦苦思索的時(shí)候，這個(gè)時(shí)候仿生學(xué)義無(wú)反顧站了出來(lái)?？茖W(xué)家們發(fā)現(xiàn)魚的眼睛在往上看的時(shí)候，可以看到水面上整個(gè)半球形空間。細(xì)究原因，科學(xué)家發(fā)現(xiàn)由于水的折射率比空氣大，光線由空氣進(jìn)入水中后會(huì)發(fā)生折射，且折射角比入射角要小。同時(shí)隨著入射角增加，折射角變小的程度也增加?；谶@個(gè)特性，水面上180°半球形空間的物體就可以被扭曲、壓縮到一個(gè)有限的成像平面上。



光學(xué)上有一個(gè)專業(yè)的術(shù)語(yǔ)來(lái)描述這種現(xiàn)象，叫“斯內(nèi)爾窗”。斯內(nèi)爾窗更準(zhǔn)確的描述為：從水下往上看，180°的視角會(huì)被壓成96°的光錐。受此現(xiàn)象啟發(fā)，人們發(fā)明了魚眼鏡頭，一種利用光的折射規(guī)律可以將很大范圍內(nèi)光線進(jìn)行壓縮和扭曲到一個(gè)相對(duì)較小空間內(nèi)的鏡頭，從而可以被后面相機(jī)圖像傳感器記錄下來(lái)，后續(xù)再通過去畸變，還原真實(shí)的圖像比例。

魚眼鏡頭設(shè)計(jì)的中心思想就是：擁有更大的球面弧度（超廣角），成像平面離透鏡更近（短焦距）。魚眼鏡頭視場(chǎng)角可以達(dá)到或者超過180°，因其視角超大，最終成像會(huì)有非常大的桶形畸變。魚眼鏡頭一般是由十幾個(gè)不同的透鏡組合而成，最前面的幾個(gè)透鏡直徑短且呈拋物狀，朝鏡頭前部凸出，主要負(fù)責(zé)折射，使入射角減小。其余的鏡頭相當(dāng)于一個(gè)成像鏡頭。





所以，魚眼相機(jī)是源于斯內(nèi)爾現(xiàn)象而發(fā)明出來(lái)的。但在魚眼鏡頭被設(shè)計(jì)出來(lái)后，人們發(fā)現(xiàn)極凸的造型非常像魚的眼睛。漸漸地，大家一聽到魚眼相機(jī)、魚眼鏡頭都以為是仿照魚的眼睛而設(shè)計(jì)的，可以說是一個(gè)美麗的巧合。

成像模型

前文提到，普通單目/雙目相機(jī)成像遵循的是相似成像準(zhǔn)則，真實(shí)世界中的直線仍被投影為圖像平面上的直線。而魚眼相機(jī)為了將盡可能大的真實(shí)世界投影到有限的成像平面內(nèi)，魚眼相機(jī)允許了畸變的存在，遵循的是非相似成像準(zhǔn)則。

在研究魚眼相機(jī)成像模型時(shí)，一般分解為兩個(gè)步驟。第一個(gè)步驟，將真實(shí)世界中的點(diǎn)投影到一個(gè)虛擬單位半球面上（如下圖中的w點(diǎn)投影到q點(diǎn)），球心與魚眼鏡頭坐標(biāo)系的原點(diǎn)重合；第二個(gè)步驟，將單位半球面上的點(diǎn)投影到相機(jī)成像平面上，這是一個(gè)非線性過程（如下圖q點(diǎn)到rd點(diǎn)）。






從相機(jī)成像模型示意圖可以看到，由于單位半球面上的q點(diǎn)投影到相機(jī)成像平面上的rd點(diǎn)是一個(gè)非線性過程，折射角θd小于入射角θ。而投影模型要表征的就是成像平面的像高rd和入射角θ之間的映射關(guān)系。前人在不斷失敗試錯(cuò)中，總結(jié)出了幾種投影模型，每種投影模型均對(duì)應(yīng)一種魚眼鏡頭類型。常用的投影模型有四種，分別是等距投影模型、等立體角投影模型、體視投影模型和正交投影模型。

和小孔成像模型一樣，為了便于數(shù)學(xué)分析，在投影模型中我們將成像平面對(duì)稱到鏡頭坐標(biāo)系上方區(qū)域。在下文介紹中，f為魚眼相機(jī)的焦距，θ為物體在空間中與光軸所成的入射角，rd為成像點(diǎn)到成像平面中心的成像高度。

（1）等距投影模型。

這是最簡(jiǎn)單的一種投影模型，成像點(diǎn)到成像平面中心的成像高度rd與入射角度θ成正比，這個(gè)比例系數(shù)就是鏡頭焦距f，用公式表達(dá)即為 rd=f*θ。在這種投影模型中，入射光線之間的角度相同時(shí)，保持其對(duì)應(yīng)各投影點(diǎn)之間的間距相同，這也是這個(gè)投影模型名稱的來(lái)源。同時(shí)這種模型還可以解決在小孔成像下入射角90°時(shí)圖像無(wú)限拉伸的問題。畸變量適中，在工程領(lǐng)域被廣泛應(yīng)用。



（2）等立體角投影模型。

這是魚眼相機(jī)常用的一種投影模型，從名字就能領(lǐng)會(huì)此種投影模型真諦的一二。在虛擬單位半球形面上兩個(gè)相等立體角的入射面，在成像平面上的兩個(gè)像的面積相同。用公式表達(dá)為rd=2f*sin(θ/2)。



（3）體視投影模型。

這是一種保角不變投影模型，球形物面上的微小面元經(jīng)過體視投影后，其像仍然是一個(gè)小圓。因此這種投影模型對(duì)微小物體成像具有相似性。但是相似性帶來(lái)視場(chǎng)角不足的影響。用公式表示為rd=2f*tan(θ/2)。



（4）正交投影模型。

這種投影方式帶來(lái)的畸變最大，對(duì)邊緣物體壓縮最厲害近180°處的圖像信息幾乎全部丟失，且無(wú)法對(duì)180°以外的場(chǎng)景區(qū)域進(jìn)行描述，因此實(shí)際上很少使用。但這種投影模型不會(huì)產(chǎn)生透射映射的近大遠(yuǎn)小結(jié)果。用公式表達(dá)就是rd=f*sin(θ)。




畸變校正

對(duì)于相機(jī)類傳感器來(lái)說，畸變是必然存在的。而畸變校正就是尋找一個(gè)重映射矩陣來(lái)將原始圖像中的部分像素點(diǎn)或插值點(diǎn)進(jìn)行重新排列。當(dāng)然，不同的需求往往對(duì)應(yīng)不同的畸變校正方案。 對(duì)于單目相機(jī)來(lái)說，為了得到相機(jī)像素坐標(biāo)系和三維世界坐標(biāo)系的對(duì)應(yīng)關(guān)系，我們需要對(duì)相機(jī)的桶形畸變和枕形畸變進(jìn)行矯正。而對(duì)于雙目相機(jī)來(lái)說，為了做極線對(duì)齊，實(shí)現(xiàn)深度估計(jì)。我們需要將兩個(gè)相機(jī)，輸出變換到同一個(gè)坐標(biāo)系下。張正友老師的棋盤標(biāo)定法是目前上述兩類相機(jī)，矯正效果最好的方法。

而對(duì)于魚眼相機(jī)來(lái)說，徑向畸變太為嚴(yán)重，以至于我們都可以忽略其他方向的畸變。棋盤標(biāo)定法、橫向展開法、經(jīng)緯度法是魚眼相機(jī)常用的三種畸變校正方法。棋盤標(biāo)定法只能校正魚眼圖像中間的一部分，靠近圓周的區(qū)域會(huì)被拉伸的很嚴(yán)重導(dǎo)致視覺效果變差。所以棋盤標(biāo)定法一般用作簡(jiǎn)單測(cè)量或圖像拼接的前置任務(wù)。

橫向展開法將俯視視角變?yōu)檎曇暯?，因此可以根?jù)區(qū)域功能，進(jìn)行切片，再用普通視角的檢測(cè)模型，做后續(xù)任務(wù)。但是缺點(diǎn)也一目了然，比如展開圖的左右兩側(cè)，在真實(shí)世界中應(yīng)該是連通的。所以當(dāng)有目標(biāo)在魚眼圖中穿過分界線時(shí)，在展開圖中該目標(biāo)會(huì)從左側(cè)消失，右側(cè)出現(xiàn)（或者倒過來(lái)），看起來(lái)不是很自然。

經(jīng)緯度法包含經(jīng)度和緯度兩個(gè)方面，對(duì)經(jīng)度進(jìn)行校正時(shí)，只對(duì)豎直方向進(jìn)行了校正，水平方向依然是扭曲的。而對(duì)緯度進(jìn)行校正時(shí)，水平方向可實(shí)現(xiàn)較好的校正，但豎直方向依然是扭曲的。這種方法可謂是魚和熊掌不可兼得。

行業(yè)進(jìn)展

2020年，華為推出的800萬(wàn)像素超級(jí)魚眼攝像頭，采用自主視覺算法+玻璃模壓非均勻鏡頭，相比市面上200萬(wàn)像素魚眼攝像頭，檢測(cè)距離翻倍、分辨率更高。官方宣稱，4個(gè)超級(jí)魚眼攝像頭，可以替代傳統(tǒng)4個(gè)側(cè)視+4個(gè)環(huán)視的高階360度感知方案，支持大FOV視角以及80米的環(huán)視檢測(cè)距離。

2021年7月，三星發(fā)布適用于車載環(huán)視系統(tǒng)或后視攝像頭的專用圖像傳感器ISOCELL Auto 4AC。該款圖像傳感器采用1/3.7英寸感光面積，120萬(wàn)像素分辨率(1280x960) ，3.0μm像素尺寸，并內(nèi)置ISP圖像處理功能，可輸出YUV422，RGB888，RGB565圖像數(shù)據(jù)。同時(shí)支持120分貝高動(dòng)態(tài)范圍圖像，支持發(fā)光二極管閃爍抑制功能，可為自動(dòng)駕駛系統(tǒng)辨識(shí)車燈、交通信號(hào)燈提供更加準(zhǔn)確的數(shù)據(jù)。

2021年11月，法雷奧公司發(fā)布了世界上第一個(gè)面向量產(chǎn)的魚眼相機(jī)開源數(shù)據(jù)集WoodScape，整個(gè)數(shù)據(jù)集含10000多張圖片，旨在通過提供足夠的相關(guān)數(shù)據(jù)，推動(dòng)適應(yīng)自動(dòng)駕駛行車和泊車領(lǐng)域的魚眼相機(jī)視覺算法的深度開發(fā)，而不再停留在傳統(tǒng)的校正算法。

數(shù)據(jù)集是由幾輛法雷奧汽車在歐洲不同地理位置拍攝，每輛車上配備了四個(gè)魚眼相機(jī)，每個(gè)魚眼相機(jī)提供100萬(wàn)像素24位分辨率，30幀/秒的圖像數(shù)據(jù)。數(shù)據(jù)集經(jīng)過人工標(biāo)注后可用于語(yǔ)義分割、深度估計(jì)、2D物體檢測(cè)、視覺測(cè)距、運(yùn)動(dòng)分割、污垢檢測(cè)以及端到端駕駛等任務(wù)訓(xùn)練。

小結(jié)

未來(lái)，伴隨著魚眼相機(jī)在像素、視場(chǎng)角、感知距離等性能參數(shù)方面的不斷突破，我相信沒有廠家愿意拒絕由此帶來(lái)的硬件成本較低和算力資源需求降低。魚眼相機(jī)在高速場(chǎng)景的江湖地位還不可預(yù)測(cè)，但在低速場(chǎng)景的領(lǐng)導(dǎo)能力，已經(jīng)開始凸顯。

審核編輯：劉清