電子發(fā)燒友App
1. 相機(jī)模型
相機(jī)將三維世界中的坐標(biāo)點（單位為米）映射到二維圖像平面（單位為像素）的過程能夠用一個幾何模型進(jìn)行描述。這類模型有很多種，其中最簡單的稱為針孔模型。針孔模型是很常用，而且有效的模型，它描述了一束光線通過針孔之后，在針孔背面投影成像的關(guān)系。同時，由于相機(jī)鏡頭上的透鏡的存在，會使得光線投影到成像平面的過程中會產(chǎn)生畸變。因此，我們使用針孔和畸變兩個模型來描述整個投影過程。
1.1 針孔相機(jī)模型
在物理課堂上，我們可能都見過一個蠟燭投影實驗：在一個暗箱的前方放著一支點燃的蠟燭，蠟燭的光透過暗箱上的一個小孔投影在暗箱的后方平面上，并在這個平面上形成了一個倒立的蠟燭圖像。在這個過程中，針孔模型能夠把三維世界中的蠟燭投影到個二維成像平面。
圖1：針孔相機(jī)模型
如圖1所示，來對這個簡單的針孔相機(jī)模型進(jìn)行幾何建模。設(shè)O-x-y-z為相機(jī)坐標(biāo)系，習(xí)慣我們讓z軸指向相機(jī)前方，x向右，y向下，O為攝像機(jī)的光心，也是針孔模型中的針孔。
P為相機(jī)坐標(biāo)系下的一點，經(jīng)過小孔O投影之后，落在物理成像平面O′-x′-y′上，成像點為P′，并且設(shè)物理成像平面到小孔的距離為f(焦距)。
圖2：針孔相機(jī)模型的三角形關(guān)系
那么，如圖2所示，根據(jù)三角形相似關(guān)系，有
上式中，負(fù)號表示成的像是倒立的。
圖3：針孔模型的簡化
為了簡化模型，如圖3所示，我們把可以成像平面對稱到相機(jī)前方，和三維空間點一起放在攝像機(jī)坐標(biāo)系的同一側(cè)，這樣做可以把公式中的負(fù)號去掉，使公式更加簡潔：
把成像平面放在攝像機(jī)坐標(biāo)系的同一側(cè)，這是一種我們處理真實世界與相機(jī)投影的數(shù)學(xué)手段，并且，大多數(shù)相機(jī)輸出的圖像并不是倒像，相機(jī)自身的軟件會幫你翻轉(zhuǎn)這張圖像，所以你看到的一般是正著的像，也就是對稱的成像平面上的像。所以，盡管從物理原理來說，小孔成像應(yīng)該是倒像，但由于我們對圖像作了預(yù)處理，所以理解成在對稱平面上的像，并不會有影響。
整理后得到：
上面兩式描述了點P和它的像P′之間的空間關(guān)系。
1.2 各個坐標(biāo)系的定義
1）世界坐標(biāo)系（world coordinate）
以被測物體上的點作為參考，定義的絕對坐標(biāo)系，是一個三維直角坐標(biāo)系，以其為基準(zhǔn)可以描述相機(jī)和待測物體的空間位置，單位是米。
2）相機(jī)坐標(biāo)系（camera coordinate）
以相機(jī)光心為坐標(biāo)原點，主光軸上物體方朝焦點方向為z軸，平行于sensor平面的兩條垂直邊分別為x和y軸，單位是米。
3）圖像坐標(biāo)系（film coordinate）
以主光軸與sensor的交點為坐標(biāo)原點，平行于sensor平面的兩條垂直邊分別為x和y軸，這個平面是建立在實際成像面上的，是個二維坐標(biāo)系，單位是毫米。
4）像素坐標(biāo)系（pixel coordinate）:
平行于sensor的虛擬成像平面，左上角頂點為原點，x軸和y軸都平行于圖像平面，以像素為單位。
1.3 坐標(biāo)系轉(zhuǎn)換
1.3.1 從世界坐標(biāo)系到相機(jī)坐標(biāo)系
由于相機(jī)在運動，所以點P的相機(jī)坐標(biāo)Pc應(yīng)該是它的世界坐標(biāo)Pw，根據(jù)相機(jī)的當(dāng)前位姿，變換到相機(jī)坐標(biāo)系下的結(jié)果。相機(jī)的位姿由它的旋轉(zhuǎn)矩陣R和平移向量t來描述。那么有
剛體變換公式為
齊次坐標(biāo)形式為
1.3.2 從相機(jī)坐標(biāo)系到圖像坐標(biāo)系
從相機(jī)坐標(biāo)系到圖像坐標(biāo)系就是直接運用針孔成像原理。
齊次坐標(biāo)形式為
1.3.3 從圖像坐標(biāo)系到像素坐標(biāo)系
像素坐標(biāo)系通常的定義方式是：原點o′位于圖像的左上角，u軸向右與x軸平行，v軸向下與y軸平行。像素坐標(biāo)系與成像平面之間，相差了一個縮放和一個原點的平移。
用數(shù)學(xué)式表達(dá)如下
齊次坐標(biāo)形式為
dx，dy：表示圖像單個像素的寬和高，單位為mm/pixel；
(cx,cy)：表示圖像中心點的像素坐標(biāo)，即主光軸與sensor平面的交點。
1.3.4 從相機(jī)坐標(biāo)系到像素坐標(biāo)系
上式中，
其中，fx、fy的單位為像素。
我們把中間的量組成的矩陣稱為相機(jī)的內(nèi)參數(shù)矩陣K。
通常認(rèn)為，相機(jī)的內(nèi)參在出廠之后是固定的，不會在使用過程中發(fā)生變化。有的相機(jī)生產(chǎn)廠商會告訴你相機(jī)的內(nèi)參，而有時需要你自己確定相機(jī)的內(nèi)參，也就是標(biāo)定。
1.3.5從世界坐標(biāo)系到像素坐標(biāo)系
其中
我們把旋轉(zhuǎn)矩陣R和平移向量t組成的矩陣稱為相機(jī)的外參數(shù)矩陣M。
相比于不變的內(nèi)參，外參會隨著相機(jī)運動發(fā)生改變。
內(nèi)參K與外參M的乘積，是一個3×4的矩陣，稱為投影矩陣，該矩陣可體現(xiàn)任意空間點的圖像像素坐標(biāo)與世界坐標(biāo)之間的關(guān)系。
通過從世界坐標(biāo)系到像素坐標(biāo)系的公式可知，若已知投影矩陣和空間點世界坐標(biāo)，則可求得空間點的像素坐標(biāo)，因此，在線性模型中，一個物點在成像平面上對應(yīng)唯一的像點。但反過來，若已知像素坐標(biāo)和投影矩陣，代入以上公式，只能得到關(guān)于空間點世界坐標(biāo)的兩個線性方程，這兩個線性方程表示的是像點和光心的連線，即連線上所有點都對應(yīng)著該像點，由此可知，在線性模型中，一個像點對應(yīng)的物點并不具有唯一性，因此，只通過一幅圖像對圖像場景進(jìn)行三維重建是不現(xiàn)實的。
1.3.6 齊次坐標(biāo)
為了描述人眼對物體有“近大遠(yuǎn)小”的處理（視角），也就是投影透視，便引入齊次坐標(biāo)來描述。簡單地說，齊次坐標(biāo)是用N+1維去描述一個N維的坐標(biāo)。
齊次坐標(biāo)與笛卡爾坐標(biāo)的轉(zhuǎn)化關(guān)系：
笛卡爾坐標(biāo)：(x/w, y/w)——齊次坐標(biāo)：(x, y, w)
假如齊次坐標(biāo)系下的坐標(biāo)為(1,3, 5)，那么，轉(zhuǎn)換到笛卡爾坐標(biāo)系下的坐標(biāo)即為(1/5, 3/5)；同理，假如齊次坐標(biāo)系下的坐標(biāo)為(2, 6, 10)，那么轉(zhuǎn)換到笛卡爾坐標(biāo)系下的坐標(biāo)即為(2/10, 6/10)，化簡后其值仍為(1/5, 3/5)……于是我們就可以知道：對于這個例子來說，齊次坐標(biāo)系下任何形式為(1a,3a, 5a)的坐標(biāo)(a不為0)在笛卡爾坐標(biāo)系下都代表著同一個坐標(biāo)(1/5, 3/5)，類似地，便有了“齊次”的說法，由此也引出了齊次坐標(biāo)的“伸縮不變性”。
用齊次坐標(biāo)進(jìn)行仿射幾何變換
現(xiàn)在，我們用笛卡爾坐標(biāo)定義兩條直線：
在這種情況下，這兩條直線不可能相交。
轉(zhuǎn)換到齊次坐標(biāo)表示為
此時，w=0時有解，其交點為(x, y, 0)，同時，w=0表示這個點在無窮遠(yuǎn)處，于是兩條平行線在無窮遠(yuǎn)處可相交。
齊次坐標(biāo)在圖形學(xué)和計算機(jī)視覺中是一個很重要的概念，一方面是因為它更易于進(jìn)行仿射幾何變換，另一方面也能夠用來明確區(qū)分向量和點。
用齊次坐標(biāo)區(qū)分向量和點
假設(shè)我們在齊次坐標(biāo)系下找到了這樣一組基：
圖4
于是，我們可以找到一組系數(shù)(v1,v2, v3)，將向量v表示成：
對于齊次坐標(biāo)系下的一個點p，可以表示成位置向量
將上面兩個式子均寫成齊次坐標(biāo)系下的矩陣形式：
我們可以看到，(a,b,c,o)為坐標(biāo)基矩陣，右側(cè)列向量分別為向量v和點p在齊次坐標(biāo)系下的坐標(biāo)。于是，若想在齊次坐標(biāo)系下的三維坐標(biāo)中表示向量，則第四項系數(shù)為0，若想表示點，則第四項系數(shù)為1，這樣就可以很方便地區(qū)分出點或者向量了。
1.4 畸變模型
為了獲得好的成像效果，我們在相機(jī)的前方加了透鏡。透鏡的加入對成像過程中光線的傳播會產(chǎn)生新的影響：一是透鏡自身的形狀對光線傳播的影響，二是在機(jī)械組裝過程中，透鏡和成像平面不可能完全平行，這也會使得光線穿過透鏡投影到成像面時的位置發(fā)生變化。
圖5：畸變
在針孔模型中，一條直線投影到像素平面上還是一條直線?？墒?，在實際拍攝的照片中，攝像機(jī)的透鏡往往使得真實環(huán)境中的一條直線在圖片中變成了曲線。越靠近圖像的邊緣，這種現(xiàn)象越明顯。由于實際加工制作的透鏡往往是中心對稱的，這使得不規(guī)則的畸變通常徑向?qū)ΨQ。它們主要分為兩大類，桶形畸變和枕形畸變。
桶形畸變是由于圖像放大率隨著離光軸的距離增加而減小，而枕形畸變卻恰好相反。
在這兩種畸變中，穿過圖像中心和光軸有交點的直線還能保持形狀不變。
除了透鏡的形狀會引入徑向畸變外，在相機(jī)的組裝過程中由于不能使得透鏡和成像面嚴(yán)格平行也會引入切向畸變。
圖6：切向畸變來源示意圖
為更好地理解徑向畸變和切向畸變，可以用更嚴(yán)格的數(shù)學(xué)形式對兩者進(jìn)行描述。我們知道平面上的任意一點p可以用笛卡爾坐標(biāo)表示為[x,y]T，也可以把它寫成極坐標(biāo)的形式[r,θ]T，其中r表示點p離坐標(biāo)系原點的距離，θ表示和水平軸的夾角。徑向畸變可看成，坐標(biāo)點沿著長度方向發(fā)生了變化δr，也就是其距離原點的長度發(fā)生了變化。切向畸變可以看成坐標(biāo)點沿著切線方向發(fā)生了變化，也就是水平夾角發(fā)生了變化δθ。
對于徑向畸變，無論是桶形畸變還是枕形畸變，由于它們都是隨著離中心的距離增加而增加。我們可以用一個多項式函數(shù)來描述畸變前后的坐標(biāo)變化：這類畸變可以用和距中心距離有關(guān)的二次及高次多項式函數(shù)進(jìn)行校正：
其中[x,y]T是未校正的點的坐標(biāo)，[xcorrected,ycorrected]T是校正后的點的坐標(biāo)，注意它們都是歸一化平面上的點，而不是像素平面上的點。
在校正模型中，對于畸變較小的圖像中心區(qū)域，畸變校正主要是k1起作用。而對于畸變較大的邊緣區(qū)域主要是k2起作用。普通攝像頭用這兩個系數(shù)就能很好的校正徑向畸變。對畸變很大的攝像頭，比如魚眼鏡頭，可以加入k3畸變項對畸變進(jìn)行校正。
另一方面，對于切向畸變，可以使用另外的兩個參數(shù)p1,p2來進(jìn)行校正：
因此，聯(lián)合上面兩式，對于相機(jī)坐標(biāo)系中的一點P(X,Y,Z)，我們能夠通過五個畸變系數(shù)找到這個點在像素平面上的正確位置：
（1）將三維空間點投影到歸一化圖像平面。設(shè)它的歸一化坐標(biāo)為[x,y]T
（2）對歸一化平面上的點進(jìn)行徑向畸變和切向畸變校正。
（3）將校正后的點通過內(nèi)參數(shù)矩陣投影到像素平面，得到該點在圖像上的正確位置。
在上面的校正畸變的過程中，我們使用了五個畸變項。實際應(yīng)用中，可以靈活選擇校正模型，比如只選擇k1,p1,p2這三項等。
1.5標(biāo)定建模
綜合以上描述的內(nèi)容，我們可以把相機(jī)的成像模型，或者說相機(jī)標(biāo)定的數(shù)學(xué)模型看成一個理想的模型加一個誤差模型，理想模型就是針孔相機(jī)模型，誤差模型就是畸變引起的一個誤差。
結(jié)合針孔相機(jī)模型+鏡頭畸變，那么相機(jī)標(biāo)定模型的建立過程如圖7所示：
圖7：標(biāo)定建模的過程（坐標(biāo)系轉(zhuǎn)換）
標(biāo)定數(shù)學(xué)模型為：
整個流程的總結(jié)：世界坐標(biāo)系中的一點，通過剛體變換到相機(jī)坐標(biāo)系下，再通過針孔成像的原理變換到圖像坐標(biāo)系，然后歸一化到單位焦平面上去做去畸變處理，最后就是把圖像進(jìn)行數(shù)字化處理，轉(zhuǎn)化到像素坐標(biāo)系上。
1.6標(biāo)定算法
標(biāo)定算法的基本思路是在較高精度的2D-3D對應(yīng)點基礎(chǔ)上，先采用DLT或張正友方法求初值，然后非線性優(yōu)化迭代求解精確解。
1.6.1直接線性標(biāo)定法DLT
Abdel-Aziz和Karara于20世紀(jì)70年代初提出了直接線性變換DLT（direct linear transformation）的攝像機(jī)標(biāo)定方法，這種方法忽略攝像機(jī)畸變引起的誤差，直接利用線性成像模型，通過求解線性方程組得到攝像機(jī)的參數(shù)。
DLT方法的優(yōu)點是計算速度很快，操作簡單且易實現(xiàn)；缺點是由于沒有考慮攝像機(jī)鏡頭的畸變，因此不適合畸變系數(shù)很大的鏡頭，否則會帶來很大誤差。
DLT標(biāo)定法需要將一個特制的立方體標(biāo)定模板放置在所需標(biāo)定攝像機(jī)前，其中標(biāo)定模板上的標(biāo)定點相對于世界坐標(biāo)系的位置已知。
首先，由立體標(biāo)定參照物圖像求取投影矩陣的算法，公式如下：
上式中，（Xwi，Ywi，Zwi）為空間第i個點的坐標(biāo)；（ui，vi）為第i個點的圖像坐標(biāo)；mij為空間任意一點投影矩陣的第i行j列元素。
從上式可以得到三組線性方程，
將上式方程消去Zc得到兩個關(guān)于mij的線性方程。
這個式子表明，如果在三維空間中，已知n個標(biāo)定點，其中各標(biāo)定點的空間坐標(biāo)為（Xwi，Ywi，Zwi），圖像坐標(biāo)為（ui，vi）（i=1，…，n），則可得到2n個關(guān)于M矩陣元素的線性方程，且該2n個線性方程可以用下面所示的矩陣形式來表示。
由此可見，投影矩陣乘以任意不為零的常數(shù)并不影響（Xwi，Ywi，Zwi）與（ui，vi）的關(guān)系，因此，假設(shè)m34=1，從而得到關(guān)于M矩陣其他元素的2n個線性方程，其中線性方程中包含11個未知量，并將未知量用向量表示，即11維向量m，化簡得到：
K、U為已知向量。當(dāng)2n>11時，利用最小二乘法對上述線性方程進(jìn)行求解：
若已知空間中至少6個已知點和與之對應(yīng)的圖像點坐標(biāo)，便可求得投影矩陣。一般采用在標(biāo)定的參照物上選取個數(shù)多于6個已知點，使方程的個數(shù)遠(yuǎn)遠(yuǎn)超過未知量的個數(shù)，從而降低用最小二乘法求解造成的誤差。
1.6.2張正友標(biāo)定法
張正友標(biāo)定法，也稱Zhang標(biāo)定法，是由微軟研究院的張正友博士于1998年提出的一種介于傳統(tǒng)標(biāo)定方法和自標(biāo)定方法之間的平面標(biāo)定法。它既避免了傳統(tǒng)標(biāo)定方法設(shè)備要求高、操作繁瑣等缺點，又比自標(biāo)定的精度高、魯棒性好。
圖8：黑白格標(biāo)定板
張正友標(biāo)定法的主要步驟如下：
1）一張貼在一塊剛性平面上的黑白棋盤方格圖案的標(biāo)定板；
2）移動標(biāo)定板或者相機(jī)，從不同角度拍攝若干照片（理論上照片越多，誤差越?。?/p>
3）對每張照片中的角點進(jìn)行檢測，確定角點的圖像坐標(biāo)與實際坐標(biāo)；
4）在不考慮徑向畸變的前提下，即采用相機(jī)的線性模型。根據(jù)旋轉(zhuǎn)矩陣的正交性，通過求解線性方程，獲得攝像機(jī)的內(nèi)部參數(shù)和第一幅圖的外部參數(shù)；
5）利用最小二乘法估算相機(jī)的徑向畸變系數(shù)；
6）根據(jù)再投影誤差最小準(zhǔn)則，對內(nèi)外參數(shù)進(jìn)行優(yōu)化。
張正友標(biāo)定法原理簡介
假設(shè)我們提供K個棋盤圖像，每個棋盤有N個角點，于是我們擁有2KN個約束方程。與此同時，忽略畸變的情況下，我們就需要求解4個內(nèi)參和6K個外參（內(nèi)參只于相機(jī)內(nèi)部參數(shù)有關(guān)，外參卻隨目標(biāo)點位置變化而變化），也就是說，只有當(dāng)2KN≥4+6K的時候，也即K(N-3) ≥2時，才能求出內(nèi)外參矩陣。同時，無論在一張棋盤上檢測到多少角點，由于棋盤上角點的規(guī)則布置使得真正能利用上的角點只有4個（在四個方向上可延展成不同的矩形），于是有當(dāng)N=4時，K(4-3) ≥2，即K≥2，也就是說，我們至少需要兩張棋盤格在不同方位的圖像才能求解出無畸變條件下的內(nèi)參和外參。
實際上，我們往往會在一張棋盤格上布置更多的角點，因為這樣就可以通過最小二乘法求得最優(yōu)解了，同樣地，我們會需要至少10張以上的棋盤格圖像，目的是考慮數(shù)值穩(wěn)定性和提高信噪比，得到更高質(zhì)量的結(jié)果。
與此同時，我們在這里引入單應(yīng)性的概念。在計算機(jī)視覺中的單應(yīng)性被定義為從一個平面到另一個平面的投影映射關(guān)系。
我們定義相機(jī)標(biāo)定的單應(yīng)性矩陣（從物體平面到成像平面）為：
這里引入的s為任意尺度的比例系數(shù)。單應(yīng)性矩陣描述了物體在世界坐標(biāo)系和像素坐標(biāo)系之間的相對位置關(guān)系（包含了內(nèi)參和外參）。
若已知標(biāo)定板上的點在空間和圖像上的坐標(biāo)，即可求解單應(yīng)性矩陣，且每幅模板對應(yīng)一個單應(yīng)矩陣。
1.7標(biāo)定板
標(biāo)定算法中我們需要一些可靠的樣本點，這些樣本點由世界坐標(biāo)系中的3D點和其在圖像上的2D像點組成，用這些2D和3D點對來求解標(biāo)定參數(shù)。
為了構(gòu)建更高精度的3D和2D點，就需要使用標(biāo)定板。
1.7.1標(biāo)定板的基本要求
1）標(biāo)定板的精度(平整度)：3D點要求是共面的，標(biāo)定點的坐標(biāo)精度是準(zhǔn)確的。
2）標(biāo)定板的穩(wěn)定性：降低溫度膨脹系數(shù)。標(biāo)定板的材質(zhì)溫度膨脹系數(shù)要盡可能小。
3）標(biāo)定板的均勻性(背光源)：要求標(biāo)定板有背光的原因是盡量減少圖像受環(huán)境光的干擾。
1.7.2pattern設(shè)計要求
1）便于特征點提?。ㄈ缃屈c或圓心）；
2）特征點的坐標(biāo)無歧義，比如對于棋盤格這種有規(guī)律的pattern，要求棋盤格圖像整體的大小不要充滿整個圖像，比如只占拍攝圖像的1/2。
圖9：標(biāo)定板
1.7.3標(biāo)定板對標(biāo)定精度的影響
圖10：標(biāo)定精度的對比
一般來講，圓形(圓環(huán))標(biāo)定板的提取精度高于棋盤格的提取精度。主要原因是對于棋盤格來講，邊緣位置在實際相機(jī)所拍攝的圖像來看，受到光的影響和sensor本身噪聲影響，所得到的灰度可能會有明暗差別，導(dǎo)致計算棋盤格角點位置的時候會有誤差。而圓形或圓環(huán)的擬合中，半徑多一點或少一點，對于圓心位置的計算影響相對較小。
1.8標(biāo)定步驟
圖11：標(biāo)定步驟
審核編輯：黃飛
?
工商網(wǎng)監(jiān)
評論