視差Disparity與深度圖

雙目立體視覺，在百度百科里的解釋是這樣解釋的：雙目立體視覺（Binocular Stereo Vision）是機器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應(yīng)點間的位置偏差，來獲取物體三維幾何信息的方法。

一 、視差 Disparity與深度圖

提到雙目視覺就不得不提視差圖：雙目立體視覺融合兩只眼睛獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點在不同圖像中的映像點對應(yīng)起來，這個差別，我們稱作視差(Disparity)圖像。

對于視差的理解自己可以體驗一下：將手指頭放在離眼睛不同距離的位置，并輪換睜、閉左右眼，可以發(fā)現(xiàn)手指在不同距離的位置，視覺差也不同，且距離越近，視差越大。

那么提到視差圖，就有深度圖，深度圖像也叫距離影像，是指將從圖像采集器到場景中各點的距離（深度）值作為像素值的圖像。獲取方法有：激光雷達(dá)深度成像法、計算機立體視覺成像、坐標(biāo)測量機法、莫爾條紋法、結(jié)構(gòu)光法。

那么這里引申一下深度圖與點云的區(qū)別，點云：當(dāng)一束激光照射到物體表面時，所反射的激光會攜帶方位、距離等信息。若將激光束按照某種軌跡進(jìn)行掃描，便會邊掃描邊記錄到反射的激光點信息，由于掃描極為精細(xì)，則能夠得到大量的激光點，因而就可形成激光點云。

深度圖像經(jīng)過坐標(biāo)轉(zhuǎn)換可以計算為點云數(shù)據(jù)；有規(guī)則及必要信息的點云數(shù)據(jù)可以反算為深度圖像。兩者在一定條件下是可以相互轉(zhuǎn)化的，之前的博客里，有使用PCL庫實現(xiàn)過點云提取深度圖，當(dāng)然給出相機參數(shù)也是可以由深度圖轉(zhuǎn)為點云的。截圖一個深度圖：

所以深度與視差的關(guān)系如下

比如絕對差值法絕對差值圖的計算方法如下：

D=|L-R|

式中，L、R和D分別代表左視圖、右視圖和對應(yīng)的絕對差值圖的亮度值。絕對差值圖并不是嚴(yán)格意義上的視差圖，但是它的計算方法最為簡單，速度快，它給出的結(jié)果可以作為參考

那么我們知道視差又有另外一個概念就是UV-disparity mapping，簡單的給個圖表示：

是怎么得到這個結(jié)果的呢？原來是統(tǒng)計統(tǒng)計視差的個數(shù)，比如V-disparity Map中的第一行分別統(tǒng)計視差為0,1,2,3,4,5的個數(shù)，所以得到了V-disparity Map的第一行分別為

0，2,0,1,1,1，那么在真實的圖喜愛那個中得到的結(jié)果如下：

那么利用視差可以做很多有用的功能，比如列舉一篇文章

UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios

二 Rays

ray就是連接圖像上一點到光心形成的一條射線。這個也是之后的對極約束的基礎(chǔ)。

那么建立世界坐標(biāo)系，我們的兩條rays是相交的。如下圖所示，接下來就是利用rays的相交關(guān)系，來解釋対極幾何（Epipolar geometry）了。

以上的圖文說明明了對極幾何（Epipolar Geometry）描述的是兩幅視圖之間的內(nèi)在射影關(guān)系，與外部場景無關(guān)，只依賴于攝像機內(nèi)參數(shù)和這兩幅試圖之間的的相對姿態(tài)。

有以下幾種概念

1. 基線（baseline）：直線Oc-Oc'為基線。

2.對極平面束（epipolar pencil）：以基線為軸的平面束。

3.對極平面（epipolar plane）：任何包含基線的平面都稱為對極平面。

4.對極點（epipole）：攝像機的基線與每幅圖像的交點。比如，上圖中的點e和e'。

5. 對極線（epipolar line）：對極平面與圖像的交線。比如，上圖中的直線l和l'。

6. 5點共面：點x，x'，攝像機中心Oc Oc'，空間點X是5點共面的。

7. 極線約束：兩極線上點的對應(yīng)關(guān)系。

說明：

直線l是對應(yīng)于點x'的極線，直線l'是對應(yīng)于點x的極線。極線約束是指點x'一定在對應(yīng)于x的極線l'上，點x一定在對應(yīng)于x'的極線l上。

根據(jù)以上原理就得出了基礎(chǔ)矩陣F和本質(zhì)矩陣E等，網(wǎng)上有很多資料的

這里直接將推導(dǎo)公式貼出來就好了

本質(zhì)矩陣E的基本性質(zhì)：秩為2，且僅依賴于外部參數(shù)R和T。其中，P表示世界坐標(biāo)點矢量，p表示像素點矢量

那么基礎(chǔ)矩陣求法：由于本質(zhì)矩陣E并不包含相機內(nèi)參信息，且E是面向相機坐標(biāo)系的。實際上，我們更感興趣的是在像素坐標(biāo)系上去研究一個像素點在另一視圖上的對極線，這就需要用到相機內(nèi)參信息將相機坐標(biāo)系和像素坐標(biāo)系聯(lián)系起來。假設(shè)Pl和Pr是世界坐標(biāo)值，其對應(yīng)的像素坐標(biāo)值為Ql和Qr

相機內(nèi)參矩陣為M，那么

根據(jù)

那么

令基礎(chǔ)矩陣

那么

也就是我們在下圖的第一幅圖找到一個特征點，通過以上対極幾何的知識推導(dǎo)出，該點在第二幅圖位于圖喜的哪個位置

舉個例子，比如kinect

無論是雙目還是kinect都是類似的原理

f=Focal length

b=Baseline

d=Disparity value

ps=Pixel size

D=Depth

Focal length

Baseline

Pixel size

Disparity

備注：

（Pixel size）像素大小是圖像傳感器中單個像素的大小。像素大小用微米表示。由于立體視覺系統(tǒng)使用兩個攝像機，圖像傳感器的像素大小必須相同。隨著像素尺寸的減小，系統(tǒng)的深度范圍增大。

（Disparity value）視差是指在兩個攝像機圖像之間的像素位置的差異。假設(shè)立體視覺相機中的左圖像在位置(1,30)具有像素，并且相同的像素在右圖像中的位置(4,30)存在，視差值或差值為(4-1)=3。視差值與上述公式的深度成反比。