機(jī)器視覺的成像系統(tǒng)綜述

1. 成像系統(tǒng)模型

圖1：成像系統(tǒng)的簡化模型

機(jī)器視覺的成像系統(tǒng)的簡化模型，如圖1所示。光學(xué)成像系統(tǒng)對現(xiàn)實(shí)世界中的可見光、紅外線、X射線等實(shí)施某種轉(zhuǎn)換T(x，y)，將物理量轉(zhuǎn)換為電信號，再經(jīng)圖像采集設(shè)備采樣、量化后生成數(shù)字圖像。

圖2：RGB色彩模型

圖像是指所有具有視覺效果的畫面，它是對客觀對象的一種相似的、生動(dòng)的描述。根據(jù)色彩不同，圖像可以分為彩色圖像和黑白(灰度)圖像。色彩可以分解為不同強(qiáng)度RGB基本色的組合，這種表示色彩的方式稱為RGB顏色模型或RGB色彩空間，如圖2所示。相應(yīng)地，可以將彩色圖像的研究分解為對RGB分量所對應(yīng)的灰度圖像的研究。

圖像根據(jù)記錄方式的不同可分為模擬圖像和數(shù)字圖像兩大類。如果將灰度圖像看作二維空間上的光強(qiáng)度函數(shù)f(x，y)，則模擬灰度圖像就是對該空間上光強(qiáng)度幅值f變化的連續(xù)記錄。當(dāng)(x，y)和f為離散、有限的數(shù)值時(shí)，光強(qiáng)度幅值f的變化將以類似矩陣的形式被記錄，此時(shí)所記錄的圖像就稱為數(shù)字圖像，而所記錄的值對應(yīng)在圖像中的每個(gè)點(diǎn)稱為像素(pixel)，橫向及縱向像素的個(gè)數(shù)稱為圖像的分辨率(image resolution)，如圖3所示。機(jī)器視覺系統(tǒng)中提及的圖像通常是數(shù)字圖像。

圖3：數(shù)字圖像及其像素

除了圖像分辨率外，系統(tǒng)分辨率和像素分辨率也是機(jī)器視覺系統(tǒng)設(shè)計(jì)時(shí)較常見的參數(shù)。它們通常與客戶對機(jī)器視覺系統(tǒng)的需求關(guān)系最為密切，是選擇相機(jī)和鏡頭的重要依據(jù)。

系統(tǒng)分辨率指成像系統(tǒng)可以識別出監(jiān)測目標(biāo)的最小細(xì)節(jié)或最小特征，例如， “要求系統(tǒng)能檢測0.1mm的目標(biāo)”，“要求系統(tǒng)測量精度達(dá)到0.01mm”之類的要求一般都和系統(tǒng)分辨率相關(guān)。

像素分辨率指為了表示檢測目標(biāo)所需要的像素?cái)?shù)。一般情況下，可以根據(jù)客戶對檢測目標(biāo)中最小特征的要求來確定最小像素分辨率。

如果將整個(gè)圖像看作周期為最小特征大小的周期信號，則根據(jù)奈奎斯特采樣定律，必須對信號每個(gè)周期采樣2個(gè)點(diǎn)以上，才能完整恢復(fù)該信號。因此如果客戶沒有特別要求，常用至少兩個(gè)像素來代表檢測目標(biāo)中的最小特征。

圖像傳感器應(yīng)具備的最小像素分辨率常通過下面的公式計(jì)算：

上式中，Rmin為最小像素分辨率，Lmax為檢測目標(biāo)的最大長度，lmin為檢測目標(biāo)的最小特征長度(視覺系統(tǒng)的分辨率)，pmin為表示最小特征的像素?cái)?shù)，無特別要求時(shí)Pmin=2。

視場(Field of View, FOV)指成像系統(tǒng)中圖像傳感器可以監(jiān)測到的最大區(qū)域。在機(jī)器視覺系統(tǒng)設(shè)計(jì)時(shí)，考慮到一般都會(huì)使被檢測目標(biāo)盡量填滿整個(gè)視場，因此常用視場大小代替目標(biāo)的最大長度Lmax來計(jì)算視覺系統(tǒng)的像素分辨率。

如果橫縱方向上視場大小為[FOVh，F(xiàn)OVv]，檢測目標(biāo)的最小特征的大小為[lh，lv]，則圖像傳感器應(yīng)具有的最小像素分辨率為

機(jī)器視覺系統(tǒng)常用使用配備各種鏡頭系統(tǒng)的工業(yè)CCD/CMOS相機(jī)作為成像系統(tǒng)。相機(jī)鏡頭到所檢測目標(biāo)的距離(稱為工作距離，相當(dāng)于物距)相對于相機(jī)焦距可近似認(rèn)為是無窮遠(yuǎn)。若將其帶入高斯成像公式，可得出此時(shí)相機(jī)像距近似等于其焦距，也就是說相機(jī)成像在焦平面上。據(jù)此，可以將鏡頭系統(tǒng)抽象為類似小孔成像的簡化模型，如圖3所示。

圖3：鏡頭的小孔成像簡化模型

根據(jù)該簡化模型，可以得出機(jī)器視覺系統(tǒng)圖像傳感器尺寸S(傳感器平面某個(gè)方向上的長度)、視場FOV、工作距離WD及鏡頭焦距f之間的約束關(guān)系：

此時(shí)，鏡頭的放大率M則可以等效為：

如果進(jìn)一步將前述最小像素分辨率的計(jì)算公式與該約束關(guān)系結(jié)合(用視場FOV代替目標(biāo)的最大長度Lmax)，則可以得出以下成像系統(tǒng)簡化模型的參數(shù)約束關(guān)系：

該公式所顯示的參數(shù)間的相互約束關(guān)系是機(jī)器視覺系統(tǒng)設(shè)計(jì)和搭建部署時(shí)系統(tǒng)設(shè)計(jì)和設(shè)備選型的基礎(chǔ)。

實(shí)際操作中，傳感器尺寸S可以通過查詢相機(jī)的技術(shù)規(guī)范獲知，焦距f、工作距離WD直接由所選擇的鏡頭決定。

在已知這些參數(shù)時(shí)，可以很容易地計(jì)算出視場FOV。

相機(jī)的像素分辨率由其有效像素區(qū)域(即傳感器尺寸)決定，通常用橫向和縱向有效像素?cái)?shù)來表示(如768×576)。

為機(jī)器視覺系統(tǒng)所選擇的相機(jī)像素分辨率，必須大于或等于按照項(xiàng)目需求(包括對最小特征尺寸lmin和用于表示最小特征的像素?cái)?shù)pmin的要求)計(jì)算出的最小像素分辨率Rmin。

圖4：機(jī)器視覺成像系統(tǒng)中的相關(guān)參數(shù)

2. 鏡頭

在機(jī)器視覺系統(tǒng)中，鏡頭的質(zhì)量和技術(shù)指標(biāo)直接影響成像系統(tǒng)的性能，合理地選擇和安裝鏡頭是決定機(jī)器視覺成像系統(tǒng)成敗的關(guān)鍵。

與鏡頭相關(guān)的主要技術(shù)參數(shù)有鏡頭分辨率、焦距、最小工作距離、最大像面、視場/視場角、景深、光圈和相對孔徑及其安裝接口類型等。

鏡頭分辨率

通過拍攝正弦光柵，研究鏡頭每毫米內(nèi)能分辨的線對數(shù)，就可以獲知鏡頭的分辨率。鏡頭分辨率越高，則說明其每毫米內(nèi)能分辨的線對數(shù)越多。

對于機(jī)器視覺系統(tǒng)設(shè)計(jì)來說，只需要查詢鏡頭參數(shù)表即可獲知其分辨率。

鏡頭的空間分辨率、相機(jī)的像素分辨率、相機(jī)的空間分辨率、系統(tǒng)的空間分辨率和系統(tǒng)的分辨率是幾個(gè)極容易混淆的概念。

相機(jī)的像素分辨率是指相機(jī)傳感器上縱橫方向上的像素?cái)?shù);

相機(jī)的空間分辨率卻表示它的空間極限分辨能力。根據(jù)前述相機(jī)奈奎斯特定律，相機(jī)要能恢復(fù)空間圖像，必須至少使用2個(gè)像素來表示圖像的最小單元?？梢酝ㄟ^像素的物理大小來計(jì)算相機(jī)的空間分辨率。例如，某相機(jī)的像素物理大小為8.4μm×9.8μm，則相機(jī)在橫縱方向上的空間分辨率為

系統(tǒng)的空間分辨率取鏡頭和相機(jī)空間分辨率的最小值。例如，在上述例子中，最好選擇空間分辨率大于59.53lp/mm的鏡頭。

如果鏡頭的空間分辨率比相機(jī)的空間分辨率小，則說鏡頭可以分辨單個(gè)線對的能力要比相機(jī)識別的單個(gè)線對的能力弱。也就是說極限情況下，鏡頭傳給相機(jī)的圖像不清晰，因此只有鏡頭的空間分辨率大于相機(jī)的空間分辨率時(shí)，才能確保成像系統(tǒng)的空間分辨率最佳。

系統(tǒng)分辨率，在機(jī)器視覺系統(tǒng)設(shè)計(jì)時(shí)，并不是指系統(tǒng)對線對的空間極限分辨力，而是指系統(tǒng)可以識別檢測目標(biāo)中最小特征的能力。

(上式中，分母應(yīng)為R_min) 例如，如果成像系統(tǒng)的水平方向上視場為0.9m，相機(jī)在水平方向上的像素?cái)?shù)為720，則代表最小特征的像素?cái)?shù)為2時(shí)，系統(tǒng)分辨率為2.5mm。

焦距

焦距是指無限遠(yuǎn)處目標(biāo)在鏡頭的像方所成像位置到像方主面的距離。焦距體現(xiàn)了鏡頭的基本特性：即在不同物距上，目標(biāo)的成像位置和成像大小由焦距決定。市面上常見的鏡頭焦距大小包括6mm、8mm、12.5mm、25mm以及50mm等。對機(jī)器視覺成像系統(tǒng)來說，工作距離就是成像系統(tǒng)中所說的物距。由于視覺成像系統(tǒng)模型的假定條件是工作距離相對于鏡頭焦距為無限遠(yuǎn)，因此一般在鏡頭的產(chǎn)品參數(shù)中都會(huì)說明其最小工作距離。當(dāng)相機(jī)在小于該最小工作距離的環(huán)境下工作時(shí)，就會(huì)出現(xiàn)圖像失真，影響機(jī)器視覺系統(tǒng)的可靠性。

最大像面、視場/視場角

最大像面、視場/視場角都是用來衡量鏡頭成像范圍的關(guān)鍵參數(shù)。

最大像面是指鏡頭能支持的最大清晰成像范圍(常用可觀測范圍的直徑表示)，超出這個(gè)范圍所成的像對比度會(huì)降低而且會(huì)變得模糊不清。

最大像面是由鏡頭本身的特性決定的，它的大小也限定了鏡頭可支持的視場的大小。

鏡頭的視場就是鏡頭最大像面所對應(yīng)的觀測區(qū)域。視場角等于最大像面對應(yīng)的目標(biāo)張角。

通常，在遠(yuǎn)距離成像系統(tǒng)中，例如望遠(yuǎn)鏡、航拍鏡頭等場合，鏡頭的成像范圍均用視場角來衡量。而近距離成像中，常用實(shí)際物面的直徑(即幅面)來表示。

由于機(jī)器視覺成像系統(tǒng)中的傳感器多制作成長方形或正方形，因此鏡頭的最大像面常用它可以支持的最大傳感器尺寸(單位為英寸，1英寸約為2.54cm)來表示。相應(yīng)地，鏡頭的視場也可以用最大像面所對應(yīng)的橫向和縱向觀測距離或視場角來表示，如圖5所示。

圖5：機(jī)器視覺系統(tǒng)中鏡頭的視場和最大像面

一般來說，鏡頭的失真(畸變)會(huì)隨著焦距的減小(或視場角的增大)而增大，因而在構(gòu)建機(jī)器視覺系統(tǒng)(特別是精確測量系統(tǒng))時(shí)，一般都不會(huì)選擇焦距小于8mm或視場角很大的鏡頭。

鑒于鏡頭能清楚成像的范圍受到最大像面的限制，因此在為相機(jī)選配鏡頭時(shí)，要特別注意相機(jī)傳感器與鏡頭可支持最大傳感器之間的關(guān)系。一般來說，必須確保所選鏡頭可支持的最大傳感器尺寸大于或等于相機(jī)的傳感器尺寸。這樣做的另一個(gè)主要原因是為了避免漸暈(Vignetting)現(xiàn)象的發(fā)生。

圖6：鏡頭大小與相機(jī)傳感器尺寸不同時(shí)的成像情況

如圖6(c)所示，如果相機(jī)傳感器的尺寸大于鏡頭可支持的最大傳感器尺寸時(shí)，所生成的圖像就會(huì)形成類似隧道的效果，該現(xiàn)象稱為漸暈現(xiàn)象。漸暈現(xiàn)象會(huì)增加機(jī)器視覺系統(tǒng)的開發(fā)難度，因此應(yīng)盡量避免。圖6中的(a)、(b)分別顯示了在鏡頭可支持的最大傳感器尺寸等于或大于相機(jī)的傳感器尺寸時(shí)視覺系統(tǒng)的成像情況，這兩種情況下機(jī)器視覺系統(tǒng)均能正常工作。

景深

景深也是一個(gè)與鏡頭和成像系統(tǒng)關(guān)系十分密切的參數(shù)，它是指在鏡頭前沿著光軸所測定的能夠清晰成像的范圍，如圖7所示。在成像系統(tǒng)的焦點(diǎn)前后，物點(diǎn)光線呈錐狀開始聚集和擴(kuò)散，點(diǎn)的影像沿光軸在焦點(diǎn)前后逐漸變得模糊，形成一個(gè)擴(kuò)大的圓，這個(gè)圓稱為彌散圓(circle of confusion)。若這個(gè)圓形影像的直徑足夠小(離焦點(diǎn)較近)，成像會(huì)足夠清晰，如果圓形再大些(遠(yuǎn)離焦點(diǎn))，成像就會(huì)顯得模糊。當(dāng)在某個(gè)臨界位置所成的像不能被辨認(rèn)時(shí)，則該圓就被稱為容許彌散圓(permissible circle of confusion)。焦點(diǎn)前后兩個(gè)容許彌散圓之間的距離稱為焦深。在目標(biāo)物一側(cè)，焦深對應(yīng)的范圍就是景深。

圖7：焦深與景深

景深的計(jì)算公式如下：

其中，δ為容許彌散圓的直徑，f為鏡頭焦距，D為對焦距離，F(xiàn)為鏡頭的拍攝光圈(aperture)值。

從景深公式可以看出，后景深要大于前景深，而且景深一般隨著鏡頭的焦距、光圈值、對焦距離(可近似于拍攝距離)的變化而變化。

在其他條件不變時(shí)：

(1)光圈越大(光圈值F越小)，景深越小;光圈越小(光圈值F越大)，景深越大。

(2)鏡頭焦距越長，景深越小;焦距越短，景深越大。

(3)距離越遠(yuǎn)，景深越大;距離越近，景深越小。

在檢測目標(biāo)的高度在一定范圍內(nèi)可能變化的情況下，選擇合適的景深，對于機(jī)器視覺系統(tǒng)的穩(wěn)定性尤為重要。

對比度

對比度用于表示圖像在亮度層級上的差異(圖像分辨率表示圖像在空間上的差異)。它是一幅圖像中明暗區(qū)域最亮IBrightest和最暗IDarkest兩個(gè)不同亮度層級之間的差異，常用下面公式計(jì)算：

根據(jù)該公式，當(dāng)明暗度之間的差異越大時(shí)(對比度的值趨于1)，對比度越大，圖像越清晰醒目，色彩也越鮮明艷麗;當(dāng)明暗度之間的差異越小時(shí)(對比度的值趨于0)，對比度越小，整個(gè)圖像的清晰度、細(xì)節(jié)、灰度層次表現(xiàn)就會(huì)越差。

通常如果要處理的目標(biāo)涉及較多細(xì)節(jié)，就需要盡可能調(diào)整光圈獲取較高對比度的圖像，減少后期機(jī)器視覺軟件開發(fā)的難度。如果光圈調(diào)整還不能達(dá)到目的，就需要通過調(diào)整光源或相機(jī)增益來提高對比度。

畸變

實(shí)際中，鏡頭自身特性與理想成像系統(tǒng)模型總是有差距的，鏡頭特性的不完美性對成像系統(tǒng)有較大影響。例如，在使用廣角鏡頭或變焦鏡頭的廣角端時(shí)，成像畫面常呈桶形膨脹狀態(tài)，稱這種情況為桶形畸變(barrel distortion)。而在使用長焦鏡頭或變焦鏡頭的長焦端時(shí)，成像畫面常會(huì)向中間收縮，稱這種情況為枕形畸變(pincushion distortion)。還有些鏡頭產(chǎn)生的畸變是圖像中心處接近桶形失真，但由中心向邊緣逐漸過渡到枕形失真，這時(shí)圖像上半部分極其像八撇胡須，故而稱為須形畸變(mustache distortion)。這些由于鏡頭自身特性引起的畸變統(tǒng)稱為鏡頭畸變(lens distortion)，如圖8所示。

圖8：鏡頭畸變

鏡頭相對于被測目標(biāo)的安裝位置和角度也影響成像系統(tǒng)的質(zhì)量。例如在相機(jī)未能垂直于被測目標(biāo)安裝時(shí)，就會(huì)產(chǎn)生透視畸變(perspective distortion)。在這種情況下，所成圖像遵循透視規(guī)律，即離鏡頭越近，所成圖像越大，反之越小，如圖9所示。

圖9：投影失真

若要使用搭建好的機(jī)器視覺系統(tǒng)進(jìn)行準(zhǔn)確測量控制，必須綜合考慮機(jī)器視覺成像系統(tǒng)的多種畸變因素，實(shí)時(shí)地把圖像中像素包含的信息映射到真實(shí)世界中去。這就需要事先獲知成像系統(tǒng)的圖像像素與真實(shí)世界坐標(biāo)系之間的映射關(guān)系。

通過各種流程和方法，尋找這個(gè)對應(yīng)關(guān)系的過程稱為系統(tǒng)空間校準(zhǔn)(標(biāo)定)。

接口

鏡頭與相機(jī)之間的物理接口必須匹配才能安裝在一起搭配使用。常見的接口標(biāo)準(zhǔn)有C接口(C-mount)、CS接口(CS-mount)和F接口(F-mount)。

在機(jī)器視覺領(lǐng)域，目前C和CS接口的鏡頭及相機(jī)占主導(dǎo)地位，它們的唯一區(qū)別是背焦距不同，如圖10所示。F接口常用于高像素?cái)?shù)的線掃描相機(jī)(2048像素以上)，獲取比C和CS接口鏡頭更大的圖像。

圖10：C與CS接口

C接口鏡頭的后焦距是17.526mm，CS接口鏡頭后焦距則為12.5mm，因此，只要為C接口鏡頭配備一個(gè)5mm的擴(kuò)展管(轉(zhuǎn)換器)，就可以得到CS接口的鏡頭，但CS鏡頭卻不能與C接口的相機(jī)搭配使用。C接口是鏡頭的國際標(biāo)準(zhǔn)，因此有很多C接口的鏡頭可供選擇。

鏡頭與相機(jī)連接之初，觀測目標(biāo)的成像面不一定恰巧與相機(jī)傳感器的感光面重合。為了得到清晰的影像，就需要調(diào)整鏡頭成像面的位置，使之恰巧落在相機(jī)傳感器的感光面上，這個(gè)過程稱為調(diào)焦。調(diào)焦過程并不改變鏡頭或鏡頭組自身的焦距(或改變很小)，而只是通過沿著光軸前后移動(dòng)整個(gè)鏡頭或只微小調(diào)節(jié)鏡頭組中某一個(gè)透鏡的位置，使鏡頭像面和相機(jī)傳感器感光面重合。幾乎所有鏡頭筒上都有一個(gè)調(diào)焦環(huán)，日常生活中，轉(zhuǎn)動(dòng)調(diào)焦環(huán)以獲取清晰圖像的過程實(shí)際上就是通過機(jī)械裝置調(diào)焦的過程。

與調(diào)焦不同，變焦是指在保證像面不動(dòng)的前提下，通過移動(dòng)鏡頭組內(nèi)透鏡的相對位置使整個(gè)鏡頭系統(tǒng)的焦距發(fā)生較大變化。

除了光學(xué)元件，鏡頭設(shè)備一般還包括固定光學(xué)元件的零件(如鏡筒、透鏡座、壓圈、連接環(huán)等)、鏡頭調(diào)節(jié)機(jī)構(gòu)(如光圈調(diào)節(jié)環(huán)、調(diào)焦環(huán)等)和鏡頭連接機(jī)構(gòu)等。高級點(diǎn)的鏡頭上有時(shí)還有自動(dòng)調(diào)整光圈、自動(dòng)調(diào)焦或光強(qiáng)度感測等電子機(jī)構(gòu)。這些設(shè)備與光學(xué)系統(tǒng)協(xié)同工作，可以確保鏡頭和相機(jī)構(gòu)成的成像系統(tǒng)為視覺系統(tǒng)工作提供良好的圖像信號基礎(chǔ)。

3. 為機(jī)器視覺項(xiàng)目選擇鏡頭和相機(jī)的簡化流程

圖11：選擇相機(jī)和鏡頭的簡化流程

如果事先既未確定相機(jī)又未確定鏡頭，則需要先了解項(xiàng)目工作環(huán)境對相機(jī)安裝(工作距離)、要檢測的最大范圍(視場)、最小特征的尺寸和代表它的像素?cái)?shù)的要求，然后根據(jù)這些條件來計(jì)算應(yīng)使用何種鏡頭或相機(jī)。

審核編輯：湯梓紅