機器視覺及視覺傳感器

人們通過感官從自然界獲取各種信息，其中以人的視覺獲取的信息量最多，約占信息總量的80%。隨著信息技術(shù)的發(fā)展，為計算機、機器人或其他智能機器賦予人類視覺功能，成為科學家們的奮斗目標。目前，機器視覺技術(shù)已經(jīng)實現(xiàn)了產(chǎn)品化、實用化，鏡頭、高速相機、光源、圖像軟件、圖像采集卡、視覺處理器等相關(guān)產(chǎn)品功能日益完善。機器視覺領(lǐng)域新技術(shù)爆出，通用式三維即時視覺傳感技術(shù)將為機器視覺再添濃墨重彩的一筆。

什么是機器視覺？

美國機器人工業(yè)協(xié)會（RIA Robotic Industries Association） 對機器視覺下的定義為：“機器視覺是通過光學的裝置和非接觸的傳感器自動地接收和處理一個真實物體的圖像，以獲得所需信息或用于控制機器人運動的裝置”。

機器視覺就是用機器代替人眼來做測量和判斷。機器視覺系統(tǒng)是指通過機器視覺產(chǎn)品（即圖像攝取裝置，分CMOS 和CCD兩種）將被攝取目標轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號；圖像系統(tǒng)對這些信號進行各種運算來抽取目標的特征，進而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動作。

機器視覺系統(tǒng)的組成

相機與鏡頭

這部分屬于成像器件，通常的視覺系統(tǒng)都是由一套或者多套這樣的成像系統(tǒng)組成，如果有多路相機，可能由圖像卡切換來獲取圖像數(shù)據(jù)，也可能由同步控制同時獲取多相機通道的數(shù)據(jù)。根據(jù)應(yīng)用的需要相機可能是輸出標準的單色視頻（RS-170/CCIR）、復(fù)合信號（Y/C）、RGB信號，也可能是非標準的逐行掃描信號、線掃描信號、高分辨率信號等。

光源

作為輔助成像器件，對成像質(zhì)量的好壞往往能起到至關(guān)重要的作用，各種形狀的LED燈、高頻熒光燈、光纖鹵素燈等都容易得到。

傳感器

通常以光纖開關(guān)、接近開關(guān)等的形式出現(xiàn)，用以判斷被測對象的位置和狀態(tài)，告知圖像傳感器進行正確的采集。

圖像采集卡

通常以插入卡的形式安裝在PC中，圖像采集卡的主要工作是把相機輸出的圖像輸送給電腦主機。它將來自相機的模擬或數(shù)字信號轉(zhuǎn)換成一定格式的圖像數(shù)據(jù)流，同時它可以控制相機的一些參數(shù)，比如觸發(fā)信號，曝光/積分時間，快門速度等。圖像采集卡通常有不同的硬件結(jié)構(gòu)以針對不同類型的相機，同時也有不同的總線形式，比如PCI、PCI64、Compact PCI，PC104，ISA等。

PC平臺

電腦是一個PC式視覺系統(tǒng)的核心，在這里完成圖像數(shù)據(jù)的處理和絕大部分的控制邏輯，對于檢測類型的應(yīng)用，通常都需要較高頻率的CPU，這樣可以減少處理的時間。同時，為了減少工業(yè)現(xiàn)場電磁、振動、灰塵、溫度等的干擾，必須選擇工業(yè)級的電腦。

視覺處理軟件

機器視覺軟件用來完成輸入的圖像數(shù)據(jù)的處理，然后通過一定的運算得出結(jié)果，這個輸出的結(jié)果可能是PASS/FAIL信號、坐標位置、字符串等。常見的機器視覺軟件以C/C++圖像庫，ActiveX控件，圖形式編程環(huán)境等形式出現(xiàn)，可以是專用功能的（比如僅僅用于LCD檢測，BGA檢測，模版對準等），也可以是通用目的的（包括定位、測量、條碼/字符識別、斑點檢測等）。

控制單元（包含I/O、運動控制、電平轉(zhuǎn)化單元等）

一旦視覺軟件完成圖像分析（除非僅用于監(jiān)控），緊接著需要和外部單元進行通信以完成對生產(chǎn)過程的控制。簡單的控制可以直接利用部分圖像采集卡自帶的I/O，相對復(fù)雜的邏輯/運動控制則必須依靠附加可編程邏輯控制單元/運動控制卡來實現(xiàn)必要的動作。

機器視覺的特點

精確性

由于人眼有物理條件的限制，在精確性上機器有明顯的優(yōu)點。即使人眼依靠放大鏡或顯微鏡來檢測產(chǎn)品，機器仍然會更加精確，因為它的精度能夠達到千分之一英寸。

重復(fù)性

機器可以以相同的方法一次一次的完成檢測工作而不會感到疲倦。與此相反，人眼每次檢測產(chǎn)品時都會有細微的不同，即使產(chǎn)品時完全相同的。

速度

機器能夠更快的檢測產(chǎn)品。特別是當檢測高速運動的物體時，比如說生產(chǎn)線上，機器能夠提高生產(chǎn)效率。

客觀性

人眼檢測還有一個致命的缺陷，就是情緒帶來的主觀性，檢測結(jié)果會隨工人心情的好壞產(chǎn)生變化，而機器沒有喜怒哀樂，檢測的結(jié)果自然非?？捎^可靠。

成本

由于機器比人快，一臺自動檢測機器能夠承擔好幾個人的任務(wù)。而且機器不需要停頓、不會生病、能夠連續(xù)工作，所以能夠極大的提高生產(chǎn)效率。

視覺傳感器的工作原理

視覺傳感器是指通過對攝像機拍攝到的圖像進行圖像處理，來計算對象物的特征量（面積、重心、長度、位置等），并輸出數(shù)據(jù)和判斷結(jié)果的傳感器。

視覺傳感器具有從一整幅圖像捕獲光線的數(shù)以千計的像素。圖像的清晰和細膩程度通常用分辨率來衡量，以像素數(shù)量表示。因此，無論距離目標數(shù)米或數(shù)厘米遠，傳感器都能“看到”十分細膩的目標圖像。

在捕獲圖像之后，鼎納視覺傳感器將其與內(nèi)存中存儲的基準圖像進行比較，以做出分析。

視覺傳感器是機器視覺系統(tǒng)的核心，是提取環(huán)境特征最多的信息源。它既要容納進行輪廓測量的各種光學、機械、電子、敏感器等各方面的元器件，又要體積小、重量輕。

視覺傳感器包括激光器、掃描電動機及掃描機構(gòu)、角度傳感器、線性CCD敏感器及其驅(qū)動板和各種光學組件。

視覺傳感器的發(fā)展歷程

視覺傳感器是50年代后期出現(xiàn)，發(fā)展十分迅速，是機器人中最重要的傳感器之一。機器人視覺從60年代開始首先處理積木世界，后來發(fā)展到處理桌子、椅子、臺燈等室內(nèi)景物，進而處理室外的現(xiàn)實世界。70年代后，有些實用性的視覺系統(tǒng)出現(xiàn)了，如應(yīng)用于集成電路生產(chǎn)、精密電子產(chǎn)品裝配、飲料罐裝箱場合的檢驗、定位等。另外，隨著這門學科的發(fā)展，一些先進的思想在人工智能、心理學、計算機圖形學、圖形處理等領(lǐng)域產(chǎn)生出來。

機器視覺的作用是從三維環(huán)境圖像中獲得所需的信息并構(gòu)造出觀察對象的明確而有意義的描述，視覺包括三個過程：圖像獲取、圖像處理和圖像理解。圖像獲取通過視覺傳感器將三維環(huán)境圖像轉(zhuǎn)換為電信號；圖像處理是指圖像到圖像的一種變換，如特征提??；圖像理解則在處理的基礎(chǔ)上給出環(huán)境描述。視覺傳感器的核心器件是攝像管或CCD，攝像管是早期產(chǎn)品。OzD是后發(fā)展起來的。目前的CCD已能做到自動聚焦。

視覺傳感器的實現(xiàn)方式

視覺傳感器是非接觸型的。它是電視攝像機等技術(shù)的綜合，是機器人眾多傳感器中最穩(wěn)定的傳感器。

機器人的視覺傳感器有下述三種測量方式

一、直接處理電視攝像機所攝取的深淺圖像亮度6分圖像的深淺圖像處理方式。把亮度信息數(shù)字化，通常為4-10比特左右，作為64×64-1024×1024個象素輸出處理部分。然后，利用種種已知算法，為線條進行解釋，識別被加工物。這種圖像處理法的困難是需要處理龐大的輸出數(shù)據(jù)，費時太多。作為機器人的視覺，往往簡化成雙值，再利用專用處理裝置快速處理。

二、把深淺圖像雙值化再處理方式。

三、根據(jù)距離信息測量物體的開關(guān)和位置的方式。該方法采用的方案有采用三角測量法和利用兩臺電視攝像機的立體視覺法等多種方案。

1、三角測量法測量原理及方法

激光束投射到物體上，跟蹤源敏感器件檢測其漫反射光，如圖一所示。。

如果線陣敏感器件（如線陣CCD）放置的位置合適，物體上的激光點能清晰地在敏感器件上成像，那么橫向的分辨率就只取決于激光束的寬度（亦即粗細），而激光束的寬度可通過適當?shù)墓鈱W方法調(diào)整得較細。為了獲取深度及橫向的信息，可采用兩種方法。

其一是將光束擴展成一個光面投射到物體上，用一面陣數(shù)字敏感器件進行接收。為了快速測量距 離，使通過垂直狹縫得到的條形光束投到被加工物體上，再利用電視攝像機檢測狹縫的像，圖二表示其結(jié)構(gòu)。如果知道狹縫光的投影方向和狹縫隙象，那么根據(jù)三角測量原理就可以知道到物體表面的距離。利用掃描線為256條的電視攝像機，每1／60s內(nèi)可得到256個點的距離，能測量電視攝像機畫面內(nèi)多數(shù)點的距離。

其二是發(fā)射光束和接收光繞虛線所示的轉(zhuǎn)軸同步轉(zhuǎn)動，線陣敏感器測出徑向深度信息，而和掃描機構(gòu)一起的角度傳感器測出角度信息。這種方法的優(yōu)點是能得到很高的信噪比，因為在敏感器件感光時間內(nèi)，光強集中于一點而不是散成一條線，能使所有的光電在敏感器上清晰成像，同時信號處理速度較快。

其三是利用激光跟蹤器，向任意方向投射激光，把物體表面的激光點作為畫面的最亮點，然后利用攝像機檢測，再根據(jù)三角測量原理，可快速進行距離測量。對基于激光同步掃描測量原理的機械機構(gòu)和光學結(jié)構(gòu)進行了優(yōu)化設(shè)計，并采用了一些微型元件，構(gòu)成機器人設(shè)計傳感器，其結(jié)構(gòu)原理如圖三所示。

2、立體視覺法

眼睛就像一臺機能完善、結(jié)構(gòu)精巧的信息處理機，處理外界進入大腦的90％以上的信息。盡管人們已經(jīng)制造出照相機、望遠鏡、光電管等這些非凡的“人造眼”．圖三傳感器結(jié)構(gòu)原理圖但科學還得向生物界的原始構(gòu)造物——眼睛求教，進一步探索它的奧秘，取其優(yōu)點為人類所用。

1）、眼立體視覺機理

在大腦視覺區(qū)域的細胞中，有些細胞對雙眼的刺激都有反應(yīng)，將這種有反應(yīng)的細胞稱為雙眼性細胞。大腦視區(qū)的大部分細胞都是雙眼性細胞，這些細胞對左右眼一般具有幾乎特性相同的感受野。雙眼性細胞左右視網(wǎng)膜上感受的位置，若投影到視野上，其位置并不完全一致，每個細胞逐次稍微偏離一點，這種感受野對雙眼立體信息的提取有重要作用。如圖四所示，有3個雙眼性細胞A、B、C，它們的左右感受野之間有不同的差異度，在圖示的屏幕上給予刺激，這些細胞感受野的中心位置，在左眼視網(wǎng)膜上重疊為一點，但在右眼視網(wǎng)膜上各有不同的位置，或者說，左眼的感受野在同一軸線上，右眼的感受野則在3個不同的視軸上。還有一些雙眼性細胞，對單眼刺激幾乎不起反應(yīng)，但對雙眼刺激所引起的反應(yīng)的促進作用卻非常明顯，并且給予雙眼刺激的位移量適當時，才有輸出。這樣的細胞在三維空間中，只有在離眼睛特定的地點放置光刺激時，才能強烈反應(yīng)，故可稱為雙眼性深度檢測細胞。

生物視覺系統(tǒng)擁有大量的光敏元件，即視網(wǎng)膜視桿細胞和視錐細胞，由于視神經(jīng)纖維比視網(wǎng)膜的光敏元件少，故兩者不可能一一對應(yīng)。因為視覺信息傳導(dǎo)到神經(jīng)以前發(fā)生了某種平行加工，這種預(yù)加工是通過實時反映系統(tǒng)把圖形的重要特征迅速地提取出來。

2）、分層模型

許多人提出了信息加工的分層模型，最著名的是馬爾科（Marko）提出的分層模型。

第一層是感受層；

第二層是由4個平行加工的、分別抽提出垂直、水平和2條對角線方向的方向濾波器組成；

第三層包含3條線條濾波器平行的組合，而分別得到曲率、角度、端點和交點的檢測器；

第四層在所謂拓撲變換的抽提中，圖像面壓縮成一個點，這個點表示該圖像的某個總體特征。

可以看出分層模型既考慮了分層的串連結(jié)構(gòu)，也考慮了各通路的平行并聯(lián)結(jié)構(gòu)，因此雙眼視覺具有強大的并行處理能力。

由于外部場景都是三維的，因此希望智能機器人的外傳感器能提供有關(guān)外部場景的三維立體信息。為達此目的，人仍從不同的角度對三維立體信息的獲取進行了研究，采用立體視覺方法獲得外部場景的三維深度圖像。

3）、三維視覺系統(tǒng)及數(shù)學模型結(jié)構(gòu)

三維視覺系統(tǒng)由CCD面陣攝像機、結(jié)構(gòu)激光投影器、圖像接口、圖像處理與分析軟件及PC機組成。視覺傳感器由攝像機與結(jié)構(gòu)激光投影器組成，二者剛性固定，結(jié)構(gòu)激光投影器產(chǎn)生的光學模式為20y，X10lyl及zZl5個空間方向不同的光面。

光電傳感器與視覺傳感器的比較

與光電傳感器相比，視覺傳感器賦予機器設(shè)計者更大的靈活性。以往需要多個光電傳感器的應(yīng)用，現(xiàn)在可以用一個視覺傳感器來檢驗多項特征。視覺傳感器能夠檢驗大得多的面積，并實現(xiàn)了更佳的目標位置和方向靈活性。這使視覺傳感器在某些原先只有依靠光電傳感器才能解決的應(yīng)用中受到廣泛歡迎。在傳統(tǒng)上，這些應(yīng)用還需要昂貴的配件，以及能夠確保目標物體始終以同一位置和姿態(tài)出現(xiàn)的精確運動控制。

此外，由于一個基本視覺傳感器的成本僅相當于數(shù)個具有較貴配件的光電傳感器，因此價格已不再是問題。

視覺傳感器為應(yīng)用的切換提供了無與倫比的靈活性。例如，生產(chǎn)工序的切換（從單份裝酸奶切換成冰淇淋桶）可能僅需數(shù)秒鐘，并且可遙控完成。附加的檢驗條件可輕松地添加到此應(yīng)用中。

機器視覺及視覺傳感器的應(yīng)用

只要是需要對物體進行識別、特征判斷和檢測，機器視覺就可以大展拳腳。如今，在農(nóng)業(yè)、工業(yè)、醫(yī)學等領(lǐng)域，機器視覺技術(shù)因其非接觸、速度快、精度高、現(xiàn)場抗干擾能力強等突出優(yōu)點，得到了廣泛應(yīng)用

近幾十年來，機器視覺因其非接觸、速度快、精度高、現(xiàn)場抗干擾能力強等突出優(yōu)點，使機器視覺技術(shù)在農(nóng)業(yè)、工業(yè)、醫(yī)學等領(lǐng)域得到了廣泛應(yīng)用。只要是需要對物體進行識別、特征判斷和檢測，機器視覺就可以大展拳腳，將任務(wù)完成得又快又好。

比如在農(nóng)業(yè)生產(chǎn)中，有一部分工作是對農(nóng)作物或農(nóng)產(chǎn)品的外觀進行判斷，如水果品質(zhì)檢測、果實成熟度判別、作物生長狀況以及雜草的識別等。這些過去主要依靠人的視覺進行辨別和判斷的工作可以由機器視覺技術(shù)部分或全部替代，從而實現(xiàn)農(nóng)業(yè)自動化和智能化。例如，來自南京林業(yè)大學的黃秀玲團隊就設(shè)計了一條可以對蘋果品質(zhì)進行動態(tài)、實時檢測的智能化分級生產(chǎn)線。生產(chǎn)線上，均勻分布的3個攝像頭一次性采集蘋果表面信息，通過計算機智能控制系統(tǒng)對采集信息進行綜合分析，從而對蘋果進行分級。不過，也有專家表示，由于農(nóng)田環(huán)境的復(fù)雜多變性以及非結(jié)構(gòu)化特性，目前機器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用尚不成熟，仍需進一步完善。

在工業(yè)環(huán)境中，機器視覺應(yīng)用日臻成熟，在提高工業(yè)生產(chǎn)靈活性和自動化程度方面發(fā)揮重大作用。此外，在危險工作環(huán)境或人工視覺難以滿足要求的場合，用機器視覺來替代人工視覺也提高了作業(yè)的安全性。在流水線上通過圖像識別技術(shù)檢查產(chǎn)品外觀缺損、標簽印刷錯誤、電路板焊接質(zhì)量缺陷的圖像識別系統(tǒng)就是機器視覺系統(tǒng)應(yīng)用于工業(yè)領(lǐng)域的成功范例。印刷包裝、汽車工業(yè)、半導(dǎo)體材料、食品生產(chǎn)等，都是機器視覺在工業(yè)領(lǐng)域的應(yīng)用方向。

在勘探采集、有色冶煉等過程中，機器視覺技術(shù)也大有可為。選礦是礦產(chǎn)資源加工中的一個重要環(huán)節(jié)，選礦水平高低直接影響礦物資源回收。近年來，基于機器視覺的礦物表面特征監(jiān)測技術(shù)已引起工業(yè)發(fā)達國家科研機構(gòu)的高度關(guān)注。資料顯示，歐盟聯(lián)合多家大學和企業(yè)，于2000年啟動了“基于機器視覺的氣泡結(jié)構(gòu)和顏色表征”項目;南非、智利等國家也將機器視覺應(yīng)用到石墨、鉑金屬的浮選監(jiān)控中。在國內(nèi)，對煤和鎳的浮選監(jiān)控研究也取得了重大進展。

機器視覺技術(shù)還可以應(yīng)用于智能交通、安全防范、醫(yī)療設(shè)備等方面。在醫(yī)學領(lǐng)域，機器視覺可以輔助醫(yī)生進行醫(yī)學影像的分析，比如X射線透視圖、核磁共振圖像、CT圖像等。在科學研究領(lǐng)域，可以利用機器視覺進行材料分析、生物分析、化學分析和生命科學分析，如血液細胞自動分類計數(shù)、染色體分析、癌癥細胞識別等。

責任編輯：haq