機(jī)器人視覺—三維成像技術(shù)綜述

引言

3D視覺成像是工業(yè)機(jī)器人信息感知的一種最重要的方法，可分為光學(xué)和非光學(xué)成像方法。目前應(yīng)用最多的還是光學(xué)方法，包括：飛行時(shí)間法、結(jié)構(gòu)光法、激光掃描法、莫爾條紋法、激光散斑法、干涉法、照相測(cè)量法、激光跟蹤法、從運(yùn)動(dòng)獲得形狀、從陰影獲得形狀，以及其他的 Shape from X等。本次介紹幾種典型方案。

節(jié)選于盧榮勝，史艷瓊，胡海兵《機(jī)器人視覺三維成像技術(shù)綜述》一文。

飛行時(shí)間3D成像

飛行時(shí)間（TOF）相機(jī)每個(gè)像素利用光飛行的時(shí)間差來獲取物體的深度。

在經(jīng)典的TOF測(cè)量方法中，探測(cè)器系統(tǒng)在發(fā)射光脈沖的同時(shí)啟動(dòng)探測(cè)接收單元進(jìn)行計(jì)時(shí)，當(dāng)探測(cè)器接收到目標(biāo)發(fā)出的光回波時(shí)，探測(cè)器直接存儲(chǔ)往返時(shí)間。目標(biāo)距離Z可通過以下簡(jiǎn)單方程估算：

這種測(cè)距方式也稱為直接TOF（DTOF）。D-TOF通常用于單點(diǎn)測(cè)距系統(tǒng)，為了實(shí)現(xiàn)面積范圍3D成像，通常需要采用掃描技術(shù)。

無掃描TOF三維成像技術(shù)直到近幾年才實(shí)現(xiàn)，因?yàn)樵谙袼丶?jí)實(shí)現(xiàn)亞納秒電子計(jì)時(shí)是非常困難的。

與直接計(jì)時(shí)的D-TOF不同的方案是間接TOF（I-TOF），時(shí)間往返行程是從光強(qiáng)度的時(shí)間選通測(cè)量中間接外推獲得。I-TOF不需要精確的計(jì)時(shí)，而是采用時(shí)間選通光子計(jì)數(shù)器或電荷積分器，它們可以在像素級(jí)實(shí)現(xiàn)。I-TOF是目前基于TOF相機(jī)的電子和光混合器的商用化解決方案。

TOF成像可用于大視野、遠(yuǎn)距離、低精度、低成 本的3D圖像采集。其特點(diǎn)是:檢測(cè)速度快、視野范 圍較大、工作距離遠(yuǎn)、價(jià)格便宜，但精度低，易受環(huán)境光的干擾。

掃描3D成像

掃描3D成像方法可分為掃描測(cè)距、主動(dòng)三角法、色散共焦法等。其實(shí)，色散共焦法是掃描測(cè)距法的一種，考慮到目前在手機(jī)、平板顯示等制造行業(yè)應(yīng)用比較廣泛，在此單獨(dú)介紹。

1、掃描測(cè)距

掃描測(cè)距是利用一條準(zhǔn)直光束通過一維測(cè)距掃描整個(gè)目標(biāo)表面實(shí)現(xiàn)3D測(cè)量。典型掃描測(cè)距方法有：

1、單點(diǎn)飛行時(shí)間法，如連續(xù)波頻率調(diào)制（FM-CW）測(cè)距、脈沖測(cè)距（激光雷達(dá)）等；

2、激光散射干涉法，如基于多波長干涉、全息干涉、白光干涉散斑干涉等原理的干涉儀；

3、共焦法，如色散共焦、自聚焦等。

單點(diǎn)測(cè)距掃描3D方法中，單點(diǎn)飛行時(shí)間法適合遠(yuǎn)距離掃描，測(cè)量精度較低，一般在毫米量級(jí)。

其他幾種單點(diǎn)掃描方法有：?jiǎn)吸c(diǎn)激光干涉法、共焦法和單點(diǎn)激光主動(dòng)三角法，測(cè)量精度較高，但前者對(duì)環(huán)境要求高；線掃描精度適中，效率高。

比較適合于機(jī)械手臂末端執(zhí)行3D測(cè)量的應(yīng)是主動(dòng)激光三角法和色散共焦法。

2、主動(dòng)三角法

主動(dòng)三角法是基于三角測(cè)量原理，利用準(zhǔn)直光束、一條或多條平面光束掃描目標(biāo)表面完成3D測(cè) 量的。

光束常采用以下方式獲得：激光準(zhǔn)直、圓柱或 二次曲面柱形棱角擴(kuò)束,非相干光(如白光、LED 光 源)通過小孔、狹縫(光柵)投影或相干光衍射等。

主動(dòng)三角法可分為三種類型：?jiǎn)吸c(diǎn)掃描、單線掃描和多線掃描。目前商業(yè)化的用于機(jī)械手臂末端的產(chǎn)品大多數(shù)是單點(diǎn)和單線掃描儀。

在多線掃描方法中,條紋極數(shù)可靠識(shí)別是難點(diǎn)。為 了準(zhǔn)確識(shí)別條紋編號(hào),通常采用兩組垂直光平面高 速交替成像，這樣還可以實(shí)現(xiàn)“FlyingTriangulation” 掃描，其掃描與三維重構(gòu)過程如下圖所示。多線條投影一次頻閃成像產(chǎn)生一幅稀疏3D視圖, 通過縱橫向條紋投影掃描生成若干幅3D視圖序列,再通過三 維圖像準(zhǔn)配生成高分辨率的完整致密的三維曲面模型。

3、色散共焦法

色散共焦似乎可以掃描測(cè)量粗糙和光滑的不透明和透明物體，如反射鏡面、透明玻璃面等，目前在手機(jī)蓋板三維檢測(cè)等領(lǐng)域廣受歡迎。

色散共焦掃描有三種類型：?jiǎn)吸c(diǎn)一維絕對(duì)測(cè)距掃描、多點(diǎn)陣列掃描和連續(xù)線掃描，下圖分別列出了絕對(duì)測(cè)距和連續(xù)線掃描兩類示例，其中連續(xù)線掃描也是一種陣列掃描，只是陣列的點(diǎn)陣更多、更密集。

在商業(yè)產(chǎn)品上，目前較為知名的掃描光譜共焦傳感器是法國的 STIL MPLS180，采用180個(gè)陣列點(diǎn)形成一條線，最大線長4.039mm（測(cè)量點(diǎn)11.5pm，點(diǎn)與點(diǎn)間距為22.5pm），另一款產(chǎn)品是芬蘭的 FOCALSPEC UULA，采用的是色散共焦三角法技術(shù)。

結(jié)構(gòu)光投影3D成像

結(jié)構(gòu)光投影三維成像目前是機(jī)器人3D視覺感知的主要方式，結(jié)構(gòu)光成像系統(tǒng)是由若干個(gè)投影儀和相機(jī)組成，常用的結(jié)構(gòu)形式有：?jiǎn)瓮队皟x-單相機(jī)、單投影儀-雙相機(jī)、單投影儀-多相機(jī)、單相機(jī)-雙投影儀和單相機(jī)-多投影儀等典型結(jié)構(gòu)形式。

結(jié)構(gòu)光投影三維成像的基本工作原理是：投影儀向目標(biāo)物體投射特定的結(jié)構(gòu)光照明圖案，由相機(jī)攝取被目標(biāo)調(diào)制后的圖像，再通過圖像處理和視覺模型求出目標(biāo)物體的三維信息。

常用的投影儀主要有下列幾種類型：液晶投影（LCD）、數(shù)字光調(diào)制投影（DLP，如數(shù)字微鏡器件（DMD）、激光LED圖案直接投影。

根據(jù)結(jié)構(gòu)光投影次數(shù)劃分，結(jié)構(gòu)光投影三維成像可以分成單次投影3D和多次投影3D方法。

1、單次投影成像

單次投影結(jié)構(gòu)光主要采用空間復(fù)用編碼和頻率復(fù)用編碼形式實(shí)現(xiàn)，常用的編碼形式有：彩色編碼、灰度索引、幾何形狀編碼和隨機(jī)斑點(diǎn)。

目前在機(jī)器人手眼系統(tǒng)應(yīng)用中，對(duì)于三維測(cè)量精度要求不高的場(chǎng)合，如碼垛、拆垛、三維抓取等，比較受歡迎的是投射偽隨機(jī)斑點(diǎn)獲得目標(biāo)三維信息，其3D成像原理如下圖所示。

2、多次投影成像

多次投影3D方法主要采用時(shí)間復(fù)用編碼方式實(shí)現(xiàn)，常用的圖案編碼形式有：二進(jìn)制編碼、多頻相移編碼τ35和混合編碼法（如格雷碼十相移條紋）等。

條紋投影3D成像基本原理如下圖所示，利用計(jì)算機(jī)生成結(jié)構(gòu)光圖案或用特殊的光學(xué)裝置產(chǎn)生結(jié)構(gòu)光，經(jīng)過光學(xué)投影系統(tǒng)投射至被測(cè)物體表面，然后采用圖像獲取設(shè)備（如CCD或CMOS相機(jī)）采集被物體表面調(diào)制后發(fā)生變形的結(jié)構(gòu)光圖像，利用圖像處理算法計(jì)算圖像中每個(gè)像素點(diǎn)與物體輪廓上點(diǎn)的對(duì)應(yīng)關(guān)系；最后通過系統(tǒng)結(jié)構(gòu)模型及其標(biāo)定技術(shù)，計(jì)算得到被測(cè)物體的三維輪廓信息。

在實(shí)際應(yīng)用中，常采用格雷碼投影、正弦相移條紋投影或格雷碼十正弦相移混合投影3D技術(shù)。

3、偏折法成像

對(duì)于粗糙表面，結(jié)構(gòu)光可以直接投射到物體表面進(jìn)行視覺成像測(cè)量；但對(duì)于大反射率光滑表面和鏡面物體3D測(cè)量，結(jié)構(gòu)光投影不能直接投射到被測(cè)則表面，3D測(cè)量還需要借助鏡面偏折技術(shù)，如下圖所示。

在這種方案中，條紋不是直接投影到被測(cè)則輪廓上，而是投射到一個(gè)散射屏上，或用液晶顯示屏代替散射屏把條紋直接顯示出來。相機(jī)通過光亮表面折返光路，獲取被光亮表面曲率變化調(diào)制的條紋信息，然后解算出三維輪廓形貌。

立體視覺3D成像

立體視覺字面意思是用一只眼睛或兩只眼睛感知三維結(jié)構(gòu)，一般情況下是指從不同的視點(diǎn)獲取兩幅或多幅圖像重構(gòu)目標(biāo)物體3D結(jié)構(gòu)或深度信息。

深度感知視覺線索可分為ocular cues和 Binocular cues（雙目視差）。目前立體視覺3D可以通過單目視覺、雙目視覺、多（目）視覺、光場(chǎng)3D成像（電子復(fù)眼或陣列相機(jī)）實(shí)現(xiàn)。

1、單目視覺成像

單目視覺深度感知線索通常有：透視、焦距差異、多視覺成像、覆蓋、陰影、運(yùn)動(dòng)視差等。在機(jī)器人視覺里還可以用鏡像1，以及其他 shape from X10等方法實(shí)現(xiàn)。

2、雙目視覺成像

雙目視覺深度感知視覺線索有：眼睛的收斂位置和雙目視差。在機(jī)器視覺里利用兩個(gè)相機(jī)從兩個(gè)視點(diǎn)對(duì)同一個(gè)目標(biāo)場(chǎng)景獲取兩個(gè)視點(diǎn)圖像再計(jì)算兩個(gè)視點(diǎn)圖像中同名點(diǎn)的視差獲得目標(biāo)場(chǎng)景的3D深度信息。

典型的雙目立體視覺計(jì)算過程包含下面四個(gè)步驟：圖像畸變矯正、立體圖像對(duì)校正、圖像配準(zhǔn)和三角法重投影視差圖計(jì)算，如下圖。

3、多（目）視覺成像

也稱多視點(diǎn)立體成像，用單個(gè)或多個(gè)相機(jī)從多個(gè)視點(diǎn)獲取同一個(gè)目標(biāo)場(chǎng)景的多幅圖像，重構(gòu)目標(biāo)場(chǎng)景的三維信息。其基本原理如下圖所示。

多視點(diǎn)立體成像主要用于下列幾種場(chǎng)景：

1）使用多個(gè)相機(jī)從不同視點(diǎn)，獲取同一個(gè)目標(biāo)

場(chǎng)景多幅圖像，然后基于特征的立體重構(gòu)等算法求取場(chǎng)景深度和空間結(jié)構(gòu)信息。

2）從運(yùn)動(dòng)恢復(fù)形狀（SM）的技術(shù)。使用同一相機(jī)在其內(nèi)參數(shù)不變的條件下，從不同視點(diǎn)獲取多幅圖像，重構(gòu)目標(biāo)場(chǎng)景的三維信息。該技術(shù)常用于跟蹤目標(biāo)場(chǎng)景中大量的控制點(diǎn)，連續(xù)恢復(fù)場(chǎng)景的3D結(jié)構(gòu)信息、相機(jī)的姿態(tài)和位置。

4、光場(chǎng)成像

光場(chǎng)3D成像的原理與傳統(tǒng)CCD和CMOS相機(jī)成像原理在結(jié)構(gòu)原理上有所差異，傳統(tǒng)相機(jī)成像是光線穿過鏡頭在后續(xù)的成像平面上直接成像，一般是2D圖像。

光場(chǎng)相機(jī)成像是在傳感器平面前增加了一個(gè)微透鏡陣列，將經(jīng)過主鏡頭入射的光線再次穿過每個(gè)微透鏡，由感光陣列接收，從而獲得光線的方向與位置信息，使成像結(jié)果可在后期處理，達(dá)到先拍照，后聚焦的效果，如下圖所示。

機(jī)器人視覺3D成像方法比較

（1）類似于ToF相機(jī)、光場(chǎng)相機(jī)這類相機(jī)，可以歸類為單相機(jī)3D成像范圍，它們體積小，實(shí)時(shí)性好，適合Eye-in-Hand系統(tǒng)執(zhí)行3D測(cè)量、定位和實(shí)時(shí)引導(dǎo)。

但是，ToF相機(jī)、光場(chǎng)相機(jī)短期內(nèi)還難以用來構(gòu)建普通的Eye- inHand系統(tǒng)，主要原因如下：

①ToF相機(jī)空間分辨率和3D精度低，不適合高精度測(cè)量、定位與引導(dǎo)。

②對(duì)于光場(chǎng)相機(jī)，目前商業(yè)化的工業(yè)級(jí)產(chǎn)品只有德國 Raytrix一家，雖然性能較好，空間分率和精度適中，但價(jià)格太貴，一臺(tái)幾十萬元，使用成本太高。

（2）結(jié)構(gòu)光投影3D系統(tǒng)，精度和成本適中，有相當(dāng)好的應(yīng)用市場(chǎng)前景。它由若干個(gè)相機(jī)-投影儀組成，如果把投影儀當(dāng)作一個(gè)逆向的相機(jī)，可以認(rèn)為該系統(tǒng)是一個(gè)雙目或多目3D三角測(cè)量系統(tǒng)。

（3）被動(dòng)立體視覺3D成像，日前在工業(yè)領(lǐng)域也得到較好應(yīng)用，但應(yīng)用場(chǎng)合有限。因?yàn)閱文苛Ⅲw視覺實(shí)現(xiàn)有難度，雙目和多目立體視覺要求目標(biāo)物體紋理或幾何特征清晰。

（4）結(jié)構(gòu)光投影3D、雙目立體視覺3D都存在下列缺點(diǎn)：體積較大，容易產(chǎn)生遮擋。因?yàn)檫@幾種方法都是基于三角測(cè)量原理，要求相機(jī)和投影儀之間或雙目立體兩個(gè)相機(jī)之間必須間隔一定距離，并且存在一定的夾角θ（通常大于15°）才能實(shí)現(xiàn)測(cè)量。

如果減小相機(jī)與投影儀（結(jié)構(gòu)光光源）的夾角，雖然在某些程度上可以解決問題，但是卻會(huì)嚴(yán)重降低系統(tǒng)的測(cè)量靈敏度，影響該測(cè)量系統(tǒng)的應(yīng)用。

針對(duì)上述問題雖然可以增加投影儀或相機(jī)覆蓋被遮擋的區(qū)域，構(gòu)成投影儀-相機(jī)-投影儀系統(tǒng)、相機(jī)-投影儀-相機(jī)測(cè)量系統(tǒng)或者多個(gè)相機(jī)投影儀系統(tǒng)，增大可視范圍，減小陰影區(qū)域，擴(kuò)大測(cè)量區(qū)域，但會(huì)增加成像系統(tǒng)的體積，減少在Eye n-hand系統(tǒng)中應(yīng)用的靈活性。從 Eye-in-Hand系統(tǒng)的角度來看，最佳的方案是開發(fā)一種成本低廉、精度適中、被動(dòng)單目3D成像系統(tǒng)。