雙目視覺(jué)和激光傳感器對(duì)目標(biāo)物體的三維重建技術(shù)概述總結(jié)

雙目視覺(jué)和激光傳感器對(duì)目標(biāo)物體的三維重建，我們對(duì)該技術(shù)工作進(jìn)行概述總結(jié)，讀懂這篇文章，應(yīng)該就了解其中技術(shù)門道。

（一）背景和研究意義

在現(xiàn)代工業(yè)中，傳統(tǒng)的測(cè)量設(shè)備如三坐標(biāo)測(cè)量機(jī)、卡尺、千分尺等， 因測(cè)量速度慢、效率低，已不能適應(yīng)現(xiàn)代制造技術(shù)發(fā)展的需要。而計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)以其非接觸、快速、高精度、自動(dòng)化程度高等諸多優(yōu)點(diǎn)，在工業(yè)生產(chǎn)中得到了越來(lái)越廣泛的應(yīng)用。已有的方法包括基于單攝像頭結(jié)合結(jié)構(gòu)光的方法、雙目視覺(jué)方法、投影儀配合攝像機(jī)方法等。其中雙目視覺(jué)因其結(jié)構(gòu)靈活、安裝方便、成本低而被廣泛采用。

雙目視覺(jué)測(cè)量要解決的問(wèn)題是如何通過(guò)兩維CCD圖像恢復(fù)出被測(cè)量的三維信息， 一般由以下兩個(gè)互逆的步驟組成：①根據(jù)三維空間信息及兩維圖像信息標(biāo)定系統(tǒng)內(nèi)外部參數(shù)；②根據(jù)攝像機(jī)參數(shù)標(biāo)定結(jié)果及獲得的兩維圖像信息，進(jìn)行三維測(cè)量、三維重建。目前的視覺(jué)測(cè)量一般是遵循先對(duì)攝像系統(tǒng)進(jìn)行標(biāo)定， 然后利用標(biāo)定的參數(shù)進(jìn)行視覺(jué)測(cè)量與三維重建這一基本思想進(jìn)行的。在實(shí)際應(yīng)用中會(huì)遇到諸如標(biāo)定參數(shù)變化，照明視場(chǎng)噪聲， 被測(cè)表面光特性的影響等問(wèn)題，使其測(cè)量精度難以滿足工業(yè)檢驗(yàn)與測(cè)量的要求。

其中線結(jié)構(gòu)激光掃描技術(shù)具有非接觸式、光條圖像易于處理、測(cè)速快、成本低、操作方便靈活等特點(diǎn)，在視覺(jué)測(cè)量、工藝檢測(cè)等領(lǐng)域具有廣闊的應(yīng)用前景。該技術(shù)中對(duì)系統(tǒng)的標(biāo)定是測(cè)量技術(shù)實(shí)現(xiàn)的關(guān)鍵環(huán)節(jié)，目前，根據(jù)線結(jié)構(gòu)光傳感系統(tǒng)的測(cè)量模型，提出了許多標(biāo)定方法，如三維立體靶標(biāo)標(biāo)定法，齒形靶標(biāo)定法以及拉絲標(biāo)定法等。這些標(biāo)定方法都要求靶標(biāo)具有很高的精度，成本比較高，而且標(biāo)定過(guò)程繁瑣；目前操作簡(jiǎn)單、低成本的標(biāo)定方法成為研究熱點(diǎn)。攝像機(jī)標(biāo)定與立體匹配是雙目立體視覺(jué)系統(tǒng)中最重要也是最困難的問(wèn)題。隨著攝影測(cè)量和計(jì)算機(jī)視覺(jué)理論的發(fā)展，許多學(xué)者對(duì)攝像機(jī)標(biāo)定技術(shù)進(jìn)行了深入研究，現(xiàn)已發(fā)展的比較成熟；也有許多學(xué)者對(duì)立體匹配進(jìn)行了大量的研究。提出了一種基于雙目立體視覺(jué)的激光三維測(cè)量技術(shù)，采用了張正友平面模板標(biāo)定法，系統(tǒng)標(biāo)定不需昂貴的精制標(biāo)定塊；同時(shí)，利用標(biāo)定結(jié)果對(duì)圖像進(jìn)行校正，并結(jié)合線結(jié)構(gòu)激光條紋進(jìn)行匹配點(diǎn)搜索，大大降低了雙目立體視覺(jué)中立體匹配的難度。

（二）國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)

三維物體的距離感知是計(jì)算機(jī)視覺(jué)的主要研究任務(wù)。目前，獲取距離信息的方法和技術(shù)很多。根據(jù)測(cè)量原理的不同，三維測(cè)量的方法可以分為光學(xué)測(cè)量、超聲波測(cè)量以及電磁測(cè)量等。光學(xué)測(cè)量按照其測(cè)量過(guò)程所采用的照明方式不同，又可以分為主動(dòng)測(cè)量和被動(dòng)測(cè)量。主動(dòng)測(cè)量需要專門的光源裝置照明目標(biāo)物體，根據(jù)被照物體表面反射特性獲取目標(biāo)的三維信息。具有代表性的主動(dòng)測(cè)距方法有結(jié)構(gòu)光法、三角測(cè)量法等，比如常用的激光掃描式的視覺(jué)系統(tǒng)就是基于三角測(cè)量原理。被動(dòng)視覺(jué)則不需要附加光源，利用場(chǎng)景在自然光照下的二維圖像來(lái)重建物體的三維信息。

激光結(jié)構(gòu)光由于波長(zhǎng)單一，抗電磁干擾能力強(qiáng)，檢測(cè)精度高等優(yōu)點(diǎn)，廣泛應(yīng)用于物體檢測(cè)與跟蹤。作為主動(dòng)視覺(jué)測(cè)量技術(shù)，其工作原理是：將激光發(fā)射器產(chǎn)生的激光投射到物體表面，CCD傳感器接收與光軸成一定角度的經(jīng)由物體表面形狀形成的反射光，通過(guò)三角測(cè)量原理，可以得到物體表面的三維坐標(biāo)。如德國(guó)Scout公司開(kāi)發(fā)的一種多條紋激光傳感器，能同時(shí)實(shí)現(xiàn)焊接高度的對(duì)中跟蹤以及姿態(tài)控制；加拿大的賽融公司專注于激光視覺(jué)系統(tǒng)研發(fā)，生產(chǎn)的多功能激光傳感器系統(tǒng)，把定位、跟蹤、裝備檢測(cè)以及自適應(yīng)參數(shù)控制集于一體，能夠?qū)崿F(xiàn)高速的物體跟蹤，是結(jié)構(gòu)光傳感器先進(jìn)水平的代表?；诮Y(jié)構(gòu)光雙目立體視覺(jué)的路徑規(guī)劃原理是：將激光雙目視覺(jué)傳感器安裝在機(jī)器人的末端，逐點(diǎn)測(cè)量物體中心坐標(biāo)，建立測(cè)量軌跡的數(shù)據(jù)庫(kù)作為運(yùn)動(dòng)路徑。眼在手上的結(jié)構(gòu)光雙目立體視覺(jué)測(cè)量系統(tǒng)由安裝在機(jī)器人末端的激光器、兩臺(tái)CCD攝像機(jī)構(gòu)成測(cè)量系統(tǒng)。激光器發(fā)出的光束在焊縫中形成條紋。兩臺(tái)攝像機(jī)同步采集該條紋，結(jié)合攝像機(jī)標(biāo)定參數(shù)對(duì)激光條紋的特征點(diǎn)進(jìn)行處理獲得三維空間坐標(biāo)。張廣軍、賀俊吉等人提出基于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)光立體視覺(jué)測(cè)量模型，該模型應(yīng)用神經(jīng)網(wǎng)絡(luò)的泛化能力，消除了視覺(jué)模型誤差、光學(xué)誤差因素對(duì)測(cè)量系統(tǒng)的測(cè)量精度影響。王國(guó)榮、肖心遠(yuǎn)等人基于激光結(jié)構(gòu)光視覺(jué)系統(tǒng)獲取激光圖像，在二維的曲線焊縫跟蹤中獲得良好效果。徐德等人對(duì)基于位置的機(jī)器人視覺(jué)伺服控制進(jìn)行了研究，將結(jié)構(gòu)光視覺(jué)系統(tǒng)配置在機(jī)器人末端執(zhí)行器上，構(gòu)成手眼系統(tǒng)，實(shí)現(xiàn)了機(jī)器人位置姿態(tài)和圖像采集的同步，完成測(cè)量物體的自動(dòng)識(shí)別和實(shí)時(shí)跟蹤。

20世紀(jì)60年代，美國(guó)麻省理工學(xué)院的Robert把二維圖像分析推廣到三維景物，標(biāo)志著立體視覺(jué)技術(shù)誕生。隨后，70年代末美國(guó)麻省理工學(xué)院的Marr教授提出來(lái)的計(jì)算機(jī)視覺(jué)理論框架則奠定了立體視覺(jué)的發(fā)展基礎(chǔ)。隨著雙目立體視覺(jué)技術(shù)的不斷發(fā)展和檢測(cè)精度的不斷提高，雙目立體視覺(jué)被廣泛應(yīng)用。例如在生產(chǎn)中，對(duì)工業(yè)生產(chǎn)線的結(jié)構(gòu)、照明等因素進(jìn)行嚴(yán)格的控制，應(yīng)用雙目立體視覺(jué)技術(shù)可以進(jìn)行工業(yè)生產(chǎn)和裝配線的檢測(cè)，裝配零件的識(shí)別與定位、產(chǎn)品外形輪廓

檢驗(yàn)、表面缺陷檢驗(yàn)等；兩個(gè)攝像機(jī)同步獲取某一時(shí)刻場(chǎng)景中某一視點(diǎn)的兩幅圖像，組成圖像序列對(duì)，應(yīng)用雙目視覺(jué)技術(shù)恢復(fù)場(chǎng)景的三維信息，并利用場(chǎng)景的三維信息識(shí)別特定目標(biāo)、判斷障礙物、道路規(guī)劃等，實(shí)現(xiàn)與周圍環(huán)境的自主交互。日本東京大學(xué)為機(jī)器人加載雙目立體視覺(jué)系統(tǒng)實(shí)現(xiàn)路徑規(guī)劃和障礙物探測(cè)。該機(jī)器人動(dòng)態(tài)導(dǎo)航系統(tǒng)首先根據(jù)攝像機(jī)拍攝的圖像識(shí)別出障礙物和地面，然后應(yīng)用雙目視覺(jué)測(cè)量原理把二維平面坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系，這樣就形成了機(jī)器人周圍環(huán)境地圖，據(jù)此地圖進(jìn)行實(shí)時(shí)機(jī)器人路徑規(guī)劃和障礙物檢測(cè)。北京航空航天大學(xué)對(duì)基于雙目視覺(jué)方法原理的坐標(biāo)測(cè)量機(jī)的測(cè)距誤差進(jìn)行了較為系統(tǒng)的分析，主要對(duì)攝像機(jī)坐標(biāo)系與坐標(biāo)測(cè)量機(jī)坐標(biāo)系之間的不正交所引起的測(cè)距誤差、坐標(biāo)測(cè)量機(jī)本身的機(jī)構(gòu)誤差引起的測(cè)距誤差以及攝像機(jī)成像面上像元的量化誤差引起的測(cè)距誤差三種誤差因素進(jìn)行了討論。中國(guó)空氣動(dòng)力研究中心的何海、湯春林等人采用雙目立體視覺(jué)系統(tǒng)，通過(guò)對(duì)風(fēng)洞試驗(yàn)?zāi)Ｐ蜕蟽蓚€(gè)以上的圓或三角錐特征點(diǎn)提取，實(shí)現(xiàn)了模型側(cè)滑角的空間非接觸實(shí)時(shí)精確測(cè)量。

（三）應(yīng)用

雙目立體視覺(jué)因?yàn)橛锌焖伲瑴?zhǔn)確，靈活等特點(diǎn)，被廣泛的應(yīng)用于醫(yī)療，工業(yè)，人工智能等多個(gè)領(lǐng)域，尤其當(dāng)工作的環(huán)境惡劣、條件艱苦（例如：高山地區(qū)的電力線監(jiān)測(cè)，建筑施工工地的墻面抹灰，外太空導(dǎo)航等），或者要求長(zhǎng)時(shí)間、穩(wěn)定性強(qiáng)的工作（國(guó)防安全系統(tǒng)，醫(yī)學(xué)成像等），雙目立體視覺(jué)系統(tǒng)顯現(xiàn)出來(lái)了無(wú)法比擬的優(yōu)越性。雙目立體視覺(jué)應(yīng)用的部分領(lǐng)域包括：

1、高山地區(qū)的電力線監(jiān)測(cè)

由于高壓電力線長(zhǎng)期處于高負(fù)載工作條件下，因此需要定期檢測(cè)其電力線表面是否出現(xiàn)破損，結(jié)冰等情況，常規(guī)的監(jiān)測(cè)包括人力監(jiān)測(cè)和飛機(jī)高空監(jiān)測(cè)，然而在環(huán)境惡劣的情況下，人力監(jiān)測(cè)危險(xiǎn)大、效率低。利用搭載雙目立體視覺(jué)系統(tǒng)的無(wú)人機(jī)能夠很好的完成任務(wù)，不僅能夠快速實(shí)時(shí)的監(jiān)測(cè)出電力線表面平整度，同時(shí)解決了人力工作和飛機(jī)高空檢測(cè)帶來(lái)的高成本，高危險(xiǎn)，低效率的問(wèn)題。

2、房屋建造抹墻機(jī)器人

常規(guī)房屋建造的過(guò)程中，對(duì)于墻面的水泥通常采用人力抹墻的方式來(lái)解決，這樣做的缺點(diǎn)是，墻面抹的不均勻、厚度不一，無(wú)法達(dá)到工業(yè)級(jí)的要求，同時(shí)人力成本過(guò)高，速度較慢。發(fā)明一款抹墻機(jī)器人，該機(jī)器人能夠自動(dòng)抹墻，同時(shí)采用雙目視覺(jué)系統(tǒng)監(jiān)測(cè)墻面的平整度以及厚度，對(duì)于墻面抹的不平整的區(qū)域，及時(shí)采取措施，利用機(jī)器視覺(jué)分析檢測(cè)代替人工檢測(cè)，準(zhǔn)確度得到了極大的提高，同時(shí)降低了人力成本。

3、衛(wèi)星遙感監(jiān)測(cè)圖像分析

高空遙感監(jiān)測(cè)圖片通常是有三種方式：航空衛(wèi)星圖片、氣象衛(wèi)星圖片和地質(zhì)地形衛(wèi)星圖片。對(duì)于衛(wèi)星圖片，如果僅僅只是采取人眼分析根本無(wú)法取得準(zhǔn)確的結(jié)果，利用雙目立體視覺(jué)系統(tǒng)，能夠快速準(zhǔn)確的計(jì)算出距離信息，從而重構(gòu)出三維形狀，將圖片還原成為真實(shí)的立體場(chǎng)景，幫助相關(guān)工作者的后續(xù)分析工作。

4、醫(yī)學(xué)成像分析

醫(yī)學(xué)工作者通常需要對(duì)相關(guān)的圖像進(jìn)行定量分析以判斷病情，常規(guī)的方法無(wú)法準(zhǔn)確快速的做到這一點(diǎn)，利用雙目立體視覺(jué)，可以定量的檢測(cè)出影像部分的深度信息，從而能夠用準(zhǔn)確的數(shù)值來(lái)輔助判斷病情。

5、安全檢測(cè)系統(tǒng)

公安機(jī)關(guān)經(jīng)常會(huì)通過(guò)犯罪分子留下的監(jiān)控照片來(lái)對(duì)犯罪分子的容貌進(jìn)行估計(jì)并搜索，然而普通的監(jiān)控照片通常只是平面的照片，對(duì)于犯罪分子的面部全貌并不能夠準(zhǔn)確的估計(jì)。采用雙目立體視覺(jué)，可以通過(guò)左右監(jiān)控圖片恢復(fù)出犯罪分子的面部全貌，從而進(jìn)行準(zhǔn)確的人物面貌搜索。

6、其他

雙目立體視覺(jué)越來(lái)越多的被應(yīng)用在我們的平常生活當(dāng)中，例如，虛擬現(xiàn)實(shí)構(gòu)造空間配合虛擬現(xiàn)實(shí)技術(shù)，雙目立體視覺(jué)可以恢復(fù)出難以示眾的物品，例如，文物，墨寶等高價(jià)值易破損的物品。從而可以建造出虛擬文化館。

（四）研究?jī)?nèi)容

雙目和激光傳感器構(gòu)成的測(cè)量系統(tǒng)對(duì)被測(cè)物體進(jìn)行三維重建，測(cè)量系統(tǒng)由2個(gè)攝像機(jī)和激光投射器構(gòu)成，將激光投射到被測(cè)物體表面。攝像機(jī)采集帶有激光的被測(cè)圖像，提取光條中心，再根據(jù)雙目立體視覺(jué)參數(shù)，利用三角測(cè)量法原理在立體視覺(jué)模型下獲取被測(cè)物特征點(diǎn)的三維坐標(biāo)。

整個(gè)物體的三維重建

為實(shí)現(xiàn)工業(yè)中汽車、飛機(jī)、骨骼和模具外形等物體的三維重建，介紹了基于激光線掃描的雙目立體視覺(jué)三維測(cè)量系統(tǒng)。2個(gè)攝像機(jī)同時(shí)攝取一個(gè)掃描激光光條圖像，經(jīng)過(guò)圖像預(yù)處理、光條特征點(diǎn)提取、圖像匹配，利用視差計(jì)算出光條上所有點(diǎn)的坐標(biāo)值，即光條處物體的三維信息。通過(guò)坐標(biāo)系之間的轉(zhuǎn)換把各光條統(tǒng)一到同一世界坐標(biāo)系下，得到整個(gè)物體的三維重建。三維激光掃描測(cè)量系統(tǒng)如下圖所示，硬件部分包括雙CCD攝像機(jī)，半導(dǎo)體激光器，電控平移臺(tái)以及步進(jìn)電機(jī)控制箱。

測(cè)量系統(tǒng)結(jié)構(gòu)組成

系統(tǒng)中用到精密電控平移臺(tái)，它通過(guò)步進(jìn)電機(jī)驅(qū)動(dòng)，實(shí)現(xiàn)位移調(diào)整自動(dòng)化。根據(jù)平移臺(tái)控制箱設(shè)定的位移量和速度，可以控制滑塊在導(dǎo)軌上滑動(dòng)的距離及速度，即控制物體掃描的范圍及密度。雙攝像機(jī)與半導(dǎo)體激光器組成三維視覺(jué)傳感器。控制箱控制步進(jìn)電機(jī)使平移臺(tái)在導(dǎo)軌上滑動(dòng)，帶動(dòng)三維傳感器系統(tǒng)對(duì)物體掃描拍攝，就可以三維重建出整個(gè)物體的三維點(diǎn)云數(shù)據(jù)。