工業(yè)機(jī)器人視覺(jué)檢測(cè)系統(tǒng)研究

工業(yè)機(jī)器人視覺(jué)檢測(cè)系統(tǒng)研究

基于視覺(jué)的工業(yè)機(jī)器人定位抓取技術(shù)在現(xiàn)代化工業(yè)進(jìn)程中起到極其重要的作用，本文在定位抓取的基礎(chǔ)上研究了云端激光打標(biāo)系統(tǒng)中與計(jì)算機(jī)視覺(jué)相關(guān)的機(jī)器人檢測(cè)系統(tǒng)內(nèi)容，將國(guó)產(chǎn)某型號(hào)六自由度工業(yè)機(jī)器人與視覺(jué)引導(dǎo)技術(shù)相結(jié)合應(yīng)用于目標(biāo)正反面區(qū)分。該系統(tǒng)經(jīng)實(shí)驗(yàn)驗(yàn)證，能夠識(shí)別帶黑色標(biāo)記的目標(biāo)工件并定位抓取，完成了區(qū)分工件正反面的規(guī)定任務(wù)，具有工廠生產(chǎn)的實(shí)際意義。

就目前來(lái)說(shuō)，國(guó)內(nèi)外針對(duì)視覺(jué)抓取系統(tǒng)的研究方向主要有1）手眼標(biāo)定方法2）特征提取算法3）與深度學(xué)習(xí)相結(jié)合的視覺(jué)抓取方法。手眼標(biāo)定技術(shù)目前發(fā)展比較成熟，產(chǎn)生了深遠(yuǎn)的影響，比如早期Tsai-Lenz、Navy等手眼標(biāo)定算法。YingWang等設(shè)計(jì)的清障機(jī)器人通過(guò)單雙目結(jié)合組成混合視覺(jué)系統(tǒng)對(duì)目標(biāo)物進(jìn)行特征提取。在數(shù)據(jù)引導(dǎo)的方法下，SergryLevine將深度學(xué)習(xí)技術(shù)應(yīng)用到機(jī)器人區(qū)分任務(wù)中，利用相機(jī)拍攝到的圖像訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)機(jī)械手在空間的運(yùn)動(dòng)，該方法能夠有效并且實(shí)時(shí)控制機(jī)器人，成功掌握新的抓取目標(biāo)，最后通過(guò)連續(xù)伺服矯正錯(cuò)誤。而國(guó)內(nèi)視覺(jué)抓取系統(tǒng)的研究偏向于幾何引導(dǎo)的方法，王朋強(qiáng)將雙目視覺(jué)系統(tǒng)和機(jī)械臂結(jié)合，實(shí)現(xiàn)了對(duì)目標(biāo)的識(shí)別定位以及抓取。在國(guó)家的支持下，國(guó)內(nèi)也已有許多家公司以及科研單位在機(jī)器視覺(jué)領(lǐng)域取得了一系列成果，逐步的將機(jī)器視覺(jué)技術(shù)引入到對(duì)機(jī)器人的控制當(dāng)中。

1機(jī)器人視覺(jué)檢測(cè)系統(tǒng)

機(jī)器人視覺(jué)檢測(cè)系統(tǒng)在計(jì)算機(jī)端對(duì)智能相機(jī)采集到的工作區(qū)域的圖像進(jìn)行預(yù)處理，快速地識(shí)別并定位圖像中的目標(biāo)工件，根據(jù)相機(jī)標(biāo)定參數(shù)，結(jié)合目標(biāo)工件的像素坐標(biāo)計(jì)算出六自由度工業(yè)機(jī)器人坐標(biāo)系中的位置坐標(biāo)，并將坐標(biāo)信息發(fā)送給機(jī)器人控制器，機(jī)器人執(zhí)行命令程序?qū)崿F(xiàn)抓取動(dòng)作。系統(tǒng)檢測(cè)任務(wù)利用視覺(jué)軟件來(lái)完成，通過(guò)計(jì)算機(jī)處理，只選擇反面朝上工件作為目標(biāo)工件。

2相機(jī)標(biāo)定

相機(jī)標(biāo)定是一種利用所拍攝到工作區(qū)域的二維圖像信息來(lái)建立其與目標(biāo)工件三維空間位置坐標(biāo)對(duì)應(yīng)關(guān)系的技術(shù)，是識(shí)別并定位目標(biāo)物的基礎(chǔ)也是最重要的工作之一。基于視覺(jué)的工業(yè)機(jī)器人檢測(cè)系統(tǒng)使用的是單目相機(jī)，標(biāo)定的目的是尋找相機(jī)的內(nèi)外參數(shù)。一般來(lái)說(shuō)，相機(jī)的標(biāo)定可以分為兩種方法：自標(biāo)定和依賴于參照物標(biāo)定。相機(jī)自標(biāo)定是通過(guò)拍攝周圍物體，依據(jù)數(shù)字圖像處理相關(guān)方法以及幾何計(jì)算來(lái)調(diào)節(jié)相機(jī)參數(shù)，標(biāo)定結(jié)果往往誤差較大，不適用于高精度的應(yīng)用場(chǎng)合。依靠參照物的相機(jī)標(biāo)定相比自標(biāo)定方法精度更高，通過(guò)相機(jī)成像，依據(jù)數(shù)字圖像處理方法，空間計(jì)算相機(jī)的內(nèi)外參數(shù)。本文采用依賴于參照物的方式進(jìn)行相機(jī)標(biāo)定。

圖1標(biāo)定九宮格模板圖

圖2相機(jī)標(biāo)定結(jié)果圖
3目標(biāo)定位檢測(cè)

目標(biāo)檢測(cè)定位是機(jī)器人實(shí)現(xiàn)自動(dòng)抓取的基礎(chǔ)，目前存在兩種目標(biāo)檢測(cè)的算法：基于模板匹配和基于特征匹配?？紤]本文所研究的機(jī)器人抓取系統(tǒng)的應(yīng)用場(chǎng)景，目標(biāo)為統(tǒng)一鋁制名片盒（盒面為矩形），故本文采用基于模板匹配的目標(biāo)檢測(cè)定位方法，計(jì)算獲取目標(biāo)工件的中心點(diǎn)坐標(biāo)及其姿態(tài)。

4目標(biāo)工件中心點(diǎn)坐標(biāo)

基于模板匹配的目標(biāo)檢測(cè)定位方法主要是將一個(gè)包含目標(biāo)形狀的圖像與相機(jī)采集圖像進(jìn)行匹配，其中獲取目標(biāo)工件（名片盒）中心點(diǎn)位置坐標(biāo)的步驟如下：

（1） 設(shè)置學(xué)習(xí)區(qū)域。在圖像中設(shè)置學(xué)習(xí)的感興趣區(qū)域，包括區(qū)域的大小和位置信息，使該區(qū)域盡可能貼近圍繞目標(biāo)工件模型即名片盒子的邊緣，選擇該區(qū)域作為模板區(qū)域。

（2） 設(shè)置搜索參數(shù)。針對(duì)名片盒在目標(biāo)區(qū)域內(nèi)的擺放位置是任意姿態(tài)的情況，需要設(shè)置搜索限制角度參數(shù)，該角度參數(shù)是搜索過(guò)程中允許旋轉(zhuǎn)的最大限度。

（3） 設(shè)置模型位置參考點(diǎn)。名片盒模型中心點(diǎn)是機(jī)器手臂要抓取的位置點(diǎn)，學(xué)習(xí)區(qū)域貼近名片盒邊緣，故可將學(xué)習(xí)區(qū)域的中心位置點(diǎn)作為模型位置的中心點(diǎn)。

5學(xué)習(xí)掩膜區(qū)分工件正反面

本文的研究目標(biāo)是利用標(biāo)記區(qū)分待激光打印名片盒的正反面，如圖7所示將名片盒背面做黑色標(biāo)記，以此區(qū)分工件的正反面，機(jī)器人抓取工作區(qū)域內(nèi)的帶黑色標(biāo)記名片盒，在激光打標(biāo)區(qū)設(shè)定位置翻轉(zhuǎn)手臂，使名片盒正面朝上后完成激光打標(biāo)任務(wù)。

6機(jī)器人抓取運(yùn)動(dòng)

本研究所用的六自由度工業(yè)機(jī)器人開(kāi)發(fā)模式采用WinCE嵌入式系統(tǒng)標(biāo)準(zhǔn)開(kāi)發(fā)模式：在宿主計(jì)算機(jī)上進(jìn)行程序開(kāi)發(fā)，通過(guò)以太網(wǎng)將可執(zhí)行程序下載到GUC一體化嵌入式運(yùn)動(dòng)控制器中使用，程序中包含IO指令、控制指令、移動(dòng)指令、演算指令等。

常用的指令如：

JUMP跳轉(zhuǎn)指令；

CALL調(diào)用子程序指令；

IFELSEWHILEPAUSE判斷暫停語(yǔ)句。示教器通過(guò)編程，使用這些指令來(lái)控制

機(jī)器人的運(yùn)動(dòng)從而完成期望的系列動(dòng)作

7實(shí)驗(yàn)分析

本研究的工業(yè)機(jī)器人視覺(jué)檢測(cè)系統(tǒng)使用國(guó)產(chǎn)某型號(hào)六自由度工業(yè)機(jī)器人、某型號(hào)工業(yè)智能相機(jī)和激光打標(biāo)機(jī)，通過(guò)以太網(wǎng)進(jìn)行數(shù)據(jù)通訊，通過(guò)智能相機(jī)的配套軟件圖形化開(kāi)發(fā)平臺(tái)進(jìn)行圖片處理，實(shí)現(xiàn)機(jī)器人的檢測(cè)抓取動(dòng)作。為了驗(yàn)證本文所研究的使用帶掩膜學(xué)習(xí)模板進(jìn)行帶黑色標(biāo)記的工件區(qū)分系統(tǒng)的實(shí)際效果及可行性，做出以下實(shí)驗(yàn)。本系統(tǒng)可準(zhǔn)確的完成圖像采集、顯示、相機(jī)標(biāo)定、模板采集、目標(biāo)定位、機(jī)器人控制的模塊功能。

8總結(jié)

工業(yè)機(jī)器人視覺(jué)檢測(cè)系統(tǒng)的研究目的在于有針對(duì)性的提升工廠生產(chǎn)效率。當(dāng)工廠收到云端新訂單任務(wù)，MES系統(tǒng)進(jìn)行計(jì)劃排產(chǎn)。本文基于一套云端激光打標(biāo)系統(tǒng)進(jìn)行研究，結(jié)合計(jì)算機(jī)視覺(jué)技術(shù)知識(shí)，利用帶掩膜學(xué)習(xí)模板進(jìn)行目標(biāo)匹配的方法實(shí)現(xiàn)了對(duì)規(guī)則的目標(biāo)工件正反面區(qū)分，達(dá)到預(yù)期檢測(cè)效果。本文所研究的機(jī)器人檢測(cè)系統(tǒng)可以應(yīng)用在實(shí)際的生產(chǎn)環(huán)境中，選擇正確的工件，提高加工產(chǎn)品的效率和質(zhì)量。總的來(lái)說(shuō)，基于視覺(jué)的工業(yè)機(jī)器人檢測(cè)系統(tǒng)是機(jī)器視覺(jué)技術(shù)和機(jī)器人控制技術(shù)的結(jié)合，是工業(yè)領(lǐng)域生產(chǎn)過(guò)程由自動(dòng)化向數(shù)字化、智能化發(fā)展的必經(jīng)之路。