基于點(diǎn)云的視覺(jué)引導(dǎo)系統(tǒng)

一、項(xiàng)目介紹

1.項(xiàng)目概述

功能目標(biāo)是基于點(diǎn)云的軌跡引導(dǎo)，即無(wú)論待引導(dǎo)物體以何種位姿擺放（要求該位姿在機(jī)械臂的行程范圍內(nèi)），視覺(jué)系統(tǒng)均能定位到該物體，并引導(dǎo)機(jī)械臂按需要的軌跡實(shí)現(xiàn)一定的工藝流程（比如鞋底涂膠等）。

應(yīng)用場(chǎng)景是鞋底涂膠等需要軌跡引導(dǎo)的工業(yè)現(xiàn)場(chǎng)。經(jīng)過(guò)四十多年的改革開放，我國(guó)制鞋產(chǎn)業(yè)迅猛發(fā)展，但大而不強(qiáng)，主要依靠大量廉價(jià)勞動(dòng)力維持生產(chǎn)。而鞋底涂膠作為制鞋的重要工序，目前主要依靠工人手工生產(chǎn)或半自動(dòng)設(shè)備生產(chǎn)，噴涂質(zhì)量良莠不齊，生產(chǎn)效率低，并且粘膠劑揮發(fā)出的毒性氣體對(duì)操作工人的身體健康有著嚴(yán)重的威脅。采用機(jī)器替代人工實(shí)現(xiàn)自動(dòng)化噴膠不僅能有效避免上述問(wèn)題的產(chǎn)生，而且能夠有效地控制膠膜厚度和噴涂面積，能夠保證膠膜的均勻性和厚度的一致性，提高膠粘質(zhì)量?；谑窘袒螂x線編程方式控制的執(zhí)行機(jī)構(gòu)，一旦工作環(huán)境或目標(biāo)對(duì)象發(fā)生變化，機(jī)器人不能及時(shí)適應(yīng)這些變化，從而導(dǎo)致噴膠作業(yè)失敗。目前，以機(jī)器視覺(jué)為核心的引導(dǎo)加工技術(shù)正在逐步成為現(xiàn)代工業(yè)生產(chǎn)中的關(guān)鍵技術(shù)。相較于二維機(jī)器視覺(jué)引導(dǎo)技術(shù)，三維機(jī)器視覺(jué)技術(shù)不僅能夠獲取物體表面的深度等形貌信息，而且能夠在實(shí)現(xiàn)對(duì)物體識(shí)別定位的同時(shí)根據(jù)物體姿態(tài)實(shí)時(shí)調(diào)整運(yùn)動(dòng)方式。在工業(yè)生產(chǎn)測(cè)量環(huán)境中，采用面結(jié)構(gòu)光掃描的三維視覺(jué)測(cè)量技術(shù)以其抗干擾性強(qiáng)、精度較高等一系列優(yōu)勢(shì)，得到了越來(lái)越廣泛的應(yīng)用。在鞋制品生產(chǎn)過(guò)程中，采用面結(jié)構(gòu)光掃描方式的三維視覺(jué)引導(dǎo)技術(shù)能夠?qū)崟r(shí)感知鞋模產(chǎn)品，實(shí)現(xiàn)對(duì)任意款式鞋子噴膠的需求，能夠適應(yīng)未來(lái)個(gè)性化制鞋發(fā)展的需要。

2.系統(tǒng)構(gòu)成

系統(tǒng)構(gòu)成及實(shí)物圖如下：

序號(hào)構(gòu)成選型備注

1點(diǎn)云相機(jī)奧比中光的Astra Pro深度相機(jī)

2開發(fā)板奧比中光的Zora P1開發(fā)板也可使用普通的PC

3機(jī)械臂KUKA KR 210 R2700 extra也可使用其他六軸工業(yè)機(jī)器人

4引導(dǎo)設(shè)備M8螺栓條件有限，用螺栓代替膠槍

5待引導(dǎo)物品鞋墊

3.產(chǎn)品化

本項(xiàng)目實(shí)際引導(dǎo)精度在5mm左右，完全能滿足工業(yè)現(xiàn)場(chǎng)下cm級(jí)的引導(dǎo)需求。

如果需要產(chǎn)品化，還需要做的工作是做開發(fā)板與機(jī)械臂之間的通訊。本項(xiàng)目使用的是kuka機(jī)械臂，由于條件受限，沒(méi)有實(shí)現(xiàn)通訊。如果是類似UR機(jī)械臂等原生支持TCP通訊的，只要寫個(gè)簡(jiǎn)單的socket程序即可，并不需要額外的硬件。

4.未來(lái)市場(chǎng)潛力

近些年來(lái)，隨著機(jī)器視覺(jué)和工業(yè)機(jī)器人得到越來(lái)越廣泛的使用，機(jī)器換人的趨勢(shì)日趨明顯。工業(yè)機(jī)器人可以準(zhǔn)確高效地完成重復(fù)性的工作，但缺乏柔性，故需要添加機(jī)器視覺(jué)系統(tǒng)加以輔助。而2D圖像缺乏深度信息，常常難以滿足六自由度的引導(dǎo)要求，故需要3D點(diǎn)云作為數(shù)據(jù)來(lái)源。

本項(xiàng)目《基于點(diǎn)云的視覺(jué)引導(dǎo)系統(tǒng)》，就是基于奧比中光的Astra Pro深度相機(jī)和Zora P1開發(fā)板，實(shí)現(xiàn)基于點(diǎn)云的軌跡引導(dǎo)。軌跡引導(dǎo)已廣泛應(yīng)用于汽車玻璃涂膠、鞋底涂膠等各個(gè)領(lǐng)域，未來(lái)市場(chǎng)潛力巨大。

此外，基于本項(xiàng)目使用引導(dǎo)方法的擴(kuò)展，也可實(shí)現(xiàn)零件抓取、零件裝配等更多的引導(dǎo)需求，本項(xiàng)目只是受限于手頭的條件（沒(méi)有與機(jī)械臂匹配的夾爪），沒(méi)有進(jìn)行相關(guān)的嘗試，但原理層面是共通的。

二、關(guān)鍵技術(shù)創(chuàng)新點(diǎn)

本項(xiàng)目的難點(diǎn)與創(chuàng)新點(diǎn)主要在于，怎么在各方面條件受限的情況下，盡量提升最后的引導(dǎo)精度。

條件受限包括：

●Astra Pro深度相機(jī)由于MX400芯片的原因，無(wú)法導(dǎo)出相機(jī)參數(shù)，即無(wú)法得到出廠時(shí)的準(zhǔn)確內(nèi)參及外參。

● 手頭沒(méi)有高精度的標(biāo)定板、沒(méi)有紅外光源，難以重新標(biāo)定Astra Pro深度相機(jī)。

● Astra Pro深度相機(jī)的點(diǎn)云精度（3mm @ 1m）遠(yuǎn)沒(méi)有工業(yè)級(jí)點(diǎn)云相機(jī)（0.2mm @ 1m）高。

主要技術(shù)創(chuàng)新點(diǎn)如下：

1.相機(jī)標(biāo)定

相機(jī)標(biāo)定是視覺(jué)系統(tǒng)的基礎(chǔ)，工業(yè)級(jí)的相機(jī)標(biāo)定需要碳纖維（或者玻璃等）的工業(yè)級(jí)標(biāo)定板，保證平整度和角點(diǎn)精度。同時(shí)需要遮住激光器，并使用紅外光源，使得紅外相機(jī)能采集到清晰的標(biāo)定板圖像。

但是，普通開發(fā)者通常不具備上述條件，面臨的情況常常是沒(méi)有標(biāo)定板和紅外光源。為此，本項(xiàng)目使用自制標(biāo)定板，即通過(guò)代碼生成高分辨率的棋盤格圖像，并用打印機(jī)將其打印出來(lái)，貼在平板上。但是由于沒(méi)有紅外光源，紅外相機(jī)只能借助帶激光散斑的激光器的光源來(lái)拍攝標(biāo)定板圖像，帶來(lái)的問(wèn)題是部分角點(diǎn)檢測(cè)的誤差較大。

為了解決這個(gè)問(wèn)題，本項(xiàng)目采用先執(zhí)行一次相機(jī)標(biāo)定，保留重投影誤差小的70%的點(diǎn)，再執(zhí)行一次相機(jī)標(biāo)定。這么做可以明顯降低重投影誤差、提高精度，使用此方法標(biāo)定出的相機(jī)內(nèi)外參通過(guò)深度圖和彩色圖的對(duì)齊來(lái)驗(yàn)證，確實(shí)取得了良好的效果。

2.手眼標(biāo)定

對(duì)于眼在手外的情況，即相機(jī)固定在機(jī)械臂外部，不隨機(jī)械臂運(yùn)動(dòng)，工業(yè)場(chǎng)景下的常用手眼標(biāo)定方法是把標(biāo)定板固定在機(jī)械臂末端，機(jī)械臂帶著標(biāo)定板運(yùn)動(dòng)多個(gè)姿態(tài)，固定在機(jī)械臂外某處的相機(jī)拍攝每個(gè)姿態(tài)下標(biāo)定板的圖像，并記錄機(jī)械臂末端位姿。可以建立閉環(huán)運(yùn)動(dòng)鏈方程，求解的方程AX=XB，A與相機(jī)相關(guān)，B與機(jī)械臂相關(guān)，X為手眼矩陣，表示相機(jī)坐標(biāo)系到機(jī)械臂基坐標(biāo)系的變換關(guān)系。

但是，由于缺乏紅外光源和高精度標(biāo)定板，無(wú)法從帶激光散斑的紅外圖像中準(zhǔn)確提取標(biāo)定板角點(diǎn)，上述常用的手眼標(biāo)定方法難以實(shí)施，故本項(xiàng)目采取一種更為直接的手眼標(biāo)定方法。具體做法是：

● 找到一個(gè)有4個(gè)頂點(diǎn)的物體（如包裝盒），用深度相機(jī)掃描該物體獲得點(diǎn)云，獲取4個(gè)頂點(diǎn)在點(diǎn)云相機(jī)坐標(biāo)系下的坐標(biāo)；

● 把機(jī)械臂的TCP（Tool Center Point，工具中心點(diǎn)）做到引導(dǎo)設(shè)備末端，用引導(dǎo)設(shè)備末端去觸碰那4個(gè)頂點(diǎn)，獲取4個(gè)頂點(diǎn)在機(jī)械臂基座坐標(biāo)系下的坐標(biāo)；

● 通過(guò)4個(gè)頂點(diǎn)在點(diǎn)云相機(jī)坐標(biāo)系下的坐標(biāo)、機(jī)械臂基座坐標(biāo)系下的坐標(biāo)，求解出點(diǎn)云相機(jī)坐標(biāo)系到機(jī)械臂基坐標(biāo)系的變換關(guān)系，完成手眼標(biāo)定。

3.引導(dǎo)思路

本項(xiàng)目實(shí)現(xiàn)的是基于點(diǎn)云的軌跡引導(dǎo)，可以拆解為兩個(gè)過(guò)程：

● 過(guò)程一是定位，即視覺(jué)系統(tǒng)定位到待引導(dǎo)物體；

● 過(guò)程二是引導(dǎo)，即視覺(jué)系統(tǒng)引導(dǎo)機(jī)械臂按需要的軌跡實(shí)現(xiàn)一定的工藝流程。

考慮到Astra Pro深度相機(jī)的點(diǎn)云精度遠(yuǎn)沒(méi)有工業(yè)級(jí)點(diǎn)云相機(jī)高，為了盡量減小點(diǎn)云精度對(duì)最終引導(dǎo)精度的影響，故本項(xiàng)目使用相對(duì)測(cè)量的思想，將過(guò)程一的定位問(wèn)題轉(zhuǎn)化為點(diǎn)云匹配問(wèn)題，將過(guò)程二的引導(dǎo)問(wèn)題轉(zhuǎn)化為在模板位置的軌跡基礎(chǔ)上做機(jī)械臂基坐標(biāo)系的偏移。

4.點(diǎn)云匹配

常見(jiàn)的點(diǎn)云配準(zhǔn)方法有很多，可以分為粗配準(zhǔn)和精配準(zhǔn)兩類，而精配準(zhǔn)中的ICP配準(zhǔn)結(jié)果準(zhǔn)確，但依賴比較好的初值。

本項(xiàng)目的預(yù)設(shè)前提是待引導(dǎo)物體以任意位姿擺放，直接使用ICP很可能會(huì)陷入局部最優(yōu)解，考慮到運(yùn)行速度與實(shí)現(xiàn)難度，故本項(xiàng)目使用FPFH+RANSAC+ICP的點(diǎn)云匹配思路，即使用FPFH+RANSAC作為粗配準(zhǔn)，獲取兩個(gè)點(diǎn)云之間的粗略變換關(guān)系，再以此作為初值，使用ICP作為精配準(zhǔn)，獲取兩個(gè)點(diǎn)云之間的精確變換關(guān)系。

三、實(shí)施過(guò)程

1.機(jī)器人做TCP

六軸工業(yè)機(jī)器人的TCP（Tool Center Point，工具中心點(diǎn)）默認(rèn)在第六軸法蘭末端，需要先將其修改到引導(dǎo)設(shè)備的末端，即修改到螺栓的末端，如下圖：

做TCP常用的方法是4點(diǎn)法，即讓TCP以4個(gè)姿態(tài)去接近同一個(gè)點(diǎn)，從而解算出TCP與第六軸末端的轉(zhuǎn)換關(guān)系。

2.手眼標(biāo)定

固定好深度相機(jī)，使其在整個(gè)實(shí)驗(yàn)過(guò)程中不要移動(dòng)。

準(zhǔn)備一個(gè)有4個(gè)明顯頂點(diǎn)且便于深度相機(jī)獲取點(diǎn)云的物品，如奧比中光深度相機(jī)的包裝盒。將當(dāng)前的工具坐標(biāo)系切換為剛剛做完TCP保存的坐標(biāo)系，此時(shí)機(jī)器人示教器上的位姿為螺栓末端的位姿。

控制機(jī)械臂末端的螺栓分別靠近物品的4個(gè)頂點(diǎn)，并記錄當(dāng)前的位姿，再用深度相機(jī)獲取物品的點(diǎn)云，記錄4個(gè)頂點(diǎn)的坐標(biāo)，如下圖：

通過(guò)4個(gè)頂點(diǎn)在點(diǎn)云相機(jī)坐標(biāo)系下的坐標(biāo)、機(jī)械臂基座坐標(biāo)系下的坐標(biāo)，求解出點(diǎn)云相機(jī)坐標(biāo)系到機(jī)械臂基坐標(biāo)系的變換關(guān)系。值得注意的是，需要將坐標(biāo)統(tǒng)一到mm單位下。

3.點(diǎn)云匹配 & 實(shí)施引導(dǎo)

準(zhǔn)備一個(gè)待引導(dǎo)物品，即鞋墊。

采集一幅點(diǎn)云，根據(jù)點(diǎn)云的原點(diǎn)和手眼關(guān)系，做可視化，如下圖，從直觀上驗(yàn)證手眼關(guān)系是否正確。

實(shí)施步驟如下：

1.掃描零位的鞋墊，濾除無(wú)關(guān)的點(diǎn)云，作為模板點(diǎn)云。（下圖紅色）

2.把當(dāng)前基坐標(biāo)系的值全部賦0。

3.在零位制作模板軌跡。

4.改變鞋墊的位姿，重新獲取當(dāng)前的鞋墊點(diǎn)云。（下圖黑色）

5.執(zhí)行點(diǎn)云匹配，計(jì)算返回給機(jī)械臂基坐標(biāo)系的偏移量，手動(dòng)通過(guò)示教器賦值給當(dāng)前基坐標(biāo)系。

6.機(jī)器人執(zhí)行修正后的軌跡，完成軌跡引導(dǎo)