基于機(jī)器視覺引導(dǎo)使機(jī)械臂完成自主抓取的系統(tǒng)方案

摘要：為了減少機(jī)械臂在產(chǎn)品分類、抓取過程中的執(zhí)行時(shí)間，降低定位誤差，以提高生產(chǎn)效率。針對(duì)傳統(tǒng)機(jī)器人僅能執(zhí)行預(yù)定義軌跡任務(wù)的局限性，本文提出一種結(jié)合視覺識(shí)別系統(tǒng)的機(jī)械臂抓取方案。該方案中的視覺識(shí)別系統(tǒng)可同時(shí)檢測(cè)待抓取目標(biāo)的顏色和形狀屬性，并采用模板匹配法對(duì)目標(biāo)物體進(jìn)行輪廓匹配；而執(zhí)行抓取任務(wù)的執(zhí)行裝置采用六軸機(jī)械臂xArm；最后，使用眼在手上(Eye-in-Hand)視覺-機(jī)械臂方案實(shí)現(xiàn)對(duì)多個(gè)物體的識(shí)別與抓取，并根據(jù)設(shè)定規(guī)則進(jìn)行碼垛，測(cè)試結(jié)果驗(yàn)證了所提方案的有效性和魯棒性。

01

引言
? 近年來，隨著人類對(duì)工業(yè)現(xiàn)代化生產(chǎn)、深海探險(xiǎn)、太空探索、環(huán)境監(jiān)測(cè)、遠(yuǎn)程醫(yī)療、智能家居等領(lǐng)域的深入研究，以及應(yīng)用需求的多樣化。

高速、靈活的多自由度機(jī)械臂如同人類手臂，在生產(chǎn)、生活中逐漸扮演重要角色，機(jī)械臂控制技術(shù)向智能化發(fā)展也已經(jīng)成為必然趨勢(shì)。

此外，視覺是人類觀察與感知周圍環(huán)境的重要手段。據(jù)統(tǒng)計(jì)，在人類接受的信息中，通過肉眼觀測(cè)獲取信息的占比高達(dá)75%，這充分表明人體視覺功能的重要性。 將機(jī)器視覺技術(shù)與機(jī)械臂控制相結(jié)合，可解決機(jī)械臂需要自動(dòng)判別和在一定自主性的工作任務(wù)時(shí)顯得捉襟見肘的問題，以及機(jī)械臂在復(fù)雜工作環(huán)境和工作任務(wù)中靈活性不足的問題，從本質(zhì)上提高機(jī)械臂的自主能力和智能程度，增強(qiáng)了機(jī)械臂的適應(yīng)性和實(shí)用性。 為此，本文提出了一種基于機(jī)器視覺的機(jī)械臂智能抓取系統(tǒng)：采用視覺傳感器代替人眼來做測(cè)量與判別的技術(shù)，利用計(jì)算機(jī)模擬人的識(shí)別標(biāo)準(zhǔn)，去分析理解圖像，并尋找目標(biāo)物體和目標(biāo)地點(diǎn)，在明確工作目標(biāo)后向機(jī)械臂發(fā)出相應(yīng)分析結(jié)果，并控制機(jī)械臂完成自主抓取任務(wù)。

02

智能抓取系統(tǒng)構(gòu)成

? 2.1 ? 硬件系統(tǒng)

如圖2.1所示，智能抓取系統(tǒng)硬件設(shè)備主要是由計(jì)算機(jī)、機(jī)械臂系統(tǒng)，以及固定于機(jī)械臂末端的視覺系統(tǒng)(眼在手上[Eye-in-Hand])和末端執(zhí)行器四部分組成。 相對(duì)于眼在手外(Eye-to-Hand)的安裝方式，采用眼在手上(Eye-in-Hand)安裝方式，智能抓取系統(tǒng)的視場(chǎng)可以隨著機(jī)械臂的運(yùn)動(dòng)而發(fā)生變化，可增加視覺識(shí)別的范圍。 智能抓取系統(tǒng)在執(zhí)行抓取任務(wù)過程中，視覺系統(tǒng)識(shí)別到抓取目標(biāo)的位姿后，將數(shù)據(jù)傳遞給計(jì)算機(jī)進(jìn)行處理（坐標(biāo)變換等），最后由機(jī)械臂系統(tǒng)實(shí)現(xiàn)對(duì)目標(biāo)物體的抓取、擺放。?? ? ? ? ? ? ? ? ? ? ? ? ? ??

圖 2.1 智能抓取系統(tǒng)組成

機(jī)械臂系統(tǒng)由控制器、六軸機(jī)械臂和末端執(zhí)行器（吸盤）組成。機(jī)械臂所能完成的任務(wù)隨自身結(jié)構(gòu)差異而有較大區(qū)別，故本次實(shí)驗(yàn)采用xArm 6軸機(jī)械臂（工作空間足夠大），可滿足本次抓取任務(wù)要求。此外，機(jī)械臂可識(shí)別控制器指令，實(shí)現(xiàn)機(jī)械臂的運(yùn)動(dòng)規(guī)劃以及末端執(zhí)行器（吸盤）的開關(guān)。 視覺系統(tǒng)采用Intel RealSense D415視覺傳感器，以實(shí)現(xiàn)圖像采集和識(shí)別定位功能。Realsense D415是Intel在2018年推出的一款深度相機(jī)，其擁有大約70度的視場(chǎng)和200萬像素成像器，相比于其他擁有同樣特質(zhì)的攝像頭，D415具有重量輕、精度高、易校準(zhǔn)、成本低的優(yōu)點(diǎn)。

2.2 ? 軟件框架

智能抓取系統(tǒng)軟件框架主要基于機(jī)器人操作系統(tǒng)ROS。

ROS是一個(gè)適用于機(jī)器人開發(fā)的開源元操作系統(tǒng)，主要在Linux環(huán)境下工作。它集成了大量的工具、庫、協(xié)議，提供了操作系統(tǒng)應(yīng)有的服務(wù)，包括硬件抽象，底層設(shè)備控制，進(jìn)程間消息傳遞，以及包管理，極大降低了機(jī)器人的開發(fā)門檻。本文使用ROS作為操作智能抓取系統(tǒng)的基礎(chǔ)軟件平臺(tái)，并將操作過程中所有的步驟串起來，如圖2.2所示。

圖 2.2?智能抓取系統(tǒng)軟件框架

視覺系統(tǒng)部分：目標(biāo)識(shí)別與定位功能采用計(jì)算機(jī)視覺庫OpenCV開發(fā)（OpenCV是一個(gè)跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫，可以運(yùn)行在Linux等多操作系統(tǒng)上，具有輕量、高效等優(yōu)點(diǎn)。）本項(xiàng)目在Linux系統(tǒng)下基于ROS平臺(tái)采用OpenCV進(jìn)行目標(biāo)物體識(shí)別、定位（下一章節(jié)展開介紹）。

機(jī)械臂控制系統(tǒng)：機(jī)械臂運(yùn)動(dòng)規(guī)劃過程中，所有節(jié)點(diǎn)之間的通信通過專用的ROS話題完成。要控制機(jī)械臂對(duì)目標(biāo)的抓取，需要運(yùn)行逆運(yùn)動(dòng)學(xué)算法節(jié)點(diǎn)，讀取到末端執(zhí)行器應(yīng)到達(dá)的位姿，并計(jì)算所需關(guān)節(jié)角度位置，上述控制信息在單獨(dú)的話題中發(fā)布，由控制器讀取后實(shí)現(xiàn)機(jī)械臂的運(yùn)動(dòng)。（有關(guān)機(jī)械臂正、逆運(yùn)動(dòng)學(xué)的相關(guān)理論知識(shí)具體詳情可見Zippen-Huang/RobotTechCooker github倉庫RobotTechBook分支的《機(jī)器人學(xué)導(dǎo)論》第三章、第四章，后續(xù)也會(huì)安排機(jī)械臂的運(yùn)動(dòng)學(xué)模型分析）。

綜上，視覺系統(tǒng)在識(shí)別、定位到目標(biāo)物體后通過發(fā)布話題服務(wù)實(shí)現(xiàn)機(jī)械臂的抓取、擺放等運(yùn)動(dòng)規(guī)劃任務(wù)。

03

圖像識(shí)別與定位分析

? 對(duì)于基于機(jī)器視覺的機(jī)械臂抓取系統(tǒng)而言，其首要任務(wù)是能夠準(zhǔn)確的識(shí)別與定位目標(biāo)物塊，這是影響最終抓取成功率的重要因素。 為了精確獲取目標(biāo)在三維空間中的坐標(biāo)，目標(biāo)物體識(shí)別與定位的主要過程如圖 3.1所示，接下來做詳細(xì)分析。

圖 3.1 識(shí)別定位流程

3.1 ? 圖像預(yù)處理

因?yàn)榄h(huán)境背景復(fù)雜性，采集到的圖像中會(huì)存在較多的無關(guān)干擾信息，這會(huì)對(duì)圖像的處理和識(shí)別造成一定程度的影響，圖像預(yù)處理可以有效地濾除圖像中的干擾信息，突顯出識(shí)別所需的圖像特征信息。

故，設(shè)計(jì)圖像預(yù)處理算法對(duì)Intel RealSense D415采集到的圖像進(jìn)行預(yù)處理，能夠有效地突出環(huán)境背景下目標(biāo)物體待檢測(cè)特征參數(shù)、降低目標(biāo)識(shí)別算法復(fù)雜度，以提高識(shí)別檢測(cè)效率。

3.1.1 圖像灰度化

圖像灰度化簡(jiǎn)單描述就是將彩色的圖像轉(zhuǎn)化為灰度圖像，減少通道帶來的非必要特征，數(shù)據(jù)降維，處理更高效，因此圖像灰度化有益于提取目標(biāo)物體特征和分割目標(biāo)圖像，而被廣泛用于機(jī)器視覺領(lǐng)域。

3.1.2 圖像濾波

濾波的主要目的是盡可能保證圖像原始細(xì)節(jié)的前提下抑制圖中的干擾噪聲，其效果將對(duì)接下來的圖像處理產(chǎn)生直接的影響，因此選擇一個(gè)合適的濾波方法至關(guān)重要。

常用的圖像濾波方法有：中值濾波、高斯濾波、KNN濾波、最大均勻性平滑濾波等。在目標(biāo)檢測(cè)應(yīng)用中對(duì)圖像進(jìn)行降噪處理的方法被廣泛使用的有中值濾波、均值濾波以及高斯濾波三種方法： 其中，中值濾波是一種非線性的濾波方法，該方法的中心思想就是通過某像素點(diǎn)特定領(lǐng)域內(nèi)的中值去代替該像素的原始點(diǎn)，從而使圖像的處理效果更加平滑。 均值濾波是經(jīng)典線性濾波方法的代表，該方法的中心思想就是將圖像中某一個(gè)點(diǎn)的像素值用這個(gè)點(diǎn)的灰度值和與其相鄰像素點(diǎn)灰度值的平均值來代替。均值濾波往往帶來圖像質(zhì)量變差的問題，圖像選取的鄰域越大，噪聲消除的效果也就越差。高斯濾波通俗點(diǎn)說就是像素點(diǎn)的值通過其自身及周圍的點(diǎn)加權(quán)平均所得到新的像素點(diǎn)。該方法在消除高斯噪聲方面有很好的表現(xiàn)。 通過比較發(fā)現(xiàn)均值濾波后的圖像盡管能很好的保留物體信息特征，但是邊緣信息被弱化，不利于后續(xù)的目標(biāo)物體輪廓檢測(cè)；而高斯濾波方法雖然能夠抑制高斯噪聲，但是過于平滑，導(dǎo)致濾波后的圖像信息缺失嚴(yán)重，圖片較為模糊；在實(shí)驗(yàn)環(huán)境椒鹽噪聲濃度較大的條件下，使用中值濾波后的圖像效果最好，有效地抑制了圖像的噪聲干擾，同時(shí)避免了圖像邊緣信息的缺失。

3.1.3 閾值分割

圖像分割是依據(jù)某種準(zhǔn)則將圖像分割成不同區(qū)域再選取目標(biāo)區(qū)域的過程。常用的圖像分割方法有三種：基于區(qū)域的分割、基于閾值的分割和基于特定理論的分割。

基于實(shí)驗(yàn)室環(huán)境環(huán)境噪音、燈光亮度等影響因素下，經(jīng)過灰度化和圖像濾波等處理之后，目標(biāo)物體與背景圖像灰度值有較大差異，因此可以選用閾值法進(jìn)行分割圖像，能更簡(jiǎn)單有效地分割出物體。圖像預(yù)處理中常見的閾值分割算法有以下幾種： OTSU分割法：OTSU分割法又稱為最大類間方差法，實(shí)現(xiàn)思想是利用目標(biāo)圖像與背景的二值化特性差異將兩者區(qū)別開。OSTU法通過自適應(yīng)方法計(jì)算目標(biāo)與背景間的最大類間方差，從而確定最佳閾值。 最小誤差法：最小誤差法屬于一種基于貝葉斯最小誤差分類算法的自適應(yīng)閾值分割法。其核心思想是根據(jù)背景和目標(biāo)對(duì)象的像素占圖像總像素比例，計(jì)算其混合概率密度并確定分割閾值，然后再計(jì)算出目標(biāo)對(duì)象與背景之間像素點(diǎn)的錯(cuò)誤分類概率，當(dāng)概率結(jié)果最小時(shí)，即可得到此時(shí)的閾值就是最佳閾值。 迭代閾值法：迭代閾值法是根據(jù)原始圖像的灰度直方圖尋找一個(gè)近似最佳閾值T，將圖像分成兩個(gè)部分，分別求取兩個(gè)部分的平均灰度值Ta和Tb，把兩個(gè)值的平均值作為新的閾值T1，繼續(xù)重復(fù)以上步驟，直到Ta和Tb穩(wěn)定位置，此時(shí)的T1即為最佳分割閾值。

本項(xiàng)目分別采用了迭代閾值法、最小誤差法和OTSU分割法，發(fā)現(xiàn)使用OTSU分割法的效果更好，與背景成功分離并且輪廓干凈清晰沒有噪點(diǎn)，實(shí)驗(yàn)結(jié)果如?圖 3.2所示。

圖 3.2 樣本分析結(jié)果圖

3.2 ? 特征提取

通過圖像預(yù)處理只能獲取所有目標(biāo)物體的二值化圖像，要實(shí)現(xiàn)目標(biāo)物體的識(shí)別和定位，還需要進(jìn)一步獲取每一個(gè)目標(biāo)物體的顏色特征以及幾何中心像素坐標(biāo)。因此還需要進(jìn)行HSV閾值分割、輪廓提取、模板匹配等算法來完成特征提取操作。

3.2.1 HSV顏色分割

在本次項(xiàng)目中，通過顏色特征就可以對(duì)目標(biāo)物體進(jìn)行初步識(shí)別分類。相較于常見的RGB顏色空間反映出物體具體顏色信息的不直觀性，HSV (Hue:色調(diào), Saturation：飽和度, Value：亮度)顏色空間是一種面向視覺感知的視覺顏色模型，具有更好的辨識(shí)度，故本次實(shí)驗(yàn)采用HSV顏色分割算法對(duì)目標(biāo)物體的顏色進(jìn)行分割。

3.2.2 輪廓提取

為了獲取每一個(gè)目標(biāo)物體的幾何中心像素坐標(biāo)，加之在本次任務(wù)中，由于二值化后目標(biāo)物體的形狀特征都是規(guī)則的幾何形狀，故利用OpenCV視覺開發(fā)庫自帶的輪廓檢測(cè)函數(shù)（cv2.findContours()函數(shù)）即可實(shí)現(xiàn)對(duì)圖像預(yù)處理后的目標(biāo)圖像進(jìn)行輪廓和像素坐標(biāo)提取。為了看到更直觀的效果，將其顯示在原始圖像上，如圖 3.3所示，圖像顯示的是在HSV顏色分割操作得到紅色目標(biāo)物體后對(duì)圖像內(nèi)的所有紅色目標(biāo)物體進(jìn)行了輪廓提取。?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

圖3.3 輪廓提取

3.2.3模板匹配

通過上述操作后，視覺系統(tǒng)雖然得到了每一個(gè)目標(biāo)物體的中心像素坐標(biāo)，但抓取系統(tǒng)依舊無法區(qū)別開每一個(gè)目標(biāo)物體之間的特征。因此，利用OpenCV視覺庫的輪廓識(shí)別函數(shù)找到輪廓后，還需要采用模板匹配算法對(duì)預(yù)處理后的目標(biāo)進(jìn)一步進(jìn)行匹配。

模板匹配算法的基本原理是提供一個(gè)基本模板進(jìn)行比較，在源圖像中找到相似的模板。匹配的過程是將數(shù)據(jù)集中源圖像通過索引與庫中模板（預(yù)先對(duì)不同形狀的目標(biāo)物體進(jìn)行拍照，經(jīng)過二值化處理后作為模板庫。）依次進(jìn)行比較，在匹配過程中將模板與圖像比較計(jì)算結(jié)果存儲(chǔ)在矩陣中，通過評(píng)分模型給出模板在數(shù)據(jù)集中估計(jì)的最佳位置。

本項(xiàng)目要抓取目標(biāo)的形狀特征明顯，采用模板匹配法具有較好的識(shí)別效果?；谳喞卣鞯哪０迤ヅ湫Ч鐖D3.4所示。

圖 3.4 模板匹配效果

3.3 ?

目標(biāo)定位

基于前面步驟的處理結(jié)果，要得到目標(biāo)在世界坐標(biāo)下的位姿，需要進(jìn)行坐標(biāo)轉(zhuǎn)換。該過程中會(huì)涉及到以下四個(gè)坐標(biāo)系：世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系。世界坐標(biāo)系和相機(jī)坐標(biāo)的轉(zhuǎn)換屬于剛體變換（旋轉(zhuǎn)、平移）；相機(jī)坐標(biāo)系和圖像坐標(biāo)系利用相似三角原理實(shí)現(xiàn)坐標(biāo)變換；圖像坐標(biāo)系和像素坐標(biāo)系利用一組線性變換公式即可得到，故通過上述一系列操作就可以得到像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換。 然而，一個(gè)物體與相機(jī)的相對(duì)位置關(guān)系和這個(gè)物體與機(jī)械臂之間的關(guān)系是不一樣的，所以在相機(jī)確定了物體的位置之后，還要把此時(shí)的位置轉(zhuǎn)換成相對(duì)于機(jī)械臂的位置。這個(gè)位置就是由手眼標(biāo)定得出。故手眼標(biāo)定的實(shí)質(zhì)就是建立相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系的映射關(guān)系。 同時(shí)，為確定三維空間中物體表面某點(diǎn)的幾何位置與其在二維平面圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)(內(nèi)參、畸變參數(shù))。在大多數(shù)條件下，這些參數(shù)必須通過實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)求解參數(shù)的過程就稱之為相機(jī)標(biāo)定（或攝像機(jī)標(biāo)定）。 上述通過相機(jī)標(biāo)定得到了三維空間中物體表面某點(diǎn)的幾何位置與其在二維平面圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，同時(shí)前文借助OpenCV視覺庫的cv2.findContours()函數(shù)不但能找到目標(biāo)物體的輪廓，還能得到二維圖像上目標(biāo)輪廓的中心像素坐標(biāo)，再結(jié)合手眼標(biāo)定得到相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系的映射關(guān)系，此時(shí)我們就可以通過矩陣變換實(shí)現(xiàn)依次將目標(biāo)物體從像素坐標(biāo)系到圖像坐標(biāo)，再到相機(jī)坐標(biāo)，最后到世界坐標(biāo)（機(jī)械臂坐標(biāo)）的轉(zhuǎn)換，從而得到目標(biāo)物體在機(jī)械臂坐標(biāo)系下的空間位置。實(shí)現(xiàn)目標(biāo)定位后，利用運(yùn)動(dòng)控制節(jié)點(diǎn)即可實(shí)現(xiàn)機(jī)械臂對(duì)目標(biāo)物體的抓?。ㄒ粴夂浅蓗）。

04

識(shí)別抓取實(shí)驗(yàn)

4.1 ? 環(huán)境搭建

本項(xiàng)目采用ROS2GO作為開發(fā)平臺(tái)，內(nèi)置Ubuntu 18.04，ROS Melodic環(huán)境，即插即用。

圖 4.1 128G內(nèi)存ROS2GO開箱圖片

（1）創(chuàng)建工作空間并配置機(jī)械臂環(huán)境（xArm六軸機(jī)械臂）

圖 4.2 創(chuàng)建工作空間?

圖 4.3 配置機(jī)械臂的工作環(huán)境

（2）配置攝像頭環(huán)境（D415）

圖 4.4 配置深度相機(jī)的工作環(huán)境

4.2 ? 抓取測(cè)試

1)啟動(dòng)機(jī)械臂xArm6 service server節(jié)點(diǎn)，輸入：

$??? roslaunch xarm_bringup xarm6_server.launch robot_ip：= IP地址

$????rosservice?call?/?xarm?/?motion_ctrl?8?1

當(dāng)每個(gè)關(guān)節(jié)使能時(shí)，就會(huì)聽到伺服電機(jī)啟動(dòng)的聲音。

3)依次設(shè)置正確的機(jī)械臂模式（0：POSE）和狀態(tài)（0：READY），輸入：

$?rosservice?call?/?xarm?/?set_state?0
$?rosservice?call?/?xarm?/?set_mode?0

4)將機(jī)械臂運(yùn)動(dòng)到指定位置做好抓取準(zhǔn)備。輸入：

$?rosservice?call?/?xarm?/?move_line?[x,x,x,3.14,0,0]?x?x?0?0

5)啟動(dòng)深度相機(jī)。輸入:

$???roslaunch?realsense2_camera?rs_camera.launch

圖4.5啟動(dòng)抓取腳本

利用上述方法搭建實(shí)驗(yàn)平臺(tái)并進(jìn)行驗(yàn)證：對(duì)桌面上三種形狀（長方體、圓柱體、正方體），三種顏色（紅、綠、藍(lán)）共9個(gè)物體進(jìn)行抓取，并按照相同形狀進(jìn)行碼垛。

圖 4.6是機(jī)械臂完成第一次抓取任務(wù)的過程。圖 4.6（a）為機(jī)械臂抓取初始狀態(tài)示意圖，此時(shí)機(jī)械臂只是使能但未運(yùn)動(dòng)；圖 4.6（b）是機(jī)械臂運(yùn)動(dòng)到抓取姿態(tài)，方便深度相機(jī)拍到清晰的畫面；圖 4.6（c）是機(jī)械臂識(shí)別紅色長方體后進(jìn)行抓取操作；圖 4.6（d）是機(jī)械臂完成抓取并放到預(yù)設(shè)的碼垛區(qū)。

圖 4.6 抓取流程（實(shí)際視頻如下）

05結(jié)論及展望

本項(xiàng)目基于實(shí)驗(yàn)室環(huán)境設(shè)計(jì)了一種采用視覺引導(dǎo)使機(jī)械臂完成自主抓取的系統(tǒng)，對(duì)智能抓取系統(tǒng)的軟硬件、目標(biāo)識(shí)別與定位等相關(guān)技術(shù)進(jìn)行了分析、研究以及實(shí)驗(yàn)測(cè)試，給出了一套較為完整的解決方案，可有效解決傳統(tǒng)的機(jī)械臂抓取系統(tǒng)所存在的適應(yīng)環(huán)境能力差、開發(fā)及使用難度較大等問題。

尤其是，在算法處理方面采用了模板匹配法，實(shí)驗(yàn)結(jié)果表明基于機(jī)器視覺的機(jī)械臂抓取系統(tǒng)能夠滿足在實(shí)驗(yàn)室環(huán)境下自主抓取的要求。

編輯：黃飛