圖像和模式識別技術(shù)在智能制造裝備中的應(yīng)用

物體分揀應(yīng)用

物體分揀應(yīng)用是建立在識別、檢測之后一個環(huán)節(jié)，通過機(jī)器視覺系統(tǒng)將圖像進(jìn)行處理，實現(xiàn)分揀。在機(jī)器視覺工業(yè)應(yīng)用中常用于食品分揀、零件表面瑕疵自動分揀、棉花纖維分揀等。

智能在線分選系統(tǒng)是將自動化、機(jī)械化和信息化結(jié)合在一起的新技術(shù)設(shè)備，近年來，隨著大批量生產(chǎn)速度的增長和市場對產(chǎn)品質(zhì)量穩(wěn)定性要求的提高，人工分揀的方式已經(jīng)不能滿足市場需求。智能在線分選系統(tǒng)的研制具有重要的工程意義和廣闊的應(yīng)用前景，并且隨著物聯(lián)網(wǎng)技術(shù)的高速發(fā)展，在線分選裝置正朝著智能化、數(shù)字化、網(wǎng)絡(luò)化的方向發(fā)展。

對于特征明顯并且不隨放置位置變化的部位，設(shè)計相應(yīng)的直接特征提取算法，利用特征檢測識別該部位是否加工。而對于特征不明顯或者特征可能變化的部位，利用模擬人類視皮層中物體識別機(jī)制的機(jī)器學(xué)習(xí)算法自動提取部位特征并利用SVM算法識別。系統(tǒng)的實際運(yùn)行情況表明，該方案可以快速有效的識別工件是否合格，錯誤率約為千分之五，基本上達(dá)到了人眼的識別率。通過圖像識別檢測方法，智能制造裝備可實現(xiàn)目標(biāo)識別和分類、缺陷檢測、視覺測量等功能。圖像識別面臨的主要難題包括檢測對象多樣、特征多變、幾何結(jié)構(gòu)精密復(fù)雜，處于高速運(yùn)動狀態(tài)。基于視覺檢測和控制技術(shù)的智能制造裝備雖然功能、作業(yè)對象、結(jié)構(gòu)、運(yùn)動控制方法、圖像處理方法差別較大，但其原理方案卻基本相同，如圖1所示。

圖1 智能制造裝備視覺檢測控制原理方案

智能制造裝備視覺檢測控制原理方案如圖1所示，智能制造裝備的機(jī)器視覺檢測控制系統(tǒng)由光源和成像系統(tǒng)、視覺檢測軟硬件、裝備和運(yùn)動控制系統(tǒng)構(gòu)成。在視覺檢測和控制過程中，精密成像機(jī)構(gòu)和成像系統(tǒng)自動獲取圖像，圖像經(jīng)過I/O接口傳輸?shù)綀D像處理硬件中，并經(jīng)過預(yù)處理、標(biāo)定分割、檢測識別、分類決策等過程，獲得位姿、質(zhì)量、分類等信息。運(yùn)動控制系統(tǒng)根據(jù)作業(yè)任務(wù)，通過PLC或I/O接口板控制執(zhí)行器、機(jī)器人進(jìn)行位置、速度、力閉環(huán)控制。視覺檢測控制系統(tǒng)通過通信系統(tǒng)與整機(jī)控制器、裝備其他系統(tǒng)有機(jī)結(jié)合，實現(xiàn)自動化操作。

智能空瓶檢測分揀裝備

智能空瓶檢測分揀裝備是一種應(yīng)用在啤酒、飲料等大型制造自動化生產(chǎn)線上，對清洗后和灌裝前的空瓶缺陷進(jìn)行視覺檢測和分揀的裝備?？掌咳毕葜饕ㄆ靠凇⑵可?、瓶底破損、可見異物和殘留液等。該裝備如圖2所示，由空瓶傳送系統(tǒng)、多成像系統(tǒng)、視覺檢測系統(tǒng)、殘留液檢測和分揀裝置組成。

該裝備采用直線式傳送機(jī)構(gòu)，當(dāng)空瓶分別運(yùn)動到瓶口、瓶身、瓶底檢測工位時，觸發(fā)光電傳感器，多成像系統(tǒng)自動獲取各檢測區(qū)域的圖像，視覺檢測系統(tǒng)分別對各工位圖像進(jìn)行處理。在圖像處理過程中，對瓶口、瓶身、瓶底檢測區(qū)域進(jìn)行定位，然后分別對各區(qū)域進(jìn)行缺陷檢測，其中瓶身和瓶底采用基于局部掩膜的高頻系數(shù)提取和閾值方法，瓶口采用分塊和基于灰度的多層神經(jīng)網(wǎng)絡(luò)分類方法。最終分揀裝置根據(jù)多個工位檢測結(jié)果將存在缺陷的空瓶剔出生產(chǎn)線。

圖2 智能空瓶檢測分揀裝備

精密電子視覺檢測與分揀裝備

精密電子視覺檢測與分揀裝備是應(yīng)用于電子制造生產(chǎn)線上，完成精密識別、定位、抓取、檢測和分揀等制造工序的智能裝備。如圖3所示，該裝備由上料機(jī)械手、PLC、傳送系統(tǒng)、精密視覺運(yùn)動控制、高分辨率成像與視覺檢測系統(tǒng)、下料機(jī)械手、分揀控制器和裝備主控系統(tǒng)構(gòu)成。

該裝備作業(yè)包括上料、檢測和分揀3個環(huán)節(jié)。在上料環(huán)節(jié)，上料機(jī)械手采用手眼成像模式，在給定位置對電路板成像，采用Patmax方法識別和定位電路板，并結(jié)合相機(jī)內(nèi)外參數(shù)獲取電路板中心位姿。上料機(jī)械手運(yùn)動到給定位姿，末端執(zhí)行器抓取對象，并移動到傳送系統(tǒng)的夾具上方，再次成像并通過夾具定位獲取夾具空間位姿。機(jī)械手移動執(zhí)行器到夾具正上方，并放置電路板到夾具上。在檢測環(huán)節(jié)，夾具在PLC的控制下移動到檢測工位，并采用多個相機(jī)獲取高分辨率圖像，進(jìn)行拼接和缺陷檢測。在分揀環(huán)節(jié)，當(dāng)電路板運(yùn)動到下料工位時，下料機(jī)械手采用手眼模式成像，識別和計算出夾具位姿，并移動到夾具中心位置，執(zhí)行器抓取對象，根據(jù)質(zhì)量檢測結(jié)果將對象放置到不同位置，最終進(jìn)行精密電子組裝。

醫(yī)藥智能視覺檢測分揀裝備

基于視覺檢測和控制技術(shù)的智能制造裝備雖然功能、作業(yè)對象、結(jié)構(gòu)、運(yùn)動控制方法、圖像處理方法差別較大，但其原理方案卻基本相同。大型醫(yī)藥智能視覺檢測分揀裝備是應(yīng)用于制藥自動化生產(chǎn)線上，對安瓿、口服液及輸液瓶等藥品質(zhì)量進(jìn)行高速、全自動、在線檢測的裝備。待識別的雜質(zhì)主要包括圖4所示的玻屑、毛發(fā)、纖維等微弱可見異物如和瓶體破損、瓶口封裝污染等，該裝備還可以根據(jù)檢測結(jié)果自動剔除不合格品。

醫(yī)藥質(zhì)量檢測面臨雜質(zhì)類型多樣，微弱（檢測標(biāo)準(zhǔn)為50μm及以上），部分雜質(zhì)附著于瓶底等難題。裝備采用多工位成像和精密旋轉(zhuǎn)–急停成像機(jī)構(gòu)，獲取雜質(zhì)的運(yùn)動圖像序列。雜質(zhì)檢測采用序列圖像軌跡分析的方法，首先通過基于邊界的定位方法確定檢測區(qū)域，然后對相鄰幀圖像進(jìn)行空洞填充差分，并采用基于脈沖神經(jīng)網(wǎng)絡(luò)和Tsallis熵的圖像分割算法提取雜質(zhì)，通過雜質(zhì)不變特征分析運(yùn)動軌跡，并實現(xiàn)雜質(zhì)的識別。在輸出星輪處，根據(jù)檢測結(jié)果，裝備將藥品進(jìn)行分類。

圖4 雜質(zhì)圖像

圖像和模式識別在工業(yè)應(yīng)用中，也面臨新挑戰(zhàn)。智能制造裝備是一種復(fù)雜精密光機(jī)電系統(tǒng)，要實現(xiàn)高速、高精度視覺檢測和控制，保障裝備的穩(wěn)定、可靠、高效運(yùn)行，必須在系統(tǒng)級進(jìn)行優(yōu)化設(shè)計。首先要保證成像系統(tǒng)獲取高質(zhì)量圖像，背景簡單，以簡化圖像識別算法，時序設(shè)計滿足實時性要求。其次，要實現(xiàn)光學(xué)感知、機(jī)械傳動、電氣控制與計算機(jī)軟硬件協(xié)同工作，并采用誤差分配原則控制精度。為進(jìn)一步擴(kuò)展視覺檢測控制技術(shù)的應(yīng)用范圍，并提高精度、準(zhǔn)確性和穩(wěn)定性，以下挑戰(zhàn)問題有待進(jìn)一步研究解決：

? 先進(jìn)工業(yè)成像技術(shù)。當(dāng)前采用的成像技術(shù)大多局限于可見光成像，導(dǎo)致在某些應(yīng)用中，獲得的圖像特異性差，很難實現(xiàn)圖像檢測和識別。為此需要從光源、光強(qiáng)和頻譜控制、精密光路控制、先進(jìn)陣列感知、信號調(diào)理等方面全面研究成像技術(shù)，研究不同對象與電磁波相互作用和成像的新現(xiàn)象、新原理、新方法。將多種先進(jìn)成像技術(shù)，如激光掃描成像、弱干涉成像、層析成像、太赫茲成像、電容成像等應(yīng)用于工業(yè)視覺檢測和控制，豐富視覺感知手段。

? 高性能圖像處理技術(shù)。為提高視覺檢測和控制的精度，通常需采用復(fù)雜圖像處理流程，導(dǎo)致計算復(fù)雜度高;同時智能制造裝備對實時性要求極高，造成了巨大的計算壓力。為此，需研究高性能圖像處理裝置，并且對圖像處理算法進(jìn)行并行化，實現(xiàn)實時圖像處理。

? 自動化圖像處理流程設(shè)計。圖像處理過程是由多個圖像處理步驟構(gòu)成，每個步驟都可以采用多種處理方法，造成圖像處理流程設(shè)計困難。為針對特定應(yīng)用實現(xiàn)自動圖像處理流程設(shè)計，首先分析不同圖像處理方法的異同，以及實現(xiàn)的處理效果，并分析不同參數(shù)對于處理結(jié)果的影響。根據(jù)任務(wù)、先驗知識和圖像特征，選擇最優(yōu)圖像處理算法和參數(shù)，實現(xiàn)自動圖像處理流程設(shè)計。

? 智能視覺控制技術(shù)。當(dāng)前視覺伺服研究的對象大多面向傳統(tǒng)的6自由度機(jī)械手，其視覺控制相對簡單。隨著作業(yè)復(fù)雜性增加，新型機(jī)器人如柔性機(jī)械手、并聯(lián)機(jī)械手、精密多關(guān)節(jié)機(jī)械手等應(yīng)用于精密視覺伺服;同時特種作業(yè)如超高精度細(xì)微操作、限定環(huán)境作業(yè)對機(jī)器人避障、路徑規(guī)劃和作業(yè)精度、速度都產(chǎn)生了新的要求。為此要研究智能視覺伺服和限定環(huán)境下視覺伺服控制方法，將機(jī)器人智能控制、高精密電機(jī)運(yùn)動控制和機(jī)器視覺技術(shù)有機(jī)融合，實現(xiàn)高速高精度控制。

? 精密光機(jī)電協(xié)同控制。智能制造裝備是機(jī)器視覺、高速高精度伺服控制、精密機(jī)械和智能控制軟件的深度集成，裝備的高效、可靠運(yùn)行需要各部分的協(xié)同工作。為此需研究高可靠性的光機(jī)電協(xié)同和集成技術(shù)，并通過狀態(tài)監(jiān)控和故障診斷技術(shù)提高裝備自動化程度和容錯能力。

? 視覺測控應(yīng)用高穩(wěn)定性、高可靠性和適應(yīng)性研究。由于圖像信息屬于非線性多維信息，在應(yīng)用中存在多種不確定性，限制了裝備的穩(wěn)定性和可靠性。為此需研究提高視覺信息穩(wěn)定性、可靠性的方法，以及誤差控制方法，提高裝備對制造環(huán)境的適應(yīng)能力。

審核編輯：郭婷