基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測系統(tǒng)圖

?

沈航，孫煜，?林詩美，陳超 廣東省工業(yè)邊緣智能創(chuàng)新中心；研祥智能科技股份有限公司

提出基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測系統(tǒng)，該系統(tǒng)由邊緣側(cè)、設(shè)備側(cè)、平臺側(cè)和應(yīng)用側(cè)四部分構(gòu)成，支持云邊協(xié)同、視覺檢測、云應(yīng)用等。根據(jù)制造企業(yè)規(guī)模和對檢測線的要求，能夠?qū)⑾到y(tǒng)進行靈活部署。實現(xiàn)制造、管理各系統(tǒng)與工業(yè)設(shè)備互聯(lián)互通，提高工廠智能化管理水平，檢測效率提高200%，設(shè)備維護成本降低約50%，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%。

01

引言

作為數(shù)字經(jīng)濟與實體經(jīng)濟融合發(fā)展的關(guān)鍵支撐，以工業(yè)互聯(lián)網(wǎng)、工業(yè)大數(shù)據(jù)和人工智能等技術(shù)為手段推動工業(yè)設(shè)備上云、上平臺，提升生產(chǎn)數(shù)據(jù)利用效率，提高智能產(chǎn)線、智能工廠的數(shù)字化管理和運營能力，成為當前產(chǎn)業(yè)轉(zhuǎn)型升級的核心驅(qū)動。在智能制造領(lǐng)域，面對新型顯示、工業(yè)電子等產(chǎn)品的質(zhì)量檢測，以往采用的方式包括通過人工進行檢測、通過視覺檢測系統(tǒng)進行檢測。人工檢測的方式效率低、品質(zhì)難以保障且人工管理成本高。傳統(tǒng)視覺檢測系統(tǒng)通過機器視覺、圖像分析等技術(shù)，在提升缺陷檢測精度、檢測效率和產(chǎn)品品質(zhì)方面具有顯著改善，但在數(shù)據(jù)高效利用、設(shè)備智能運維和品質(zhì)改進管理等方面，還存在進步的空間。開發(fā)基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測系統(tǒng)，以數(shù)字化、智能化手段，能夠提升生產(chǎn)效率，提高產(chǎn)品品質(zhì)，保障生產(chǎn)制造的穩(wěn)定運行。

02

視覺檢測系統(tǒng)

視覺檢測系統(tǒng)在產(chǎn)品加工、測試、組裝和包裝等生產(chǎn)環(huán)節(jié)中使用。通過智能工業(yè)相機完成對產(chǎn)品信息的采集，并通過智能網(wǎng)關(guān)對采集的數(shù)據(jù)進行傳輸，系統(tǒng)的服務(wù)器支持視覺檢測微服務(wù)等功能，對數(shù)據(jù)進行計算分析，最后通過APP 進行相關(guān)展示。視覺檢測系統(tǒng)架構(gòu)如圖1 所示。

03

基于工業(yè)互聯(lián)網(wǎng)的在線視覺檢測系統(tǒng)

3.1　硬件設(shè)施

系統(tǒng)由設(shè)備側(cè)、邊緣側(cè)、平臺側(cè)和應(yīng)用側(cè)四部分構(gòu)成。設(shè)備側(cè)主要包括智能工業(yè)相機、信號發(fā)生器、對接系統(tǒng)和控制器等現(xiàn)場設(shè)備。邊緣側(cè)通過智能網(wǎng)關(guān)對現(xiàn)場數(shù)據(jù)進行采集，再傳輸至邊緣云。邊緣云負載視覺算法、視覺檢測軟件和數(shù)據(jù)處理等功能，完成一些實時性要求較高的輕量級數(shù)據(jù)處理任務(wù)。平臺測主要提供服務(wù)器、存儲等硬件資源的支持，支持各視覺檢測的微服務(wù)、視覺算法機理模型、工業(yè)檢測軟件組件、數(shù)據(jù)建模和分析、工業(yè)數(shù)據(jù)清洗，以及管理和分析。應(yīng)用側(cè)提供各類缺陷檢測、模組檢測、整機檢測和功能檢測等工業(yè)APP，以完成系統(tǒng)應(yīng)用。系統(tǒng)根據(jù)制造企業(yè)規(guī)模和對檢測線的要求，能夠進行靈活部署?；诠I(yè)互聯(lián)網(wǎng)的在線視覺檢測系統(tǒng)如圖2 所示。

3.2 軟件設(shè)計

（1）軟件平臺?

整個軟件平臺采用分層架構(gòu)，一共分兩層來實現(xiàn)，中間件層和交互層。中間件層采用按功能分模塊的扁平化架構(gòu)，一個功能對應(yīng)一個模塊，一個模塊對應(yīng)一個動態(tài)庫文件。模塊與模塊之間遵循高內(nèi)聚低耦合的軟件設(shè)計規(guī)則，各模塊，只獨立完成某一個特定的子功能。模塊與模塊之間的接口，遵循少而簡單的規(guī)則。如果劃分后某兩個模塊間的關(guān)系仍然比較復(fù)雜，繼續(xù)進一步劃分直到模塊間無關(guān)聯(lián)為止。這樣有利于分工合作、模塊集成及后期的維護升級。根據(jù)類別劃分為算法庫，相機庫和通信庫。交互層劃分為界面設(shè)計器、邏輯設(shè)計器、相機管理、用戶管理、數(shù)據(jù)存儲及授權(quán)管理，平臺主要應(yīng)用在工業(yè)領(lǐng)域，對性能要求比較高，交互層選擇執(zhí)行高效的開發(fā)平臺VS2012 MFC 多文檔框架及GDI+ 來實現(xiàn)，算法庫基于開源OpenCV 來實現(xiàn)。界面設(shè)計器：提供所看見的界面配置，為用戶提供個性化的自定義工具。邏輯設(shè)計器：為相機提供實時調(diào)試的邏輯組態(tài)編輯和算法工具。相機管理：提供相機工程管理、參數(shù)設(shè)置、實時圖預(yù)覽等多種管理工具。用戶管理：提供用戶權(quán)限管理方法。數(shù)據(jù)存儲：導(dǎo)入和保存工程，工程數(shù)據(jù)串行化。授權(quán)管理：提供授權(quán)方法；運行版，一機一碼，授權(quán)后在本機上可以永久使用；試用版，一機一碼，提供30 天的免費試用授權(quán)。

從實現(xiàn)功能來看，整個軟件平臺分5 大功能，分別為采集、處理、評估、通信和系統(tǒng)。

1）采集功能分為從相機獲取和從文件獲取兩種模式。從相機獲取，指連接相機取圖，支持目前主流相機的連接，如basler、保盟等。從文件獲取，指本地讀入圖片，支持bmp、jpg、png、dib、pbm、pgm、ppm、sr、ras 和tif 等圖片格式的讀入。

2）處理分為圖像預(yù)處理、目標定位、識別、測量和檢測5 個部分。圖像預(yù)處理是指對輸入的圖像進行二值化、濾波（高斯濾波、中值濾波和均值濾波）、腐蝕和膨脹等操作。目標定位是指通過對圖像設(shè)定模板區(qū)域，然后在其他圖像中尋找與模板區(qū)域相同的圖像特征。通常通過目標定位后，再對物體進行下一步的識別、測量和外觀檢測。識別包括字符識別、二維碼識別、條形碼識別和顏色識別。測量指的是對物體的尺寸測量，包括點到點、點到線、點到圓、線到線、線到圓、圓到圓、角平分線、夾角測量和卡尺測量等功能。檢測包括瑕疵檢測、缺陷檢測、劃痕檢測和差異檢測。

3）評估分為評估輪廓、評估區(qū)域、評估表達式和條件分支4 類。評估輪廓指對輪廓進行評估，是否符合設(shè)定的規(guī)則。評估區(qū)域指對區(qū)域的面積、長度和寬度等信息進行評估，是否能夠滿足設(shè)定閾值。評估表達式指對輸入的表達式進行評估，看能否滿足設(shè)定要求。條件分支指不同的條件執(zhí)行不同的任務(wù)。

4）通信包括數(shù)字I/O 通信、串口通信、文件通信及套接字通信。支持雷賽數(shù)字I/O 通信，如通過數(shù)字I/O 卡輸入端口控制相機的外部觸發(fā)拍照，軟件檢測任務(wù)的完成信號可以通過數(shù)字I/O 的輸出端口發(fā)送到PLC 等設(shè)備。支持通過串口與第三方通信，通過規(guī)定好的協(xié)議，機械手可通過串口發(fā)送指令讓軟件執(zhí)行某項檢測任務(wù)，執(zhí)行后軟件通過串口把檢測結(jié)果發(fā)送給機械手，機械手根據(jù)接收的結(jié)果進行下一步動作。會事先規(guī)定好數(shù)據(jù)傳輸?shù)膮f(xié)議，包括數(shù)據(jù)頭、數(shù)據(jù)尾的定義及數(shù)據(jù)中間段的各個參數(shù)的含義，通過人機交互界面來配置。支持文件通信，可讀寫文件，比如把識別到的條碼寫入指定文本。

5）系統(tǒng)包含延遲執(zhí)行和停止執(zhí)行兩個部分。延遲執(zhí)行是指延遲一段時間后再執(zhí)行下一個任務(wù)。延遲時間可通過人機交互界面進行設(shè)置。停止執(zhí)行，顧名思義就是停止執(zhí)行。

（2）軟件算法?

考慮開發(fā)套件主要應(yīng)用在工業(yè)領(lǐng)域，對性能要求比較高，交互層選擇執(zhí)行高效的開發(fā)平臺VSMFC 多文檔框架及GDI+ 來實現(xiàn)，算法庫基于開源OpenCV 來實現(xiàn)。圖像算法首先對圖片進行預(yù)處理，然后通過Blob 分析從背景中分離出目標，提取感興趣區(qū)域，只對感興趣部分進行圖像變換處理，這樣大大提高處理速度。然后根據(jù)檢測端口類型，確定是用字符識別還是模板匹配方法對圖片進行下一步處理。進行字符識別方法處理后，需對識別出的字符與預(yù)先設(shè)定的字符進行字符匹配；進行模板匹配方法處理后，得到的模板匹配度需與預(yù)先設(shè)定的匹配度進行大小比較。系統(tǒng)核心算法是圖像處理算法，主要功能包括圖像預(yù)處理、目標定位、圖像分割、圖像識別和缺陷檢測。圖像處理流程如圖3 所示。

針對小目標不易標注、可利用特征少、現(xiàn)有數(shù)據(jù)集中小目標占比少及樣本不均衡等小目標高精度識別和定位難題，軟件能夠提供相應(yīng)高級算法解決。其中，基于線掃描的條碼識別算法，能夠解決工業(yè)現(xiàn)場中多類碼讀取、反光、流動高速、缺損遮擋及超小碼識別等難題，達到檢測精度RGB 子像素級。

04

面向大型企業(yè)的視覺檢測解決方案

面向大型企業(yè)的視覺檢測解決方案如圖4 所示。平臺部署多選擇私有云或混合云的部署方式，在部署上建設(shè)融合中臺，通過與制造企業(yè)MES、ERP 等實現(xiàn)數(shù)據(jù)互通，解決訂單計劃和生產(chǎn)計劃信息的斷點問題，解決執(zhí)行管控和質(zhì)量監(jiān)控的斷點問題。融合5G 網(wǎng)絡(luò)技術(shù)實現(xiàn)設(shè)備現(xiàn)場數(shù)據(jù)、運維檔案等工業(yè)數(shù)據(jù)實時傳輸，實現(xiàn)集中管理、實時感知和遠程監(jiān)控。

基于工業(yè)互聯(lián)網(wǎng)平臺和微服務(wù)組件庫，進行視覺檢測、設(shè)備監(jiān)控和生產(chǎn)管理等工業(yè)APP 開發(fā)和應(yīng)用，整合企業(yè)生產(chǎn)、辦公系統(tǒng)，集成生產(chǎn)全流程信息，進行設(shè)備全生命周期管理，打造可視化智能管理模式。注重產(chǎn)線安全，建設(shè)設(shè)備接入系統(tǒng)，控制設(shè)備接入的安全。同時通過建設(shè)綜合管控平臺實現(xiàn)對數(shù)字化和智能化制造車間、工廠的協(xié)同管控。

本解決方案在深圳某企業(yè)液晶電視產(chǎn)線落地實施。部署智能檢測裝備，將檢測設(shè)備數(shù)據(jù)接入平臺，對接ERP、MES，實現(xiàn)檢測環(huán)節(jié)設(shè)備與智能產(chǎn)線的互聯(lián)互通，以及電視多功能、多種信號的智能檢測分析，提升液晶電視產(chǎn)線自動化和智能化水平，檢測準確率提高到99.0%以上，檢測效率提高200%，設(shè)備維護成本降低55%。

05

面向中小企業(yè)的輕量型視覺檢測解決方案

面向中小型企業(yè)的視覺檢測解決方案如圖5 所示，在建設(shè)和部署上受投入成本、生產(chǎn)規(guī)模等影響，只需要購買或租賃視覺檢測設(shè)備，同時在平臺多選擇公有云。公有云提供視覺檢測、設(shè)備監(jiān)控和生產(chǎn)管理等工業(yè)APP，企業(yè)不需要自建平臺，不需要部署服務(wù)器，只需要購買和訂閱相關(guān)的應(yīng)用服務(wù)即可完成應(yīng)用的下載和升級。

本解決方案在深圳某企業(yè)液晶面板生產(chǎn)線落地實施。部署模組檢測等全流程檢測設(shè)備、智能讀碼器和工業(yè)相機等邊緣設(shè)施，改造升級原有人工檢測環(huán)節(jié)，替換部分人工工位，上線視覺檢測應(yīng)用軟件，可視化展示檢測狀態(tài)，產(chǎn)線檢測情況一目了然，實現(xiàn)液晶面板快速、準確、可靠且連續(xù)地全自動檢測，大幅提高檢測精度和效率，整體誤判率小于1‰，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%，節(jié)省人力約80%。

06

結(jié)束語

系統(tǒng)開發(fā)出具有國際先進水平的機器視覺算法庫，具有圖像預(yù)處理、視覺定位、幾何尺寸測量、產(chǎn)品缺陷檢測、OCR 識別和視覺跟蹤等功能。并在多個操作系統(tǒng)平臺之間實現(xiàn)無縫移植。用戶能夠快速高效地進行二次開發(fā)。產(chǎn)線自動化、智能化程度快速提升，生產(chǎn)檢測效率大幅提升。企業(yè)核心競爭力提高。部署本解決方案后，能夠提高視覺檢測線的集中管理能力，實現(xiàn)制造、管理各系統(tǒng)和工業(yè)設(shè)備互聯(lián)互通，實現(xiàn)了檢測智能化、通信實時化、協(xié)同多方化和預(yù)案數(shù)字化，提高工廠智能化管理水平。根據(jù)客戶數(shù)據(jù)統(tǒng)計，檢測效率提高200%，設(shè)備維護成本降低約50%，生產(chǎn)效率提升約30%，產(chǎn)能提升約20%。

編輯：黃飛

?