基于5G的AI視覺檢測應(yīng)用

摘要：在數(shù)字化浪潮的驅(qū)動(dòng)下，5G、MEC、云計(jì)算、AI等新興技術(shù)手段不斷與制造業(yè)融合，并逐步走向應(yīng)用推廣。視覺檢測是工業(yè)生產(chǎn)的重要環(huán)節(jié)，針對(duì)格力工業(yè)視覺檢測需求，設(shè)計(jì)了基于5G的工業(yè)AI視覺檢測系統(tǒng)，并對(duì)系統(tǒng)的工作原理、架構(gòu)、功能及系統(tǒng)在實(shí)際生產(chǎn)環(huán)境下的測試結(jié)果進(jìn)行了詳細(xì)介紹。最后結(jié)合智能制造產(chǎn)業(yè)升級(jí)和5G技術(shù)的推廣與發(fā)展需求對(duì)系統(tǒng)應(yīng)用前景進(jìn)行了價(jià)值分析。

前言

機(jī)器視覺檢測是指利用機(jī)器替代人工實(shí)現(xiàn)檢測和判斷[1]。典型的機(jī)器視覺檢測系統(tǒng)包括相機(jī)、鏡頭、光源、工控機(jī)、圖像處理系統(tǒng)、執(zhí)行機(jī)構(gòu)、被測物等。其檢測原理是通過相機(jī)對(duì)被測對(duì)象進(jìn)行圖像拍攝，然后將圖像數(shù)據(jù)傳送至圖像處理系統(tǒng)。圖像處理系統(tǒng)通過檢測算法對(duì)圖像進(jìn)行特征提取、識(shí)別，輸出檢測結(jié)果并執(zhí)行相應(yīng)操作[2]。機(jī)器視覺檢測在工業(yè)領(lǐng)域具有廣闊的市場空間，主要應(yīng)用場景包括目標(biāo)檢測（如對(duì)產(chǎn)品外觀瑕疵檢測、對(duì)產(chǎn)品零部件的有無檢測等）、目標(biāo)識(shí)別（如文字識(shí)別、顏色識(shí)別等）、目標(biāo)定位（如PCB 加工定位、標(biāo)簽定位等）和目標(biāo)測量（如對(duì)指針儀表的長度、角度測量、對(duì)零部件的尺寸測量等）。

傳統(tǒng)方式的機(jī)器視覺檢測主要以人工特征提取、分類、識(shí)別為主，檢測方法具有針對(duì)性，系統(tǒng)魯棒性差[3]。常見的處理方法包括如圖像灰度處理、濾波算法、圖像算數(shù)、圖像二值化、霍夫變換等。隨著人工智能技術(shù)的不斷發(fā)展，以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)正逐步應(yīng)用在機(jī)器視覺領(lǐng)域。深度學(xué)習(xí)利用機(jī)器模仿人類思考，實(shí)現(xiàn)對(duì)圖像的理解，被用來解決復(fù)雜場景的模式識(shí)別[4]。其典型應(yīng)用領(lǐng)域包括目標(biāo)檢測、圖像分類、圖像分割等。與傳統(tǒng)方式相比，深度學(xué)習(xí)可以在訓(xùn)練過程中自學(xué)習(xí)相關(guān)屬性，省去特征工程環(huán)節(jié)，識(shí)別精度更高、更加靈活[5]。但是對(duì)硬件的內(nèi)存和計(jì)算能力要求較高，通常需要額外的硬件投入。此外，在應(yīng)用開發(fā)過程中，需要收集大量的樣本數(shù)據(jù)進(jìn)行模型訓(xùn)練以提高模型精度。雖然機(jī)器學(xué)習(xí)相對(duì)于傳統(tǒng)方式有諸多優(yōu)勢，在實(shí)際工業(yè)應(yīng)用場景中，既需要基于深度學(xué)習(xí)的視覺檢測，又需要傳統(tǒng)的視覺檢測方式。如對(duì)表計(jì)尺寸的測量、條碼識(shí)別等場景，傳統(tǒng)方式簡單而高效，使用機(jī)器學(xué)習(xí)方法則費(fèi)時(shí)費(fèi)力。

通過在5G試點(diǎn)項(xiàng)目的大量實(shí)地調(diào)研發(fā)現(xiàn)，工業(yè)企業(yè)在現(xiàn)有視覺檢測應(yīng)用上存在諸多不足，具體表現(xiàn)在以下4個(gè)方面。

a）部分企業(yè)采用傳統(tǒng)方式依靠人眼做視覺檢測，存在效率低，漏檢率高等問題。

b）部分企業(yè)采用一體化智能工業(yè)相機(jī)做視覺檢測，但單點(diǎn)設(shè)備成本高，不適合規(guī)模應(yīng)用，且無法有效管理。

c）部分企業(yè)采用基于云端的視覺檢測系統(tǒng)，存在響應(yīng)慢、數(shù)據(jù)安全性低等問題。

d）企業(yè)缺乏 AI 視覺相關(guān)專業(yè)技術(shù)人員，難以滿足視覺檢測項(xiàng)目建設(shè)需求。

基于上述分析，認(rèn)為支持多場景應(yīng)用、平臺(tái)化的視覺檢測系統(tǒng)是工業(yè)視覺的重要發(fā)展方向。隨著互聯(lián)網(wǎng)+制造業(yè)轉(zhuǎn)型升級(jí)步伐的不斷推進(jìn)，5G、AI、大數(shù)據(jù)等高新技術(shù)手段將為工業(yè)視覺檢測技術(shù)的發(fā)展注入新動(dòng)能，推進(jìn)工業(yè)視覺檢測技術(shù)變革。

1 格力視覺檢測需求分析

視覺檢測貫穿零件加工、組裝、包裝等各個(gè)環(huán)節(jié)，是企業(yè)產(chǎn)品質(zhì)量的關(guān)鍵保障，提升視覺檢測水平能有效降低企業(yè)經(jīng)營成本。格力空調(diào)在生產(chǎn)過程中存在大量視覺檢測場景，包括壓縮機(jī)線視覺檢測、外機(jī)自動(dòng)電氣安全檢測、整機(jī)外觀檢測、印刷品質(zhì)量檢測等。當(dāng)前存在大量依靠人眼做視覺檢測的現(xiàn)象，檢測效率低，漏檢率高，容易帶來產(chǎn)品質(zhì)量隱患。因此，格力急需一套自動(dòng)化、平臺(tái)化的視覺檢測系統(tǒng)替代人工檢測。一方面，需要滿足各生產(chǎn)環(huán)節(jié)的多場景檢測需求，有效提升檢測效率，降低檢測成本，實(shí)現(xiàn)智能檢測管理。另一方面，為應(yīng)對(duì)消費(fèi)者個(gè)性化產(chǎn)品需求，新系統(tǒng)需要具備易擴(kuò)展、易操作性，能靈活快速適應(yīng)新場景檢測要求。

2019 年，中國聯(lián)通與格力電器開展5G智慧工廠暨全業(yè)務(wù)戰(zhàn)略合作，基于5G、工業(yè)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新型技術(shù)，打造家電產(chǎn)業(yè)5G智慧工廠示范區(qū)。5G作為新一代無線通信技術(shù)，在帶寬、時(shí)延、連接數(shù)等網(wǎng)絡(luò)性能上較上一代蜂窩網(wǎng)絡(luò)實(shí)現(xiàn)全方位提升，可為工業(yè)網(wǎng)絡(luò)連接提供高可靠服務(wù)保障[6]（見表 1）。通過5G網(wǎng)絡(luò)可構(gòu)建平臺(tái)化的視覺檢測模式，實(shí)現(xiàn)多檢測點(diǎn)并行檢測、智能管理。移動(dòng)邊緣計(jì)算（MEC）是5G重要能力之一，可在移動(dòng)網(wǎng)絡(luò)的邊緣提供IT 服務(wù)和計(jì)算能力，支持將業(yè)務(wù)處理卸載到移動(dòng)網(wǎng)絡(luò)邊緣節(jié)點(diǎn)[7-8]。利用MEC本地分流能力，可極大降低端到端通信時(shí)延，同時(shí)保證生產(chǎn)數(shù)據(jù)安全?；?G技術(shù)的平臺(tái)化視覺檢測系統(tǒng)，將為企業(yè)帶來更多價(jià)值。

2 基于5G的工業(yè)AI視覺檢測系統(tǒng)解決方案

基于5G的工業(yè)視覺檢測系統(tǒng)是平臺(tái)化、支持多檢測點(diǎn)并行的工業(yè)檢測系統(tǒng)。通過5G+MEC的工廠內(nèi)網(wǎng)架構(gòu)與現(xiàn)場瘦客戶端進(jìn)行交互，實(shí)現(xiàn)企業(yè)整體視覺檢測體系，可同時(shí)滿足多場景、多檢測點(diǎn)并行的檢測及智能化管理需求。通過將主要算力及算法放置于平臺(tái)端，極大提升分析處理能力，現(xiàn)場端僅需普通工業(yè)相機(jī)等少數(shù)設(shè)備即可實(shí)現(xiàn)AI視覺檢測，有效降低單點(diǎn)檢測成本，提升部署靈活性。此外，平臺(tái)側(cè)支持對(duì)檢測點(diǎn)的能力配置，單一檢測點(diǎn)僅需微調(diào)即可適配新檢測場景，可滿足對(duì)不同產(chǎn)品的快速檢測需求。如圖1所示，基于5G的工業(yè)AI視覺檢測系統(tǒng)架構(gòu)包括現(xiàn)場設(shè)備端和智能監(jiān)測平臺(tái)。

2.1 現(xiàn)場設(shè)備端

現(xiàn)場設(shè)備端負(fù)責(zé)與產(chǎn)線聯(lián)動(dòng)，包括系統(tǒng)觸發(fā)與結(jié)果反饋。需將圖像采集并上傳至服務(wù)端，并獲取服務(wù)端的處理結(jié)果?，F(xiàn)場設(shè)備由以下3個(gè)部分組成。

a）工業(yè)相機(jī)系統(tǒng)，包括工業(yè)相機(jī)、鏡頭、光源等，工業(yè)相機(jī)系統(tǒng)主要負(fù)責(zé)現(xiàn)場端圖像獲取，需根據(jù)不同檢測場景及檢測需求進(jìn)行適配及選型。

b）現(xiàn)場工控終端，一般為工控機(jī)，負(fù)責(zé)控制工業(yè)相機(jī)系統(tǒng)及現(xiàn)場設(shè)備，實(shí)現(xiàn)圖像上傳、控制指令下發(fā)、運(yùn)行現(xiàn)場客戶端軟件等功能。

c）現(xiàn)場設(shè)備，包括傳感器、急停開關(guān)、三色燈、掃碼槍、顯示器等，負(fù)責(zé)信號(hào)檢測及結(jié)果顯示，實(shí)現(xiàn)系統(tǒng)觸發(fā)、運(yùn)行控制、結(jié)果顯示等功能。

2.2 智能檢測平臺(tái)架構(gòu)

智能檢測平臺(tái)是視覺檢測系統(tǒng)的核心，可部署在企業(yè)數(shù)據(jù)機(jī)房或云端服務(wù)器，主要負(fù)責(zé)處理視覺檢測流程，完成包括場景管理、業(yè)務(wù)管理、算法模型訓(xùn)練、算法管理、檢測業(yè)務(wù)編排、檢測結(jié)果分析等功能。平臺(tái)提供狀態(tài)查看和統(tǒng)一管理接口，可適配不同場景的檢測需求。智能檢測平臺(tái)通過5G網(wǎng)絡(luò)與各檢測點(diǎn)相聯(lián)，實(shí)現(xiàn)1對(duì)n的檢測管理與應(yīng)用服務(wù)支持。

智能檢測平臺(tái)可以滿足的各類制造企業(yè)對(duì)工業(yè)視覺檢測業(yè)務(wù)的需求，為上層應(yīng)用提供服務(wù)。智能檢測平臺(tái)架構(gòu)如圖2所示。

a）基礎(chǔ)能力層。通過統(tǒng)一的接口為上層應(yīng)用提供基礎(chǔ)檢測能力。

b）編排器層。通過編排器的方式將基礎(chǔ)能力進(jìn)行組合、協(xié)同及調(diào)用，用以完成對(duì)下層基礎(chǔ)檢測能力的封裝；同時(shí)，針對(duì)特定場景的檢測需求（如暗光），可以通過對(duì)基礎(chǔ)能力的封裝形成特定場景下的解決方案，形成功能更強(qiáng)大、更具針對(duì)性的基礎(chǔ)檢測能力庫。

c）編排流程庫層。針對(duì)不同的應(yīng)用，需要建立一套支持將基礎(chǔ)能力編排用以解決應(yīng)用實(shí)際檢測需求的編排流程庫。

d）應(yīng)用層。通過使用編排器及編排流程庫調(diào)用基礎(chǔ)檢測能力，滿足全部檢測業(yè)務(wù)需求，并通過輸入輸出接口，向現(xiàn)場設(shè)備及人員提供工業(yè)檢測應(yīng)用服務(wù)。

e）云計(jì)算平臺(tái)。根據(jù)實(shí)際情況，使用Kubernetes或Docker技術(shù)構(gòu)建上層應(yīng)用的部署平臺(tái)。

f）基礎(chǔ)設(shè)施層。包括CPU服務(wù)器、GPU服務(wù)器及GPU推理單板機(jī)等計(jì)算資源。

g）輸入及輸出適配器。通過插件化的方式支持主流工業(yè)相機(jī)通信協(xié)議及工業(yè)總線協(xié)議，便于快速與工裝環(huán)境對(duì)接。

2.3 關(guān)鍵技術(shù)

2.3.1 平臺(tái)化的系統(tǒng)設(shè)計(jì)

現(xiàn)階段工業(yè)視覺檢測產(chǎn)品大多數(shù)是以工業(yè)智能相機(jī)或傳統(tǒng)視覺檢測方式為主。傳統(tǒng)單點(diǎn)檢測系統(tǒng)通常由光源、相機(jī)、圖像采集單元、圖像處理單元等模塊組成，各模塊分散部署在現(xiàn)場側(cè)，多為針對(duì)單一檢測場景定制化開發(fā)，體積較大系統(tǒng)復(fù)雜，難以升級(jí)維護(hù)[9]。智能相機(jī)是一種高度集成化的微小型機(jī)器視覺系統(tǒng)，將圖像的采集、處理與通信功能集成于一體[10]。相對(duì)于傳統(tǒng)視覺檢測系統(tǒng)，智能相機(jī)在部署上更加靈活便捷，但是由于體積限制，其處理能力通常較差，只能運(yùn)行簡單算法且單機(jī)成本高昂。

相對(duì)于現(xiàn)有視覺系統(tǒng)，基于5G的AI視覺檢測系統(tǒng)是基于C/S架構(gòu)設(shè)計(jì)的視覺檢測PaaS平臺(tái)，將主要處理能力集中在后端智能檢測平臺(tái)，各檢測點(diǎn)通過現(xiàn)場終端將圖片發(fā)送至智能檢測平臺(tái)并實(shí)時(shí)獲取檢測結(jié)果。智能檢測平臺(tái)內(nèi)置多類算法能力，包括傳統(tǒng)的機(jī)器視覺算法以及更為復(fù)雜的深度學(xué)習(xí)模型算法等。通過平臺(tái)化的系統(tǒng)設(shè)計(jì)可支持多場景并行的視覺檢測并實(shí)現(xiàn)算法能力的復(fù)用。

作者郭熹，李斌，馬文輝，賀鳴，陳亞峰，若有侵權(quán)聯(lián)系刪除。

編輯：黃飛