表面缺陷檢測(cè) 計(jì)算機(jī)視覺(jué)給機(jī)器慧眼

曾有一個(gè)科研項(xiàng)目，青島啤酒廠(chǎng)委托，研究啤酒瓶的質(zhì)量檢測(cè)。

一般這種玻璃瓶會(huì)有一定次品、不良品，特征是，內(nèi)部細(xì)細(xì)的裂縫紋路長(zhǎng)度長(zhǎng)于一定限制，那么這種啤酒瓶在運(yùn)輸或者開(kāi)瓶蓋的過(guò)程中就有炸裂的風(fēng)險(xiǎn)。

所以，采用計(jì)算機(jī)攝像，機(jī)器視覺(jué)，人工智能的技術(shù)，加以判斷甄別，減少人工工作量和失誤。

現(xiàn)在，各種基于人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的自動(dòng)檢測(cè)、探傷、表面缺陷檢測(cè)的產(chǎn)品部署在一條條生產(chǎn)線(xiàn)上。

當(dāng)你買(mǎi)到拿到心儀的產(chǎn)品的時(shí)候，映入眼簾的，就是它的外觀(guān)，這是靠模具廠(chǎng)、組裝廠(chǎng)的工人們精心呵護(hù)生產(chǎn)出來(lái)的，有的靠人眼檢查，有的靠自動(dòng)化設(shè)備檢查，不放過(guò)一點(diǎn)瑕疵。

缺陷檢測(cè)被廣泛使用于布匹瑕疵檢測(cè)、工件表面質(zhì)量檢測(cè)、航空航天領(lǐng)域等。傳統(tǒng)的算法對(duì)規(guī)則缺陷以及場(chǎng)景比較簡(jiǎn)單的場(chǎng)合，能夠很好工作，但是對(duì)特征不明顯的、形狀多樣、場(chǎng)景比較混亂的場(chǎng)合，則不再適用。近年來(lái)，基于深度學(xué)習(xí)的識(shí)別算法越來(lái)越成熟，許多公司，例如速嵌智造，把深度學(xué)習(xí)算法應(yīng)用到工業(yè)場(chǎng)合中。

現(xiàn)在，機(jī)器視覺(jué)在工業(yè)檢測(cè)、包裝印刷、食品工業(yè)、航空航天、生物醫(yī)學(xué)工程、軍事科技、智能交通、文字識(shí)別等領(lǐng)域得到了廣泛的應(yīng)用。工業(yè)檢測(cè)領(lǐng)域是機(jī)器視覺(jué)應(yīng)用中比重最大的領(lǐng)域，主要用于產(chǎn)品質(zhì)量檢測(cè)、產(chǎn)品分類(lèi)、產(chǎn)品包裝等，如：零件裝配完整性檢測(cè)，裝配尺寸精度檢測(cè)，位置/角度測(cè)量，零件識(shí)別，PCB板檢測(cè)，印刷品檢測(cè)，瓶蓋檢測(cè)，玻璃、煙草、棉花檢測(cè)，以及指紋、汽車(chē)牌照、人臉、條碼等識(shí)別。表面質(zhì)量檢測(cè)系統(tǒng)是工業(yè)檢測(cè)的極其重要的組成部分，機(jī)器視覺(jué)表面缺陷檢測(cè)在許多行業(yè)開(kāi)始應(yīng)用，涉及鋼板、玻璃、印刷、電子、紡織品、零件、水果、木材、瓷磚、鋼軌等多種關(guān)系國(guó)計(jì)民生的行業(yè)和產(chǎn)品。

如下圖所示，這里以QuickEmbed研究的布匹數(shù)據(jù)作為案例，常見(jiàn)的有以下三種缺陷，磨損、白點(diǎn)、多線(xiàn)。

識(shí)別結(jié)果如下

工業(yè)零件在制造完成的時(shí)候，往往需要去檢測(cè)其完整性和功能性。如下圖所示，幾種常見(jiàn)缺陷檢測(cè)。

工件裂紋

下面對(duì)各行業(yè)應(yīng)用稍加分析闡述

1.航空業(yè)

這不僅是一個(gè)滿(mǎn)足對(duì)飛機(jī)所有零部件生產(chǎn)要求和規(guī)格的問(wèn)題，而且是一個(gè)在事后發(fā)現(xiàn)缺陷時(shí)代價(jià)高昂的延遲問(wèn)題。

據(jù)波音公司稱(chēng)，在2.6萬(wàn)億美元的航空服務(wù)市場(chǎng)中，70%的份額用于質(zhì)量和維護(hù)?？紤]到僅2016年美國(guó)的機(jī)械問(wèn)題就估計(jì)耗資超過(guò)5億美元，這應(yīng)該不足為奇。此外，航班延誤(許多乘客滯留)約有三分之一與維修有關(guān)。

視覺(jué)檢測(cè)技術(shù)與DL相結(jié)合，可以將組件與規(guī)格進(jìn)行比較，發(fā)現(xiàn)生產(chǎn)過(guò)程中的缺陷。除此之外，制造商還應(yīng)滿(mǎn)足定期維護(hù)要求，以確保乘客安全，并遵循政府的指導(dǎo)方針。這些技術(shù)可以識(shí)別以下缺陷和問(wèn)題:

腐蝕-計(jì)算機(jī)視覺(jué)系統(tǒng)可以在更短的時(shí)間內(nèi)對(duì)各個(gè)部件進(jìn)行檢查，并返回更徹底的檢查結(jié)果。

發(fā)動(dòng)機(jī)內(nèi)部部件的磨損-對(duì)發(fā)動(dòng)機(jī)內(nèi)部部件進(jìn)行遠(yuǎn)程目視檢查，以確保有效和安全的運(yùn)行。

鋁板厚度(通過(guò)三維測(cè)量)-厚度計(jì)可以提供高精度，無(wú)損讀數(shù)對(duì)大型和復(fù)雜的鋁板;并將收集到的數(shù)據(jù)上傳到您的系統(tǒng)進(jìn)行進(jìn)一步的分析。

自動(dòng)車(chē)輪檢查-接收有關(guān)飛機(jī)車(chē)輪疲勞裂紋的即時(shí)數(shù)據(jù)。通過(guò)使用由計(jì)算機(jī)視覺(jué)驅(qū)動(dòng)的系統(tǒng)，操作人員不必浪費(fèi)時(shí)間在冗長(zhǎng)的檢查上，可以專(zhuān)注于手頭的其他工作。

葉片在制造或修理后的檢查-計(jì)算機(jī)射線(xiàn)照相和數(shù)字射線(xiàn)照相可用于檢查葉片的關(guān)鍵缺陷。因此，無(wú)需使用數(shù)字格式的化學(xué)品，就可以快速獲得圖像。后者可以進(jìn)一步進(jìn)行失效分析，并帶來(lái)精確的三維測(cè)量。

2.汽車(chē)行業(yè)

安全問(wèn)題讓OEM和一級(jí)供應(yīng)商夜不能寐。這是乘客的風(fēng)險(xiǎn)/死亡問(wèn)題，也是公司聲譽(yù)的問(wèn)題。最近，豐田同意支付13億美元的和解金，原因是一項(xiàng)缺陷導(dǎo)致汽車(chē)加速，即使司機(jī)試圖減速。美國(guó)有6人死于這種缺陷。

利用視覺(jué)檢查、人工智能和深度學(xué)習(xí)的認(rèn)知能力，原始設(shè)備制造商可以更準(zhǔn)確地分析和識(shí)別質(zhì)量問(wèn)題，甚至在問(wèn)題發(fā)生之前就解決它們。隨著時(shí)間的推移，當(dāng)他們熟悉更多類(lèi)型的缺陷時(shí)，這些可視化的洞察和分析可以確定缺陷的嚴(yán)重程度。

一家領(lǐng)先的汽車(chē)制造商采用智能光學(xué)檢測(cè)解決方案來(lái)檢測(cè)金屬表面的劃痕和凹痕缺陷。對(duì)于人類(lèi)檢查員來(lái)說(shuō)，在光亮的表面上發(fā)現(xiàn)這樣的缺陷是極其困難的。傳統(tǒng)的機(jī)器檢查也沒(méi)有什么幫助，因?yàn)橄到y(tǒng)不能捕獲不可預(yù)測(cè)的凹痕或劃痕缺陷。另一個(gè)問(wèn)題是，該系統(tǒng)必須由人類(lèi)員工進(jìn)行培訓(xùn)，提供有缺陷部件的圖像，教會(huì)它分辨哪些部件是可以接受的，哪些部件是不可接受的。然而，公司一開(kāi)始就有一個(gè)相當(dāng)?shù)偷娜毕萋剩ㄙM(fèi)了他們大量的時(shí)間和精力來(lái)收集一個(gè)小的可視化數(shù)據(jù)集來(lái)表示足夠的缺陷變化。最終，他們選擇了一個(gè)更“智能”的系統(tǒng)，并很快意識(shí)到采用后的好處如下:

降低66%的檢驗(yàn)成本

假陽(yáng)性率降低33%

假陰性率維持在1%以下

3.計(jì)算機(jī)設(shè)備制造業(yè)

自動(dòng)光學(xué)檢測(cè)(AOI)曾經(jīng)是制造業(yè)計(jì)算機(jī)設(shè)備的自然選擇，特別是由于對(duì)小型電路板設(shè)計(jì)的需求正在增長(zhǎng)，而且在某些情況下，缺陷可能被證明是高度有害的。

除此之外，AOI還可以檢測(cè)到:

區(qū)域缺陷

組件偏移

焊料問(wèn)題

外來(lái)材料

高度和體積缺陷

短路

安裝錯(cuò)誤

當(dāng)為AOI檢查設(shè)置規(guī)格和方差裕度時(shí)，它們要比人工檢查精確得多。然而，AOI系統(tǒng)仍然無(wú)法檢測(cè)到設(shè)備的“外觀(guān)”問(wèn)題。

這就是為什么富士通實(shí)驗(yàn)室一直在率先為電子行業(yè)開(kāi)發(fā)支持人工智能的識(shí)別系統(tǒng)，并在質(zhì)量、成本和交付方面報(bào)告了大量進(jìn)展。通過(guò)遺傳編程，該公司的圖像識(shí)別系統(tǒng)實(shí)際上生成了檢測(cè)代碼，能夠產(chǎn)生幾乎100%的識(shí)別率。將該技術(shù)應(yīng)用于生產(chǎn)現(xiàn)場(chǎng)，開(kāi)發(fā)時(shí)間減少80%左右，識(shí)別率達(dá)到97%。

然而，不僅僅是高價(jià)值的制造可以使用自動(dòng)化的視覺(jué)檢查和人工智能。考慮一下這兩個(gè)來(lái)自以消費(fèi)者為基礎(chǔ)的行業(yè)的例子。

4.紡織行業(yè)

在某個(gè)時(shí)刻，我們所有人都買(mǎi)了衣服，發(fā)現(xiàn)里面貼著“被(某個(gè)數(shù)字)檢查過(guò)”的小標(biāo)簽。這意味著人工檢查產(chǎn)品在縫紉、織造等方面的缺陷，并確定其符合公司的質(zhì)量規(guī)格。顯然，這是一個(gè)代價(jià)高昂且容易出錯(cuò)的過(guò)程。接受有缺陷產(chǎn)品的客戶(hù)必須經(jīng)過(guò)退貨/換貨程序，這是公司不喜歡的。

自動(dòng)視覺(jué)檢查的實(shí)現(xiàn)，以及DL功能，現(xiàn)在可以檢測(cè)紋理、編織、縫合，甚至顏色匹配的問(wèn)題。當(dāng)發(fā)現(xiàn)缺陷時(shí)，不僅可以將紡織品或產(chǎn)品從生產(chǎn)線(xiàn)上移除，而且還可以發(fā)現(xiàn)缺陷的根源，并在未來(lái)進(jìn)行修復(fù)和預(yù)防。

同時(shí)，可以對(duì)這些系統(tǒng)進(jìn)行微調(diào)，以接受更大范圍的容錯(cuò)能力。例如，Datacolor的人工智能系統(tǒng)可以考慮過(guò)去由人工操作人員進(jìn)行的視覺(jué)檢查的歷史數(shù)據(jù)，從而創(chuàng)建與視覺(jué)檢查樣本更接近的自定義公差。

紡織業(yè)最新的人工智能用例之一是創(chuàng)建一個(gè)檢測(cè)和測(cè)量織物褶皺的系統(tǒng)。目前織物起皺性能的測(cè)量大多是手工進(jìn)行的，比較繁瑣。計(jì)算機(jī)視覺(jué)驅(qū)動(dòng)的皺紋測(cè)量可以幫助制造商降低成本和時(shí)間所需的這一過(guò)程。

5.玻璃行業(yè)

這個(gè)行業(yè)經(jīng)常面臨的問(wèn)題之一是玻璃在生產(chǎn)過(guò)程中的缺陷——切屑、劃痕等。通常，當(dāng)前的檢測(cè)方法會(huì)產(chǎn)生“假陽(yáng)性”，例如水滴被識(shí)別為切屑。

通過(guò)自定義計(jì)算機(jī)視覺(jué)和人工智能模型的實(shí)現(xiàn)，可以消除這些類(lèi)型的錯(cuò)誤。在一個(gè)案例中，正確的缺陷識(shí)別為一家大型玻璃制造商在每條生產(chǎn)線(xiàn)上平均節(jié)省了3.6萬(wàn)美元，總計(jì)每年節(jié)省近100萬(wàn)美元。

質(zhì)量控制是一個(gè)公司保持制造標(biāo)準(zhǔn)、客戶(hù)滿(mǎn)意度以及最終聲譽(yù)和利潤(rùn)的主要因素。計(jì)算機(jī)視覺(jué)有巨大的質(zhì)量控制潛力。