深度學習在機器視覺中的應用與發(fā)展

在短短幾年內(nèi)，深度學習軟件已經(jīng)比任何傳統(tǒng)算法可以更好地對圖像進行分類處理，而且可能很快就可以超越人工檢查。

近年來，寵物食品制造商已經(jīng)使用機器視覺軟件來驗證狗和貓的食品包裝上是否存在獨特的字符、代碼、顏色和圖形。然而，現(xiàn)在這些公司可以通過使用深度學習視覺軟件驗證包裝上是否存在狗或貓圖像來補充這一過程。

與傳統(tǒng)的圖像處理軟件(依賴于特定任務的算法)不同，深度學習軟件使用多層神經(jīng)自學習算法網(wǎng)絡，根據(jù)人類檢查員標記的圖像來識別好圖像和壞圖像。這些數(shù)據(jù)集通常包含每個缺陷類型至少100個圖像，通過網(wǎng)絡提供，以創(chuàng)建一個模型，對每個輸入圖像中的對象進行分類，并確保高水平的可預測性。

為了驗證寵物食品包裝上的特定動物照片，復雜的神經(jīng)網(wǎng)絡必須在訓練階段后的幾個層次上模仿人類的判斷。在高層算法專注于更復雜的特征（如面部，四肢，爪子和尾巴）之前，低層算法會檢查圖像是否有簡單的形狀，如邊緣。然后，其他高層算法可以識別所有照片變形、背景、光照條件、視點和障礙物。最后，頂層算法給出了圖像中動物類型的概率，并驗證它是否存在于特定的動物食品包裝上。所有四個步驟都在0.5到1秒內(nèi)完成。

Cognex公司視覺軟件營銷總監(jiān)John Petry解釋說:“許多節(jié)點組成每個神經(jīng)網(wǎng)絡層，每個節(jié)點做出一個單一的決定，它們一起識別所有類型的圖像模式，并對圖像的好壞做出判斷。”

用于機器視覺的深度學習軟件已經(jīng)存在了十多年，但直到最近幾年才變得對用戶友好和可行。在這短短的時間內(nèi)，幾個行業(yè)的制造商已經(jīng)開始將其應用于各種各樣的領(lǐng)域，如檢測手術(shù)器械上的焊接水坑、驗證汽車座椅組件中多個組件的存在，以及識別反光金屬表面上的不同缺陷。

軟件供應商表示，這些例子代表著第二次機器視覺革命的開始。深度學習不僅對機器視覺的各個方面都有積極的影響——比如精度、相機性能和燈光控制——而且這種技術(shù)可以完成過去難以完成或需要太多投資的應用。

起源與開放

深度學習的概念對于機器視覺來說相對較新，但對于機器學習來說絕對不是新概念。深度學習是機器學習的一種特殊類型，是人工智能的一種。

丹佛的集成商Artemis Vision總裁Tom Brennan說道：“用于深度學習的當前神經(jīng)網(wǎng)絡算法非常好，但如果你使用圖靈測試作為晴雨表，它們還沒有達到人工智能的水平，目前深度學習在一些醫(yī)療設備和制藥應用得到了應用?！?/p>

Brennan說：“圖靈測試要求機器或技術(shù)表現(xiàn)出與人類相當?shù)男袨椋斯?a target="_blank">智能級別的算法可以直接響應人類智能的任何問題。

最初的計算機視覺深度學習架構(gòu)是由Kunihiko Fukushima在20世紀80年代引入的新認知。作為一種人工神經(jīng)網(wǎng)絡，neocognitron已被用于手寫字符和模式識別任務，并作為通常用于分析視覺圖像的更復雜神經(jīng)網(wǎng)絡的基礎(chǔ)。

開源深度學習軟件最早出現(xiàn)在20世紀90年代，當時出現(xiàn)了許多關(guān)鍵的算法突破。從那時起，計算機科學家已經(jīng)能夠更好地利用巨大的計算能力和數(shù)據(jù)，這對神經(jīng)系統(tǒng)的形成至關(guān)重要網(wǎng)絡很好地工作。網(wǎng)上可用的開源軟件包括C/ c++和Java庫、框架和工具包。

Cyth Systems首席執(zhí)行官Andy Long解釋說:“十年前，當深度學習軟件和相關(guān)硬件的能力遠遠不夠時，培訓軟件進行深度學習需要大約兩周的時間。到2014年，這花了大約兩天時間，現(xiàn)在不到一天。”

雄心勃勃的集成商和制造商傾向于從開源軟件開始，因為它不需要許可或特許權(quán)使用費。在缺點方面，供應商提供的技術(shù)支持很少，在網(wǎng)絡培訓開始之前，最終用戶必須仔細地對幾百到幾千張數(shù)據(jù)集圖像進行分類。

“Petry指出:“使用開源軟件開始深度學習實踐的公司需要一個真正專家，比如工程學博士。”即使這樣，用戶也很容易花6到12個月的時間來獲得適合應用程序的軟件。還有一個問題是，當需要檢查不同的零件或裝配過程發(fā)生變化時，必須重做軟件。

Brennan說，Artemis在兩個深度學習應用程序中使用了開源軟件。在這兩種情況下，Artemis的工程師都需要對軟件進行“大約2%”的修改和微調(diào)，以完全適應每個應用程序。

深度學習適用于機器視覺

隨著制造商需要更智能，準確和可重復的視覺系統(tǒng)，深度學習軟件越來越受歡迎。終端用戶最收益的是軟件可以在幾分鐘內(nèi)自動編程視覺系統(tǒng)。

深度學習最適合涉及可變形對象而非剛性對象的應用。另一個好的應用是驗證在裝配體中存在顏色和紋理變化的許多部件。此外，傳統(tǒng)軟件要求被檢部件具有特定的公差范圍，而深度學習最好由最大且最清晰標記的好的和壞的部分圖像數(shù)據(jù)集提供。

雖然深度學習通常被認為是化妝品檢驗應用，但Petry說，它也非常擅長確認試劑盒中存在多個物品。例如，確保手術(shù)導管是醫(yī)療套件的一部分，而不管導管位于何處或其對相機的視角如何。

“從本質(zhì)上講，深度學習是應用統(tǒng)計學的一項重要工作，”布倫南說。 “[神經(jīng)網(wǎng)絡中]每個節(jié)點的任務是統(tǒng)計地確定與好的或壞的部分最相關(guān)的圖像數(shù)據(jù)。神經(jīng)算法本身并不聰明，但它學會了以某種方式執(zhí)行預處理操作，以幫助軟件產(chǎn)生與人們告訴它正確的結(jié)果相匹配的結(jié)果?！?/p>

供應商表示，對許多公司而言，深度學習已從實驗階段進入體驗階段。這些制造商已經(jīng)親身體會到，并不是每個應用程序都適合進行深度學習，深度學習也不是能夠解決所有視覺應用程序問題。

最終用戶通常希望對特定的應用程序使用深度學習。然而，供應商知道，為了確定這是最佳選擇，需要進行幾項測試。軟件供應商表示，深度學習軟件比標準軟件靈活得多。布倫南對此表示贊同，尤其是在照明方面。他說，深度學習能更好地通過降低圖像的可變性來控制圖像中的光線。

“他指出:“神經(jīng)網(wǎng)絡算法可以在明亮或昏暗的光線下分辨出好的和壞的圖像。”“他們能學會識別這些光線的差異并不重要，并能準確地對好的和壞的部分進行分類?！?/p>

Teledyne Dalsa亞太區(qū)技術(shù)總監(jiān)Yvon Bouchard表示，深度學習主要用于確保整個裝配過程的質(zhì)量，尤其是零件精加工和最終表面檢測等任務。有時它也被用來幫助“姿態(tài)估計”，或估計一個物體的位置和方向。這適用于組裝的部件可能沒有固定或在操作之前需要確定部件的方向。

Teledyne Dalsa的Sherlock 8.0軟件是一種快速應用程序開發(fā)工具，它使用傳統(tǒng)的圖像處理功能，并具有深入的學習選項。該公司還為制造商獨特而苛刻的視覺應用開發(fā)定制軟件和優(yōu)化的深度學習模型。

“Sherlock軟件更適合那些想要在一個簡化基本視覺和深度學習過程的環(huán)境中進行自己培訓的用戶，”Bouchard解釋道?！瓣P(guān)鍵在于，該軟件允許終端用戶訪問所有標準工具，并進行深度學習，以生成特定的解決方案。在許多應用中，傳統(tǒng)的視覺工具執(zhí)行部分檢查任務，而深度學習處理檢查中難以編碼的部分。”

Sherlock軟件與帶有單色或彩色格式成像儀的區(qū)域和線掃描相機兼容。它直接連接到火線，GigE和USB攝像頭。

Cyth Systems早在2008年就引入了神經(jīng)視覺（NV）軟件的第一個版本，但由于當時的硬件和技術(shù)限制，它沒有像公司所希望的那樣執(zhí)行。然而到了2014年，第三代NV被開發(fā)出來并證明能夠更好地解決復雜的視覺問題。今天，近80％的Cyth客戶在他們的應用程序中使用深度學習。

Long表示，這些客戶包括汽車，食品，航空航天，白色家電和電子產(chǎn)品制造商。后兩者使用深度學習進行裝配驗證，而航空航天公司則依靠它來確保無瑕疵的座椅和發(fā)動機。

“幾年前，有機食品種植者開始使用我們在該領(lǐng)域的深度學習軟件來更好地分類其顏色變化過多的水果和蔬菜，”Long說。 “在汽車行業(yè)，一位客戶使用深度學習來驗證每個座椅組件是否與正確的車輛一起使用。有些座椅的頭枕上有一個麥克風，麥克風在頭枕的每張訓練照片上都有圓圈，因此軟件知道要查找什么?！?/p>

電子產(chǎn)品客戶使用深度學習來組裝和分類PCB，電阻器和晶體管。食品制造商依賴它，因此確保包裝始終具有最佳美觀并包含正確的食品。

在醫(yī)學領(lǐng)域，Artemis開發(fā)了一種深度學習應用程序，以幫助制造商檢測焊接中的攪拌，該焊接將金屬銷連接到手術(shù)工具的末端鉗口。該工具密封容器以防止出血。

焊接在小而粗糙的表面區(qū)域上手動完成，并在使用深度學習軟件之前通過標準機器視覺進行驗證。兩次檢查都在一個小型測試工作站中進行。

另一項Artemis項目涉及使用深度學習軟件來檢測玻璃瓶中的微小缺陷。制藥最終用戶需要完美無缺的小瓶，可以容納材料而不會有任何泄漏。 Brennan說Artemis轉(zhuǎn)向深度學習，因為它更好地定位僅在某些角度下出現(xiàn)在光線下的缺陷。

“深度學習是確保產(chǎn)品質(zhì)量的好方法，例如在人們通常進行某種檢查的應用中，”Petry解釋道。 “在整個產(chǎn)品生產(chǎn)之后但在包裝之前驗證組件也非常有用。例如，汽車前燈，徽章和輪子，裝滿各種食物或糖果的盒子，以及裝有支架，管子和夾子等物品的手術(shù)包。

兩年前，康耐視開始提供ViDi深度學習庫，并于去年與其旗艦視覺軟件產(chǎn)品VisionPro一起推出。該套件有四個基本工具：化妝品檢查，零件定位，分類和光學字符識別（OCR）。

康耐視ViDi可靠地讀取許多具有挑戰(zhàn)性的日期和批次代碼，以及浮雕和蝕刻文本。它還可以自動檢查復雜的圖案織物并識別缺陷。

ViDi Blue-Locate算法定位零件，計算托盤上的半透明玻璃醫(yī)用瓶，并對套件和包進行質(zhì)量控制檢查。 ViDi Red-通過了解目標區(qū)域的不同外觀來分析缺陷或其他感興趣區(qū)域。

ViDi Green-Classify根據(jù)包裝識別產(chǎn)品，或?qū)山邮芑虿豢山邮艿漠惓＿M行分類，例如焊縫質(zhì)量。最后，ViDi Blue-Read使用OCR解碼嚴重變形，偏斜和蝕刻不良的代碼。其預訓練字體庫可識別大多數(shù)文本，無需額外的編程或字體訓練。

Teledyne的一位客戶最近使用深度學習軟件來解決自動裝配過程中涉及小螺釘?shù)膯栴}。由于螺釘未正確配合，公司會定期遇到停機，從而導致螺釘部分堵塞到組件中的交叉螺紋情況。

“雖然一些傳統(tǒng)的軟件可以檢查螺紋特性，但在這種情況下的問題是螺釘尖端已經(jīng)在主體上經(jīng)過模具和圓錐形尖頭穿過，”Bouchard說。 “深度學習是一個更好的選擇，因為尖端的過渡區(qū)域可以有無數(shù)個可能的形狀。視覺系統(tǒng)可以顯示成千上萬個好的和壞的螺絲尖的例子，這樣可以更容易地快速判斷它是好還是壞?！?/p>

挑戰(zhàn)與未來

深度學習給最終用戶帶來了挑戰(zhàn)，而傳統(tǒng)視覺軟件無法輕松解決這些挑戰(zhàn)。 Bouchard表示，大多數(shù)用戶缺乏對深度學習取得成功所需要的理解。

“到目前為止，主要問題是缺乏高質(zhì)量，適當分類的圖像，”Bouchard說。 “典型的深度學習應用程序需要數(shù)百甚至數(shù)千個圖像樣本。在更困難的情況下或自定義應用程序中，訓練模型可能需要多達一百萬或更多的圖像樣本。“

龍說，制造商對深度學習的期望是理想主義和現(xiàn)實主義的混合體。這就是他為每個客戶提前解釋其限制和基本流程的原因。 Cyth還對每個應用程序進行了視覺研究，以確定它是否真的是深度學習的候選者。

“該公司向我們發(fā)送了要拍照的部件，我們會為每個部件生成50到100個好的和壞的圖像，”Long解釋道。 “在我們的測試之后，我們讓他們知道基于假陰性和誤報百分比的深度學習的成功概率。太多的假陰性令人討厭，但過多的誤報會導致產(chǎn)品質(zhì)量問題?！?/p>

與其他軟件不同，Cyth的神經(jīng)視覺平臺從生產(chǎn)環(huán)境中捕獲圖像，并將這些標記的數(shù)據(jù)集發(fā)送到云進行離線處理。然后將圖像發(fā)送回PC，并對軟件進行培訓，以便對裝配線上的零件進行深度學習檢查。

Long說這些圖像是通過紅外線，3D，線掃描或智能相機拍攝的。該軟件僅需25毫秒來分析圖像并確定部件是好（綠色檢查）還是壞（紅叉）。

根據(jù)Long的說法，任何擁有產(chǎn)品知識的人都可以訓練系統(tǒng)運行，并且始終如一提供可重復的結(jié)果。該軟件還允許最終用戶輕松推出新應用程序，引用舊應用程序并訪問所有檢查結(jié)果以進行統(tǒng)計分析。

Inspekto的S70自動機器視覺系統(tǒng)使用一系列深度學習引擎作為其Plug and Inspect軟件的一部分。它可以快速（30到60分鐘）并且經(jīng)濟高效地安裝和設置，無需任何階段的集成商或人工智能專家。緊湊型系統(tǒng)包括先進的視覺傳感器和鏡頭，照明設備和一組可調(diào)節(jié)臂。

最終用戶不需要設置任何質(zhì)量保證參數(shù)，因為系統(tǒng)自動適應檢查項目。此外，由于該系統(tǒng)與生產(chǎn)線整合，并且足夠堅固，不受任何環(huán)境和環(huán)境影響，因此無需將特殊結(jié)構(gòu)放置到位。

該系統(tǒng)已經(jīng)在歐洲各地的工廠中使用，并且每天都要為Mahle等領(lǐng)先的汽車零部件制造商檢查數(shù)十萬種產(chǎn)品。 Inspekto的首席技術(shù)官Yonatan Hyatt表示，它提供了越來越多的應用程序，包括完整的歸檔和可追溯性，并且足夠準確，無需將產(chǎn)品脫機進行檢查。此外，該系統(tǒng)可用于手動裝配線，以確保操作員正確執(zhí)行每項任務。

“非自動機器視覺系統(tǒng)的最終用戶沒有直接與視覺質(zhì)量保證解決方案（集成商）為生產(chǎn)線開發(fā)，并且[可能]對當代深度學習軟件的期望有限，”首席執(zhí)行官Harel Boren說。 Inspekto。 “但是，他們確實希望軟件[提供]集成商承諾的解決方案?；蛘呤褂蒙疃葘W習引擎陣列的自主視覺系統(tǒng)將徹底解決他們的問題。“