友思特應(yīng)用 | 模型鏈接一應(yīng)俱全：IC多類別視覺檢測一站式解決方案

導(dǎo)讀

高精度IC制造工藝需要對產(chǎn)品進行全方位檢測以保證工藝質(zhì)量過關(guān)。友思特 Neuro-T 通過調(diào)用平臺的流程圖功能，搭建多類深度學(xué)習(xí)模型，形成了一站式的視覺檢測解決方案。本文將為您詳述方案搭建過程與實際應(yīng)用效果。

在當今集成電路（IC）制造領(lǐng)域，特別是對于高精度要求的工藝流程，如半導(dǎo)體芯片生產(chǎn)，快速準確地檢測出缺陷至關(guān)重要，也有通過OCR識別芯片印刷字符從而明確缺陷芯片型號的需求。針對IC多類別視覺檢測的需求，常規(guī)方式需要一一部署視覺檢測模型，并編程實現(xiàn)多個模型的調(diào)度和交互邏輯。

友思特 Neuro-T 機器視覺軟件，通過平臺具備的流程圖（Flowchart）功能，鏈接多個不同的深度學(xué)習(xí)模型，一站式解決同一目標多個視覺檢測需求，并可以通過推理中心（Inference Center），模擬單/多模型部署的實際檢測效果。

友思特 Neuro-T 支持的深度學(xué)習(xí)模型類型

監(jiān)督學(xué)習(xí)
分類		將圖像分類成不同類別或OK/NG組別 簡單分類目標缺陷的有無，精度高
實例分割		分析圖像中檢測到的物體形狀并圈選 準確識別并分割目標的缺陷區(qū)域，精度最高，適合占像素點少（低至10像素點）、形狀較簡單的目標
目標檢測		檢測圖像中物體的類別、數(shù)量并定位 識別和定位目標的缺陷區(qū)域，精度高，適合占像素點稍多、形狀較復(fù)雜的目標
OCR字符識別		檢測和識別圖像中的字母、數(shù)字或符號 預(yù)置預(yù)訓(xùn)練模型，批量快速進行數(shù)據(jù)標注
旋轉(zhuǎn)		旋轉(zhuǎn)圖像至合適的方位 服務(wù)于其他類型的模型，提高其他模型的識別準確率
GAN 對抗生成網(wǎng)絡(luò)		學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷 人工生成目標的缺陷圖像，彌補缺陷數(shù)據(jù)量不足的問題
無監(jiān)督學(xué)習(xí)
異常 分類		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測異常圖像進行分類 分類目標缺陷的有無，精度高于分類模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景
異常 分割		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測異常圖像并定位缺陷位置 準確識別并分割異常目標的缺陷區(qū)域，精度略低于實例分割模型（可設(shè)置異常閾值），主要適用于數(shù)據(jù)缺乏場景

友思特 Neuro-T 流程圖

友思特Neuro-T的流程圖功能，在視覺項目的圖像標注和訓(xùn)練的同時，提供直觀有效的UI組件，輔助項目流程的設(shè)計和梳理。通過鏈接多個不同的深度學(xué)習(xí)模型，平臺不僅可以對圖像中需要檢測的目標進行高效的聚焦和高精度的檢測，還可以同時執(zhí)行不同的視覺任務(wù)，滿足用戶多樣化的視覺檢測需求。

以上圖為例，初始圖像內(nèi)容包括平板以及三塊需要檢測的PCB對象，需要檢測三塊PCB的缺陷類型。該視覺檢測項目通過鏈接三個深度學(xué)習(xí)模型完成：

旋轉(zhuǎn)模型：檢測對象進入相機拍攝區(qū)域并不一定是同一姿態(tài)，通過旋轉(zhuǎn)模型自動將圖像旋轉(zhuǎn)至合適的朝向，以利于后面的圖像檢測分割以及分類檢測。

目標檢測模型：從圖像中檢測出需要檢測的PCB對象，并按實際檢測到的方框尺寸（也可以統(tǒng)一尺寸裁剪）來分割圖像，得到裁剪出來的三個PCB對象的圖像。

分類模型：對分割后的三個PCB對象的圖像分別通過目標分類模型，最終確認是屬于哪種缺陷類型（臟污、劃痕、孔洞）的PCB，并輸出和可視化結(jié)果。

友思特 Neuro-T 推理中心

友思特Neuro-T的推理中心，可以幫助用戶快速地驗證單個深度學(xué)習(xí)模型或多個深度學(xué)習(xí)模型鏈接之后的實際部署檢測效果，分別以統(tǒng)計結(jié)果和圖像檢測效果的形式呈現(xiàn)?？梢圆榭锤鱾€環(huán)節(jié)的檢測效果和統(tǒng)計結(jié)果，幫助用戶改進視覺檢測項目。最終可以分別導(dǎo)出單一的模型，自行設(shè)計模型推理邏輯，或包含多個深度學(xué)習(xí)模型以及他們之間的鏈接的單一流程圖模型，無需自行設(shè)計多個模型之間的交互邏輯，即可完成復(fù)雜的多需求的視覺檢測項目。

統(tǒng)計結(jié)果

圖像檢測效果

IC 視覺檢測方案

方案一

需求：檢測IC芯片是否有引腳缺失，檢測芯片表面字符印刷是否清晰，如清晰，進一步檢測字符。

字符檢測 引腳缺失檢測

檢測流程

（1）導(dǎo)入圖像集，標注，訓(xùn)練，得到圖像中IC芯片的目標檢測模型。

（2）調(diào)用目標檢測模型，對IC芯片目標進行裁剪，得到只包含目標最小框的圖像區(qū)域的新數(shù)據(jù)集，起動態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測結(jié)果。

（3）對上述得到的新數(shù)據(jù)集標注、訓(xùn)練，得到IC芯片的旋轉(zhuǎn)模型，并通過該模型作用于原數(shù)據(jù)集，得到新數(shù)據(jù)集，其目的是將芯片旋轉(zhuǎn)至合適朝向，便于后續(xù)檢測，提高檢測準確率。

（4）對上述得到的新數(shù)據(jù)集標注，訓(xùn)練，得到異常分類模型，將原數(shù)據(jù)集分類成“OK—字符印刷正?！焙汀癗G--字符印刷異常”兩個新數(shù)據(jù)集。

（5）對于“OK”的數(shù)據(jù)集，進一步標注訓(xùn)練，得到OCR字符識別模型，實現(xiàn)字符檢測的效果。

（6）對于“NG”的數(shù)據(jù)集，進一步標注訓(xùn)練，得到實例分割模型，檢測并分割出“NG”芯片是否有引腳缺失以及引腳缺失的區(qū)域，實現(xiàn)引腳缺失檢測的效果。

方案二

需求：芯片是否引腳缺失，引腳缺失定位檢測

檢測流程

（1）導(dǎo)入圖像集。

（2）標注，訓(xùn)練，得到圖像中IC芯片的目標檢測模型。

（3）調(diào)用目標檢測模型，對IC芯片目標進行裁剪，得到只包含目標最小框的圖像區(qū)域的新數(shù)據(jù)集，起動態(tài)ROI的作用，排除其他內(nèi)容干擾后續(xù)檢測結(jié)果。

（4）對上述得到的新數(shù)據(jù)集只標注有引腳缺失的區(qū)域，訓(xùn)練，得到另一個目標檢測模型。如果圖像中有檢測到引腳缺失的區(qū)域，則標記為NG；若無，則標記為OK。

部署推理效果圖（結(jié)合IDS相機）

友思特研發(fā)人員開發(fā)的視覺檢測軟件對接了我們的IDS相機和深度學(xué)習(xí)軟件。右邊功能區(qū)包括分類/分割/目標檢測/流程圖等6種深度學(xué)習(xí)模型的功能切換，以及IDS相機曝光和增益參數(shù)的調(diào)整，右上區(qū)域是檢測結(jié)果圖列表，可以右鍵保存到本地或回溯檢測結(jié)果。左邊大圖是檢測結(jié)果可視化，左下角小圖是相機捕捉的原始圖像，表格顯示的是檢測目標的相關(guān)信息，這里以置信度為例，也可以放置檢測框的坐標/類別等信息，扇形圖顯示的是圖中檢測對象的類型占比，可以根據(jù)具體需求調(diào)整要顯示的內(nèi)容。輸出區(qū)域顯示的是程序運行的console。

友思特IC多類別視覺檢測方案

Neuro-T

Neuro-T 使用簡單的圖形用戶界面，通過自動優(yōu)化深度學(xué)習(xí)模型結(jié)構(gòu)和訓(xùn)練參數(shù)來創(chuàng)建出性能最佳的模型，無需任何深度學(xué)習(xí)經(jīng)驗，即可運行自己的深度學(xué)習(xí)項目。在系統(tǒng)中，Neuro-T 是用于訓(xùn)練模型的核心工具。

Neuro-R

Neuro-R 可實現(xiàn)無縫整合訓(xùn)練軟件創(chuàng)建的模型至支持各種環(huán)境和編程語言的運行時 API，其獨特性在于——不僅僅是簡單地傳遞模型推斷結(jié)果，還可以利用各種 API 以創(chuàng)造性的方式從多個模型生成結(jié)果，Neuro-R 是友思特缺陷檢測系統(tǒng)套裝的重要組成部分。

審核編輯 黃宇