使用YOLOX檢測(cè)PCB的缺陷

PCB（印刷電路板）

我知道，你一定在問(wèn)，什么是PCB？不是嗎？對(duì)于不知道PCB是什么的人，這里有一個(gè)來(lái)自維基百科的定義：

PCB（Printed Circuit Board），中文名稱為印制電路板，又稱印刷線路板，是重要的電子部件，是電子元器件的支撐體，是電子元器件電氣相互連接的載體。由于它是采用電子印刷術(shù)制作的，故被稱為“印刷”電路板。［1］

我打賭你一生中至少見(jiàn)過(guò)一次PCB，但可能不想知道它是什么。以下是維基百科DVD讀取器上的PCB圖像：

PCB無(wú)處不在。幾乎所有的電子設(shè)備都有一個(gè)隱藏在其中的印刷電路板。在很多情況下，這些PCB在設(shè)計(jì)時(shí)或使用后都可能存在缺陷。

以下是互聯(lián)網(wǎng)上列出的PCB中一些常見(jiàn)缺陷的列表，以及免費(fèi)提供的數(shù)據(jù)集中的示例圖像？．

1.Opens

2.Excessive solder

3.Component shifting

4.Cold joints

5.Solder bridges

6.Webbing and splashes

7.Lifted pads

我們不會(huì)深入探討它們的確切含義，因?yàn)檫@不是博客的內(nèi)容。但是，從懂一點(diǎn)計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的計(jì)算機(jī)工程師的角度來(lái)看，似乎檢測(cè)PCB數(shù)字圖像中的缺陷是一個(gè)可以解決的問(wèn)題。

我們將使用mmdetection？ 檢測(cè)PCB圖像中的缺陷。OpenMMLab？ 是一個(gè)深度學(xué)習(xí)庫(kù)，擁有計(jì)算機(jī)視覺(jué)領(lǐng)域大多數(shù)最先進(jìn)實(shí)現(xiàn)的預(yù)訓(xùn)練模型。它實(shí)現(xiàn)了幾乎所有眾所周知的視覺(jué)問(wèn)題，如分類、目標(biāo)檢測(cè)與分割、姿態(tài)估計(jì)、圖像生成、目標(biāo)跟蹤等等。

YOLOX：2021超越Y(jié)OLO系列？

本文中，我們將使用YOLOX？ ，我們將微調(diào)mmdetection？． YOLOX？ 是2021發(fā)布的最先進(jìn)模型，是YOLO系列的改進(jìn)。作者做出了一些重大改進(jìn)，如下所示。

1.引入SimOTA進(jìn)行標(biāo)簽分配

2.移除錨箱

3.注意數(shù)據(jù)增強(qiáng)

4.用于檢測(cè)和分類的獨(dú)立頭

之前從v3到v5的YOLO系列都有一個(gè)單一的預(yù)測(cè)頭，其中包括邊界框預(yù)測(cè)、分類分?jǐn)?shù)預(yù)測(cè)以及對(duì)象性分?jǐn)?shù)預(yù)測(cè)，如上圖上半部分所示。

這在YOLOX中發(fā)生了變化？ 作者選擇使用具有獨(dú)立頭的解耦頭進(jìn)行所有預(yù)測(cè)的系列。

如圖所示，檢測(cè)頭和分類頭位于不同的頭中。這有助于改善訓(xùn)練期間的收斂時(shí)間（如圖3所示），并略微提高模型精度。

由于分離為兩個(gè)頭部，參數(shù)數(shù)量顯著增加，因此模型的速度確實(shí)受到了影響。正如我們?cè)趫D4中看到的，YOLOX－L比YOLOv5－L慢一點(diǎn)。它也有專門為參數(shù)低得多的邊緣設(shè)備構(gòu)建的微型版本。

與以前最先進(jìn)的對(duì)象檢測(cè)模型相比，它們?cè)谄骄确矫娲_實(shí)有所提高，但FPS略有下降。

最后，正如偉大的萊納斯·托瓦爾茲所說(shuō)，

廢話少說(shuō)。放碼過(guò)來(lái)。

讓我們直接跳到代碼里！

使用mmdetection微調(diào)YOLOX

我們有一個(gè)名為DeepPCB的開源PCB缺陷數(shù)據(jù)集？． 該數(shù)據(jù)集由1500個(gè)圖像對(duì)組成，每個(gè)圖像對(duì)具有一個(gè)無(wú)缺陷模板圖像和一個(gè)具有缺陷的圖像，該圖像具有6種常見(jiàn)類型缺陷的邊界框注釋，即open， mouse－bite， short， spur， spurious copper， 和pin－h(huán)ole。

圖像的尺寸為640×640，在我們的YOLOX案例中非常完美？ 在相同的維度上進(jìn)行訓(xùn)練。

OpenMMLab？

OpenMMLab可以非常輕松地微調(diào)最先進(jìn)的模型，只需很少的代碼更改。它具有針對(duì)特定用例的全面API。我們將使用mmdetection？ 用于微調(diào)YOLOX？ 在DeepPCB上？ 數(shù)據(jù)集。

數(shù)據(jù)集格式

注：PCB缺陷數(shù)據(jù)集是一個(gè)開源數(shù)據(jù)集，取自具有MIT許可證的DeepPCB Github repo

我們需要將數(shù)據(jù)集修改為COCO格式或Pascal VOC格式來(lái)重新訓(xùn)練模型。這是MMD檢測(cè)所必需的？ 加載自定義數(shù)據(jù)集進(jìn)行訓(xùn)練。

出于訓(xùn)練目的，我們將采用COCO格式。你無(wú)需費(fèi)盡心思將數(shù)據(jù)集轉(zhuǎn)換為COCO格式，因?yàn)樗呀?jīng)為你完成了。你可以從這里直接下載轉(zhuǎn)換后的數(shù)據(jù)集。整個(gè)數(shù)據(jù)集與DeepPCB中的數(shù)據(jù)集相同？ 只需添加帶有COCO格式注釋的訓(xùn)練和測(cè)試JSON文件即可進(jìn)行訓(xùn)練。

我將不進(jìn)行COCO格式的轉(zhuǎn)換，因?yàn)槟憧梢哉业皆S多文檔，就像mmdetection文檔中提到的那樣。

將此數(shù)據(jù)集轉(zhuǎn)換為COCO格式的腳本：

import json

import os

TRAIN＿PATH ＝ ＇PCBData／PCBData／trainval．txt＇

TEST＿PATH ＝ ＇PCBData／PCBData／test．txt＇

def create＿data（data＿path， output＿path）：

images ＝ ［］

anns ＝ ［］

with open（data＿path， ＇r＇） as f：

data ＝ f．read（）．splitlines（）

dataset ＝ ［］

counter ＝ 0

for idx， example in enumerate（data）：

image＿path， annotations＿path ＝ example．split（）

image＿path ＝ os．path．join（＇PCBData＇， ＇PCBData＇， image＿path．replace（＇．jpg＇， ＇＿test．jpg＇））

annotations＿path ＝ os．path．join（＇PCBData＇， ＇PCBData＇， annotations＿path）

with open（annotations＿path， ＇r＇） as f：

annotations ＝ f．read（）．splitlines（）

for ann in annotations：

x， y， x2， y2 ＝ ann．split（）［：－1］

anns．a(chǎn)ppend（｛

＇image＿id＇： idx，

＇iscrowd＇： 0，

＇area＇： （int（x2）－int（x）） ＊ （int（y2）－int（y）），

＇category＿id＇： int（ann．split（）［－1］）－1，

＇bbox＇： ［int（x）， int（y）， int（x2）－int（x）， int（y2）－int（y）］，

＇id＇： counter

｝）

counter ＋＝ 1

images．a(chǎn)ppend（｛

＇file＿name＇： image＿path，

＇width＇： 640，

＇height＇： 640，

＇id＇： idx

｝）

dataset ＝ ｛

＇images＇： images，

＇annotations＇： anns，

＇categories＇： ［

｛＇id＇： 0， ＇name＇： ＇open＇｝，

｛＇id＇： 1， ＇name＇： ＇short＇｝，

｛＇id＇： 2， ＇name＇： ＇mousebite＇｝，

｛＇id＇： 3， ＇name＇： ＇spur＇｝，

｛＇id＇： 4， ＇name＇： ＇copper＇｝，

｛＇id＇： 5， ＇name＇： ＇pin－h(huán)ole＇｝，

］

｝

with open（output＿path， ＇w＇） as f：

json．dump（dataset， f）

create＿data（TRAIN＿PATH， ＇train．json＇）

create＿data（TEST＿PATH， ＇test．json＇）

數(shù)據(jù)集配置

下一步是修改數(shù)據(jù)集配置以使用自定義數(shù)據(jù)集。我們需要添加／修改特定的內(nèi)容，如類的數(shù)量、注釋路徑、數(shù)據(jù)集路徑、epoch數(shù)量、基本配置路徑和一些數(shù)據(jù)加載器參數(shù)。

我們將復(fù)制一個(gè)預(yù)先編寫的YOLOX－s配置，并為我們的數(shù)據(jù)集修改它。其余的配置，如增強(qiáng)、優(yōu)化器和其他超參數(shù)將是相同的。

我們不會(huì)改變太多，因?yàn)檫@個(gè)博客的主要目的是熟悉手頭的問(wèn)題，嘗試最先進(jìn)的YOLOX架構(gòu)，并實(shí)驗(yàn)mmdetection庫(kù)。我們將把這個(gè)文件命名為yolox＿s＿config。py并將其用于訓(xùn)練。

我們將添加類名并更改預(yù)測(cè)頭的類數(shù)。由于將從根目錄而不是configs目錄加載配置，因此需要更改基本路徑。

＿base＿ ＝ ［＇configs／＿base＿／schedules／schedule＿1x．py＇， ＇configs／＿base＿／default＿runtime．py＇］

classes ＝ （＇open＇， ＇short＇， ＇mousebite＇， ＇spur＇， ＇copper＇， ＇pin－h(huán)ole＇）

bbox＿h(yuǎn)ead ＝ dict（type＝＇YOLOXHead＇， num＿classes＝6， in＿channels＝128， feat＿channels＝128）

我們需要稍微修改train dataset loader以使用我們的類和注釋路徑。

train＿dataset ＝ dict（

type＝＇MultiImageMixDataset＇，

dataset＝dict（

type＝dataset＿type，

classes＝classes，

ann＿file＝＇train．json＇，

img＿prefix＝＇＇，

pipeline＝［

dict（type＝＇LoadImageFromFile＇），

dict（type＝＇LoadAnnotations＇， with＿bbox＝True）

］，

filter＿empty＿gt＝False，

），

pipeline＝train＿pipeline）

我們需要在這里對(duì)驗(yàn)證和測(cè)試集執(zhí)行相同的操作。這里我們不打算使用單獨(dú)的測(cè)試集，相反，我們將使用相同的測(cè)試集進(jìn)行驗(yàn)證和測(cè)試。

data ＝ dict（

samples＿per＿gpu＝8，

workers＿per＿gpu＝4，

persistent＿workers＝True，

train＝train＿dataset，

val＝dict（

type＝dataset＿type，

classes＝classes，

ann＿file＝＇test．json＇，

img＿prefix＝＇＇，

pipeline＝test＿pipeline），

test＝dict（

type＝dataset＿type，

classes＝classes，

ann＿file＝＇test．json＇，

img＿prefix＝＇＇，

pipeline＝test＿pipeline））

我們將只對(duì)模型進(jìn)行20個(gè)epoch的訓(xùn)練，并每5個(gè)階段獲得一次驗(yàn)證結(jié)果。我們不需要再訓(xùn)練了，因?yàn)槲覀冎辉?0個(gè)epoch里取得了不錯(cuò)的成績(jī)。

max＿epochs ＝ 20

interval ＝ 5

訓(xùn)練

我們很樂(lè)意使用數(shù)據(jù)集部分。接下來(lái)我們需要做的是訓(xùn)練模型。mmdetection最棒的部分？ 是，所有關(guān)于訓(xùn)練的事情都已經(jīng)為你們做了。你所需要做的就是從tools目錄運(yùn)行訓(xùn)練腳本，并將路徑傳遞給我們?cè)谏厦鎰?chuàng)建的數(shù)據(jù)集配置。

python3 tools／train．py yolox＿s＿config．py

你已經(jīng)成功訓(xùn)練了！

推理

讓我們看看我們的模型在一些示例上的表現(xiàn)。你一定想知道，訓(xùn)練模型有多容易，必須有一個(gè)命令來(lái)對(duì)圖像進(jìn)行推理？

有！但是，不要讓訓(xùn)練模型的簡(jiǎn)單程序拖累了你。讓我們編寫一些用于推理的代碼，但讓你感到高興的是，它不到10行代碼。

from mmdet．a(chǎn)pis import init＿detector， inference＿detector， show＿result＿pyplot

config＿file ＝ ＇yolox＿s＿config．py＇

checkpoint＿file ＝ ＇best＿bbox＿mAP＿epoch＿20．pth＇

device ＝ ＇cuda：0＇

＃ init a detector

model ＝ init＿detector（config＿file， checkpoint＿file， device＝device）

＃ inference the demo image

image＿path ＝ ＇demo．jpg＇

op ＝ inference＿detector（model， image＿path）

show＿result＿pyplot（model， image＿path， op， score＿thr＝0．6）

這將顯示一個(gè)帶有邊界框的圖像，邊界框上繪制有預(yù)測(cè)的類名。下面是一個(gè)來(lái)自數(shù)據(jù)集的示例圖像，其中包含模型預(yù)測(cè)。

我們做到了！

你也可以嘗試我們預(yù)先訓(xùn)練的模型，并使用它進(jìn)行推理。

結(jié)論

今天，我們了解了現(xiàn)實(shí)世界中普遍存在的一個(gè)新問(wèn)題，并嘗試使用像YOLOX這樣的最先進(jìn)模型來(lái)解決這個(gè)問(wèn)題？．

我們還使用了mmdetection？ ，它是深度學(xué)習(xí)社區(qū)中用于訓(xùn)練對(duì)象檢測(cè)模型的領(lǐng)先開源庫(kù)之一。如果我不提如何檢測(cè)，那將是不公平的？ 。

在幾乎沒(méi)有任何自定義腳本的情況下，讓我們?nèi)绱丝焖?、輕松地解決問(wèn)題。

磐創(chuàng)AI

審核編輯 ：李倩