基于改進(jìn)YOLOv5的船體焊縫缺陷自動(dòng)檢測方法

0 引言

目前中大型船舶的主要建造形式是將船舶各部分通過焊接的方法進(jìn)行組合。建造一艘船舶至少 25%~40%的時(shí)間消耗在船舶焊接中。船舶的焊接性能是船舶密閉性的保證，因此對(duì)船舶焊接處的檢測至關(guān)重要。

張人杰等利用M-SMOTE 算法對(duì)焊縫樣本進(jìn)行精細(xì)化處理，提取焊縫的不同特征，經(jīng) AP 聚類后輸入神經(jīng)網(wǎng)絡(luò)完成對(duì)船體焊縫的缺陷檢測。高翌飛等分析 FPSO 彎管特點(diǎn)，結(jié)合相控陣超聲，制作出相控陣掃描器，能夠契合 FPSO 彎管，實(shí)現(xiàn)對(duì) FPSO 彎管在狹小空間的焊縫檢測。上述方法雖然能夠完成對(duì)船體焊縫缺陷的檢測，但也存在著一定的缺點(diǎn)。如對(duì)于船體焊縫圖像的采集要求嚴(yán)格、檢測時(shí)間長，對(duì)于一些微小的缺陷存在檢測準(zhǔn)確率過低甚至無法檢測的問題對(duì)于正常的焊縫缺陷存在檢測準(zhǔn)確率不高的問題等。

改進(jìn)的 YOLOv5 具有輕量化、易部署、速度快準(zhǔn)確度高等優(yōu)點(diǎn)，因此研究基于改進(jìn) YOLOv5 的船體焊縫缺陷自動(dòng)檢測，可更加準(zhǔn)確且快速完成船體焊縫檢測。

1 船體焊縫缺陷自動(dòng)檢測

1.1 船體焊縫圖像采集及處理

在多種光照條件下，對(duì)不同產(chǎn)品焊接處進(jìn)行圖像采集形成數(shù)據(jù)集。由于船體焊縫圖像的質(zhì)量會(huì)直接影響到船體焊縫檢測的結(jié)果，因此需要對(duì)船體焊縫圖像進(jìn)行處理。本文利用灰度變化方法對(duì)采集到的船體焊接圖像進(jìn)行處理，即可以避免圖像中的特征消失，也可以提高正常焊縫與存在缺陷的焊縫間的對(duì)比度使船體焊縫缺陷檢測更加容易。

對(duì)船體焊縫圖像進(jìn)行正弦灰度計(jì)算完成圖像的處理，正弦灰度計(jì)算公式如下:

式中: g（x,y)為輸出像素灰度值;f(x,y) 為輸入像素灰度值; min(f)、max(f) 分別為輸入像素灰度值的最小值、最大值;r為輸入相對(duì)強(qiáng)度;(x,y) 為圖像像素的坐標(biāo)點(diǎn)。

1.2 基于 YOLOv5 網(wǎng)絡(luò)的船體焊縫檢測

在YOLOv5 網(wǎng)絡(luò)中，主要組成部分為 Input、Back-bone、Neck 以及 Head。將灰度變換后的焊縫圖像通過Input 輸人到 YOLOv5 網(wǎng)絡(luò)中，Backbone 的作用為提取焊縫圖像特征，包含 Focus、SPP 以及 CSP。Focus 主要完成焊縫圖像的壓縮，使焊縫特征的提取速度加快;SPP 通過池化功能增加網(wǎng)絡(luò)感受野，使網(wǎng)絡(luò)可以處理多尺度問題;CSP 用于提取焊縫圖像特征，其中包含基本卷積 CBS 模塊。Neck 的主要作用是將 Backbone中提取的焊縫特征進(jìn)行融合。Head 是檢測網(wǎng)絡(luò)也作為YOLOv5 網(wǎng)絡(luò)的輸出層，通過損失函數(shù)去除多余目標(biāo)框根據(jù)圖形特征進(jìn)行檢測得到最佳船體焊縫缺陷檢測結(jié)果。YOLOv5 網(wǎng)絡(luò)的船體焊縫檢測結(jié)構(gòu)如圖 1所示。

1.3 YOLOv5 的主干網(wǎng)絡(luò)改進(jìn)

通過圖1可知，用于船體焊縫檢測的 YOLOv5 結(jié)構(gòu)中存在諸多 CBS 模塊，由于在 CBS 模塊中存在卷積層，且大量的卷積層會(huì)增加網(wǎng)絡(luò)的負(fù)載，給計(jì)算帶來壓力。因此，對(duì)YOLOv5 網(wǎng)絡(luò)中 Backbone 部分的 CSP1殘差模塊進(jìn)行改進(jìn)，使用 GhostNet 進(jìn)行替換，改進(jìn)后的 CSP1 如圖 2 所示。

采用 GhostNet 替換卷積層，GhostNet 內(nèi)部采用元余特征生成器與卷積層相結(jié)合，此種組合方式可 以有效降低網(wǎng)絡(luò)資源使用和計(jì)算時(shí)間。與一般卷積層相比，GhostNet 卷積層需要兩步完成卷積，一般卷積公式為:

其計(jì)算量為:

GhostNet 卷積公式為:

GhostNet 卷積計(jì)算量為 :

式中: b為偏置;Y為卷積輸出的焊縫特征圖，該焊縫特征圖高為H'，寬為w'，且Y∈RH'xw'xN;X為卷積輸入的焊縫圖像，該焊縫圖像高為h，通道數(shù)為c，寬為w，且X∈ Rhxwxc;Y'為 Gost 經(jīng)過一般卷積后輸出的焊縫特征圖，該焊縫特征圖大小為 H'xW'，數(shù)量為n個(gè); kxk表示卷積核大小;f∈RcxNxkxk為存在 N個(gè)卷積核; Y'i為第i個(gè)在Y'中的焊縫特征圖，Yij為Y'被卷積核變換函數(shù)φij;轉(zhuǎn)換后生成的第j個(gè) Ghost焊縫特征圖像，s為 Ghost焊縫特征圖像總數(shù)。

GhostNet 卷積如圖 3 所示。

1.4 損失函數(shù)

應(yīng)用改進(jìn) YOLOv5 網(wǎng)絡(luò)的損失函數(shù)采用的是CIoU，基于 DIOU 損失函數(shù)，并考慮了兩框的長寬比后形成的。其中 DIOU 損失函數(shù)的計(jì)算公式為:

式中: bgt為目標(biāo)框; b'為預(yù)測框; o為兩框的最小外接矩形對(duì)角線長度; IoU為交并比;p2(b',bgt)為兩框中心點(diǎn)歐氏距離。

CIOU 的計(jì)算公式為:

其中：

式中: a為權(quán)衡參數(shù);v為衡量長寬比一致參數(shù); wgt為目標(biāo)框?qū)挾? hgt為目標(biāo)框高度; w'為預(yù)測框?qū)挾?:h' 為預(yù)測框高度。

2 仿真實(shí)驗(yàn)

2.1 實(shí)驗(yàn)對(duì)象

選擇某貨輪進(jìn)行船體焊縫缺陷檢測，其參數(shù)如表 1 所示。

2.2 結(jié)果與分析

為驗(yàn)證本文正弦灰度的計(jì)算效果，選擇船中某處具有缺陷的焊縫采集圖像并利用正弦灰度變換和伽馬灰度變換 2 種方式對(duì)圖像進(jìn)行處理，并對(duì)比二者的焊縫缺陷檢測結(jié)果，如圖 4 所示?？芍?，當(dāng)采用伽馬灰度變換時(shí)圖像較為模糊，基本無法有效突出焊縫缺陷特征點(diǎn)，導(dǎo)致焊縫缺陷檢測結(jié)果不精確，預(yù)測框較大;而采用正弦灰度變換則能夠準(zhǔn)確地突出缺陷所在位置的特征點(diǎn)，獲取精準(zhǔn)的焊縫缺陷檢測結(jié)果。

為保證網(wǎng)絡(luò)的檢測準(zhǔn)確性，需要對(duì) YOLOv5 網(wǎng)絡(luò)進(jìn)行足夠的訓(xùn)練。準(zhǔn)備各種焊縫缺陷圖像各 500 幅進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果如圖 5 所示?？芍W(wǎng)絡(luò)的損失值隨著訓(xùn)練次數(shù)的增加逐漸減小，損失函數(shù)在前 100 次的訓(xùn)練中收斂速度極快，并在 200 次訓(xùn)練后損失逐漸達(dá)到平穩(wěn)狀態(tài)，經(jīng)過 500 次訓(xùn)練后平均準(zhǔn)確度達(dá)到98%，損失函數(shù)為 0.15。

為證明本文方法的實(shí)際應(yīng)用效果，隨機(jī)采集船舶5 處焊縫進(jìn)行缺陷檢測，檢測結(jié)果如表 2 所示?？芍瑑H在船長室中的焊縫處發(fā)現(xiàn)缺陷，關(guān)鍵的貨艙和輪機(jī)室未發(fā)現(xiàn)焊縫缺陷，說明該船舶的焊接大部分處于合格狀態(tài)，也證明了本文方法能夠準(zhǔn)確檢測出不易發(fā)現(xiàn)的焊縫缺陷。

3 結(jié)語

本文方法對(duì)焊縫圖像進(jìn)行的灰度變換，可使圖像更加清晰，訓(xùn)練的網(wǎng)絡(luò)準(zhǔn)確率高損失值低，并且能夠快速準(zhǔn)確發(fā)現(xiàn)船舶中的隱藏焊縫缺陷。

文章來源：新機(jī)器視覺

審核編輯：湯梓紅