一種陶質(zhì)焊接襯墊產(chǎn)品質(zhì)量檢測方法

肖書浩，陳 涵，吳 蕾

（1.武昌首義學(xué)院機電工程研究所，湖北 武漢 430064；2.湖北工業(yè)大學(xué)機械工程學(xué)院，湖北 武漢 430068）

1 引言

陶質(zhì)焊接襯墊具有良好的防潮能力和焊接時電弧穩(wěn)定的性能，在焊接時，有效保證焊接產(chǎn)品質(zhì)量，優(yōu)化工作條件，被廣泛應(yīng)用于橋梁、船舶、建筑、冶金機械等焊接領(lǐng)域。由于生產(chǎn)環(huán)境的影響，陶質(zhì)襯墊在生產(chǎn)過程中會產(chǎn)生不同的缺陷，傳統(tǒng)檢測陶質(zhì)襯墊的方式是利用人工目測。隨著近年來深度學(xué)習(xí)、圖像處理領(lǐng)域的快速發(fā)展，陶質(zhì)焊接襯墊的產(chǎn)品質(zhì)量檢測方式逐漸由自動化方式代替人工，解決人工檢測成本高，效率低等問題。

在工業(yè)界的工件識別及產(chǎn)品質(zhì)量檢測領(lǐng)域中，國內(nèi)外學(xué)者提出了諸多解決方案。工件識別的主要算法有基于局部二值模式（LBP）與支持向量機（SVM）相結(jié)合的識別算法[1]，基于尺度不變特征的特征提取識別算法[2]，基于LBP和方向梯度直方圖特征融合的識別算法[3]。產(chǎn)品質(zhì)量檢測的主要算法有基于灰度共生矩陣和分層聚類對人造板表面圖像缺陷提取[4]，基于近鄰搜尋方法和SVM對石材的缺陷檢測方法[5]，基于Canny邊緣檢測與最大類間方差法和形態(tài)學(xué)圖像分割法對高反射零部件的識別方法[6]，基于Tetrolet變換對熱軋鋼板表面缺陷的分類識別[7]，基于剪切波和小波特征融合對金屬表面缺陷識別方法[8]，基于邊緣檢測和亞像素提取測量旋轉(zhuǎn)工件表面粗糙度方法[9]，基于結(jié)構(gòu)光視覺的激光拼焊焊縫表面質(zhì)量檢測方法[10]。上述方法均需要對圖像進(jìn)行人工預(yù)處理提取相應(yīng)的工件或產(chǎn)品特征，在識別工件或產(chǎn)品缺陷都有一定局限性，對不同的工件或產(chǎn)品缺陷無較好的泛化性能。

陶質(zhì)焊接襯墊的主要生產(chǎn)缺陷有裂紋、污漬、缺角、大面積缺損、表面凹坑等五種。傳統(tǒng)算法對適用環(huán)境苛刻，對多類缺陷識別問題表現(xiàn)欠佳，基于Yolo-v3的目標(biāo)檢測算法存在識別精度不高等問題。根據(jù)流水線上陶質(zhì)襯墊的檢測需求，對目標(biāo)檢測網(wǎng)絡(luò)Yolo-v3進(jìn)行改進(jìn)，提出Yolo-Res模型，對識別出的目標(biāo)區(qū)域做多屬性預(yù)測后合并屬性，解決了實時檢測目標(biāo)分類不準(zhǔn)確問題。該方法具有一定實時性，檢測過程由端到端，對陶質(zhì)襯墊的缺陷檢測問題有較高的準(zhǔn)確率，有效解決缺陷識別魯棒性。

2 Yolo-v3

2.1 Yolo-v3算法原理

Yolo 是端對端的one-stage 目標(biāo)檢測算法，與two-stage 的RCNN系列相比，one-stage算法利用目標(biāo)邊框坐標(biāo)回歸解決邊框的定位問題，two-stage 則先利用Select Search、RPN 等算法生成目標(biāo)候選框，再對框內(nèi)目標(biāo)進(jìn)行分類識別。one-stage 算法在保證一定檢測準(zhǔn)確率的前提下的檢測速度略優(yōu)于two-stage算法，因此常用于重視實時檢測效率的應(yīng)用場景中，如流水線上陶質(zhì)襯墊的產(chǎn)品質(zhì)量檢測等。Yolo的原理是將輸入的樣本圖片分成S×S網(wǎng)格，目標(biāo)中心落在某單元格時，該單元格負(fù)責(zé)檢測目標(biāo)。每個單元格會預(yù)測B 個邊界框和邊界框的置信度。置信度（confidence）包括該邊界框中有無目標(biāo)的概率和邊界框的準(zhǔn)確度。有無目標(biāo)的概率記為Pr（object），有目標(biāo)時Pr（object）=1，無目標(biāo)時Pr（object）=0。邊界框的準(zhǔn)確度記為（Intersection over union），表示預(yù)測框與真實框交并比。其中：

每個邊界框的預(yù)測值包含（x，y，w，h，c），式中：x和y-相對于單元格左上角坐標(biāo)的偏移量；w和h-邊界框的寬高；c-該框的置信度。Yolo-v3 中的類別預(yù)測采用Logistic 分類器取代Yolo-v2中的Softmax分類器，在復(fù)雜環(huán)境中一個目標(biāo)可能是多個類別，因此將多標(biāo)簽多類別預(yù)測的Logistic分類器代替單標(biāo)簽多類別預(yù)測的Softmax分類器。

Yolo-v3的損失函數(shù)由三部分組成，第一部分是針對邊界框的中心坐標(biāo)的誤差和針對邊界框的寬和高的誤差Lcoord，如公式（1）所示。

式中：S—網(wǎng)格系數(shù)；B-bounding box 的數(shù)量；—第i個單元格含有目標(biāo)，且該單元格第j個bounding box負(fù)責(zé)預(yù)測所包含目標(biāo)；λcoord-該項的權(quán)重。

第二部分是含目標(biāo)的邊界框的置信度誤差和不含目標(biāo)的邊界框的置信度誤差，如式（2）所示。

第三部分是包含目標(biāo)的單元格的分類誤差，如式（3）所示：

2.2 Yolo-v3網(wǎng)絡(luò)結(jié)構(gòu)

Yolo-v3 中使用Darknet-53 作為特征提取網(wǎng)絡(luò)，如圖1 所示。Darknet-53 相比Yolo-v2 中使用的Darknet-19，借鑒了Resnet中的殘差結(jié)構(gòu)，在加深網(wǎng)絡(luò)層數(shù)的同時不會導(dǎo)致梯度消失問題，訓(xùn)練難度大大降低，精度明顯提升。對于416×416像素大小的圖像輸入，Yolo-v3使用三種不同尺寸的特征圖進(jìn)行預(yù)測，特征圖大小分別為：（13×13），（26×26），（52×52），其中，尺寸小的特征圖預(yù)測大目標(biāo)，尺寸大的特征圖預(yù)測相對小的目標(biāo)。每個特征圖負(fù)責(zé)預(yù)測3個box，每個box預(yù)測（x，y，w，h，c）5個值。在COCO數(shù)據(jù)集上，每個特征圖需要預(yù)測80個類別的目標(biāo)，所以每個特征圖的通道數(shù)為3×（4+1+80）=255。

圖1 Yolo-v3網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Yolo-v3 Network Structure

Yolo-v3采用上采樣與之前特征向量做特征拼接的方法實現(xiàn)多尺度的feature map，在Backbone網(wǎng)絡(luò)的最后一層得到一個特征向量，該向量有兩條分支，一條分支經(jīng)過一系列卷積后得到尺寸為13×13的feature map，另一條分支經(jīng)過一系列卷積和上采樣后與上層的特征向量做特征融合，得到新的特征向量；該向量亦有兩條分支，一條分支經(jīng)過一些列卷積后得到尺寸為26×26 的feature map，依此類推得到52×52的feature map。

3 改進(jìn)的Yolo-v3模型

根據(jù)陶質(zhì)焊接襯墊的產(chǎn)品質(zhì)量檢測的任務(wù)特性，針對Yolov3的檢測及分類不準(zhǔn)確問題，提出一種Yolo-v3與Resnet50相結(jié)合的模型結(jié)構(gòu)，把陶質(zhì)焊接襯墊的分類視為多屬性分類任務(wù)。Yolo-v3完成目標(biāo)檢測任務(wù)，Resnet50完成目標(biāo)分類任務(wù)。陶質(zhì)焊接襯墊在圖像中占據(jù)20%以上的像素值，對Yolo-v3的網(wǎng)絡(luò)結(jié)構(gòu)作些許改進(jìn)，以更適應(yīng)產(chǎn)品質(zhì)量檢測任務(wù)。僅將Yolo-v3的兩組尺度特征作為目標(biāo)檢測依據(jù)，摒棄對小目標(biāo)最敏感的特征圖。對于416×416像素的樣本，Layer74得到的特征向量分兩部分，一部分經(jīng)過7次卷積得到13×13的特征圖，另一部分經(jīng)過6次卷積1次上采樣后與Layer61輸出的特征向量作特征拼接再經(jīng)過7次卷積得到26×26的特征圖。多尺度融合作為目標(biāo)檢測依據(jù)的方法能明顯提高目標(biāo)檢測精度，取兩組特征作特征融合更加適應(yīng)陶質(zhì)焊接襯墊的產(chǎn)品質(zhì)量檢測任務(wù)，在保證檢測精度的同時減少大量不必要計算量，大幅提升檢測速度。

陶質(zhì)焊接襯墊的缺陷主要有裂紋、污漬、缺角、大面積缺損、表面凹坑五類，每種缺陷視為獨立特定的屬性，剝離Resnet50的尾部全連接層，將特征向量分別連接五個不同的二分類全連接層，存在該屬性標(biāo)簽標(biāo)記為1，否則為0，若5類屬性全為0則為合格品，總體算法框架，如圖2所示。

圖2 算法框架流程圖Fig.2 Algorithm Framework Flowchart

4 實驗結(jié)果與分析

為驗證提出Yolo-Res算法的可行性，將該算法應(yīng)用于陶質(zhì)焊接襯墊的產(chǎn)品質(zhì)量檢測。實驗配置如下：Core i7-7700k@4.2 GHz，16GB內(nèi)存，GeForce GTX 1080Ti，Ubuntu16.04，CUDA 10.0，Pytorch1.0。

4.1 數(shù)據(jù)集準(zhǔn)備

根據(jù)本算法特性，將模型分為兩部分訓(xùn)練，一部分為改進(jìn)的Yolo-v3的目標(biāo)檢測訓(xùn)練任務(wù)，另一部分為Resnet50的多屬性任務(wù)標(biāo)簽分類訓(xùn)練任務(wù)。

數(shù)據(jù)集來自陶質(zhì)焊接襯墊產(chǎn)品迷你流水線，使用Logitech相機采集960x720像素的圖像3000張，部分?jǐn)?shù)據(jù)集，如圖3所示。數(shù)據(jù)集按照8：1：1的比例分成訓(xùn)練集、驗證集和測試集。在Yolo-v3模型上訓(xùn)練的數(shù)據(jù)集采用Labelimg工具標(biāo)記，以COCO數(shù)據(jù)集格式儲存。訓(xùn)練前利用K-means算法調(diào)整Yolo-v3的候選框的個數(shù)與相應(yīng)參數(shù)，以提升算法效率與性能，得到如下六組候選框（75，61），（62，45），（81，119），（116，90），（156，198），（373，326）。

圖3 陶質(zhì)焊接襯墊數(shù)據(jù)集Fig.3 Ceramic Welding Gaskets Dataset

4.2 模型訓(xùn)練

訓(xùn)練參數(shù)參考Yolo-v3 預(yù)訓(xùn)練參數(shù)，在此基礎(chǔ)上做一定調(diào)整，得到最優(yōu)參數(shù)，如表1所示。

表1 Yolo-v3超參數(shù)Tab.1 Yolo-v3 Hyperparameters

根據(jù)上表設(shè)置參數(shù)，得到最優(yōu)訓(xùn)練效果，該模型Loss值與迭代次數(shù)的關(guān)系，如圖4所示。

圖4 Yolo-v3訓(xùn)練loss曲線Fig.4 Yolo-v3 Training Loss Curve

由上圖可知，迭代次數(shù)在2000次時Loss值基本趨于平穩(wěn)，損失函數(shù)達(dá)到收斂，改進(jìn)Yolo-v3模型訓(xùn)練完成。

訓(xùn)練Yolo-v3模型后，從原數(shù)據(jù)集中利用Yolo-v3截取出檢測到的目標(biāo)，生成新的數(shù)據(jù)集，該數(shù)據(jù)集采用自編寫屬性標(biāo)注工具進(jìn)行標(biāo)記，每個樣本分別標(biāo)記5種屬性（裂紋、污漬、缺角、大面積缺損、表面凹坑）的屬性值（0或1）。通過對比，選定Resnet-50的訓(xùn)練參數(shù)，如表2所示。根據(jù)表中參數(shù)，得到最優(yōu)訓(xùn)練效果，該模型Loss值與迭代次數(shù)的關(guān)系，如圖5所示，由圖5看出，loss值在迭代次數(shù)達(dá)到1000時基本趨于穩(wěn)定，模型達(dá)到收斂狀態(tài)。

表2 Resnet-50超參數(shù)Tab.2 Resnet-50 Hyperparameters

圖5 Resnet50訓(xùn)練loss曲線Fig.5 Resnet50 Training Loss Curve

4.3 測試結(jié)果

為驗證Yolo-Res模型的可行性，將訓(xùn)練好的模型在測試集上測試，分5組進(jìn)行測試實驗，得到實驗結(jié)果，如表3所示。

表3 實驗結(jié)果Tab.3 Experimental Results

由實驗結(jié)果可知，該模型在陶質(zhì)焊接襯墊測試集上表現(xiàn)優(yōu)異，平均召回率可達(dá)到94.66%，平均準(zhǔn)確率達(dá)到88%，平均每張樣本檢測時間49.4ms，基本滿足實際任務(wù)要求。部分測試結(jié)果，如圖6所示。

圖6 測試結(jié)果Fig.6 Test Results

圖6展示了部分測試結(jié)果，其中l(wèi)abel標(biāo)記為quality的目標(biāo)為合格品，label標(biāo)記為defective的目標(biāo)為次品，label后的小數(shù)值為其類別的概率可能性。可以看出在測試集上，提出的模型檢測效果出色，對僅有一種缺陷的陶質(zhì)襯墊或多種交叉重疊缺陷的陶質(zhì)襯墊都有較高的檢出率。

4.4 實驗結(jié)果對比與分析

為進(jìn)一步驗證模型性能，將提出算法與目前已成熟的算法做橫向?qū)Ρ葘嶒灐＞唧w實驗結(jié)果，如表4所示。

表4 不同算法實驗結(jié)果對比Tab.4 Comparison of Experimental Results of Different Algorithms

通過不同算法實驗結(jié)果對比分析，F(xiàn)aster R-CNN 的檢測精度達(dá)到88.7%略高于本文算法88%，但檢測時間243.6ms約5倍長于本文Yolo-Res 算法的49.4ms，不滿足實際產(chǎn)品檢測需求；Yolo-v3的平均每張樣本檢測時間29.8ms略快于本文Yolo-Res算法，但其檢測精度83.2%不滿足實際檢測任務(wù)。綜上所示，本文Yolo-Res算法性能優(yōu)異，實時檢測精度達(dá)到88%，實時檢測時間49.4ms/張，檢測速度達(dá)到20fps，基本能滿足實際陶質(zhì)焊接襯墊實時檢測任務(wù)。

5 結(jié)論

根據(jù)陶質(zhì)焊接襯墊的產(chǎn)品質(zhì)量檢測任務(wù)特性，提出一種基于Yolo-v3 和Resnet 的目標(biāo)檢測算法Yolo-Res。所提出算法在Yolo-v3 算法上做出改進(jìn)，將原有3 個尺度特征圖縮減為2 個尺度，減少大量參數(shù)降低計算量的同時提高檢測精度，再利用Resnet50做多屬性預(yù)測，規(guī)避陶質(zhì)襯墊次品缺陷重疊和分類不準(zhǔn)確問題。結(jié)果表明，算法實時檢測效果優(yōu)于目前已成熟的算法，基本滿足陶質(zhì)焊接襯墊產(chǎn)品質(zhì)量檢測任務(wù)需求，為陶質(zhì)焊接襯墊產(chǎn)品自檢系統(tǒng)打下良好基礎(chǔ)。