基于深度學(xué)習(xí)的零件表面缺陷檢測與識別

蔡 航，茅 健，周玉鳳，李彬鵬

(上海工程技術(shù)大學(xué)機(jī)械與汽車工程學(xué)院，上海 201620)

0 引言

卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種識別二維或三維數(shù)據(jù)的多層神經(jīng)網(wǎng)絡(luò)，與其他基于深度學(xué)習(xí)的網(wǎng)絡(luò)相比，CNN 網(wǎng)絡(luò)有很多獨(dú)特的優(yōu)勢，能夠有效提高網(wǎng)絡(luò)模型的圖像處理的準(zhǔn)確率。

近年來，隨著對卷積神經(jīng)網(wǎng)絡(luò)的不斷探索與應(yīng)用，研究該網(wǎng)絡(luò)的學(xué)者越來越多，發(fā)表了大量基于卷積神經(jīng)網(wǎng)絡(luò)的算法結(jié)構(gòu)。Christian Szegedy 等人[1]在AlexNet算法模型的基礎(chǔ)上提出了GoogLeNet模型，通過增加其網(wǎng)絡(luò)深度使模型在訓(xùn)練中取得更好的效果，他們還提出了一種新的結(jié)構(gòu)--Inception 結(jié)構(gòu)；何凱明等人[2]設(shè)計(jì)了深度殘差網(wǎng)絡(luò)ResNet 模型，新增了冗余模塊，能深化網(wǎng)絡(luò)到101層、152層等更深的層次，特征的提取錯(cuò)誤率也降到了3.6%。Residual-Attention[3]、DenseNet[4]、SENet[5]等算法，在圖像識別領(lǐng)域得到了廣泛應(yīng)用，取得了優(yōu)異的識別效果，如在特征提取網(wǎng)絡(luò)中，特征的提取錯(cuò)誤率已降到2.2%。

綜合所述，本文針對銑削零件表面缺陷識別分類問題，在ResNet 網(wǎng)絡(luò)基礎(chǔ)上設(shè)計(jì)CNN 網(wǎng)絡(luò)結(jié)構(gòu)模型，實(shí)現(xiàn)銑削零件表面缺陷的檢測分類。

1 數(shù)據(jù)采集與預(yù)處理

銑削零件的缺陷圖像由設(shè)備PV5040-DCC 影像測量儀進(jìn)行采集，采集缺陷圖像如圖1所示。

圖1 缺陷采集圖像

在深度學(xué)習(xí)中，由于缺乏數(shù)據(jù)支撐而降低網(wǎng)絡(luò)的性能，尤其在深度神經(jīng)網(wǎng)絡(luò)中，訓(xùn)練數(shù)據(jù)量的優(yōu)化會使它的性能隨之提升。由于缺陷類型的不一致，缺陷最終的識別準(zhǔn)確率將有所下降，而且在數(shù)據(jù)量很小的情況下，很可能會導(dǎo)致識別誤差，針對此現(xiàn)狀，本文設(shè)計(jì)基于深度卷積對抗生成網(wǎng)絡(luò)(DCGAN)[6]的數(shù)據(jù)擴(kuò)增算法，本文算法優(yōu)化措施為：①使用更容易收斂的激活函數(shù)；②在每個(gè)卷積層后面都使用BN 層加速模型收斂；③移除全連接層，并使用全局池化層；④取消最大池化，下采樣通過stride=2的卷積實(shí)現(xiàn)。

本文設(shè)計(jì)的DCGAN網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。如銑削零件表面缺陷，假設(shè)每個(gè)圖像樣本的大小為256×256，網(wǎng)絡(luò)中每一層的卷積核尺寸為5×5，輸出的特征圖進(jìn)行都進(jìn)行歸一化處理，模型的衰減值設(shè)置為0.9，eclipse設(shè)置為0.00006；由圖3 可知，在迭代次數(shù)為1000 后，模型損失基本不變，所以設(shè)定該模型的訓(xùn)練迭代的次數(shù)為1500。

圖3 生成器D與判別器G的損失與訓(xùn)練迭代的關(guān)系

在完成一系列的網(wǎng)絡(luò)訓(xùn)練后，DCGAN 網(wǎng)絡(luò)生成的缺陷樣本部分如圖4所示。生成的圖像與實(shí)際圖像基本一致，這一過程使得生成樣本更接近真實(shí)獲取圖像的狀態(tài)，提高了缺陷數(shù)據(jù)庫的多樣性。

圖4 生成缺陷樣本圖

2 基于深度學(xué)習(xí)的檢測與識別算法

基于深度學(xué)習(xí)技術(shù)的目標(biāo)識別檢測技術(shù)主要分一階段算法和二階段算法[7]，他們可以自動提取訓(xùn)練集中的圖像特征，無需人工干預(yù)，且檢測效率和檢測精度比傳統(tǒng)的檢測方法更高，檢測結(jié)果更準(zhǔn)確。

一階段算法主要有SSD算法、YOLO系列算法等；二階段算法主流算法有R-CNN 算法、Fast R-CNN 算法和Faster R-CNN 算法等。通常，使用二階段算法檢測物體的精度高于一階段算法。因此，本文基于改進(jìn)的Faster R-CNN[8]目標(biāo)檢測算法建立表面缺陷檢測模型，應(yīng)用于銑削零件表面缺陷檢測。

2.1 特征提取網(wǎng)絡(luò)優(yōu)化

Faster R-CNN 的特征提取網(wǎng)絡(luò)為VGG16，該網(wǎng)絡(luò)是生成候選框的主要網(wǎng)絡(luò)。但是，該網(wǎng)絡(luò)對參數(shù)的量要求高，并且隨著網(wǎng)絡(luò)的加深，將面臨梯度消失的風(fēng)險(xiǎn)，VGG16t 網(wǎng)絡(luò)的性能就會大大降低，無法保證在一定的時(shí)間內(nèi)將缺陷的特征充分提取。

⑴ResNet網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)ResNet 將底層網(wǎng)絡(luò)的先驗(yàn)知識引入網(wǎng)絡(luò)訓(xùn)練里，使深層網(wǎng)絡(luò)表現(xiàn)穩(wěn)定。ResNet 網(wǎng)絡(luò)引入了一個(gè)殘差模塊，如圖5所示。

圖5 殘差網(wǎng)絡(luò)基本單元

殘差網(wǎng)絡(luò)由圖5的基本單元堆疊形成，左側(cè)為殘差模塊，右側(cè)為bottleneck模塊。通過計(jì)算時(shí)間和性能的考慮，本文選擇ResNet-50和ResNet-101進(jìn)行實(shí)驗(yàn)。

⑵ResNext網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)有效解決了網(wǎng)絡(luò)層深度與模型識別準(zhǔn)確率的矛盾，同時(shí)又要面臨新的復(fù)雜的網(wǎng)絡(luò)計(jì)算難題。受到了VGG 網(wǎng)絡(luò)和Inception 網(wǎng)絡(luò)思想的啟發(fā)，Xie 等人[9]構(gòu)建了ResNext 網(wǎng)絡(luò)，在同一層級特征圖下使用多個(gè)相同的結(jié)構(gòu)并將其融合，不增加參數(shù)難度的前提下，提高了網(wǎng)絡(luò)的擬合能力。

ResNext 網(wǎng)絡(luò)的一個(gè)block 結(jié)構(gòu)如圖6 所示，它使用大小為1×1、3×3的卷積和殘差網(wǎng)絡(luò)的短連接來構(gòu)建網(wǎng)絡(luò)，同時(shí)采用分組并行卷積的方法，將高維卷積轉(zhuǎn)化為低維卷積，32 組相同的拓?fù)浣Y(jié)構(gòu)平行的堆疊以獲取特征。這種算法保證網(wǎng)絡(luò)實(shí)現(xiàn)正常的擬合，同時(shí)也可以保持原有計(jì)算量，有效地優(yōu)化了網(wǎng)絡(luò)的檢測準(zhǔn)確率。本文選擇ResNext-101 作為特征提取網(wǎng)絡(luò)來進(jìn)行實(shí)驗(yàn)，并將其與上述殘差網(wǎng)絡(luò)進(jìn)行比較，進(jìn)而獲得最佳的backbone。ResNext-101 網(wǎng)絡(luò)的結(jié)構(gòu)與ResNet-101相似，只需要用圖6所示的block結(jié)構(gòu)替換對應(yīng)的殘差結(jié)構(gòu)。

圖6 ResNet塊(左)和ResNext塊(右)

2.2 RoI Pooling層的改進(jìn)

⑴RPN網(wǎng)絡(luò)輸出的ROI區(qū)域需要在輸入到分類與回歸模塊前進(jìn)行池化操作統(tǒng)一尺寸。因?yàn)樵赗oI Pooling的過程中會有兩次邊界量化取整操作，而在此之后現(xiàn)邊界框和最初的邊界框偏離，導(dǎo)致目標(biāo)定位不準(zhǔn)。

何凱明等使用RoI Align[10]改進(jìn)了RoI Pooling層。在映射目標(biāo)區(qū)域時(shí)，不要對所有生成的浮點(diǎn)邊界進(jìn)行量化，而是把區(qū)域進(jìn)行劃分成幾個(gè)小單元，并且不必量化各個(gè)單元的邊界。使用雙線性插值法，得到了各單元內(nèi)四個(gè)點(diǎn)坐標(biāo)，以減少誤差，其原理如圖7所示。

圖7 ROI Align原理圖

RoI Align優(yōu)化了量化方法，但每個(gè)單元內(nèi)部插值點(diǎn)數(shù)目僅和周圍的四個(gè)整數(shù)位置像素點(diǎn)相關(guān)，且插值點(diǎn)數(shù)目不能自適應(yīng)調(diào)整，無法將梯度表達(dá)出來，因而還存在提升的空間。

PrRoI Pooling 不進(jìn)行量化，且邊界框坐標(biāo)具有連續(xù)梯度。對于特征圖F 而言，本文用wi,j表示離散坐標(biāo)(i，j)處特征圖上的特征，雙線性差值的使用可讓輸出的離散特征圖被模型看作是連續(xù)的，此時(shí)可用(x,y)表示圖像內(nèi)任何連續(xù)空間的坐標(biāo)。函數(shù)表達(dá)式如下：

其中，IC(x,y,i,j)=max(0,1-|x-i|)×max(0,1-|y -j|)為插值系數(shù)。

bin={(x1,y1),(x2,y2)}表示為一個(gè)RoI 區(qū)域的一個(gè)單元，其中(x1,y1)和(x2,y2)代表左上與右下兩個(gè)對角點(diǎn)的連續(xù)坐標(biāo)。最后使用二階積分來實(shí)現(xiàn)給定單元和特征圖F的池化操作，公式如下：

由于這種方法避免了任何量化，所以公式⑵是可微的，對于x的偏導(dǎo)，有：

對于其他變量的偏導(dǎo)也類似。

PrRoI Pooling、PrRoI Align 和RoI Pooling 這三種類型的池化方式比較如圖8 所示，虛線表示圖像的特征再某一單元中的實(shí)際位置。RoI Pooling 不劃分單元，其池化方式是通過求二階積分的均值實(shí)現(xiàn)，該方式下輸出的特征圖可以看作是連續(xù)的，缺陷特征的信息完整，從而精準(zhǔn)的獲取細(xì)小缺陷的位置。所以本文使用PrRoI Pooling池化方式實(shí)現(xiàn)模型的池化操作。

圖8 三種池化方式的示意圖

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集的制作

銑削零件缺陷原始圖像樣本共十張，分辨率為256×256。采用DCGAN 網(wǎng)絡(luò)擴(kuò)增數(shù)據(jù)，共有缺陷樣本數(shù)據(jù)2000 張，數(shù)據(jù)集擴(kuò)增后各類樣本數(shù)量見表1。DCGAN 網(wǎng)絡(luò)生成圖像如圖9。從缺陷樣本中隨機(jī)選取600張作為測試集，其余1400張作為訓(xùn)練集。

表1 數(shù)據(jù)集擴(kuò)增后各類樣本數(shù)量

圖9 DCGAN擴(kuò)充樣本圖

3.2 實(shí)驗(yàn)

⑴訓(xùn)練參數(shù)設(shè)計(jì)

使用改進(jìn)后的Faster R_CNN 深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練時(shí)選取Adam 算法對學(xué)習(xí)率進(jìn)行自動學(xué)習(xí)更新，初始學(xué)習(xí)率設(shè)置為0.001；迭代次數(shù)設(shè)置為10000，批尺寸大小設(shè)置為64；Relu 函數(shù)為激活函數(shù)；將L1 正則化函數(shù)加入模型中，正則化系數(shù)設(shè)置為1e-5；選取CDIoU Loss 函數(shù)作為損失函數(shù)，動量參數(shù)設(shè)為0.9；錨框尺度設(shè)置為[8,16,32]、比例為[0.5,1,2]。

⑵特征提取網(wǎng)絡(luò)選取實(shí)驗(yàn)

為了選擇合適的特征提取網(wǎng)絡(luò)進(jìn)行銑削零件缺陷檢測，實(shí)驗(yàn)分別選擇ResNet-50，ResNet-101和ResNext-101 作為Faster R-CNN 框架的backbone，對表面缺陷進(jìn)行檢測，并在同一測試集上進(jìn)行測試。在實(shí)驗(yàn)中，使用平均精度均值(mAP)和平均檢測時(shí)間作為評價(jià)指標(biāo)評估檢測模型的檢測性能，實(shí)驗(yàn)結(jié)果如表2所示。

表2 各網(wǎng)絡(luò)評價(jià)指標(biāo)對比

由表2 可知使用ResNet-50，ResNet-101 和ResNext-101 幾種網(wǎng)絡(luò)作為模型的backbone 分別進(jìn)行訓(xùn)練時(shí)，他們的模型的檢測性能mAP 值分別為94.7%,95.3%和98.4%。從平均檢測精度來看，ResNet-101網(wǎng)絡(luò)的性能最強(qiáng)，mAP 值為98.4%；在檢測速度方面，ResNet-50 的其檢測速度最快。ResNext-101 網(wǎng)絡(luò)在mAP 值上的貢獻(xiàn)程度彌補(bǔ)了該網(wǎng)絡(luò)在平均檢測時(shí)間指標(biāo)上的不足，在實(shí)際中需要足夠高的識別準(zhǔn)確度，因此本文中Faster R-CNN 模型的backbone 選定為ResNext-101 網(wǎng)絡(luò)。當(dāng)使用ResNext-101 網(wǎng)絡(luò)作為檢測模型的backbone 時(shí)，零件表面缺陷每一類的AP 值如圖10所示。

圖10 四種缺陷平均檢測精度(AP)圖

從圖10 可以看出，當(dāng)使用ResNext-101 網(wǎng)絡(luò)作為檢測模型的backbone 時(shí)，檢測模型對于四種缺陷的檢測精度都非常出色，每種缺陷的AP都在96.5%以上。

⑶整體缺陷檢測結(jié)果與分析

600 張缺陷樣本測試集的檢測結(jié)果如表3 所示。每張測試圖片包含正常區(qū)域和缺陷區(qū)域，漏檢(False Negative,FN)表示是沒有檢測到缺陷目標(biāo)或缺陷目標(biāo)小部分被檢測出(LOU<0.35)，漏檢率(Miss detect rate,MDR)的計(jì)算方法見式⑷；過檢(False Positive,FP)表示的非缺陷目標(biāo)被定義為缺陷，過檢率(Over detect rate,ODR)計(jì)算方法見式⑸；正確檢測樣本數(shù)占總樣本數(shù)的比例定義為正確檢測率(Correct detect rate,CDR)，其計(jì)算方法見式⑹。

表3 Faster R-CNN檢測結(jié)果

當(dāng)未處理銑削圖像背景紋理時(shí)，F(xiàn)aster R-CNN 模型檢測基本失效，正確率只有33.3%，而處理后正確率提高了66.7%。當(dāng)缺陷圖片不足時(shí)，使用原Faster RCNN 檢測時(shí)，模型的MDR 與ODR 都偏高，此時(shí)模型在進(jìn)行缺陷檢測時(shí)對圖片噪聲的魯棒性較差，會導(dǎo)致模型檢測精度降低；當(dāng)經(jīng)過DCGAN 算法擴(kuò)充缺陷數(shù)據(jù)集和對檢測模型的特征提取網(wǎng)絡(luò)改進(jìn)后，缺陷檢測模型的檢測準(zhǔn)確率提升了13.4%，該模型的最終檢測率為98.7%。在檢測細(xì)小缺陷時(shí)，本文對Faster RCNN 算法的特征提取網(wǎng)絡(luò)和ROI Pooling 層進(jìn)行改進(jìn)，使得新模型能夠準(zhǔn)確定位微小缺陷，且能更好的框選出缺陷位置，檢測缺陷效果如圖11所示。

圖11 改進(jìn)前后Faster R-CNN檢測結(jié)果對比

3.3 實(shí)驗(yàn)總結(jié)

本文改進(jìn)的Faster R-CNN 網(wǎng)絡(luò)具有98.7%的檢測精度，但仍存在總體檢測速度不夠快問題，檢測一張分辨率為256×256 的圖像平均耗時(shí)0.3s，檢測速度難以滿足實(shí)際工業(yè)檢測的需求。因此，在確保不降低檢測精度的前提下，對檢測模型進(jìn)行輕量化設(shè)計(jì)以提高檢測效率，是該檢測網(wǎng)絡(luò)未來的改進(jìn)方向。

4 結(jié)束語

本文提出了一種針對銑削零件表面缺陷檢測的方法。在將銑削零件背景紋理抑制的基礎(chǔ)上，將DCGAN 網(wǎng)絡(luò)應(yīng)用到零件缺陷檢測中，對銑削零件的缺陷圖片數(shù)據(jù)集進(jìn)行增強(qiáng)；對傳統(tǒng)的Faster R-CNN網(wǎng)絡(luò)中特征提取網(wǎng)絡(luò)、ROI Pooling 層做改進(jìn)設(shè)計(jì)，缺陷檢測正確率達(dá)98.7%，提高Faster R-CNN 網(wǎng)絡(luò)模型的識別精度以及對微小缺陷的識別能力，實(shí)現(xiàn)了零件表面缺陷檢測識別。