改進的VGG網絡的二極管玻殼圖像缺陷檢測

杜 超，劉桂華

(西南科技大學信息工程學院，四川 綿陽 621000)

玻殼作為二極管封裝的重要材料因其良好性能被廣泛應用[1]。區別于一般的玻璃檢測方法[2-3]，目前二極管玻殼缺陷檢測方法主要分為人工檢測法、圖像識別法和機器學習法。采用人工檢測的方法，不僅效率低，勞動強度大，而且檢測精度差，難以滿足生產需要。圖像處理方法[4]一般都是基于閾值分割，操作簡單，存在準確率不高和自適應性能差問題。

機器學習的方法進行缺陷檢測中有LI等[5-6]開發了一種高度穩健的估計器，稱為模型擬合(model fitting，MF)估計器[7]。ZHAO等[8]提取玻璃中比較大的氣泡邊緣的直方圖特征，使用自適應提升算法(adaptive boosting，AdaBoost)進行分類，可以達到88.89%的準確率。馮小波等[9]利用小波共現提取特征，通過主成分分析(principal component analysis，PCA)降低特征的維數，并且選擇3種不同方法之間的最佳分類器：包括分類和回歸樹(classification and regression trees，CART)，多層感知器(multi-layer perception，MLP)和支持向量機(support vector machine，SVM)。在訓練SVM和MLP分類器時，使用模擬退火算法來獲得分類器的最佳調整參數，將缺陷識別準確率提升到89.5%。牛乾等[1]使用BP(back propagation)神經網絡，通過對二極管玻殼灰度、不變矩、紋理特征提取，然后使用多層感知機神經網絡對缺陷進行分類檢測，得到了91%的精確率。雖然使用機器學習算法可以達到較高的識別率，但是其不足之處是需要進行分割和人工提取特征，識別精確度很大程度上會依賴于所輸入的特征的準確性以及所設計出的特征量維度，識別難度比較大，而且容易陷入“降維詛咒”[10]。

針對于以上問題，分析傳統的二極管玻殼圖像缺陷檢測的缺點，為了進一步提高缺陷的識別率，提出了一種基于VGG-19(visual geometry group-19)網絡的二極管玻殼圖像檢測方法，并在此基礎上進行改進。VGG神經網絡曾贏得了ILSVR(ImageNet)2014年的冠軍，具有良好的模型遷移能力[11]，采用制作的二極管玻殼圖像進行實驗驗證，實驗結果表明，相比于傳統的檢測方法，該方法大幅度提高了二極管玻殼缺陷檢測的準確率。

1 數據集獲取與系統設計

1.1 二極管玻殼數據集獲取

采集圖像主要分為4種缺陷：裂紋、破殼、污點、無缺陷。每一種采集樣本700張，總共2 800張圖片，訓練集每種500張，總共2 000張；測試集每種200張，總共800張,其次采集100張包含多種缺陷樣本作為測試集使用，最后通過訓練得出最佳模型并保存，圖1為采集的部分樣本圖像。

1.2 系統流程設計

傳統的玻殼檢測都是通過手工提取特征，再進行分類，而卷積神經網絡(convolutional neural networks，CNN)作為一種新的圖像檢測方法不需要手工提取特征，通過卷積與池化等操作不斷逐級加深特征的提取。傳統的機器學習和本文的缺陷檢測流程如圖2所示。

圖2 本文系統整體流程圖

在圖2(a)中所示為傳統的分類檢測，其流程主要包含：二極管玻殼圖像預處理、圖像缺陷特征提取、分類器選擇、分類檢測，其中特征提取的好壞直接影響缺陷檢測的識別率。而基于CNN檢測的主要流程(圖2(b))，其主要分為2部分：①進行玻殼圖像預處理，②進行分類識別。

分類識別也包含2大步驟：①大樣本集訓練的VGG-19網絡模型(如圖3所示)，得到VGG-19預訓練模型[12-13]。②重新調整網絡的全連接層結構的層數以及單元個數等超參數，遷移訓練好的VGG-19網絡模型的權重參數入固定層，改進層使用玻殼圖像進行訓練，訓練完成后得到改進模型。

最終使用改進模型進行缺陷種類的識別。

圖3 VGG-19網絡結構

2 玻殼圖像缺陷檢測方法

2.1 玻殼圖像預處理

由于采集的玻殼包含大量噪聲，并且玻殼在整張圖片的位置是不確定的，因此需要對玻殼圖像進行預處理，主要包括：

(1)模板匹配：去掉除二極管以外的部分；

(2)濾波：使用自適應中值濾波去除噪聲；

(3)增強：使用線性增強圖像缺陷。

預處理效果流程如圖4所示。

圖4 二極管玻殼圖像預處理

2.2 卷積神經網絡(CNN)

VGG-19[14]的CNN模型如圖3所示，相比其他網絡模型具有以下特點：

(1)在卷積層使用更小的濾波器尺寸和間隔。VGG-19模型共有19層，其中連續卷積層的深度最多達到4層，不僅網絡較AlexNet更深，而且都采用3×3的卷核作為濾波器。此種連續小模板的卷積核比單個大的積核具有更好的非線性，具有隱式規則的作用。

(2)將圖片進行多尺度化訓練與測試。對原始圖片進行等比例縮放，保證圖片短邊大于 224，然后再圖片上隨機提取224×224窗口，進行訓練，多尺度方法可以更好地識別缺陷。如圖所示，VGG-19卷積網絡模型有19個權重層，其中包含了16個卷積層和3個全連接層。輸層需要將輸入的圖像調整到3×224×224，隱層結構中2層或4層卷積層相互堆疊。中間層的池化采用2×2步長為2的結構進行特征降維，全連接層為3層具有多層感知機(multi-layer perception，MLP)的結構。最后將輸出到具有1 000個標簽類的SoftMax分類器進行預測概率排序，從而選出具有最大概率的類別標簽作為分類的結果。

激活函數的選擇上使用了線性整流函數(rectified linear unit，ReLU)，其表達式為

當x≥0時，梯度恒為1，無梯度耗散問題，收斂快，增大了網絡的稀疏性。當x<0時，該層的輸出為0，訓練完成后為0的神經元越多，稀疏性越大，提取出來的特征就越具有代表性，泛化性能越好。

2.3 VGG-19改進模型

在VGG-19的基礎上對網絡模型的全連接層進行了改進，并且在訓練中通過調節固定層的深度，使模型在泛化性和檢測精度上得到最大地提升，其改進的模型機構如圖5所示。VGG-19固定有3個全連接層其神經元，個數為4096×4096×1000，使用4類標簽SoftMax分類層替換原有網絡中的分類層，同時使用ReLU作為激活函數。

VGG-19的預訓練模型是通過 ImageNet數據庫中的1 000種類別的圖片數據集訓練而成的，可以分類1 000種類別的圖像并且錯誤率為7.3%，因此具有較強的分類圖像特征學習能力。將其部分參數與權重遷移到二極管玻殼缺陷的特征提取中，可以避免使用大量數據集重新訓練整個網絡，減少了訓練時間和提高了訓練效率，利用訓練好的VGG-19模型參數優化改進網絡的參數，有利于二極管玻殼圖像識別。

圖5 改進模型整體流程圖

如圖5所示，將VGG-19與訓練模型參數遷移到二極管玻殼圖像識別模型的部分卷積層和池化層，其主要流程如下：

(1)采集二極管玻殼數據集，挑選出需要識別的類別圖像，作為訓練集與測試集使用。

(2)采集的玻殼圖像包含大量噪聲，在輸入模型之前需要進行濾波、去噪、增強等預處理操作。

(3)建立改進模型，調節超參數。

(4)訓練改進模型。

(5)使用測試集，測試和驗證模型。

3 實驗結果與分析

本實驗的深度神經網絡搭建在Tensorflow深度學習框架上，并采用基于 Python語言編程實現;硬件包含臺式電腦，英特爾酷睿i7 7700 k處理器，12 G內存，顯卡為NVIDIA GeForce GTX 750 Ti。

3.1 改進網絡超參數調節

(1)全連接層層數和單元數確定。VGG-19全連接層為固定的3層結構為4096×4096×4，首先對全連接層進行改進，設定全連接層為2層，網絡層結構為a×4(a為首層單元數)。分別設a為512，1 024，2 048，3 069，4 096。實驗結果如圖6所示，對第2層全連接層的超參數進行設定，第2層全連接層結構為4096×b×4(其中b為第2層單元數)。此時分別設定b為0，100，1 024和2 048，當第2層單元層設定為0時收斂最快而且穩定。由以上實驗得出最佳的全連接網絡層為4096×4。

圖6 全連接層首層單元個數設定

(2)固定層層數確定。在訓練中固定層的參數可以改善和優化新的模型，非固定參數層通過新的數據集進行訓練可以提高模型的泛化能力和模型的檢測精度。

VGG-19共有25個權重層，設定最小的固定層數為17，測試效果如圖7所示，可以看出固定層數為19和20的時候測試的準確率曲線波動最小。并且固定層數設定為20的時候迭代次數在1 000以后波動是最小的，因此網絡設定固定層為前 20層，20層以后的權重層作為玻殼數據集訓練時的權重參數修改層。

3.2 改進模型訓練與測試

(1)全連接層層數和單元數確定。淺層網絡主要是提取玻殼缺陷的顏色、紋理、邊緣等細節信息，如圖8(a)和(b)所示。隨著網絡越深，提取到的特征更加抽象，更加具有分類能力，如圖8(c)和(d)所示。

圖7 固定層深度對準確率的影響

圖8 不同卷積層對玻殼圖像特征提取的結果

(2)準確率曲線和損失曲線。將采集的 2 000張二極管玻殼圖像數據集對改進模型進行訓練，800張進行測試，二級管玻殼圖像分辨率分別縮放用來測試分辨率對準確率和損失函數的影響，再將數據集進行增強，用來測試增強數據集對準確率和損失函數的影響。

分別使用分辨率為 128×128，256×256以及661×601的不同像素尺寸進行檢測，使用 30°旋轉角度，左右尺寸曾加0.2倍，然后進行隨機剪裁增強數據集。測試的準確率曲線和損失曲線如圖9和圖0所示，可以看出隨著分辨率的增加準確率函數變得越來越穩定，但是依然有部分波動很陡峭，當使用數據增強后準確率函數和損失函數曲線變得更加平滑，測試效果最好。

3.3 對比實驗

為了研究改進模型的性能，對二極管玻殼圖像進行對比實驗：①通過提取特征使用傳統分類器進行缺陷分類如 SVM，AdaBoost，MLP等[12,15]；②分別使用AlexNet，GoogLeNet[16]和VGG-16的CNN進行測試。

圖9 準確率函數曲線

圖10 損失函數曲線

在機器學習中需要提取特征作為輸入，首先求玻殼圖像缺陷的灰度共生矩陣，利用共生矩陣h獲得圖像的對比度、能量、相關性、逆差矩等特征和求灰度均值、灰度方差、偏度、峰度、灰度熵等特征作為圖像灰度特征的描述，以及紋理特征與不變矩特征一起作為總的特征。為了解決尺度不變性問題，再將這些特征在3個尺度下分別求取，獲得特征共140維。將特征作為輸入分別輸入到高斯混合模型(Gaussian mixture model，GMM)，K 最近鄰(k-nearest neighbor，KNN)，SVM，決策樹(random forest，RF)，AdaBoost，Bayes和 MLP 進行分測試，效果見表1。

表1 傳統特征分類準確率對比(%)

由表1可以看出，AdaBoost和BP網絡效果最佳。但由于手工提取特征的限制很難做到更好。對于CNN，使用卷積模塊進行特征提取，彌補了人工提取特征的缺點。并且卷積網絡提取的特征更加全面，且網絡越深提取特征也更加抽象，更具有分類能力，同時池化可以優化和降低特征維度。

為了驗證改進的CNN的性能，通過AlexNet，GoogLeNet和VGG-16進行驗證對比。對比效果見表2。可以看出CNN比傳統網絡將準確率提高了至少 5%，改進網絡相比準確率提高到了 98.3%，效果最佳。

表2 改進網絡與其他CNN分類精度對比(%)

調用已訓練好的模型進行單張測試，當使用機器學習方法檢測一張玻殼缺陷圖片需用0.141 3 s，而在GPU(2 G內存)下調用深度網絡模型測試一張玻殼缺陷圖片需耗時0.426 2 s，雖然在該實驗平臺上使用機器學習的方法檢測速度比深度學習的方法快，但是調用深度模型進行檢測基本上也能滿足工業檢測的要求，且檢測的準確率有很大的提升。

4 結束語

由于傳統的機器學習算法固有缺陷[10]使得在玻殼缺陷檢測上不能達到很高的識別率，因此使用自動提取特征的卷積網絡進行檢測，通過使用VGG-19模型進行遷移學習，大范圍提高了玻殼缺陷檢測的準確率，并在此基礎上進行改進，改變網絡結構，進一步提高了識別率。

本文只針對二極管玻殼中的裂紋、污點、破殼和無缺陷4種類別進行了研究，在網絡模型的選擇和結構改進過程也只使用了有限的模型和改進機制進行對比實驗，后期的工作需要增加樣本數據集和擴大樣本種類。并且使用其他種類模型和改進網絡方法進行改進和測試，進一步提高檢測的效果。