基于多流神經網絡的PET瓶坯缺陷檢測研究

段春梅，張濤川，李大成，陳 肖

(佛山職業技術學院，廣東佛山 528137)

1 引言

PET瓶坯憑借無毒、質量分布均勻，良好的絕緣性等優點，廣泛地應用于日化用品包裝等領域，通過吹塑再次加工形成化妝品瓶、飲料礦泉水瓶、醫塑包裝、食用油瓶等，其產量和消費量隨著經濟的快速發展迅速增長。因此，PET瓶坯的質量具有非常重要意義。但是由于注塑機內部的空氣原因而導致在瓶坯上隨機形成氣泡缺陷，或者因為降解的溶料在瓶坯上產生黑色的顆粒而形成黑點缺陷，或者因為模具表面受損以及碰撞原因在瓶坯側壁上產生形狀不規則的劃痕，這三種缺陷是十分常見的，除此之外 PET瓶坯的缺陷還包括拉絲、水痕、凹痕等多種缺陷[1]。所以對PET瓶坯進行質量檢測是生產過程中不可缺少的。

在許多制造業中，人工檢測仍然是生產過程中的重要組成部分，但其不能保證檢測的穩定性和準確性。因此，自動缺陷檢測是解決這一問題的必然要求。其中機器視覺技術以其高精度的識別率和檢測穩定性，逐漸取代了傳統的人工檢測方法，能夠滿足用戶的要求。基于機器視覺的PET瓶坯缺陷檢測過程一般包括圖像采集、圖像預處理、特征提取和缺陷識別四個步驟。其中，特征提取直接影響檢測精度，甚至導致檢測失敗[2]。一般情況下，機器視覺特征提取方法大部分都是基于圖像梯度方向的直方圖的，例如SURF等[3]。但是由于缺陷具有任意尺寸、方向和形狀的特點，所以通過傳統的機器視覺特征提取方法獲得的標準缺陷特征描述，可能導致分類結果的精度較低。

所以相對于上述特征提取方法，許多學者研究了深度學習的特征提取方法，并應用于不同材料的缺陷分類和檢測。鄧杰航等[4]針對皮革缺陷分類設計了基于參數優化的殘差網絡，通過多層卷積層提取皮革特征，引入殘差模塊解決深層網絡的梯度消失問題，根據所提取特征進行缺陷分類。姚明海等[5]設計了卷積神經網絡的自適應加權池化算法，提高卷積神經網絡的特征提取精度，應用于各種基于神經網絡的表面缺陷檢測系統，從而提高表面缺陷的檢測準確率。周穎等[6]利用改進的卷積神經網絡實現太陽能電池板缺陷檢測，主要通過改進損失函數，引入平衡因子，然后將網絡的輸出層換成隨機森林分類器，提高缺陷檢測的識別率和網絡的泛化能力。金守峰等[7]通過光切成像原理搭建檢測平臺，采用BP神經網絡實現織物表面絨毛缺陷檢測。

同時具研究表明，學者很少利用深度網絡學習對PET瓶坯缺陷分類和檢測進行探討，因此本文研究基于卷積神經網絡的PET瓶坯缺陷分類和識別。同時本文將對傳統卷積神經網絡的結構進行改進，以獲得更好的檢測精度和穩定性。在傳統的卷積神經網絡基礎上，采用多流卷積神經網絡識別PET瓶坯缺陷，它通過融合多個圖像特征來提高PET瓶坯缺陷的識別性能，滿足了PET瓶坯缺陷識別的精度和穩定性要求。據研究所知，基于三個獨立卷積神經網絡流(RGB圖像流、梯度圖像流和缺陷圖像流)的多特征融合方法尚未應用于PET瓶坯的缺陷分類和識別。目前，世界范圍內沒有開放的PET瓶坯樣本數據集。項目團隊與企業合作，由企業提供包含氣泡、黑點、劃痕和無缺陷的PET瓶坯樣品，為此設計了一個PET瓶坯缺陷檢測平臺，通過樣機平臺采集樣本圖片，并對樣本進行數據增強，有效地解決了訓練樣本不足的問題。

2 數據采集與預處理

2.1 PET瓶坯缺陷檢測設備

設計了PET瓶坯缺陷檢測平臺，該平臺可以采集樣本圖片并進行缺陷分類和質量評估。平臺由工業相機、平面光源和運動控制系統組成。檢測平臺的結構圖如圖1 所示。其中，Basler工業相機配有ON Semiconductor MT9J003 CMOS 感光芯片，每秒 10 幀圖像，1000萬像素分辨率。PLC選用是國產三菱PLC-FX-3U，可以和MATLAB進行串口通信，通過MATLAB控制PLC的各個端點。光源是LED平面光源，可以通過調節器調節光源的亮度。拍照平臺通過六塊不透光的板圍成一個密閉的箱子，為PET瓶坯拍照提供無干擾環境，減少外界的光照干擾。

圖1 檢測平臺的結構圖

2.2 數據增強

為了防止PET瓶坯的訓練樣本不足從而導致檢測模型的檢測精度低、擬合度低、魯棒性差，則通過對原始樣本進行適當增強變換，增加樣本量。首先統一將PET瓶坯圖像裁剪為512*512像素大小的圖片，然后采用翻轉、亮度調整、旋轉等幾何變換方法對數據進行增強[8]。圖2為PET瓶坯圖像的數據增強圖。

圖2 PET瓶坯圖像的數據增強圖

2.3 原始圖像的梯度

PET瓶坯圖像的梯度圖像可以更好地表示輸入圖像的細節。而且，缺陷區域梯度信息對缺陷識別更加敏感。同時利用梯度圖像流和原始圖像流進行特征融合，可以提高檢測性能。作為數據預處理的重要內容，圖像梯度可以增強缺陷區域與均勻背景之間的突出變化，和增強圖像的邊緣信息。而PET瓶坯缺陷區域通常具有灰度值變化率大的特點，因此利用梯度算法可以消除大部分冗余的背景信息，保留具有較高意義的邊緣信息[9]。通過對不同邊緣檢測算子的梯度算法進行實驗比較，最好綜合考慮Sobel算子，比較的效果圖如圖3所示，顯示了原始的RGB圖像和相應的算子的梯度圖像。

圖3 PET瓶坯原始圖像及相對應的梯度圖像

利用Sobel算子，對不同缺陷類型的PET原始RGB圖像f(x，y)進行計算，得到相應的梯度圖像，其計算公式如式(1)所示[10]。

(1)

其中梯度大小和方向的計算公式分別如式(2)和(3)所示[10]。最后對梯度圖像進行歸一化操作

(2)

(3)

2.4 提取缺陷感興趣區域

如果PET瓶坯的三種缺陷像素較小，則容易混淆缺陷種類，為了更好的進行缺陷分類，需單獨提取PET瓶坯圖像的缺陷感興趣區域，更好地讀取三種缺陷的特征。提取缺陷感興趣區域指的是對原始的PET圖像經過一定的圖像處理后，通過方框方式勾勒出缺陷區域。有三種方法，一種是利用圖像分割技術提取ROI，該算法依賴于圖像的顏色、紋理、形狀等特征；第二種方法就是利用深度學習實現目標檢測提取對應的缺陷ROI；第三種方法是人工標注缺陷區域，也是工作量比較大的一個環節。本文使用K-means 算法對PET瓶坯圖像進行分割， 得到瓶坯圖像中的缺陷區域。

K-means 算法過程：①首先將圖片切割成不重疊的固定大小的塊，使用K-means 算法通過無監督學習方式提取圖像的特征塊。②隨機選擇k個特征塊作為初始聚類中心，通過式(4)計算其它塊到k個聚類中心塊的歐式距離，使得各類的聚類平方和最小，見式(5)所示；③根據距離大小求取相似的特征塊，分配到與其最近的類中；④重新更新聚類中心，重復計算直到聚類中心和目標函數的值是否發生改變。由于瓶坯缺陷區域與非缺陷區域的特征分布存在一定差異，可以實現缺陷的分割[11,12]。

(4)

(5)

其中，歐氏距離衡量的是多維空間中各個點之間的絕對距離。um為聚類中心點，xi為數據對象。

3 PET瓶坯缺陷分類識別方法

3.1 多流卷積神經網絡結構

傳統卷積神經網絡采用基于RGB或灰度圖像的單流卷積神經網絡進行訓練，不考慮局部細節信息的提取。本文傾向于同時選擇梯度圖像作為特征提取的另一個輸入，因為圖像梯度能夠很好地反映圖像邊緣等細節特征，降低了從RGB圖像流中提取有效特征的難度，以便有效且容易地識別PET瓶坯圖像的缺陷。本文將PET瓶坯的原始RGB圖像，以及其對應的梯度圖像和缺陷區域圖像分別作為圖像輸入，設計了一種多流卷積神經網絡模型，通過三個獨立的子卷積神經網絡提取特征。其中圖像流和梯度圖像流通過卷積層提取特征后融合特征，輸入到全連接層，再與缺陷圖像流提取的特征融合，最后輸入到分類器進行分類。如圖4所示的多流網絡體系結構由三個獨立的流組成，其輸入為原始圖像和對應原始圖像的梯度圖像和缺陷區域圖像。

圖4 多流卷積神經網絡模型圖

本文設計的多流卷積神經網絡總共有6層，其中卷積層5層，全連接層1層，提出的多流卷積神經網絡模型的每一個流都是基于ALEXNET的[13]。五個卷積層的設計與ALEXNET相同。融合卷積層提取的特征輸入到全連接層，然后將所有局部特征重新通過權值矩陣連接起來，再輸入到分類器中，得到概率分布，實現缺陷的分類和識別，最終給出了合格與不合格的判斷。

3.2 特征的提取和融合

卷積運算的目的是提取輸入的特征。特征的提取可以分卷積層提取和決策級融合。早期的卷積層只能提取邊緣、直線和角度等低層特征。網絡的后卷積層可以迭代地從底層特征中提取更復雜的特征。例如將RGB圖像和相應的梯度圖像和缺陷區域圖像，分別輸入到卷積神經網絡中，得到各卷積層的特征映射。圖5顯示的是從三個子卷積神經網絡的不同卷積層提取的帶有缺陷的原始GRB圖像(頂部)、對應的缺陷區域圖像(中間)和對應的梯度圖像(底部)的最激活通道的特征圖。可以看出，從三個子網絡流中分別提取的圖像特征并不完全一致。

圖5 三個子網絡的卷積層的激活通道的特征圖

利用上述方法分別提取圖像的各層特征后，對特征進行歸一化操作，然后在特征融合階段合并。特征融合方法有很多種，包括和融合、最大值融合、級聯融合等[14]。選擇不同的特征融合方法或不同的特征融合層會影響缺陷分類識別的準確性。針對單一圖像特征不能完全描述圖像的問題，本文采用三個相同的子網絡流同時訓練，以提取不同圖像的有效圖像特征進行特征融合。本文實驗部分比較了不同融合策略下在不同層融合層對檢測精度的影響。通過比較，選擇了合適的融合策略和融合層，可以幫助獲得更好的缺陷分類的準確率。

4 結果與分析

本文以PET瓶坯缺陷分類和質量檢測為例，驗證本文提出的多流卷積神經網絡模型的合理性、有效性、魯棒性和分類性能。本文采用的是有監督訓練方式，輸入圖像分別為PET瓶坯原始圖像和其相對應的梯度圖像和缺陷區域圖像，其都有相對應的“類別標簽”，其中類別標簽總共有四種分類，分別為“黑點”、“氣泡”、“劃痕”和“無缺陷”。通過實驗，將本文設計的網絡結構的性能，與輸入原始RGB圖像或梯度圖像的的單流網絡結構進行比較，最后在ALEXNET網絡的不同層次上，研究了不同特征融合策略對PET瓶坯缺陷分類性能的影響，從而選擇合適的特征融合策略和融合層。為了證明網絡的魯棒性，在網絡訓練和測試過程中，隨機抽取10次樣本，進行訓練。對于實驗結果分析，使用了多種評估指標，包括準確度(Accuracy)、精度(Precision)、查全率(Recall)、特異性(Specificity)和F1-Score。其計算公式如下所示[15]

圖6 特征融合圖

(6)

(7)

(8)

(9)

其中，Tp為真實值和預測值均是正樣本的值，即為真正例；Fp為真實值為負樣本，預測值為正樣本，即為假正例；Tn為真實值和預測值均是負樣本的值，即為真反例；Fn為真實值為正樣本，預測值為負樣本，即為假反例。

F1-Score是精度和查全率的調和平均數，計算公式如式(10)所示

(10)

其中，β為權重值，當β=1時，則查全率和精確度的權重相等。則公式可以簡化為式(11)所示

(11)

4.1 數據集

本文將通過檢測平臺采集的樣本圖片進行了預處理及分類，總共有5660張樣本圖像，將獲得的瓶坯樣本圖像數據集分成訓練集、驗證集和測試集三部分，具體分配如表1所示。

表1 PET瓶坯樣本圖像數據集

4.2 多流卷積神經網絡的不同特征融合策略在不同層次融合的比較

為了評估多流卷積神經網絡使用不同特征融合策略在不同層次上的效果，設計了多組實驗。具體數據見表2。比較了和融合、最大值融合、級聯融合三種特征融合策略在融合精度上的差異。為了在該數據集中找到最適合缺陷分類和質量檢測的層位置，研究了不同融合層的選取對精度的影響。

其模型的驗證和測試的準確率和估計的廣義分類誤差比較如圖7，8，9所示。

圖7 不同特征融合策略的驗證準確率比較圖

在模型訓練過程中，訓練集是用于訓練模型從而進行模型參數估計，驗證集被用于確定效果最佳的網絡結構，模型的測試可以評估訓練模型的性能。如表2和圖7所示，在驗證和測試的準確率以及估計廣義分類誤差方面，比較PET瓶坯缺陷分類檢測模型的三種特征融合策略，其中最大值特征融合性能最好，而級聯特征融合的性能最差。在relu5層之后的特征融合上，最大值融合性能和融合策略的性能比較接近，但是考慮訓練時間和測試時間，最大值融合策略的計算耗時最低。所以綜合考慮選擇最大值特征融合策略。

表2 多流網絡的不同特征融合策略在不同層融合的缺陷分類性能比較

圖9 不同特征融合策略的廣義分類誤差比較圖

大多數早期卷積層特征層融合方案的測試準確率都在89%以下，相比之下，后期卷積層特征融合的準確率提高了7%以上。決策級融合的測試檢測準確率達到93.72%，比后期的卷積層特征融合低了2%。因此在本文的數據集基礎上，對于瓶坯缺陷分類，晚期的卷積層特征融合的分類性能較好。因此，從綜合的角度來看，基于最大值融合策略的relu5層特征融合模型更適合于基于本文數據集的PET瓶坯缺陷檢測。該模型所采用的缺陷分類驗證的準確率為96.17%，分類測試的準確率為95.90%，估計的廣義分類誤差為0.045，表明該模型具有較好的泛化能力。本文所提出的神經網絡結構能夠有效地達到較好的檢測精度。

在確定了最佳網絡結構后，本文比較了所提出的方法中每個類別的正預測值和真陽性率，具體數據如表3所示。圖8顯示了評估指標的比較，其中包括精度、查全率、特異性和F1-Score。

圖8 不同特征融合策略的測試準確率比較圖

表3 PET瓶坯的每個類的評估指標的比較

從表3和圖10可以看出，在本文的數據集檢測中，黑點的被檢測出來的概率只有百分之八十多，有一定的誤檢率。劃痕相對黑點的檢測性能稍高，但是黑點和細小劃痕容易混淆。氣泡和無缺陷樣本的精確度、查全率、特異性高，說明該樣本能被全部檢測出來，誤檢率為零。

圖10 四種PET瓶坯缺陷類型評價指標的比較

4.3 單流卷積神經網絡和多流卷積神經網絡的比較

將本文設計的多流卷積神經網絡與單流卷積神經網絡進行比較，通過實驗分析來證明其合理性。其中單流卷積神經網絡簡稱為STCCN，雙流卷積神經網絡結合SVM分類器簡稱為TSCCN+SVM，雙流卷積神經網絡結合Softmax分類器簡稱為TSCCN+Softmax。不同模型都是在相同數據集上訓練和測試，其對比結果見表4和圖11所示。

表4 多流神經網絡和單流神經網絡的比較結果

圖11 單流和雙流網絡測試精度的比較

根據以上結果，多流卷積神經網絡充分利用了多個流的結構和圖像信息來獲得有效的特征，其中梯度圖像和缺陷區域圖像對提高圖像的表現和識別能力起著重要的作用。因為多流卷積神經網絡模型兼顧瓶坯的全局特征和缺陷的細節特征，解決了單流網絡對特征提取不全面的問題，所以多流網絡的精度性能明顯優于單流網絡。除了精度外，檢測速度也是影響性能的主要因素。平臺采用了Intel CORE i7 3.4GHz的處理器，32G內存和NVIDIA Tesla M40 24GB GPU配置的計算機進行深度網絡學習訓練和測試實驗。其中，本文設計的神經網絡模型的預訓練時間大約為1200秒左右，加載已訓練好的模型時間為8秒左右。模型檢測780幅圖像的時間大約是110s，即每秒鐘可檢測7幅圖像，其中檢測時間包括了圖像預處理時間。與人工檢測相比，是能基本滿足生產要求。

5 總結

首先，本文提出了一種新的多流卷積神經網絡模型，有效地融合多種特征進行PET瓶坯缺陷分類和識別，這是第一次將多流網絡應用于PET瓶坯缺陷檢測，也是本文的一個重要創新。每個網絡流都有一個從低級到高級的特征學習過程。為了防止深度學習中的過度擬合，采用數據增強的方法獲取大量樣本。利用Sobel算子計算圖像梯度，并對其進行歸一化處理。同時利用K-means 算法獲取PET瓶坯缺陷區域。最后利用原始PET瓶坯RGB圖像和相應的梯度圖像和缺陷區域圖像作為卷積神經網絡的輸入，提取特征進行融合。本文設計不同的實驗，在不同融合層上利用不同特征融合策略，對單流網絡和多流卷積神經網絡進行了大量的比較分析，驗證了本文提出的多流卷積神經網絡模型的有效性。