基于殘差網絡和遷移學習的瓶坯表面質量檢測研究*

段春梅，張濤川，李大成，陳 肖

(佛山職業技術學院，廣東 佛山 528137)

0 引言

近年來，深度學習技術成為缺陷檢測比較流行的技術之一，可通過神經網絡學習產品特征，提高缺陷分類識別的準確率，結合機器視覺技術實現缺陷檢測的自動化。湯凱[1]等人利用改進的殘差網絡實現圖像的識別，在公開的CIFAR10數據集識別的準確率提高了6%。常川[2]將基于ResNet深度的圖像分類方法引入到人類蛋白質圖譜圖像分類中，證明自動分類法具有更高的準確率和精度。吳宇豪等[3]將改進的殘差網絡應用于面部表情的識別，通過實驗證明其準確率和高效性。王恒等[4]以殘差網絡為基礎網絡，利用遷移學習實現乳腺癌圖像自動分類，通過實驗證明其可行性。許玉格等[5]通過基于通道疊加的ResNet50的網絡模型對布匹瑕疵進行特征提取，提高了布匹瑕疵檢測的準確率。很多學者利用深度學習技術對不同產品進行缺陷檢測研究，本文以瓶坯為研究對象，結合機器視覺技術和深度學習技術對瓶坯表面缺陷進行自動檢測。

1 瓶坯圖像樣本采集系統及數據增強

為了對采集的瓶坯圖像進行缺陷分類識別，本文設計了瓶坯圖像采集系統。瓶坯圖像采集系統包括工業相機、平面光源和運動控制系統,其結構如圖1所示。可根據需求通過位置調節機構調整工業相機位置，平面光源安置在工業相機的相對位置上，放置瓶坯的旋轉臺安裝在工業相機和平面光源之間，通過控制系統控制旋轉平臺，每次旋轉120°，保證獲取每個瓶坯的三張圖片。

圖1 瓶坯圖像采集系統

目前沒有開放的瓶坯樣本數據集，項目團隊與企業合作，由企業提供包含黑點、氣泡、劃痕和無缺陷的4類瓶坯樣品，通過上述的圖像采集系統采集樣本圖片，并采用翻轉、旋轉等變換方法對樣本進行數據增強，提高樣本數量。

2 殘差網絡

殘差網絡是由一組殘差塊子網絡(ResNet)組成,殘差塊結構如圖2所示。殘差網絡就是由這些殘差塊堆疊成一個更深的網絡[6]。

圖2 殘差塊結構

殘差塊分為直接映射和殘差映射兩部分，殘差映射部分一般由兩個或者三個卷積操作構成[7]；直接映射部分是把殘差網絡的上一層網絡輸出直接傳輸給下一層網絡，沒有增加額外的參數，同時在反向傳播過程中也是將梯度直接傳遞給上一層網絡，其表達式如下：

xi+1=f(h(xi)+F(xi,Wi)).

(1)

其中：xi為輸入；Wi為卷積操作；f為激活函數；h(xi)為直接映射部分；F(xi,Wi)為殘差映射部分。

本研究采用的是ResNet18和ResNet50網絡，其網絡結構參數如表1所示[8]。

表1 ResNet18和ResNet50網絡結構

3 遷移學習模型

本文基于殘差網絡設計了一種遷移學習模型，如圖3所示。遷移學習的基本目的是把已訓練好的模型參數作為新模型參數的初始化值，幫助新模型在目標數據集上訓練。

圖3 遷移深度學習模型

瓶坯樣本圖像的大小為512×512(像素)的RGB圖像，其中ResNet18總共有18層，包含17個卷積層；ResNet50總共有50層，包含49個卷積層。對輸入圖像進行特征提取，最后使用平均池化、全連接層和softmax實現4類的瓶坯缺陷分類。

4 實驗分析

本文將通過數據采集系統采集的瓶坯樣本圖片進行了數據增強及分類，總共有4 852張樣本圖像，將獲得的瓶坯樣本圖像的數據集分成訓練集、驗證集和測試集三部分。本文采用了基于ResNet殘差網絡的遷移深度學習對瓶坯進行缺陷分類，輸入圖像都有相對應的“類別標簽”，其中類別標簽總共有4種分類，分別為黑點、氣泡、劃痕和無缺陷。在網絡訓練過程中，隨機抽取5次樣本進行訓練，并利用最優的訓練模型對測試數據進行測試實驗，得到的檢測結果如表2所示。對于實驗結果分析，使用了準確度評估指標。

表2 ResNet18模型和ResNet50模型的檢測結果

所采用模型的驗證準確率和損失值(無量綱)隨迭代次數的增加而變化的曲線如圖4和圖5所示。驗證準確率隨迭代次數的增加而上升，損失值隨迭代次數的增加而下降。

圖4 ResNet18網絡驗證準確率和損失值曲線

圖5 ResNet50網絡驗證準確率和損失值曲線

5 結語

本文提出了基于ResNet殘差網絡的遷移深度學習對瓶坯進行缺陷分類，并設計不同的實驗，進行了大量的

比較分析，驗證了本文提出的遷移學習對瓶坯缺陷分類識別的有效性。本文的瓶坯樣本數據集只包含了三種常見的缺陷樣本和無缺陷樣本，但是瓶坯的缺陷實際上還有很多其他缺陷種類，這也是后期需要研究的主要內容。