基于參數優化殘差網絡的皮革缺陷分類

鄧杰航， 吳昌政， 梁鴻津， 顧國生*， 翁韶偉

(1.廣東工業大學計算機學院，廣州 510006；2.肇慶學院計算機科學與軟件學院，肇慶 526061；3.廣東工業大學信息工程學院，廣州 510006)

隨著時代的發展和人們生活水平的提高，大多數人群對皮革產品的消費觀念正在由實用型到高品質進行轉變，人們對皮革制品的質量和美觀有了更高的要求。雖然科技不斷進步，但皮革制品行業目前的發展還是比較緩慢，究其原因是在皮革加工前的缺陷檢測技術發展滯后，自動化程度低。為了提高皮革制品的質量以及更加合理地利用皮革原料，加工前的缺陷檢測與分類必不可少。但一直以來，這些缺陷檢測與分類的工作基本都由人工完成，加工效率低，生產的成本也高；同時由于人工篩選存在很大程度的主觀性以及工作中的疲勞，這些因素都直接或者間接影響檢測的效果[1]。隨著計算機視覺技術的發展，使用計算機對皮革缺陷進行檢測成為目前的研究方向。

在皮革缺陷檢測方面，皮革表面缺陷檢測技術不斷發展，研究人員基于計算機視覺技術提出了不同的檢測、分割算法。Tsai等[2-3]通過傅里葉變換使用基于全局圖像重構的方法對紋理圖像中重復性、周期性的內容進行處理，提出了一種基于 Gabor Filter 的檢測方法，該方法需要通過完好的樣本來獲取最優參數，同時領域窗的選取對結果也會有很大影響。崔楊[4]提出了一種基于改進模糊C-均值算法的皮革缺陷檢測算法，該方法通過測算其共生矩陣的多個測度作為像素的特征向量，最后通過模糊聚類對其分類。該方法雖然在檢測精度方面得到提高，但其計算量大，不能滿足皮革行業的自動化檢測要求。李健等[5]使用改進決策樹結合前饋神經網絡選擇最優分類屬性的方法，此方法對缺陷皮革進行了分類但預處理復雜。陳虹[6]采用基于紋理的分析方法，其方法采用將灰度共生矩陣與改進的模糊C-均值聚類兩者相結合的方法對皮革圖像進行分割，得到最后的缺陷區域。這些皮革檢測算法均是使用傳統的檢測算法對皮革進行缺陷檢測，判斷皮革有無缺陷或缺陷是否明顯，但不能對缺陷皮革進行缺陷類型的分類，不滿足自動化生產中針對不同缺陷類型的皮革進行特定處理的需求。

圖1 基于殘差網絡分類流程Fig.1 The flow chart of the classification based on the residual network

在圖像分類的技術中，深度學習的發展十分迅速。深度學習這一概念在2006年提出，它是機器學習的一個分支，其目標是建立模擬人腦功能的神經網絡，通過此網絡對實驗數據進行解釋。深度學習的發展十分迅速，其在圖像識別、分類方面的優越性也越來越明顯。深度學習允許由多個處理層組成的網絡模型來學習數據表示。此算法極大地改進了語音識別、視覺對象識別等許多其他技術。其在訓練過程中通過反向傳播算法來計算網絡參數所需的調整[7]，目前在圖像處理方面，深度學習也取得了十分顯著的成效[8]。其中深度卷積網絡在處理圖像、視頻、語音方面有很大突破[9-10]。鄧柳等[11]使用深度卷積神經網絡對車型進行識別，通過神經網絡對車輛圖像進行特征提取，最后根據提取的特征進行分類。該研究在車流量監測方面有很大意義。何雪英等[12]基于深度學習對乳腺癌病理圖像進行自動分類并取得了較高的準確率。Zhang等[13]利用卷積網絡對西紅柿各個生長期圖像進行分類確定其類別。深度學習在人臉識別[14-15]方面的各個研究中也是富有成效的。Korbar等[16]利用深度殘差網絡對結直腸息肉的組織切片做分類，對于確定結直腸癌的風險和未來的患者監護率有很大作用。

文獻[16]中圖像分類的特點是結直腸息肉圖片上正常組織的紋理具有一定規律性，但病變息肉有多種，且大小、形狀各不相同，只有紋理、結構具有相似性。這跟常見的牛、羊皮革圖像具有類似的特征。皮革圖像也是正常紋理具有一定規律，但缺陷有多種，且大小、形狀各不相同，只有紋理、結構具有相似性。鑒于兩種識別場景的相似性，及深度殘差網絡在文獻[16]識別中的有效應用，提出應用基于深度殘差網絡的算法對缺陷皮革圖像進行分類處理，從而解決大部分缺陷檢測算法存在的處理難度大或不適用于自動化生產以及不能對皮革缺陷類型進行詳細分類的問題；同時在預處理時采用數據增強方法對樣本集進行擴充，防止深度學習算法在小數據集上的過擬合問題，提高皮革圖像的分類準確率，達到自動化生產的要求。

1 基于深度殘差網絡的皮革缺陷分類方法

1.1 深度殘差網絡架構

對比現在常用的LeNet[7]、AlexNet[8]、GoogleNet[10]等卷積網絡，ResNet網絡引入了殘差結構(residual block)，可以解決因網絡層數增加而帶來的退化問題，提高分類的精度[17]。 實驗流程如圖1所示，實驗的工作包括皮革的圖像采集、實驗樣本圖像的制作與標注、模型的訓練及改進。

1.1.1 基礎結構

應用的殘差網絡(部分)結構如圖2所示。其中皮革圖像的分辨率為110像素/in(1in=25.4 mm)，縮放比例為原圖的17%；BatchNorm為批規范化(batch normalization)，scale為尺度變化，ReLu為修正線性單元(rectified linear units)； Eltwise層包含點乘、相加減和取大值操作。該網絡通過對樣本進行卷積、池化操作進行特征提取，最終通過分類器對樣本圖像進行分類。

圖2 殘差網絡(部分)結構Fig.2 Theresidual network structure

輸入層：網絡的起始層，載入皮革樣本圖像的同時將圖像數據化作為下一網絡層的輸入。網絡以彩色皮革樣本圖像作為輸入，在Caffe生成lmdb文件時會統一調整為224×224大小，從而適用網絡的全連接層。

卷積層：卷積網絡中的特征提取層。輸入數據與一組卷積核進行卷積操作之后再加上偏置后傳遞給激活函數，得到的結果是一組特征圖。不同的特征圖提取不同的特征。一個特征圖由一個卷積核得到，即權值共享。其計算方法為

(1)

卷積層的局部連接方式可以極大地減少參數數量，降低算法的復雜性；同時采用多卷積核，通過不同權重的卷積核來獲取圖像的不同特征。

池化層：也叫下采樣層，主要是對皮革特征圖的相鄰區進行聚合統計。主要包括最大值池化和平均值池化，主要操作是取區域上的一個值做下采樣；其目的是進一步減少網絡的參數，保持某種不變性(旋轉、平移等)。其中最大值池化是取區域內最大值作為保留特征值，均值池化則是以區域平均值作為保留特征值。

Softmax分類器：最后使用Softmax分類器對提取特征進行操作，進而對輸入皮革圖像做缺陷分類。Softmax分類器是多分類問題常用方法，通過Softmax分類器可以得到一個值域為[0,1]且全部元素和為1的一維向量，其下標分別對應不同的分類類別，模型訓練完成后就可以對皮革圖像進行識別分類。Softmax分類器定義為

(2)

式(2)中：P(α)為第α個分類對應的概率；zα為第α個分類對應的輸入值；K為總的分類數。

1.1.2 殘差模塊

殘差網絡相對于傳統的各種神經網絡主要是引入了殘差結構。其結構如圖2中虛線框所示。殘差結構是通過具有快捷連接(圖2中虛線區域右半部分)的神經網絡來實現。實驗中快捷連接被添加到殘差模塊的輸出中，此過程不會增加參數，同時仍然可以通過梯度下降算法進行模型訓練。殘差結構解決了梯度消失問題，這允許更大的神經網絡深度，同時將計算復雜度保持在可控的水平[17]。

1.2 數據增強

深度神經網絡訓練中有數以百萬的參數，而訓練的目的就是通過海量數據使參數優化，因此小數據集會帶來網絡過擬合問題。因采集圖像需要經驗豐富的工人進行篩選并分類整理，其成本較高故圖像數量有限，所以網絡訓練中缺少大規模的實驗數據。為了避免小數據集帶來的網絡過擬合問題，采用數據增強的方法對數據集進行擴充。數據增強方法就是利用已有的數據進行諸如翻轉、平移、旋轉等方法來獲取更多的數據，從而使得網絡參數訓練更加徹底，網絡具有更好的泛化效果。

實驗使用圖像由深圳來擇科技有限公司提供。皮革樣本的高分辨率圖像很大，缺陷皮革圖像中大部分均為完好皮革，只有圖像的一小部分實際上與缺陷特征有關。在這項研究中，實驗人員在皮革加工廠中采集高清皮革圖后進行固定目標窗的裁剪對數據進行擴充(圖3)。

通過使用固定大小的目標窗對原始高清圖像進行滑動裁剪，從而獲取更多的實驗數據。缺陷區域一般都是局部的，過大的目標窗在生成lmdb文件時會通過縮放函數將樣本圖像裁剪成224×224大小，可能導致缺陷形狀改變(如從破洞皮革中間裁剪可能使其變成無缺陷皮革)；過小的目標窗則可能不能完全包含缺陷部位，通過大量實驗驗證，將滑動窗設為500×500像素。實驗結果證明，采用此大小滑動窗的數據集識別準確率可以滿足應用要求。

圖3 滑動窗增強示意圖Fig.3 The schematic diagram of data volume enhancement by sliding patch windows

由經驗豐富的工人協助實驗人員對樣本圖像建立分類圖像庫。實驗數據包括劃痕、爛面、破洞、針眼、無缺陷5類，其中5類皮革的訓練圖像共1 608張，測試圖像共366張，總計1 974張樣本圖像。經過反復實驗驗證，使用此規模的數據集訓練可以讓網絡穩定；同時，實驗保證如果從同一張高清皮革圖像裁剪的多個樣本都被放置在同一組中(全在訓練集或全在測試集)，保證了實驗結果的可信度。表1所示為5類樣本訓練集與測試集具體數目分布情況。

表1 5種皮革樣本訓練、測試圖像具體分布

2 實驗及結果分析

2.1 實驗環境

實驗使用Intel Core i7-8700k 3.70 GHz 12核CPU，NVIDIA1080ti顯卡，顯存11 GB，ubuntu16.04LTS系統。系統配置了Caffe開源深度學習框架以及使用Python編程語言實現殘差網絡。

2.2 評價標準

對于皮革圖像的缺陷識別與分類工作，采用測試過程中正確識別的圖像數目Nr與總的測試圖像數目N來得到實驗的精度β，即

(3)

通過實驗的評價指標β可以直觀地看出各種網絡對于皮革缺陷分類方面的效果，從而確定網絡模型的有效性。

2.3 訓練策略與參數優化

對經過數據增強的5類皮革樣本進行隨機分配，得到訓練數據集與測試數據集。實驗的最終實驗數據集如表1所示，再按照式(4)的比例對各類樣本進行隨機劃分，保證劃分的隨機性。

(4)

式(4)中：Nte表示各類缺陷皮革測試圖像的數量；Ntr表示各類缺陷皮革訓練圖像的數量；Pt表示第t類缺陷(1劃痕，2爛面，3破洞，4針眼，5無缺陷)測試圖像數量與訓練圖像數量的比例。Pt是通過隨機產生，在實驗中，P=[0.308, 0.188, 0.229, 0.17, 0.238]。訓練集與測試集之間無交叉，保證實驗結果的有效性。通過完成的數據集在不同的網絡模型上訓練集測試進行對比實驗，驗證方法的優勢，同時通過準確率反應方法的實用性。

針對實驗對殘差網絡的最大迭代次數、網絡訓練的初始學習率、學習策略等參數進行優化。通過大量實驗驗證實驗以10 000次作為網絡訓練的最大迭代次數，網絡訓練的初始學習率為0.05，同時訓練網絡采用“multistep”學習策略在模型訓練過程中更新學習率且保持每次減小0.5倍以便達到更好的訓練結果。

2.4 實驗結果

經過大量實驗驗證，選擇RestNet-50作為殘差網絡進行驗證。為了驗證所提方法的有效性，對常見的深度學習網絡架構進行對比實驗，包括Lenet_5、Caffenet以及未優化參數的ResNet-50網絡，且各網絡參數均針對皮革實驗進行參數調整。實驗結果如表2所示。

在基于ResNet-50基礎上進行參數優化后進一步提高了分類準確率,達到92.34%，具體如圖4所示。同時各類樣本的識別準確率如表3所示。

表2 不同網絡模型對同一數據集的實驗結果對比

圖4 測試準確率與迭代次數的關系Fig.4 The relationship between the classification accuracy and the total number of iterations

測試數量是實驗數據量與Pt的乘積。由表3可以看出：劃痕、無缺陷、爛面類的皮革分類準確率高；而破洞和針眼類型的缺陷皮革因為其特征極其相似。故模型對這兩類缺陷皮革的分類精度略低。

2.5 實驗總結

由表2可看出：Lenet_5、Caffenet這些傳統神經網絡于本實驗的分類準確率為70%左右，準確率較低；而引入殘差結構的ResNet-50網絡有更好的分類效果使分類準確率提高到80%以上；在ResNet-50網絡的基礎上經過參數優化的本文方法進一步提高了皮革缺陷分類的準確率，使其超過92%。同時通過表3可以看出，對于無缺陷的皮革以及劃痕類缺陷皮革其分類準確率均超過95%，破洞和針眼類的缺陷皮革的分類準確率略低。通過以上實驗結果可以看出，本文方法對皮革缺陷的識別與分類有很顯著的效果，超過了傳統卷積網絡的識別結果。同時相對于傳統的皮革缺陷檢測實驗，對皮革的缺陷類型進行了分類，更好地與自動化生產結合在一起。

3 結語

研究了參數優化的殘差網絡對皮革的缺陷進行分類處理。采用的殘差網絡相比于傳統的卷積網絡具有更深及更為有效的結構，識別準確率高。同時使用數據增強方法對數據進行擴充，避免了因樣本不足而可能產生的過擬合問題。實驗過程中，對網絡訓練最大迭代次數、初始學習率和學習策略等參數進行優化。實驗證明本文方法在很大程度上滿足自動化生產的需要，但是因破洞、針眼特征相似性帶來的分類精度問題還需要進一步研究。