基于Fisher準則的深層卷積神經網絡織物疵點檢測①

史甜甜

(浙江理工大學 信息學院,杭州 310018)

在紡織品領域中,織物疵點檢測占據著舉足輕重的地位,它是衡量成品的質量以及價格的評判依據.傳統的織物疵點檢測主要依賴于人工的肉眼,人工檢測容易產生疲勞,從而導致檢測精度低、誤檢率高.這幾年來,隨著計算機視覺和圖像處理技術突飛猛進的發展,紡織品領域使用織物疵點自動檢測技術已成為必然趨勢.頻譜法、統計法、結構法、模型法、神經網絡和深度學習是織物疵點主要檢測方法.基于頻譜法、結構法以及神經網絡的織物缺陷分類,仍然是該領域的研究重點.傅里葉變換、小波變換和Gabor變換是頻譜法常用的經典變換方法,它們通常與其他相關算法組合應用.李東等人[1]結合傅里葉方法和支持向量機方法提出了一種多分類方法.由于小波變換[2]具有很明顯的局部時頻特點,在織物檢測方面,它受到廣泛應用.該方法在突出邊緣的缺陷中具有良好的效果,但在具有平滑灰度差異的缺陷中表現不佳.Gabor濾波器適用于模擬人眼的生物學特征,織物檢測經常用到該方法.考慮到Gabor濾波器在進行濾波操作時有多方向和多尺度的特點從而引發高計算復雜性,實時要求難以得到滿足.文獻[3,4]通過采用遺傳算法來構建最優Gabor濾波器達到降低計算復雜性的目的,但是該濾波器執行的特點僅在一個方向和一個尺度上,導致性能不佳.Jing等人[5]使用遺傳算法構建的最佳Gabor濾波器對圖案化圖像進行濾波,并對處理后的圖像進行閾值化處理.文獻[6]通過HOG算子提取圖像塊特征,再利用低秩分解模型實現了織物疵點檢測.文獻[7]考慮了織物紋理和疵點特性,利用LBP算子實現了織物疵點準確分割.近年來,神經網絡也被用于織物缺陷檢測和分類[8].除了經典的反向傳播(BP)網絡之外,新興的神經網絡,即脈沖耦合神經網絡(PCNN)[9,10].

傳統的淺層神經網絡結構主要由一個輸入層、一個隱藏層和一個輸出層構成.與淺層網絡結構相比,具有多個隱含層的神經網絡,簡稱為深層網絡.Hinton等人[11]在2006年提出逐層貪婪算法,該算法通過初始化深度網絡結構權重,達到改善網絡性能的目的.Hinton引發了深度學習在研究和應用領域的熱潮,引起了學者們廣泛的反響,具有創歷史的意義.流行的深度學習模型框架如 AlexNet[12]、Vgg-16[13]、GoogleNet[14]和Inception V3[15]等深層網絡已成功用于圖像分類.Vgg-Face[16]網絡結構被用作一個非常深的網絡例子,在實驗中證明了它成功地學習面部特征來進行面部驗證.然而,由于高計算復雜性,導致計算機硬件設備無法滿足需求.隨后,Chollet[17]提出的 Xception 網絡證明了利用深度可分離濾波器可超越Inception V3網絡性能.另外Howard等人[18]利用深度可分離卷積設計了MobileNet并在手機端進行應用.Li等人[19]將Fisher準則融合到LSTM中實現了高效的識別分類.Li等人[20]提出對棧式去噪自編碼器加入Fisher準則來進一步提高織物疵點的檢測率,但是當樣本數量增加時,準確率有所下降.

本文為了對具有周期性圖織物實現自動化疵點分類檢測,提出了基于Fisher準則的深層卷積神經網絡,其利用深度可分離卷積設計一個小型的深層卷積神經網絡(DCNN),相比較于大型卷積神經網絡,不僅大大地降低網絡參數、計算量和分類運行時間,還保證了織物疵點分類率較高;其次,對深層卷積神經網絡的Softmax損失函數增加Fisher準則約束,減小類內間距,增大類間間距,通過梯度算法更新整個網絡參數,得到深層卷積神經網絡(FDCNN);最后,分別將2類織物疵點數據集送入FDCNN網絡中進行疵點分類檢測.實驗結果表明:深度可分離卷積可有效地減小網絡參數、計算量以及運行時間,且通過對深層卷積神經網絡增加Fisher準則約束,可有效提高織物疵點分類率.

1 深度可分離卷積

本文的網絡模型主要基于深度可分離卷積,核心就是將標準卷積因式分解為深度卷積和逐點卷積.深度可分離卷積先考慮區域,再考慮通道,實現了通道和區域的分離,其與標準卷積相比網絡參數和計算量減小.將DF×DF×M特征圖F作為輸入,經過標準卷積核K大小為DK×DK×M×N,并輸出DF×DF×N特征圖G,其中DF、DK、DG分別是輸入特征圖、卷積核和輸出特征圖的寬和高,M是輸入通道,N是輸出通道,則標準卷積層的輸出特征圖和計算量如下式(1)(2):

利用深度可分離卷積將標準卷積分解為深度卷積和逐點卷積,通過1×1的逐點卷積將深度卷積輸出特征圖線性輸出,深度可分離卷積的計算量為深度卷積和逐點卷積之和,即深度卷積的輸出特征圖、計算量和深度可分離卷積的計算量分別如下式(3)(4)(5):

2 Fisher準則

假設由m個樣本構成的訓練數據集{(x1,y1),···,(xm,ym)},有yi∈{1,2,···,k},k為要分類的數量,則Softmax損失函數可表示為:

其中,ω為Softmax的參數.

為了進一步提高深層卷積神經網絡的分類性能,提出對深層卷積神經網絡的損失函數進行Fisher準則約束,基于Fisher線性判別提出了新Fisher判據,即表示為:

其中,uyi是第i類平均值,Oi為網絡輸出值,δ為判別式因子.減小類內間距,增大類間間距,使得Lf達到最小.當深層卷積神經網絡不斷更新uyi,則Softmax損失函數增加Fisher準則約束可表示為:

其中,θ介于0和1之間.在前向傳播和反向傳播過程中,w為損失參數,θ參數標量,λ為學習率,迭代次數為e.通過式(10)和式(11)計算基于Fisher準則約束的深層卷積神經網絡在每一次迭代過程中的誤差值和w:

3 基于FDCNN的織物疵點檢測

織物疵點分類檢測主要步驟:(1)構建織物疵點訓練集和測試集;(2)利用深度可分離卷積設計14層的深層卷積神經網絡,輸入織物疵點樣本訓練DCNN模型;(3)對DCNN網絡的Softmax函數增加Fisher準則約束,根據反向傳播梯度下降不斷迭代更新權值進行訓練微調,得到FDCNN模型;(4)將測試集的織物疵點圖像輸入到訓練好的FDCNN模型中進行分類識別.FDCNN算法具體流程如圖1所示.

圖1 FDCNN 算法流程圖

3.1 實驗環境與實驗數據集

實驗運行環境:Intel(R)Xeon(R)E5-2620 V4@2.10 GHZ,64 GB,在 MATLAB2018a 環境下編寫代碼.本文的織物疵點數據集主要來源于:TILDA織物數據集和彩色格子織物疵點樣本集,如圖2和圖3所示.

圖2為TILDA數據庫織物,通過數據增強方法增加圖片樣本量,使得深層卷積神經網絡可以學到更多圖像特性,減小深層卷積神經網絡過擬合的可能性.本文采用旋轉變換、翻轉變換、平移變換等操作將樣本數量擴充至原來10倍,再從原始圖像中隨機截取若干小塊圖像,并歸一化.實驗隨機選擇6460張為訓練集,2490張為測試集.圖3為實驗室環境下,使用工業相機實時采集的彩色格子織物數據集,彩色格子織物數據集共收集2768張.同樣采用上述的數據增強方法,對疵點樣本進行擴充6倍.隨機選取6869張為訓練集,2640張為測試集.

圖2 TILDA 織物

3.2 深層卷積神經網絡結構

由于傳統CNN網絡采用的是標準卷積層和池化層,導致網絡參數、計算量大,無法滿足計算機硬件需求.深度可分離卷積將標準卷積層分解為深度卷積層和逐點卷積層,使得計算量和網絡參數減小.為了滿足在有限的織物疵點庫上提高織物疵點分類率,本文以Vgg-16網絡結構為基礎,結合深度可分離卷積設計出14層的深層卷積神經網絡結構(不包括輸入層、BN、ReLu、池化層、Softmax層以及輸出層),降低網絡模型中的參數數量和計算量,節省了運行占用內存,加快運行速度,減小分類時間.深層卷積神經網絡(DCNN)結構流程如圖4所示.

圖3 彩色格子織物

圖4 DCNN 算法流程圖

3.3 訓練FDCNN

為了進一步提高DCNN網絡模型的性能,對其Softmax損失函數增加Fisher準則約束,將 θ =0.1、δ=0.05和α =0.5在TILDA織物疵點數據集上進行訓練微調過程,最后輸出織物疵點分類結果.在進行反向傳播過程中增加Fisher準則約束減小類內間距,增大類間間距,在迭代更新權值時考慮誤差和損失值最小化,從而更加有利于網絡進行分類識別.FDCNN訓練過程如圖5所示.

圖5 FDCNN 訓練過程

4 實驗結果與分析

4.1 FDCNN網絡模型分析

表1為使用不同的分辨率因子作用于FDCNN在兩種織物數據集上的實驗結果,輸入層分辨率為224、192、128 和 64,批量大小為 32,學習率為 0.001,迭代次數為975次,訓練周期為6.

由表1可知:1)通過輸入不同分辨率的圖片,當輸入層分辨率不斷減小時,網絡參數不變,織物疵點分類運行時間逐漸降低.2)當FDCNN-128時,織物疵點分類率最高,在TILDA和彩色格子織物數據集上分類率分別為98.14%和98.55%.由上可知,本文的FDCNN模型輸入層圖片分辨率選取為128×128.

表1 基于不同的分辨率因子的深層卷積神經網絡

表2 本文算法與流行網絡結構的對比

表3 本文算法與傳統算法的分類率對比 (單位:%)

4.2 FDCNN算法與其他算法進行比較

將FDCNN算法與當前流行的深層網絡模型、傳統算法在TILDA和彩色格子織物數據集上進行比較.選取AlexNet、Vgg-16和Inception V3流行網絡結構進行對比,實驗結果如表2所示.使用了2種傳統的特征提取方法,選取的特征包括方向梯度直方圖(HOG)特征和局部二值模式(LBP)特征,實驗結果如表3所示.

由表2可以看出:1)FDCNN模型與流行網絡結構相比,網絡參數最小為1.8百萬,運行時間最短為1781 s.深度可分離卷積可以節省網絡參數和運行時間,解決了網絡訓練時計算機硬件設備不足的困難.2)FDCNN模型在TILDA織物數據集上分類率為98.14%,FDCNN分類率比AlexNet提高0.38%,比Vgg-16和Inception V3分別下降0.18%和0.46%;3)FDCNN模型在彩色格子織物數據集上分類率為98.55%,FDCNN分類率比AlexNet和 Vgg-16分別提高0.13%和0.25%,比Inception V3 下降 0.2%;綜上可知,從網絡參數、運行時間和分類率上考慮,FDCNN模型最有效.

由表3可知:1)FDCNN和DCNN模型比傳統算法分類率高.當傳統算法與FDCNN均使用Softmax作為分類器,深層卷積神經網絡通過非線性映射學習自動提取織物疵點的深層特征,其深層特征優于傳統算法提取特征特性,其具有較強的識別能力.TILDA和彩色格子織物紋理結構較為豐富,采用兩種傳統的特征描述算子不能提取有效織物疵點特征,不利于Softmax分類器進行分類識別.2)在TILDA和彩色格子織物數據集上,FDCNN模型分類率分別為98.14%和98.55%,比DCNN模型分別提高2.62%和2.47%.由實驗結果表明,與大型卷積神經網絡模型相比,對DCNN模型的Softmax層增加Fisher準則約束減小類內間距,增大類間間距,不僅提高織物疵點分類率還大幅度降低了網絡參數、計算量和運行時間,所以,FDCNN模型設計是合理的,在實際檢測中是可行的.

5 結論

針對紋理結構復雜的織物疵點檢測人工提取特征的困難和檢測率低的不足,本文提出的基于Fisher準則的深層卷積神經網絡織物疵點檢測算法.該方法不僅可以自動提取織物疵點的特征,還利用深度可分離卷積有效減小網絡參數量和降低運行時間,并通過對DCNN的Softmax層損失函數增加Fisher準則約束,減小類內間距,增大類間間距,進而不斷更新整個網絡參數,得到最優化的FDCNN網絡模型,有效提高織物疵點分類精度.在TILDA和彩色格子織物數據集上,FDCNN模型分類率分別為98.14%和98.55%.實驗結果表明:FDCNN算法采用深度可分離卷積可減小網絡參數量和降低運行時間,且通過增加Fisher準則約束,不斷進行迭代更新微調參數,對不同紋理背景的織物疵點圖像實現分類識別,具有泛化性.

在后續工作中,將通過改進算法來訓練出更好的深層卷積神經網絡模型,使其對紋理更為復雜和疵點類型更多樣化的圖像庫中進行分類識別,并將探討如何將此方法檢測應用到自動檢測系統中.