基于壓縮激勵模塊的工業產品缺陷分類算法*

劉瑞珍，王冠程，郭 彪

(1.太原科技大學 電子信息工程學院，山西 太原 030024；2.太原科技大學華科學院，山西 太原 030020)

0 引言

在工業生產中,由于現有技術、制造工業、復雜生產環境等因素的影響,極易在產品表面形成裂縫、污漬、氣泡狀間隙、劃痕、夾雜物等各種各樣的缺陷,這些缺陷不僅會影響到產品的美觀,嚴重的甚至會對產品的壽命和安全造成影響,因此,為了確保生產線產品的質量,對產品表面缺陷進行檢測是很有必要的。

傳統的產品表面缺陷檢測的方法是通過人工目視來完成,該方法檢測精度和檢測速度易受檢測人員主觀因素和經驗的影響[1]。目前,基于機器視覺的缺陷檢測技術已逐漸替代原始的人工目視,并被廣泛應用于工業生產中,幫助企業減少了人工勞動力,提高了工業產品缺陷檢測的效率和質量[2]?；跈C器視覺的缺陷檢測技術核心在于對被檢物圖像中缺陷特征的提取,在圖像特征的提取過程中,針對不同的產品缺陷,需要依靠人工重新定義和設計缺陷的特征表示。在工業環境中,產品表面缺陷的種類是多種多樣的,這就為缺陷的特征提取過程增加了難度,因此基于機器視覺的缺陷檢測技術對于圖像特征表示方面存在一定的局限性,其缺陷分類的準確率難以滿足實際的工作需求。

深度卷積神經網絡是機器學習的一個新興研究領域,克服了手動重新定義每個新缺陷特征表示的困難,顯著提高了圖像分類、目標檢測和其他視覺任務等應用中的檢測性能。該方法能夠自主地學習并提取缺陷的特征表示,缺陷種類繁多時,不需要手工進行缺陷特征的設計,能夠得到更普遍的應用[3]。

本文主要利用深度學習的方法對工業產品表面缺陷進行分類,同時考慮到生產流水線上對工業產品表面缺陷進行實時檢測的必要性,在原有工作的基礎上,增加了壓縮和激勵機制,提出了基于壓縮激勵模塊的工業產品缺陷實時分類算法,在確保缺陷分類模型占用內存盡可能小的前提下,缺陷分類的正確率和分類時間仍能滿足工業實時性需求。

1 基于壓縮激勵模塊的工業產品缺陷實時分類算法

1.1 并行壓縮激勵模塊與并行非對稱壓縮激勵模塊

文獻[4]提出的SENet(squeeze-and-Excitation Networks,壓縮與激勵網絡)主要通過對通道關系進行建模來提升網絡的性能,也就是通過學習的方式自動地獲取每個通道的重要程度,然后依照這個重要程度提升有用的特征,同時抑制對當前任務意義不大的特征。文獻[4]提出的壓縮激勵模塊的靈活性就在于它可以直接應用到現有的網絡結構中,本文將壓縮激勵模塊嵌入到以前工作中提出的并行模塊和并行非對稱卷積模塊中,分別形成并行壓縮激勵模塊和并行非對稱壓縮激勵模塊,如圖1所示。圖1中,X為并行模塊的輸入,X′為最后的輸出,F1和C分別為并行模塊輸出的特征圖寬度和個數。

圖1 并行壓縮激勵模塊和并行非對稱壓縮激勵模塊

并行壓縮激勵模塊首先是對并行模塊輸出的特征圖進行壓縮操作,即用全局均值池化層對輸出的特征圖在空間維度進行特征壓縮,將C個通道上的特征圖都變為一個實數,表征著在特征通道上響應的全局分布。緊接著是激勵操作,即兩個全連接層組成一個瓶頸層去建模通道間的相關性,激活函數依次選為ReLU激活和Sigmoid激活。第一個全連接層把C個通道壓縮成了C/16個通道來降低計算量并充分捕捉通道之間的關系,第二個全連接層再恢復成C個通道。文獻[4]中嘗試了取不同壓縮比例時的性能,最后得出當壓縮比例為16時整體性能和計算量會達到相對均衡,因此,本文也選用壓縮比例為16進行實驗。通過Sigmoid激活之后獲得0～1之間歸一化的權重,最后通過一個Scale操作將歸一化后的權重加權到并行模塊每個通道的特征圖(F1×F1)上,即對特征圖進行縮放。這樣做的目的是想通過權重的大小把不重要的特征減弱,重要的特征加強,從而讓提取特征的指向性更強,能夠提取到更加豐富的缺陷特征。

并行非對稱壓縮激勵模塊其原理和實現步驟同并行壓縮激勵模塊。

1.2 工業產品缺陷分類網絡設計

本文提出的工業產品缺陷分類網絡是基于并行壓縮激勵模塊和并行非對稱壓縮激勵模塊設計的,其結構如圖2所示。該網絡主要由一個標準的3×3卷積層(卷積層1)、5個并行壓縮激勵模塊和1個并行非對稱壓縮激勵模塊組成。在并行壓縮激勵模塊2、3、4和并行非對稱壓縮激勵模塊之后分別使用最大池化層來減少特征映射的維數和參數。Lin等[5]的工作中用全局均值池化層代替全連接層,以減少網絡的參數量,同時克服了全連接層容易過擬合的缺點,提高了整個網絡的泛化能力。本文利用全局均值池化層的上述優點,在并行壓縮激勵模塊5之后使用一個全局均值池化層來增強特征映射與類別之間的對應關系,使卷積結構保留得更好、分類更準確;此外,全局均值池化層與全連接層相比,無任何參數需要優化,大大地減少了網絡的參數量及計算量。最后,網絡經過Softmax層對輸入的工業圖像進行分類,得到分類結果。

圖2 工業產品缺陷分類網絡結構

2 實驗結果及分析

2.1 數據集介紹

本文選用的工業產品圖像是從某電子二廠獲得的偏光片圖像。該數據集分為無缺陷圖像、污漬圖像和標記圖像三類。該數據集共有5 000張(200×200)像素的偏光片灰度圖像,其中無缺陷圖像1 000張,污漬圖像和標記圖像各2 000張,部分偏光片圖像如圖3所示。實驗中將這5 000張圖像隨機地按3∶1∶1的比例分配為訓練集、校驗集和測試集。本文實驗過程中需要檢測偏光片圖像中是否存在污漬和標記缺陷,并能將其與無缺陷圖像正確地分類。

圖3 部分偏光片圖像

污漬圖像即生產過程中偏光片表面有污漬的樣品,它們需要被正確分類出來,并將污漬清洗干凈后可再次投入使用;標記圖像即生產過程中用特定的編碼裝置噴涂的有特殊記號的樣品,這類缺陷樣品被正確分類出來后將不能再次進行使用。從圖3中可以看出,偏光片表面缺陷的位置不固定,形狀多種多樣。

2.2 實驗結果

本實驗環境為Linux Ubuntu 14.04操作系統,8 GB內存,NVIDIA GeForce 1080顯卡,并用Caffe深度學習框架進行訓練。訓練過程和校驗過程中將每批進入網絡訓練的圖像個數分別設置為20和10。動量因子、權重更新量和初始學習率分別設置為0.9、0.000 2和0.001,網絡采用隨機梯度下降方法進行訓練,最大迭代次數設置為140 000次。

為了驗證本文方法的有效性,將本文方法的實驗結果與文獻[6]的基于并行深度可分離卷積模塊與并行非對稱卷積模塊的偏光片缺陷檢測方法的實驗結果進行了對比,如表1所示。從表1可以看出,本文方法的分類正確率比文獻[6]方法提高了0.2%,模型大小、參數量與乘-加操作(multiply-accumulate operations,MACCs)無明顯的增加。因此,本文方法可以在不大量增加參數量和MACCs的基礎上顯著提高模型的分類正確率,滿足行業對缺陷產品在線實時檢測的需求。

表1 兩種方法在校驗集上的實驗結果

使用測試集來驗證本文方法的有效性及泛化能力,測試集中共有無缺陷圖像200張,污漬圖像和標記圖像各400張,此測試集既沒有參與網絡的訓練過程,也沒有參與網絡的校驗過程,測試結果如表2所示。從表2可以看出,本文方法比文獻[6]方法能夠獲得更低的分類錯誤率,充分驗證了本文方法的有效性,雖然測試過程中單張圖像的分類時間比文獻[6]方法增加了1 ms,但是仍滿足工業需求。

表2 兩種方法在測試集上的實驗結果

3 總結

本文在以前工作的基礎上,提出了基于壓縮激勵模塊的工業產品缺陷分類算法。主要是在原有的并行模塊和并行非對稱卷積模塊的基礎上增加了壓縮和激勵機制,通過顯式的建模特征通道之間的相互依賴關系來提升網絡的表征能力。壓縮激勵模塊的使用也能通過權重的大小把不重要的特征減弱,重要的特征加強,讓提取特征的指向性更強,使網絡能夠提取到更加豐富的缺陷特征,從而提高缺陷分類的正確率。實驗結果表明,本文方法在偏光片圖像數據集上缺陷分類正確率高于文獻[6]方法,其模型占用內存大小和單張圖片的測試時間仍滿足工業實時性需求。未來的工作中,可以通過改進網絡的方法使得分類正確率、模型占用空間大小及分類時間達到一個均衡。