基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法

劉瑞珍，孫志毅，王安紅，楊 凱，王 銀，孫前來

(太原科技大學(xué) a.材料科學(xué)與工程學(xué)院，b.電子信息工程學(xué)院，太原 030024)

在偏光片生產(chǎn)過程中，由于加工工藝限制、設(shè)計(jì)水平不足，生產(chǎn)設(shè)備故障和生產(chǎn)條件惡劣等因素，在工件內(nèi)部極易形成不均勻的區(qū)域，這些區(qū)域通常表現(xiàn)為氣泡狀的殘膠、裂縫、夾雜物、污漬、劃痕等缺陷。這些缺陷通常是通過人工檢查來完成的，主要是通過在生產(chǎn)線上對(duì)偏光片進(jìn)行視覺掃描，將有缺陷的產(chǎn)品分類出來以便后續(xù)處理。然而，在大批量生產(chǎn)過程中，檢測(cè)精度和速度易受檢測(cè)人員主觀因素及經(jīng)驗(yàn)的影響，難以滿足現(xiàn)代裝配線的要求。因此，需要開發(fā)高精度、高速度以及自動(dòng)有效的圖像分類技術(shù)來檢測(cè)這些缺陷，以確保生產(chǎn)線中偏光片的質(zhì)量。

傳統(tǒng)的機(jī)器視覺檢測(cè)缺陷[1]主要通過對(duì)被檢物圖像進(jìn)行處理，在圖像處理過程中，需要人工定義和選擇能夠準(zhǔn)確識(shí)別圖像中缺陷的特征表示。但是在工業(yè)環(huán)境中，當(dāng)出現(xiàn)新的問題時(shí)，必須手動(dòng)設(shè)計(jì)新的特征，由于缺陷區(qū)域位置隨機(jī)性，形狀多樣性和復(fù)雜性，因此用于描述缺陷的標(biāo)準(zhǔn)特征描述符往往導(dǎo)致分類結(jié)果不準(zhǔn)確，很難滿足實(shí)際工業(yè)要求。

近年來，隨著深度學(xué)習(xí)的興起與發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)克服了手動(dòng)重新定義每個(gè)新缺陷的特征表示的困難，顯著提高了圖像分類[2-3]、目標(biāo)分割[4-5]、目標(biāo)檢測(cè)[6]和其他視覺任務(wù)[7-8]等應(yīng)用中的檢測(cè)性能，其中具有代表性的分類網(wǎng)絡(luò)主要有AlexNet[2]，VGG[9]，GoogLeNet[3]和ResNet[10]。然而，這些經(jīng)典的分類網(wǎng)絡(luò)構(gòu)建的越來越深，模型大小也在不斷增加，在許多實(shí)際應(yīng)用如人臉識(shí)別和汽車自動(dòng)駕駛中，需要在計(jì)算受限的平臺(tái)上實(shí)時(shí)地執(zhí)行識(shí)別任務(wù)，因此，在盡量不影響網(wǎng)絡(luò)效果的前提下，模型壓縮和簡(jiǎn)化設(shè)計(jì)成為了一個(gè)很重要的研究方向。

為了減少深度學(xué)習(xí)網(wǎng)絡(luò)模型在移動(dòng)設(shè)備上運(yùn)行所占用的存儲(chǔ)空間，2015年，HAN et al[11]在不影響分類準(zhǔn)確率的前提下，通過修剪網(wǎng)絡(luò)中不重要的權(quán)重連接，將深度學(xué)習(xí)網(wǎng)絡(luò)所需要的存儲(chǔ)和計(jì)算量減少了一個(gè)數(shù)量級(jí)。2016年，HAN et al[12]將網(wǎng)絡(luò)剪枝、量化和霍夫曼編碼相結(jié)合來擴(kuò)展他們以前的工作，提出了一種稱為“深度壓縮”的方法，將AlexNet壓縮了幾十倍，極大地減少了模型的存儲(chǔ)空間。2017年，IANDOLA et al[13]設(shè)計(jì)了一個(gè)不同于傳統(tǒng)卷積層的Fire模塊，并構(gòu)建了一個(gè)名為SqueezeNet的小型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分類正確率和AlexNet相同的情況下，參數(shù)量比AlexNet減少了50倍。MobileNet[14]網(wǎng)絡(luò)使用深度可分離卷積來構(gòu)建高性能的輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型，有效地減少了網(wǎng)絡(luò)的參數(shù)量，并能很好地與移動(dòng)和嵌入式可視化應(yīng)用的設(shè)計(jì)要求相匹配。ShuffleNet[15]網(wǎng)絡(luò)是專門為計(jì)算能力非常有限的移動(dòng)設(shè)備而設(shè)計(jì)的，主要采用了兩個(gè)新的操作，即逐點(diǎn)組卷積和信道混合，既保持了分類準(zhǔn)確率，又大大降低了計(jì)算成本。因此本文將圖像分類與模型壓縮相結(jié)合，搭建了一個(gè)輕量級(jí)的偏振片缺陷實(shí)時(shí)檢測(cè)網(wǎng)絡(luò)，在不降低分類準(zhǔn)確率的前提下最小化訓(xùn)練模型及加快檢測(cè)速度，以達(dá)到實(shí)際工業(yè)的實(shí)時(shí)需求。

1 基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法

1.1 偏光片缺陷分類網(wǎng)絡(luò)設(shè)計(jì)

本文提出的偏光片缺陷分類網(wǎng)絡(luò)是基于并行模塊和并行非對(duì)稱卷積模塊設(shè)計(jì)的，如圖1所示，該網(wǎng)絡(luò)主要由一個(gè)標(biāo)準(zhǔn)的3×3卷積層(卷積層1)，5個(gè)并行模塊和1個(gè)并行非對(duì)稱卷積模塊組成。在并行模塊2、3、4和并行非對(duì)稱卷積模塊之后，我們分別使用最大池化層來減少特征映射的維數(shù)和參數(shù)。LIN et al[16]的工作中用全局均值池化層代替全連接層，以減少網(wǎng)絡(luò)的參數(shù)量，同時(shí)克服了全連接層容易過擬合的缺點(diǎn)，提高了整個(gè)網(wǎng)絡(luò)的泛化能力。本文利用全局均值池化層的上述優(yōu)點(diǎn)，在并行模塊5之后使用一個(gè)全局均值池化層來增強(qiáng)特征映射與類別之間的對(duì)應(yīng)關(guān)系，使卷積結(jié)構(gòu)保留的更好，分類更準(zhǔn)確；此外，全局均值池化層與全連接層相比，無任何參數(shù)需要優(yōu)化，大大地減少了網(wǎng)絡(luò)的參數(shù)量及計(jì)算量。最后，網(wǎng)絡(luò)經(jīng)過Softmax層對(duì)輸入的偏光片圖像進(jìn)行分類，得到分類結(jié)果。本文提出的偏光片分類網(wǎng)絡(luò)為了加速網(wǎng)絡(luò)訓(xùn)練的收斂速度并提高網(wǎng)絡(luò)的泛化能力，除最大池化層外，網(wǎng)絡(luò)每層后面都添加一個(gè)批量歸一化(Batch Normalization，BN)層對(duì)輸入數(shù)據(jù)做歸一化處理，同時(shí)為了增加各層之間的非線性關(guān)系，在BN層之后添加激活層，所使用的激活函數(shù)為ReLU函數(shù)。

圖1 偏光片缺陷分類網(wǎng)絡(luò)結(jié)構(gòu)

1.2 并行深度可分離卷積模塊

經(jīng)典的分類網(wǎng)絡(luò)如AlexNet，GoogLeNet和ResNet，由于其網(wǎng)絡(luò)層數(shù)越來越深，模型越來越大，占用內(nèi)存不斷增加，實(shí)時(shí)性差，因此很難應(yīng)用于偏光片在線檢測(cè)系統(tǒng)中?？紤]到工業(yè)中對(duì)于實(shí)時(shí)性和準(zhǔn)確性的要求，本文參考經(jīng)典深度壓縮模型MobileNet[14]中利用深度可分離卷積代替?zhèn)鹘y(tǒng)卷積以減少網(wǎng)絡(luò)參數(shù)量的思想，主要對(duì)深度可分離卷積進(jìn)行了改進(jìn)與優(yōu)化，得到并行深度可分離卷積模塊用來構(gòu)建偏光片缺陷分類網(wǎng)絡(luò)。

圖2給出了本文設(shè)計(jì)的并行深度可分離卷積模塊的結(jié)構(gòu)，與深度可分離卷積不同，該并行模塊混合了不同尺寸的卷積濾波器，這種設(shè)計(jì)不但能夠更好地融合不同尺度的特征，還能提取到更豐富的缺陷特征，使后續(xù)的缺陷分類操作更準(zhǔn)確。利用該模塊搭建的偏光片缺陷分類網(wǎng)絡(luò)可以顯著地減少網(wǎng)絡(luò)參數(shù)量和MACCs，這將會(huì)在實(shí)驗(yàn)部分得到充分的驗(yàn)證。

圖2中實(shí)線框1代表的是本文提出的并行深度可分離卷積模塊。首先，使用1×1的卷積濾波器來減少輸入到虛線框2的通道數(shù)，即特征圖個(gè)數(shù)；其次，虛線框2是由1×1卷積濾波器和點(diǎn)劃線框3混合而成，即采用不同尺寸的卷積濾波器(1×1和3×3)來提取偏光片中缺陷特征；最后，將1×1卷積濾波器和點(diǎn)劃線框3的輸出連接到一起，作為網(wǎng)絡(luò)下一層的輸入。點(diǎn)劃線框3代表的是深度可分離卷積。該并行模塊中所有的卷積操作后都執(zhí)行BN和ReLU操作以加速收斂，提高模型的泛化能力和防止梯度消失問題。

圖2 本文提出的并行深度可分離卷積模塊結(jié)構(gòu)

在圖2中，有4個(gè)可調(diào)參數(shù)：n1，n2，n3，n4和2個(gè)固定參數(shù)F和n0，F(xiàn)和n0分別指輸入到并行模塊的特征圖的寬度(或高度)和特征圖的個(gè)數(shù)。n1表示并行模塊中虛線框2上方1×1卷積濾波器輸出的特征圖個(gè)數(shù)，n2表示虛線框2左側(cè)的1×1卷積濾波器輸出的特征圖的個(gè)數(shù)，n3和n4表示點(diǎn)劃線框3中卷積濾波器的輸出特征圖個(gè)數(shù)。在本文設(shè)計(jì)的網(wǎng)絡(luò)中使用并行模塊時(shí)，n1

1.3 深度可分離非對(duì)稱卷積結(jié)構(gòu)

GoogLeNet Inception V3中將n×n的卷積拆分為1×n+n×1的非對(duì)稱卷積用以節(jié)約網(wǎng)絡(luò)參數(shù)量，加快運(yùn)算及減輕過擬合，同時(shí)非對(duì)稱卷積還能處理更多、更豐富的空間特征，增加特征的多樣性，擴(kuò)展模型的表達(dá)能力[17]。所以為了進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)量，本文利用非對(duì)稱卷積的上述優(yōu)點(diǎn)，對(duì)1.2節(jié)中提出的并行深度可分離卷積模塊中的深度可分離卷積進(jìn)行改進(jìn)，即將圖2中點(diǎn)劃線框3中的3×3深度卷積(圖3(a)所示)用1×3+3×1卷積替代(圖3(b)所示)以構(gòu)成并行非對(duì)稱深度可分離卷積模塊，利用1×3+3×1的卷積核對(duì)特征圖進(jìn)行卷積的感受野和利用3×3的卷積核進(jìn)行操作的感受野是相同的，不同之處在于1×3+3×1的卷積核將網(wǎng)絡(luò)分成兩層進(jìn)行滑動(dòng)卷積，增加了網(wǎng)絡(luò)的深度，隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)提取特征的能力也隨之提高，所以這種空間結(jié)構(gòu)的拆分能夠提取到更加豐富的缺陷特征，使訓(xùn)練得到的網(wǎng)絡(luò)模型的分類正確率得到提高。

圖3 (a)深度可分離卷積，(b)深度可分離非對(duì)稱卷積

對(duì)于中等網(wǎng)絡(luò)尺寸，在m×m的特征圖上，當(dāng)12

表1列出了并行模塊與并行非對(duì)稱卷積模塊的參數(shù)量及分類正確率，若圖1中偏光片缺陷分類網(wǎng)絡(luò)是由標(biāo)準(zhǔn)卷積層與6個(gè)并行模塊組成，則第五個(gè)并行模塊的參數(shù)量為86 016，訓(xùn)練得到的模型分類正確率為98.9%.將第五個(gè)并行模塊用并行非對(duì)稱卷積模塊代替之后，此模塊的參數(shù)量為73 728，參數(shù)量減少了14.3%，模型的分類正確率為99.4%，正確率提高了0.5%.所以在網(wǎng)絡(luò)輸出特征圖大小在12到20范圍內(nèi)，用并行非對(duì)稱卷積模塊代替并行模塊之后，既增加了網(wǎng)絡(luò)的深度，減少了參數(shù)量，也提高了分類準(zhǔn)確率。

表1 并行模塊與并行非對(duì)稱卷積模塊參數(shù)量及分類正確率比較

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)集介紹

從電子二廠獲得了某一批次產(chǎn)品的偏光片圖像數(shù)據(jù)集，并將圖像分為三類：無缺陷圖像、污漬圖像和缺陷圖像(如圖4所示)，實(shí)驗(yàn)部分將利用此數(shù)據(jù)集來評(píng)估該系統(tǒng)的性能。該數(shù)據(jù)集共有5 000張200×200×3偏光片灰度圖像，其中無缺陷圖像共1 000張，污漬圖像和缺陷圖像各2 000張。將這5 000張圖像隨機(jī)地按3∶1∶1的比例分配為訓(xùn)練集、校驗(yàn)集和測(cè)試集。本文實(shí)驗(yàn)過程中，需要檢測(cè)偏光片圖像中是否存在污漬和缺陷，并能將其與無缺陷圖像進(jìn)行正確的分類。

圖4中，第一行代表無缺陷圖像；第二行代表污漬圖像，紅色矩形框代表污漬部分，其對(duì)應(yīng)于生產(chǎn)過程中偏光片表面有污漬的樣品，它們需要被正確分類出來，并將污漬清洗干凈后可再次投入使用；第三行代表缺陷圖像，紅色矩形框內(nèi)不規(guī)則的圓圈或半圓代表的是在偏光片的生產(chǎn)過程中由特定的編碼裝置噴涂在偏光片表面的特殊記號(hào)，這類缺陷樣本被正確分類出來后將不能再次進(jìn)行使用。從圖中可以看出，紅色矩形框的位置和大小都不一致，即缺陷的位置不固定，形狀多種多樣。

圖4 偏光片圖像數(shù)據(jù)集

2.2 實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)環(huán)境為L(zhǎng)inux Ubuntu 14.04操作系統(tǒng)，8 GB內(nèi)存，NVIDIA GeForce 1080顯卡，并用Caffe深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。訓(xùn)練過程和校驗(yàn)過程中的mini-batch大小分別設(shè)置為20和10.動(dòng)量因子設(shè)置為0.9，權(quán)重更新量設(shè)置為0.000 2，初始學(xué)習(xí)率設(shè)置為0.001，且采用隨機(jī)梯度下降方法進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的最大迭代次數(shù)設(shè)置為140 000次。

為了驗(yàn)證本文方法的有效性，將其與現(xiàn)有的深度學(xué)習(xí)經(jīng)典算法AlexNet[2]、VGG-16[9]、ResNet-18[10]、SqueezeNet[13]和MobileNet[14]進(jìn)行了比較。表2給出了本文方法與上述5種經(jīng)典算法在校驗(yàn)集上的實(shí)驗(yàn)結(jié)果比較，從表2可以看出，本文方法得到的模型分類正確率分別比AlexNet，VGG-16，ResNet-18，SqueezeNet和MobileNet高0.8%；0.2%，0.8%，1.5%和0.5%.模型大小分別減少了647.8，1 137.6，76.7，4.98和22.1倍；參數(shù)量比AlexNet，VGG-16和MobileNet減少了兩個(gè)數(shù)量級(jí)，比ResNet-18減少了一個(gè)數(shù)量級(jí)。MACCs比AlexNet和VGG-16減少了三個(gè)數(shù)量級(jí)，比SqueezeNet減少了一個(gè)數(shù)量級(jí)，比ResNet-18和MobileNet減少了兩個(gè)數(shù)量級(jí)。因此，本文方法可以在不降低分類準(zhǔn)確率的情況下大大減小模型的尺寸，并且在分類準(zhǔn)確率、速度和存儲(chǔ)器使用方面目前均可滿足行業(yè)對(duì)偏光片缺陷的在線實(shí)時(shí)檢測(cè)的要求。

表2 不同模型在校驗(yàn)集的實(shí)驗(yàn)結(jié)果比較

圖5顯示了6種不同方法訓(xùn)練得到的模型在校驗(yàn)集上的分類正確率和損失函數(shù)曲線。本文用140 000次迭代中每1 000次迭代的平均正確率和損失率共14個(gè)點(diǎn)來繪制正確率和損失函數(shù)曲線。從圖中可以清晰地看到本文方法能得到更高的分類正確率和更低的損失率。另外，從圖5(a)可以看出本文方法收斂速度明顯高于AlexNet，VGG-16，SqueezeNet和MobileNet這四個(gè)經(jīng)典分類模型。

使用測(cè)試集來驗(yàn)證本文方法的有效性及泛化能力，測(cè)試集中偏光片圖像共有1 000張，其中無缺陷圖像有200張，污漬圖像和缺陷圖像各400張，此測(cè)試集既沒有參與網(wǎng)絡(luò)的訓(xùn)練，也沒有參與網(wǎng)絡(luò)的校驗(yàn)過程。測(cè)試結(jié)果如表3所示，可以得出，本文方法比其他五種經(jīng)典算法能獲得更低的分類錯(cuò)誤率，充分驗(yàn)證了本文方法的有效性。表3最后一列列出了6種算法在測(cè)試過程中每張圖片的測(cè)試時(shí)間，從表中可以看出，與AlexNet，VGG-16，SqueezeNet，ResNet-18和MobileNet相比，本文方法將每張圖片的分類時(shí)間分別縮短了303.1，2 471，280.4，17.1和116.7 ms.所以無論是從分類精度和速度，本文方法均滿足工業(yè)中偏光片缺陷實(shí)時(shí)監(jiān)測(cè)的需求。

圖5 (a)校驗(yàn)集上分類正確率的比較，(b)校驗(yàn)集上損失函數(shù)的比較

表3 不同模型在測(cè)試集上的試驗(yàn)結(jié)果比較

圖6顯示了6種不同的方法訓(xùn)練得到的模型準(zhǔn)確率，模型大小和在測(cè)試集上針對(duì)每張圖片的測(cè)試時(shí)間的比較結(jié)果，圖中1，2，3，4，5，6分別代表AlexNet，VGG-16，ResNet-18，SqueezeNet，MobileNet和本文方法，圖6和表2相結(jié)合可以得出，本文方法可以獲得更高的準(zhǔn)確率，訓(xùn)練得到的模型最小，同時(shí)測(cè)試速度最快，充分證明了本文方法的有效性。

圖6 六種模型的正確率，模型大小和在測(cè)試集上的測(cè)試時(shí)間的比較

3 結(jié)束語

本文主要設(shè)計(jì)了一種基于深度學(xué)習(xí)的偏光片缺陷實(shí)時(shí)檢測(cè)算法，首先，設(shè)計(jì)了一個(gè)并行深度可分離卷積模塊來構(gòu)建偏光片缺陷檢測(cè)網(wǎng)絡(luò)，該并行模塊有兩個(gè)優(yōu)點(diǎn)：一是利用不同尺寸大小的卷積濾波器來提取更加豐富的缺陷特征；二是該并行模塊中采用深度可分離卷積替代傳統(tǒng)的卷積，顯著減少了網(wǎng)絡(luò)的參數(shù)量及MACCs；其次，將并行模塊中的3×3深度卷積用非對(duì)稱卷積替代得到并行非對(duì)稱卷積模塊，進(jìn)一步減少網(wǎng)絡(luò)的參數(shù)量；最后，網(wǎng)絡(luò)最后使用全局均值池化層最大限度地減少網(wǎng)絡(luò)的參數(shù)量。實(shí)驗(yàn)結(jié)果表明，本文方法在分類精度、速度及內(nèi)存消耗方面均優(yōu)于現(xiàn)有的方法，達(dá)到了工業(yè)實(shí)時(shí)檢測(cè)缺陷的要求。未來還可以通過其他模型壓縮的方法進(jìn)一步減少模型占用空間，提高模型分類速度及精度。