基于卷積自編碼網(wǎng)絡(luò)的瓷磚表面缺陷檢測(cè)

李澤輝，陳新度，練洋奇

（1.廣東工業(yè)大學(xué)，廣東省計(jì)算機(jī)集成制造重點(diǎn)實(shí)驗(yàn)室，廣州510006；2.廣東工業(yè)大學(xué)，省部共建精密電子制造技術(shù)與裝備國(guó)家重點(diǎn)實(shí)驗(yàn)室，廣州510006）

0 引言

我國(guó)是瓷磚生產(chǎn)大國(guó)，國(guó)內(nèi)的墻地磚生產(chǎn)企業(yè)在原料加工方面已實(shí)現(xiàn)了機(jī)械化和自動(dòng)化，但在分色分級(jí)方面仍停留在人工檢測(cè)的水平，在瓷磚的生產(chǎn)流程中，從原料、配方、球磨、制粉、成形、燒制到磨邊倒角等，各個(gè)環(huán)節(jié)均會(huì)產(chǎn)生不同的缺陷，其中主要包括孔洞、劃痕、雜斑等類型表面缺陷。近年來(lái)許多學(xué)者提出了基于傳統(tǒng)機(jī)器視覺(jué)的瓷磚表面缺陷檢測(cè)方法，其中Sameer Ahamad等[1]對(duì)瓷磚進(jìn)行亮度增強(qiáng)和中值濾波的預(yù)處理后，分割瓷磚圖像并進(jìn)行特征提取，然后利用圖像直方圖測(cè)量瓷磚缺陷，實(shí)現(xiàn)了對(duì)陶瓷缺陷分級(jí)。S.H.Hanzaei等[2]提出用旋轉(zhuǎn)不變測(cè)量局部方差算子特征提取缺陷特征，經(jīng)過(guò)形態(tài)學(xué)增強(qiáng)后利用支持向量機(jī)進(jìn)行缺陷分類，取得了較好的效果。但這類方法往往采用常規(guī)圖像處理算法或人工設(shè)計(jì)特征加分類器方式，在實(shí)際應(yīng)用中存在算法參數(shù)調(diào)試?yán)щy，魯棒性不強(qiáng)，容易被復(fù)雜工業(yè)環(huán)境影響等缺點(diǎn)。近年來(lái)，開(kāi)始有學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)用于工業(yè)缺陷檢測(cè)，許志鵬等[3]提出了基于輕量YOLOv3的拉鏈缺陷檢測(cè)系統(tǒng)，模型達(dá)到80%的mAP。一些研究者利用分割網(wǎng)絡(luò)如FCN、U-Net進(jìn)行缺陷檢測(cè)，可以獲得缺陷的準(zhǔn)確位置及類型。但這類網(wǎng)絡(luò)都需要一定數(shù)量的標(biāo)注樣本進(jìn)行訓(xùn)練，而人工標(biāo)注樣本非常耗時(shí)。針對(duì)這一問(wèn)題，有學(xué)者提出無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)，其中Goodfel?low提出的生成式對(duì)抗網(wǎng)絡(luò)（generative adversarial net?works，GAN）被廣泛運(yùn)用于數(shù)據(jù)生成、圖像恢復(fù)等領(lǐng)域，Zhao等[4]提出一種基于GAN的織物表面缺陷檢測(cè)方法，該法通過(guò)修復(fù)缺陷區(qū)域后和原圖對(duì)比來(lái)檢測(cè)缺陷，但只適用于均勻紋理的表面。Masci[5]提出另一種無(wú)監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)卷積自編碼器（convolutional auto?encoder，CAE），Ke提出一種基于CAE的異常值檢測(cè)網(wǎng)絡(luò)來(lái)檢測(cè)缺陷區(qū)域，還有許多基于CAE的表面缺陷檢測(cè)研究，但多是針對(duì)規(guī)則紋理樣本[6]。

基于以上研究，本文提出一種基于輕量卷積自編碼網(wǎng)絡(luò)的瓷磚表面缺陷檢測(cè)方法LR-CAE，該法通過(guò)對(duì)無(wú)標(biāo)注的正常瓷磚樣本進(jìn)行弱缺陷圖像重構(gòu)訓(xùn)練，使網(wǎng)絡(luò)獲得對(duì)正常紋理而非缺陷特征的重構(gòu)能力。當(dāng)缺陷樣本輸入時(shí)，網(wǎng)絡(luò)會(huì)因?yàn)閷?duì)缺陷區(qū)域不敏感而導(dǎo)致重構(gòu)圖像的原缺陷區(qū)域相對(duì)原圖表現(xiàn)出差異，最后通過(guò)殘差處理加閾值化操作就可以獲得潛在的缺陷區(qū)域。

1 數(shù)據(jù)集制作

瓷磚幅面為600 mm×600 mm，采集得到共80張完整瓷磚圖像。采集得到的圖像受到成像系統(tǒng)等環(huán)境因素影響，經(jīng)過(guò)分析存在較多噪點(diǎn)，故利用中值濾波先進(jìn)行一次濾波操作。本文的目的是通過(guò)易于獲得的無(wú)標(biāo)注正常樣本來(lái)訓(xùn)練網(wǎng)絡(luò)，首先利用仿射變換校正瓷磚位姿以方便后續(xù)的區(qū)域劃分操作。然后提取僅包含瓷磚的區(qū)域圖像，為了適應(yīng)較大圖像輸入，將原圖劃分若干小區(qū)域，再經(jīng)過(guò)旋轉(zhuǎn)、添加隨機(jī)高斯噪聲共得到2328張無(wú)缺陷瓷磚圖像，60張缺陷圖像。

圖1瓷磚分塊圖像

2 基于卷積自編碼的表面缺陷檢測(cè)方法

2.1 卷積自編碼器

2.1.1 卷積自編碼器原理

自編碼器最初由Rumelhart等提出，并將其應(yīng)用于復(fù)雜高維數(shù)據(jù)處理。自編碼器結(jié)構(gòu)如圖2所示，但自編碼器只采取了全連接網(wǎng)絡(luò)，原理是依靠sigmod、tanh和relu函數(shù)對(duì)數(shù)據(jù)進(jìn)行非線性映射來(lái)獲取特征編碼[7]，但這種結(jié)構(gòu)忽略了圖像的局部空間結(jié)構(gòu)信息，同時(shí)全連接層的使用使得模型整體參數(shù)量過(guò)大難以優(yōu)化。

圖2自編碼器結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的提出使得特征提取變得更加合理并且大大減少了參數(shù)量，得益于CNN的思想，CAE在特征編碼前加入了卷積層進(jìn)行特征提取，并在特征解碼加入反卷積層進(jìn)行重構(gòu)操作。

CAE的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，相比傳統(tǒng)的AE，CAE的優(yōu)點(diǎn)是利用了卷積操作來(lái)進(jìn)行特征提取以及特征降維，同時(shí)網(wǎng)絡(luò)的權(quán)值由所有神經(jīng)元共享，這使得網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)的空間表示，保持了圖像空間的局部性，并且使得模型易于訓(xùn)練，重構(gòu)效果更好。

圖3卷積自編碼器結(jié)構(gòu)

CAE的編碼過(guò)程如下，對(duì)于輸入的原圖Isrc的每個(gè)通道圖X，利用k個(gè)權(quán)值為Wi，偏置為bi，i=1,…,k的卷積核對(duì)通道圖做卷積，則可以得到k個(gè)特征編碼圖，編碼原理如式（1）所示。

圖像重構(gòu)也就是解碼的過(guò)程，則是由反卷積操作完成，通過(guò)反卷積操作可以實(shí)現(xiàn)從編碼特征到重構(gòu)圖像的轉(zhuǎn)換。解碼原理如式（2）所示，其中H表示上一層操作后得到的特征映射圖，W?i是反卷積操作時(shí)卷積核的權(quán)值，c為偏置，Y是解碼后得到的對(duì)應(yīng)通道圖。

為了提高模型提取特征的能力，Vicent等[8]提出了CDAE（卷積去噪自編碼器），該網(wǎng)絡(luò)通過(guò)在訓(xùn)練時(shí)人為添加隨機(jī)噪聲來(lái)提高模型對(duì)特征的提取能力。Mei等提出了多尺度重構(gòu)網(wǎng)絡(luò)MS-CADE[9]，通過(guò)融合多尺度特征來(lái)獲得質(zhì)量更好的重構(gòu)圖像。

2.1.2損失函數(shù)

在卷積自編碼網(wǎng)絡(luò)中，多采用均方誤差（Mean-Square Error，MSE）作為損失函數(shù)。MSE也稱為L(zhǎng)2 loss，一般用來(lái)評(píng)估兩幅圖像之間的像素級(jí)差異，在圖像重構(gòu)網(wǎng)絡(luò)中被用作衡量重構(gòu)圖像與輸入圖像之間的像素級(jí)差異程度。該函數(shù)側(cè)重于圖像的全局差異，定義如下：

由解碼后得到的各通道圖Y合并得到，ω表示重構(gòu)網(wǎng)絡(luò)中的權(quán)重矩陣集，γ表示正則化項(xiàng)的懲罰因子，0<γ<1。從公式可以看出，該損失函數(shù)沒(méi)有考慮局部紋理特征，故以MSE為損失函數(shù)的修復(fù)模型在規(guī)則紋理樣本如紡織品等上表現(xiàn)較好，而在樣本為不規(guī)則紋理的情況下會(huì)導(dǎo)致模型難以訓(xùn)練[10]。

2.2 重構(gòu)網(wǎng)絡(luò)框架搭建

2.2.1 基本框架選擇與改進(jìn)

基于缺陷樣本較少，正樣本較多的情況，采取僅需要正樣本進(jìn)行訓(xùn)練的卷積自編碼網(wǎng)絡(luò)作為基本架構(gòu)，在保持網(wǎng)絡(luò)形狀的前提下針對(duì)檢測(cè)對(duì)象對(duì)網(wǎng)絡(luò)進(jìn)行了修改。本文的網(wǎng)絡(luò)架構(gòu)如圖4所示，網(wǎng)絡(luò)呈現(xiàn)對(duì)稱結(jié)構(gòu)，左側(cè)是由卷積與池化層組成的特征提取網(wǎng)絡(luò)模塊，中間由全連接編碼層組成，右側(cè)由上采樣與卷積層組成的反卷積重構(gòu)模塊，結(jié)構(gòu)上與特征提取模塊基本對(duì)稱。

圖4 設(shè)計(jì)的自編碼網(wǎng)絡(luò)模型

經(jīng)過(guò)實(shí)驗(yàn)嘗試，發(fā)現(xiàn)直接從特征編碼層經(jīng)過(guò)反卷積操作難以恢復(fù)高分辨率圖像信息，故參考了U-Net[11]的結(jié)構(gòu)，將對(duì)應(yīng)的卷積層特征圖與反卷積層特征圖融合，通過(guò)將高層的語(yǔ)義信息與底層的紋理信息進(jìn)行融合，提高了傳統(tǒng)CAE結(jié)構(gòu)對(duì)高分辨率內(nèi)容的重構(gòu)能力。每個(gè)網(wǎng)絡(luò)層均采用ReLU激活函數(shù)，并且采用了BN（Batch Normalization）與Dropout加快模型收斂以及防止過(guò)擬合。

2.2.2 訓(xùn)練策略與損失函數(shù)選擇

目前卷積自編碼網(wǎng)絡(luò)中較多使用MS E損失進(jìn)行訓(xùn)練，根據(jù)式（3）MSE損失的定義，其不足以表達(dá)人眼對(duì)圖像的直觀感受，人眼衡量?jī)煞鶊D像的距離時(shí)，更偏重于考慮兩圖的結(jié)構(gòu)相似性而不是逐像素計(jì)算兩圖差異。對(duì)于不規(guī)則紋理樣本，采取MSE損失會(huì)出現(xiàn)模型訓(xùn)練開(kāi)始階段難以收斂的問(wèn)題。針對(duì)這一問(wèn)題，參考Wang[12]提出的圖像結(jié)構(gòu)相似性準(zhǔn)則（struc?tural-similarity-based image quality，SSIM），SSIM綜合考慮了圖像在亮度、對(duì)比度，以及結(jié)構(gòu)3個(gè)方面的相似性，定義如下：

其中l(wèi)、c、s分別衡量?jī)煞鶊D像x、y在亮度、對(duì)比度及結(jié)構(gòu)上的相似程度，μ、σ分別表示圖像均值和標(biāo)準(zhǔn)差。SSIM則由式（7）給出，其中α>0，β>0，γ>0，C1，C2，C3是非零常數(shù)，通常取α=β=γ=1，C3=C2/2。根據(jù)SSIM定義，SSIM損失可以定義為：

本文提出先使用SSIM損失來(lái)進(jìn)行初始訓(xùn)練，后使用MSE損失訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練方法。前期使用SSIM損失進(jìn)行訓(xùn)練可以讓網(wǎng)絡(luò)獲得重建底層的紋理結(jié)構(gòu)的能力，然后采取MSE損失函數(shù)進(jìn)行進(jìn)一步訓(xùn)練以獲得更豐富的圖像信息重構(gòu)能力，為了避免模型過(guò)擬合出缺陷區(qū)域，在后面的訓(xùn)練中以SSIM作為迭代終止條件，但不參與反向傳播，目的是防止模型過(guò)擬合獲得重建缺陷區(qū)域的能力。

2.3 缺陷定位

對(duì)于訓(xùn)練好的網(wǎng)絡(luò)，輸入待檢測(cè)的缺陷圖像可以得到一副缺陷弱化的重構(gòu)圖像，兩幅圖像作殘差處理可以得到潛在缺陷位置的缺陷圖。殘差圖存在一定的隨機(jī)噪點(diǎn)，采取3×3的中值濾波作去噪處理，最后通過(guò)自適應(yīng)閾值方法即可得到缺陷的二值圖像。從5圖中可以看出，網(wǎng)絡(luò)重建時(shí)只能夠重構(gòu)出非缺陷區(qū)域，而缺陷區(qū)域由于缺乏重構(gòu)信息而呈現(xiàn)出信息丟失的情況，原圖與重構(gòu)圖作殘差處理后即可得到缺陷圖像。

圖5實(shí)驗(yàn)結(jié)果

3 實(shí)驗(yàn)結(jié)果與分析

本次實(shí)驗(yàn)配置環(huán)境為64位Windows 10系統(tǒng)，16G內(nèi)存，采用NVIDIA GTX 1060 GPU進(jìn)行訓(xùn)練，采用的深度學(xué)習(xí)框架為PyTorch。訓(xùn)練的無(wú)缺陷瓷磚數(shù)據(jù)集600張，驗(yàn)證集60張，包含孔洞、溶洞、劃痕等缺陷。采取上文所提出的訓(xùn)練策略，經(jīng)過(guò)實(shí)驗(yàn)嘗試，在SSIM loss達(dá)到0.85時(shí)終止迭代，繼續(xù)訓(xùn)練會(huì)導(dǎo)致模型最后的驗(yàn)證精度下降。

3.1 方法評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)為最后能否檢出正確缺陷區(qū)域，采用精確率（Precision）與召回率（Recall）來(lái)衡量。兩者定義如下：

其中TP表示正確被檢出缺陷且區(qū)域正確的缺陷樣本，F(xiàn) N表示沒(méi)被檢出缺陷的缺陷樣本，F(xiàn)P表示被錯(cuò)誤檢出缺陷的無(wú)缺陷樣本。F1-Measure是同時(shí)考慮了精確度與召回率的綜合評(píng)估指標(biāo)[13]。

3.2 對(duì)比分析

通過(guò)實(shí)驗(yàn)，對(duì)比了近來(lái)較為優(yōu)秀的重構(gòu)網(wǎng)絡(luò)CA?DE，結(jié)果表明網(wǎng)絡(luò)過(guò)深以及單獨(dú)使用MSE損失訓(xùn)練會(huì)讓網(wǎng)絡(luò)重建包括缺陷在內(nèi)的原圖區(qū)域，此時(shí)經(jīng)過(guò)殘差處理的圖像無(wú)法凸顯缺陷區(qū)域，也無(wú)法通過(guò)直接閾值來(lái)獲得缺陷位置。圖6顯示了本文網(wǎng)絡(luò)與CADE網(wǎng)絡(luò)的殘差圖結(jié)果對(duì)比。

圖6殘差結(jié)果對(duì)比

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出方法的有效性，從瓷磚的切片圖像中選取60張帶有缺陷的圖像，其中缺陷包含深劃痕、淺劃痕，以及孔洞類型。待測(cè)圖輸入到訓(xùn)練好的LR-CAE網(wǎng)絡(luò)得到弱缺陷重構(gòu)圖，殘差操作后結(jié)合中值濾波[14]與自適應(yīng)閾值方法[15]得到最后檢測(cè)結(jié)果。表1展示了實(shí)驗(yàn)最終結(jié)果。

表1實(shí)驗(yàn)結(jié)果

從表1中可以看到，雖然兩個(gè)模型的檢測(cè)精確度都在90%以上，但CADE模型的召回率相對(duì)較低，這是因?yàn)镃ADE模型雖然具有較好復(fù)現(xiàn)特征能力，但也同時(shí)提高了對(duì)缺陷區(qū)域的復(fù)現(xiàn)能力，導(dǎo)致最后重構(gòu)出來(lái)的圖像缺陷區(qū)域弱化不明顯，殘差操作無(wú)法獲得明顯的缺陷圖像，例如針孔這類本身尺寸就比較小的缺陷就容易出現(xiàn)漏檢。從表1中也能看出，本文的方法則對(duì)兩種類型的缺陷都具有較好的檢測(cè)效果，兩類缺陷的F1-Measure評(píng)價(jià)指標(biāo)分別達(dá)到94.8%和87.6%，相比CADE有較大提升。

4 結(jié)語(yǔ)

本文針對(duì)部分類型瓷磚的紋理不規(guī)則性、背景紋理的干擾性，提出一種基于輕量卷積自編碼的瓷磚表面缺陷檢測(cè)方法，在訓(xùn)練模型時(shí)僅需要輸入無(wú)標(biāo)注的正常樣本，避免了對(duì)人工標(biāo)注樣本的依賴。并且輕量化的結(jié)構(gòu)使得網(wǎng)絡(luò)參數(shù)較少，易于訓(xùn)練，檢測(cè)階段通過(guò)將待測(cè)圖輸入該網(wǎng)絡(luò)可得到弱缺陷重構(gòu)圖，再通過(guò)殘差和自適應(yīng)閾值處理即可實(shí)現(xiàn)缺陷定位。此外采取了先用SSIM損失訓(xùn)練得到一個(gè)較優(yōu)的網(wǎng)絡(luò)初始權(quán)重后再使用MSE損失訓(xùn)練的策略，解決了單獨(dú)采用MSE損失函數(shù)在樣本紋理不規(guī)則情況下網(wǎng)絡(luò)無(wú)法收斂的問(wèn)題。最后實(shí)驗(yàn)表明，本文提出的方法在瓷磚孔洞和劃痕的檢測(cè)上取得91.2%的平均F1-Measure，具有較強(qiáng)的魯棒性，同時(shí)網(wǎng)絡(luò)訓(xùn)練時(shí)不需要缺陷數(shù)據(jù)樣本，對(duì)其他類型的瓷磚或者工業(yè)產(chǎn)品的表面缺陷檢測(cè)具有參考價(jià)值。