基于多視圖自編碼器及高斯模糊的缺陷檢測方法

應小偉，周 樂

(浙江科技學院 a.機械與能源工程學院,b.自動化與電氣工程學院，浙江 杭州310023)

深度學習因具有強大的特征提取能力被廣泛的運用于缺陷檢測領域。其中，自編碼器(Autoencoder, AE)已被用作無監督模型的深度特征提取，特別是用于缺陷檢測。張宏偉等[1]提出一種多尺度卷積自編碼器模型，實現了對色織襯衫面料缺陷自動檢測與定位。景軍鋒等[2]提出了一種基于Fisher準則的棧式降噪自編碼器算法，能夠有效提高織物疵點的檢測率。Tian等[3]提出了一種基于自編碼器的織物疵點檢測方法，通過對原始編碼的潛變量進行修改，引入跨patch相似性來確定修改函數。唐善成等[4]利用深度卷積變分自編碼器實現了電阻表面缺陷的檢測。李珍珍[5]基于自編碼采用殘差編碼解碼網絡完成圖像重構，實現了對產品表面缺陷進行無監督檢測。

傳統的自編碼器通常是全連接的。這意味著輸入數據的每個維度與所有隱層特征相連，每個隱層特征與重構的每個維度相連，導致模型無法有效地分離缺陷、背景和噪聲信息。雖然AE已經有了各種改進，比如稀疏自編碼器[6]、降噪自編碼器[7]、堆棧降噪自編碼器[8]等，但都無法有效提取深層缺陷信息。

多視圖學習作為機器學習的一個分支，因其處理高維數據不會引起過擬合而受到歡迎[9-10]。Jia等[11]將多視圖學習的所有視圖(輸入數據)映射到一個公共空間和幾個私有空間。在多視圖學習方法中，基于子空間學習的方法旨在獲取比輸入視圖維度更低的隱層空間，從而學習有效信息，消除視圖中的冗余信息。這些隱層空間包含的信息可以視為有效的特征，因此基于子空間學習的算法允許單視圖學習算法對多視圖數據進行學習[12]。

在紅外熱圖數據中，可以將數據劃分成背景、缺陷和噪聲三部分，構成不同視圖，每個視圖代表著不同的特征。本研究提出了一種基于多視圖自編碼器(Multi-view Autoencoder, MAE)及高斯模糊的缺陷檢測方法，并以一個具有亞表面缺陷的碳纖維試件為試驗對象，對該算法的有效性進行驗證，旨在為缺陷檢測提供一種新方法。

1 數據采集與預處理

脈沖熱成像數據采集裝置如圖1所示。首先，脈沖信號對被測試件閃爍一次，進行加熱。紅外攝像機記錄被測試件表面升溫和降溫2個變化過程，獲取原始熱圖數據。對應位置的溫度變化過程由熱圖像的像素值大小表示。紅外攝像機是一種基于被測對象表面溫度變化而進行成像的裝置，其成像基礎是被測試件存在缺陷或異常，缺陷的存在會使試件內部熱傳導不均勻，從而導致熱圖像上缺陷區域與無缺陷區域像素值大小不一。

圖1 脈沖熱成像數據采集裝置

2 多視圖自編碼器及高斯模糊缺陷檢測算法設計

2.1 數據劃分及表示

2.2 多視圖自編碼器的特征提取模型

傳統的自編碼器是全連接網絡，即隱層神經元與編碼層和解碼層的所有神經元連接，這導致隱層數據特征是所有輸入的非線性組合。而在多視圖學習中，子空間學習模型依賴于明確地構建一個公共的隱層空間和幾個私有的隱層空間，即一個私有的隱層空間對應于一個視圖。因為第1個視圖與第n個私有隱層空間(第n個隱層神經元)是沒有交叉連接的，所以第n個私有隱層空間與第1個視圖是嚴格獨立的。同樣，第1個私有隱層空間獨立于其他輸入視圖。

hK=σ(ω1XK+b)

(1)

為了搭建這樣的網絡結構，首先，搭建一個全連接自編碼器的網絡，根據輸入數據的維度依次設置輸入層神經元個數N，隱層神經元個數T,輸出層神經元個數N，搭建一個輸入—隱層—輸出的簡單全連接自編碼網絡。

其次，引入權重限制矩陣L,L∈T×N，維度與權重矩陣ω1一樣。矩陣內的元素人為設置值為1和0，通過限制矩陣內的元素排列方式控制輸入層神經元和隱層的連接方式，使每個視圖映射到公共空間和私有空間，從而實現局部連接，得到新的權重矩陣，定義為：

(2)

式(2)中，?表示將限制矩陣和權重矩陣逐元素相乘。

同理，輸出層權重矩陣乘以輸入層權重限制矩陣L的轉置即可控制隱層神經元與輸出層的連接。

最后，為了保持隱層空間和輸出層視圖之間的相互獨立性，多視圖自編碼器模型不使用偏置項，則輸入到隱層的映射數學表達式為：

(3)

解碼階段隱層到輸出層的表達式為:

(4)

模型損失采用均方誤差，公式為：

(5)

此外，為了便于理解權重限制矩陣L，當V和n等于2時，將輸入數據劃分成2個視圖，隱層公共空間是2個視圖的映射，則權重限制矩陣L∈3×5的第1行全部設置為1；輸入視圖只與隱層私有空間相連，則L第2行的前2個元素設置為1，后3個元素設置為0；同理得到第3行前2個元素為0，后3個元素為1。

2.3 高斯模糊

對熱圖數據分析的最終目的是為了提高缺陷區域與非缺陷區域的對比，采用高斯模糊算法可以很好地處理該問題。在一塊主要由大部分缺陷與少部分周圍背景組成的連接區域內，缺陷區域的像素值通常大于或小于周圍無缺陷區域，通過高斯模糊算法計算缺陷區域與周圍背景的均值，可以使缺陷區域的像素值進一步大于或小于周圍背景。同理，當計算主要由大部分背景少部分缺陷組成的連通區域時，高斯模糊算法則把缺陷的像素值平均到與背景區域接近的像素值。

根據二維高斯函數獲得權重矩陣,二維高斯函數公式為：

(6)

在獲得隱層輸出hK∈HW×T后，將HW×1的列向量還原成二維矩陣生成T張圖像。此時已經能夠大概分辨出缺陷的位置和形狀，但由于進行數據特征提取的局限性，生成的圖像中不可避免地存在或多或少的噪聲和背景，降低了缺陷區域與無缺陷區域的對比。因此，使用高斯模糊算法對包含大部分缺陷信息的圖像進一步降噪，提高對比。多視圖編碼器MAE模型算法流程如圖2所示。

圖2 多視圖編碼器MAE模型算法流程

步驟1：將N維輸入數據進行標準化，并劃分n個視圖，則每個視圖的維度為N/n。

步驟2：根據輸入視圖與隱層私有空間的映射關系設置權重限制矩陣。

步驟3：MAE模型編碼獲取隱層非線性特征。每個視圖嚴格映射到相應的隱層空間，即將維度HW×N的輸入數據經非線性特征提取后，降維得到隱層特征，維度為HW×T。

步驟4：模型解碼。根據隱層特征重構模型輸出，每個隱層神經元只映射到對應的輸出神經元，得到重構輸出，維度為HW×T。

步驟5：計算模型輸入與輸出的誤差，采用梯度下降法更新權值矩陣參數，直到模型收斂。否則，返回步驟3。

步驟6：訓練完成后，將維度為HW×T的隱層非線性特征還原成圖片，獲得T張大小為H×W大小的的圖片。

步驟7：從T張圖片中選取缺陷信息集中的圖片進行高斯模糊。

2.4 局部信噪比

采用熱成像領域常用的信噪比(Signal Noise Ratio, SNR)作為檢測結果的評價指標[14]。信噪比的絕對值近似計算為：

(7)

式(7)中，Mdef為缺陷區域像素均值；Mn為無缺陷區域像素均值；σn為無缺陷區域像素的標準差。

信噪比大小反映缺陷區域與非缺陷區域的對比關系，信噪比越大，缺陷越明顯。當無缺陷區域像素值較小時，即無缺陷區域標準差較小，由式(7)可以看出，分母較小使得信噪比數值偏大，評價結果不夠客觀。

針對這個缺點，本研究采用局部信噪比作為評價指標，即缺陷區域只與周圍區域對比，并且每個缺陷都是規則的正方形，便于周邊區域的選擇。具體地做法是，取每一個缺陷2倍大小的區域進行信噪比計算。通常，識別缺陷區域時只需缺陷與周圍區域的對比足夠明顯即可識別出缺陷。局部信噪比的引入減少了無缺陷區域像素值大小對評價指標的影響。局部信噪比計算公式為：

(8)

3 實驗

選取一個具有亞表面缺陷的碳纖維試件進行缺陷檢測，驗證MAE模型的性能。碳纖維試件采用樹脂傳遞模塑工藝制備，這種工藝在我國的工業生產中得到了廣泛地應用。制作時首先將纖維增強材料或預成坯鋪放到閉模模腔內，用壓力將樹脂液注入模腔浸透纖維或預成型坯，然后固化，脫模成型制品。在鋪層過程中，將幾個不同形狀的扁平特氟龍帶插入碳纖維板中，這樣在不同的位置就生成了不同的形狀和深度。

3.1 實驗數據和裝置介紹

實驗硬件平臺為Windows10,Intel i5-7500，CPU@3.4 GHz和16 GB RAM。基于TensorFlow深度學習框架搭建多視圖降噪自編碼器模型，基于OpenCV庫實現高斯模糊算法。試件制作完成后，對試件進行脈沖熱成像采集原始紅外熱圖數據。首先，使用2個閃光燈作為數據采集的熱源，3 ms內傳遞3 200 J的能量脈沖加熱被測試件；然后使用分辨率為320×240和采樣頻率為30幀/s的紅外攝像機(TAS-G100EXD, NEC)記錄試件在冷卻階段表面的溫度變化。由于不均勻的加熱和材料屬性的不同，采集的原始熱圖包含了不均勻背景和噪聲。因此，需要對熱像數據進一步處理，以提高缺陷識別的準確性。

通常為了減少背景區域對實驗結果的影響，將獲取的原始數據集進行裁剪，得到缺陷區域集中的120×105子區域作為試驗數據，獲得冷卻階段54張熱圖數據集。將獲取的54張三維數據集降維成二維輸入，維度為12 600×54，并將輸入劃分為3個視圖。隱層神經元數目為4，1個公共空間和3個私有空間。TensorFlow框架神經網絡矩陣運算是輸入乘以權重矩陣，編碼層ω1∈54×4，權重限制矩陣L∈54×4。解碼層權重矩陣同樣由限制矩陣控制連接方式。采用leaky-relu作為編碼器層的激活函數，其中，解碼層是用類似的方式構造，沒有使用激活函數。高斯濾波核大小為5×5。缺陷形狀及位置如圖3所示。圖3中，從左往右缺陷深度依次增加，同1列的3個缺陷深度一樣，J為表面缺陷。亞表面缺陷大小分別為1.6 mm×1.6 mm,0.8 mm×0.8 mm，和0.4 mm×0.4 mm。原始圖像缺陷展示如圖4所示。圖4展示了原始數據的第1，10，20，30，40，54張原始熱圖。由于不均勻背景和噪聲的存在，從原始熱圖中僅憑目測無法有效分辨缺陷的位置及形狀，尤其是深層缺陷。

圖3 缺陷形狀及位置

圖4 原始圖像缺陷展示

3.2 實驗結果及分析

碳纖維復合板的表面缺陷及最淺層3個亞表面缺陷(A,B,C)僅憑目測即可，所以只統計剩余的6個亞表面缺陷。AE，MAE以及結合高斯模糊算法的檢測結果分別如圖5～圖7所示。

圖5展示了AE方法的4個隱層特征，將缺陷信息集中在第2個隱層神經元。由于AE采用全連接網絡，每個隱層都是所有輸入的非線性組合，對深層缺陷檢測效果的提升有限。由圖5可以看出，AE方法對中間大正方形的處理結果有一定形狀輪廓顯現，但由于周邊背景和噪聲的嚴重干擾，效果并不直觀。

圖5 AE檢測結果

圖6展示了MAE方法的4個隱層特征，MAE1對應于隱層公共空間的特征圖可視化，MAE2～MAE4對應3個隱層私有空間的特征信息。從圖6可以看出，由于公共空間是所有輸入的映射，所以包含了缺陷、背景和噪聲信息。MAE2是視圖1的私有映射，缺陷的形狀及位置信息有較大的提升，缺陷區域與無缺陷區域的對比更為明顯。尤其是對最深層的2個較大缺陷，位置和輪廓信息提升效果較好。

經過AE和MAE 2種方法特征提取后的數據雖然包含了大部分的缺陷信息，但由于缺陷區域周圍存在大量不均勻背景和噪聲，降低了缺陷區域和非缺陷區域的對比。圖7展示了AE與MAE模型結合高斯模糊算法后的檢測結果。從圖7中可以看出，高斯模糊算法的引入增加了缺陷區域與非缺陷區域的對比。對MAE模型降維后的深層缺陷提升效果最好；對AE的表面缺陷和最淺層亞表面缺陷提升效果明顯。這是由于高斯模糊算法的本質特征決定的，即中心像素點是周圍像素點的均值。

圖6 MAE檢測結果

圖7 高斯模糊檢測結果

根據式(7)和式(8)分別計算求得全局信噪比和局部信噪比。信噪比計算結果見表1。從表1可以看出，多視圖自編碼器結合高斯模糊算法的全局信噪比計算結果并不好，但局部信噪比結果相較于另外3種方法有較大的提升，數值計算結果與圖6目測結果一致。缺陷區域的對比更加明顯，尤其深層且細小缺陷的提升效果較好。

表1 信噪比計算結果

4 結束語

本文提出了一種基于多視圖編碼器及高斯模糊的缺陷檢測方法，該方法結合自編碼器和多視圖的優點，通過自編碼器的非線性特征提取和降維，將輸入劃分為多個視圖，針對每個視圖各自包含的特征有效地檢測出深層且細小的缺陷。本研究以一個具有亞表面缺陷的碳纖維復合材料為實驗對象，分別采用AE,MAE以及結合高斯模糊算法的方式對其缺陷進行檢測。實驗結果表明，局部信噪比的引入降低了特征提取后無缺陷區域像素值大小對信噪比的影響。高斯模糊算法進一步增加了缺陷區域和無缺陷區域的對比，尤其是對深層且細小缺陷的提升效果更好，驗證了該算法的有效性和可行性。