基于深度學習與域自適應的工件渦流熱成像的缺陷檢測

張 毅，范玉剛

〈無損檢測〉

基于深度學習與域自適應的工件渦流熱成像的缺陷檢測

張 毅1,2，范玉剛1,2

（1. 昆明理工大學 信息工程與自動化學院，云南 昆明 650500；2.云南省人工智能重點實驗室，云南 昆明 650500）

機械設備運行過程中，標記的故障樣本量小，導致建立的模型故障診斷準確率低，為此本文提出一種結合深度學習與域自適應的工件渦流熱成像的缺陷檢測方法。首先將注意力機制引入深度殘差網絡ResNet50中，加強模型的特征提取能力；然后將源域和目標域數據送入改進的ResNet50網絡中提取深度特征，并且在網絡的全連接層中引入局部最大均值差異，用于縮小兩域特征間的分布差異，以此實現相關子域的分布對齊；最后在網絡的Softmax分類器中實現對工件金屬材料的缺陷檢測。在公開的磁瓦數據集和本文實驗采集的金屬板渦流紅外圖像數據集上進行實驗，結果表明，本文方法對渦流紅外圖像的裂紋缺陷檢測識別準確率較高，通過t分布隨機鄰居嵌入方法對分析結果可視化，驗證了本文方法的優越性。

渦流熱成像；深度殘差網絡；注意力機制；域自適應；局部最大均值差異

0 引言

工業生產中的金屬材料在使用過程中可能會產生劃痕、裂紋等損傷缺陷，從而影響設備的正常運行，甚至危及人身安全，因而對金屬材料中的損傷缺陷進行檢測具有重要意義。渦流脈沖熱成像檢測作為新興的無損檢測技術，具有非接觸性、檢測速度快等優點[1]，因而被廣大研究者應用于工業中金屬材料的探傷檢測。如Peng等[2]采用快速傅里葉變換和主成分分析消除非均勻加熱影響來增強紅外圖像的裂紋特征，成功檢測出銅棒裂紋位置和形狀。Yi等[3]通過渦流熱成像檢測技術，提出用核主成分分析和低秩稀疏建模方法，增強缺陷區域特征，實現了金屬表面裂紋深度的檢測。

因此基于圖像分析的檢測方法能夠有效識別設備的金屬裂紋，但上述文獻無法實現自適應地提取缺陷圖像的特征信息。近年來深度學習方法在圖像識別、缺陷檢測等方向取得了較好的效果，它能夠自動地學習輸入數據的深度特征。但深度學習方法的訓練需要足量的數據，且訓練的數據和測試的數據要具有相同的分布[4]，實際的工業生產中，工況多變，訓練和測試樣本數據同分布的要求難以得到滿足。

為解決以上問題，多種深度遷移學習方法被提出，例如基于特征遷移的深度學習方法。特征遷移的核心思路是通過適當的特征變換將源域和目標域的數據映射到一個公共的特征空間，并通過特征對齊來減小領域間的分布差異，然后利用源域的標簽數據訓練目標域的分類器[5]。特征遷移學習方法在許多領域得到發展和應用，例如Long等[6]提出的DAN深度適配網絡同時適配3個全連接層，且提出了多核MMD（Maximum mean discrepancy）來度量兩域之間的分布差異。Ganin等[7]引入生成對抗網絡（Generative adversarial networks, GAN）[8]思想提出領域對抗神經網絡（Domain adversarial neural network, DANN），將生成對抗網絡的生成器視為特征提取器，將生成對抗網絡的判別器視為域適應器，因而提取出源域和目標域的共同特征實現遷移。王等[9]聯合生成對抗網絡和多核MMD最小化域間距離，提出了基于生成對抗網絡和距離度量的聯合分類模型。

以上文獻聚焦于源域和目標域進行全局特征對齊研究，缺乏對源域和目標域相同類別間關系的深入研究，故本文在特征提取網絡ResNet50的基礎上引入CBAM注意力機制，使得網絡更加關注圖像的重點區域，以此來提高網絡的特征提取能力，并引用局部最大均值差異（Local maximum mean discrepancy, LMMD）[10]作為子領域自適應對齊算法，用來度量源域和目標域特征的分布差異，通過最小化該差異損失優化訓練模型，并將得到的特征遷移深度學習模型應用于金屬板材料缺陷的檢測問題。

1 領域自適應

1.1 全局域自適應與子領域自適應

領域自適應實質就是把提取的源域和目標域數據特征映射到可再生核希爾伯特空間（Reproducing kernel Hilbert space, RKHS）中來減小兩領域間的分布差異。實行全局域自適應后，源域和目標域的全局特征得到對齊，但兩域間不同類別的特征樣本并沒有明顯地分開，影響了分類的準確性。而經過子領域自適應后，源域和目標域不僅全局特征得到對齊，而且兩域中不同類別的特征很好地得以分開，且同類別間的特征分布更為緊密，因此子領域自適應可以改善全局域自適應分類精度較差的情況。兩種領域自適應的思想如圖1所示。

圖1 領域自適應示意圖

1.2 最大均值差異度量算法

2 融合注意力的ResNet50網絡和子領域自適應的工件缺陷檢測模型

2.1 融合CBAM注意力機制的ResNet50特征提取模塊

卷積注意力模塊（Convolutional block attention module, CBAM）[12]是一種結合了通道注意力和空間注意力的綜合注意力模塊，CBAM結構如圖2所示[13]。輸入特征圖∈R××，先經過通道注意力模塊得到其權值C()，再經過空間注意力模塊得到其權值S(￠)，整個過程計算公式如(3)、(4)所示。

￠＝C()?(3)

2＝S(￠)?￠(4)

圖2 CBAM模塊結構圖

由于隨著網絡模型的加深，會相繼出現梯度消失和網絡退化的問題，因此本文選擇了采用殘差塊的ResNet50[14]網絡模型，殘差塊的存在使得網絡層之間能夠進行短連接，緩解了梯度爆炸和梯度消失問題，提高了模型的穩定性。

ResNet50網絡在提取特征中沒有重點的關注喜好，本文希望網絡模型在對工件進行檢測訓練時能更多地關注缺陷的部位，而忽略不重要的背景信息，從而提高模型檢測識別的正確率。因此本文將CBAM注意力模塊引入ResNet50網絡中，實驗采用在ImageNet上預訓練的ResNet50網絡，在引入CBAM模塊時不改變ResNet50的殘差結構，所以分別在第一層卷積和最后一層卷積后面加入CBAM模塊，融合CBAM機制的ResNet50網絡結構參數如表1所示。

2.2 子領域自適應模塊

本文使用局部最大均值差異來測量兩領域間相關子領域的分布差異，其公式為：

式中：是兩域的類別數；w,jt和分別是樣本xs和xt屬于類別的權重，其計算公式為：

表1 添加CBAM的ResNet50網絡結構

本文使用真實標簽ys的one-hot得出源域中類樣本的權重w,is。目標域中樣本由于沒有標簽，故無法使用yt來計算目標域中對應的權重，但卷積神經網絡的輸出是概率分布，它可以表示樣本x屬于某個類別的概率大小，故而使用卷積神經網絡的Softmax分類器來預測目標域中的標簽，從而得出樣本xt是類的權重w,jt。

對于輸入的源域和目標域數據，經過本文改進的ResNet50網絡的全連接層中提取得到對應特征zs和zt，于是將其映射到可再生核希爾伯特空間進行特征對齊，因此可將公式(5)重新計算得到：

2.3 網絡模型的整體結構

本文通過融合CBAM注意力的ResNet50特征提取網絡模塊和子領域自適應模塊，搭建了工件的缺陷檢測模型，其結構如圖3所示，首先將注意力機制CBAM模塊添加到ResNet50中，提取源域和目標域數據的深度特征，并將網絡的參數共享，同時將子領域自適應層設在網絡的全連接層[10]，以便在此層中使用局部最大均值差異來實現兩域中相關子領域的特征對齊，最后用網絡模型中的Softmax分類器對金屬板材料的紅外熱圖像進行缺陷的檢測識別。

2.4 模型的目標函數

式中：J(,)是交叉熵損失函數；dlmmd(,)是子領域自適應的分布距離函數；l＞0，是權衡超參數。

3 實驗

3.1 實驗平臺和數據采集

渦流熱成像實驗平臺由渦流加熱裝置和紅外熱像儀組成，圖4為實驗的渦流加熱設備和有缺陷的金屬板材料。實驗時給裝置通電，給被測金屬材料渦流加熱，然后用紅外熱像儀拍攝金屬板材料的紅外圖像，從而得到實驗的紅外圖像數據。

圖4 渦流加熱設備（左）和缺陷金屬板（右）

Fig.4 Eddy current heating equipment (left) and defective metal plate (right)

本文實驗模擬工業生產設備的金屬材料工件，選用并加工了有裂紋缺陷的金屬板和無缺陷的完好的金屬板作為實驗中的兩大類別，以此來驗證本文提出網絡模型的性能優劣。對工件材料加工時分別設置了有缺陷的裂紋長度為4mm、8mm、10mm、20mm，以滿足不同長度裂紋缺陷的檢測實驗，提高實驗的豐富性和可靠性，裂紋的寬度均為1.5mm，考慮到加工誤差，裂紋缺陷的尺寸會和標注數據有0.2mm的誤差，本實驗加工的裂紋缺陷均在金屬材料的表面。通過渦流設備對金屬材料的加熱和紅外熱像儀采集圖像數據，本實驗采集得到的紅外圖像分辨率為320×240，紅外圖像集分別有裂紋缺陷和無裂紋缺陷兩種類型。在實際的機械設備運行過程中，工況多變，標記的故障樣本量小，為此本文提出一種結合深度學習與域自適應的工件渦流熱成像的缺陷檢測方法，所以還需要選擇一個相似的領域數據集來進行實驗，于是選擇了中科院自動化所收集的磁瓦數據集[16]作為其相似領域來進行遷移學習的實驗。因本實驗采集的數據集有無裂紋缺陷和有裂紋缺陷兩種類別，所以從磁瓦數據集中也選用了對應的類別進行實驗。同時由于實驗采集的圖像是彩色的RGB圖像，因此需要先對磁瓦數據集的兩種類型的黑白圖像進行處理轉化為RGB圖像后再進行本文模型方法的相關實驗，根據源域數據集相關資料，盡量還原了真實的RGB色彩，以便和本文的紅外圖像進行領域適應的遷移學習。如圖5為實驗數據集示例。

圖5 實驗數據集示例

本文中實驗的兩個領域的樣本存在數目不均衡的問題，為了更好地訓練模型，驗證實驗方法的性能，因此使用翻轉、縮放、裁剪，旋轉等一些數據增強的方式得到了相對均衡的數據樣本。故最后得到磁瓦數據集的裂紋缺陷圖像460張，無裂紋缺陷圖像434張，本實驗得到的金屬板紅外圖像數據集的裂紋缺陷圖像380張，無裂紋缺陷圖像320張。將兩域的數據集根據有無裂紋缺陷各自按照8:1:1的比例劃分訓練集，驗證集和測試集。實驗包含兩種域遷移：磁瓦數據集→金屬板數據集，金屬板數據集→磁瓦數據集，因本文主要應用網上公開的缺陷數據集來實現對我所實驗的金屬材料紅外圖像的缺陷檢測識別，所以更多關注的是從磁瓦數據集到金屬板數據集的遷移任務的準確率。

3.2 實驗配置和實驗對比

本文實驗都使用基于Python 3.7的Pytorch深度學習框架，CPU為i5-11400H，GPU為GeForce RTX 3060，RAM為16GB。模型訓練的迭代輪數保持一致，使用隨機梯度下降法（Stochastic gradient descent，SGD），動量設置為0.9，學習率的調整公式為＝0/(1＋)，其中訓練時服從0到1的線性變化，0＝0.01,＝10,＝0.75。

為對比證明本文方法的優越性，于是設置了幾組不同方法的模型來進行對比實驗。一是經過網絡數據集預訓練后的微調ResNet50網絡模型，二是度量距離為多核最大均值差異（Multipe Kernel Maximum Mean Discrepancy，MK-MMD）的DAN模型，三是未添加注意力機制，采用局部最大均值差異（Local Maximum Mean Discrepancy，LMMD）度量距離的ResNet50_LMMD模型，四是本文的添加CBAM注意力模塊的改進ResNet50網絡，用局部最大均值差異度量距離的模型。幾種模型實驗的環境條件和配置相同，實驗設定100輪次，本文方法訓練集和測試集的檢測精度如圖6所示。可以看出，訓練集和測試集在30輪左右達到穩定，且精度相差不大，說明模型是穩定可靠的。

圖6 訓練集和測試集精度對比圖

各個不同模型的檢測精度對比如表2所示，可以明顯看出本文提出的方法平均精度為88.52%，好于對比的其他模型，表明本文提出的模型通過對齊同類子領域，能得到領域間更細節的信息，使得不同領域間同類別聯系更為緊密，不同類別間的類間距分得更開，同時和方法3相比可知添加注意力機制后檢測精度得到大約1.3%的提升，驗證了模型的優越性。同時圖7展示了磁瓦數據集到金屬板數據集訓練得到的準確率的對比效果，相同輪次下，可以看到其余方法在20個epoch左右達到收斂，隨后細微振蕩，而本文提出的方法收斂速度較慢，原因是在ResNet50網絡基礎上加入了CBAM注意力模塊，增加了網絡的復雜度，所以檢測消耗的時間較不添加CBAM模塊的時間增加了大約2.5s，但是檢測缺陷的準確率得到了提升。

表2 不同模型的檢測精度

Magnetic tile data set→sheet metal data set

3.3 實驗結果可視化

為了更加直觀地體現出本文方法的優點，實驗選擇了源域為磁瓦數據集，目標域為本文采集的金屬板的紅外圖像數據集作為可視化對比，利用t-SNE（t-distributed stochastic neighbor embedding）算法[17]將源域和目標域部分數據的特征值映射為二維空間，然后在二維空間里將其特征可視化。幾種對比方法的特征可視化效果如圖8所示，其中S代表源域，T代表目標域，S-0表示源域中無缺陷的樣本，S-1表示源域中裂紋缺陷的樣本。由圖可知，僅采用經過預訓練微調的ResNet50模型提取通用特征能力強，一個域內的同類別間的聚類效果好，但不同領域相同類別就沒有很好地聚類。采用多核MMD（MK-MMD）的DAN模型展現出一定的特征對齊能力，但未考慮兩域子領域的分布對齊，不同領域的同類別間聚類效果不是很好。而采用子領域自適應模型的ResNet50_LMMD和本文方法在對齊全局域分布的同時還實現了對齊同類子領域的分布，另外本文方法融入注意力機制，提升了特征提取能力，可以看出兩域間相同類別密切地聚集在一起，得到了不錯的聚類效果，充分證實了本文方法的有效性和優越性。

圖8 不同方法的t-SNE特征可視化

4 結論

通過引入特征遷移學習思想，建立局部最大均值差異衡量指標，縮小了源域和目標域數據特征間的分布差異，實現了相關子域的分布對齊。基于特征遷移學習思想建立的金屬板材料裂紋的缺陷識別模型，解決了數據集中裂紋缺陷樣本量少，訓練和測試樣本難以同分布的問題。提出的基于深度學習與子領域自適應的工件渦流熱成像的缺陷檢測模型，在ResNet50網絡添加CBAM注意力機制，提高了模型對于缺陷區域特征的關注度，可以聚焦于缺陷特征的提取，提升模型缺陷檢測能力。通過相關實驗對比，并使用t-SNE算法對幾種對比實驗提取的特征進行可視化，驗證了所提模型的有效性，提升了金屬板材料裂紋缺陷的檢測精度。

[1] 李寶蕓, 范玉剛, 高陽. 基于OTSU和Canny算子的紅外圖像特征提取[J]. 陜西理工大學學報: 自然科學版, 2019, 35(6): 33-40. LI Baoyun, FAN Yugang, GAO Yang. Infrared image feature extraction based on OTSU and Canny operator[J].:, 2019, 35(6): 33-40.

[2] PENG Y, HUANG S, HE Y, et al. Eddy current pulsed thermography for noncontact nondestructive inspection of motor winding defects[J]., 2020, 20(5): 2625-2634.

[3] YI Q, Malekmohammadi H, TIAN G Y, et al. Quantitative evaluation of crack depths on thin aluminum plate using eddy current pulse-compression thermography[J]., 2021, 16(6): 3963-3973.

[4] 董紹江, 朱朋, 裴雪武, 等. 基于子領域自適應的變工況下滾動軸承故障診斷[J]. 吉林大學學報: 工學版, 2022, 52(2): 288-295. DONG Shaojiang, ZHU Peng, PEI Xuewu, et al. Fault diagnosis of rolling bearing under variable operating conditions based on subdomain adaptation[J].:, 2022, 52(2): 288-295.

[5] 姜萬錄, 岳毅, 張淑清, 等. 基于特征遷移學習的變工況下軸向柱塞泵故障診斷[J]. 農業工程學報, 2022, 38(5): 45-55. JIANG Wanlu, Yue Yi, ZHANG Shuqing, et al. Axial piston pump fault diagnosis under variable working conditions based on feature transfer learning[J]., 2022, 38(5): 45-55.

[6] LONG M S, CAO Y, WANG J, et al. Learning transferable features with deep adaptation networks[C]//, 2015: 97-105.

[7] Ganin Y, Ustinova E, Ajakan H, et al. Domain-adversarial training of neural networks[J]., 2016, 17(1): 2096-2030.

[8] 陳佛計, 朱楓, 吳清瀟, 等. 生成對抗網絡及其在圖像生成中的應用研究綜述[J].計算機學報, 2021, 44(2): 347-369. CHEN Foji, ZHU Feng, WU Qingxiao, et al. A survey about image generation with generative adversarial nets[J]., 2021, 44(2): 347-369.

[9] 王格格, 郭濤, 余游, 等. 基于生成對抗網絡的無監督域適應分類模型[J]. 電子學報, 2020, 48(6): 1190-1197. WANG Gege, GUO Tao, YU You, et al. Unsupervised domain adaptation classification model based on generative adversarial network[J].2020, 48(6): 1190-1197.

[10] ZHU Y C, ZHUANG F Z, WANG J D, et al. Deep subdomain adaptation network for image classification[J]., 2020(99): 1-10.

[11] Gretton A, Borgwardt K M, Rasch M J, et al. A kernel two-sample test[J]., 2012, 13: 723-773.

[12] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]//, 2018: 3-19.

[13] 郝帥, 張旭, 馬旭, 等. 基于CBAM-YOLOv5的煤礦輸送帶異物檢測[J].煤炭學報, 2021, 1644: 1-11. HAO Shuai, ZHANG Xu, MA Xu, et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J].2021, 1644: 1-11.

[14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[15] 吳靜然, 劉建華, 崔冉. 子域適應無監督軸承故障診斷[J]. 振動與沖擊, 2021, 40(15): 34-40. WU Jingran, LIU Jianhua, CUI Ran. Sub-domain adaptive unsupervised bearing fault diagnosis[J]., 2021, 40(15): 34-40.

[16] HUANG Y B, QIU C Y, YUAN K. Surface defect saliency of magnetic tile[J]., 2020, 36(1): 85-96.

[17] Laurens V D M, Hinton G. Visualizing data using t-SNE[J]., 2008, 9(2605): 2579-2605.

Defect Detection of Eddy Current Thermal Imaging of Workpiece Based on Deep Learning and Domain Adaptation

ZHANG Yi1,2，FAN Yugang1,2

(1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China; 2. Key Laboratory of Artificial Intelligence in Yunnan Province, Kunming 650500, China)

When operating mechanical equipment, the number of fault samples marked is small, which leads to low accuracy of the fault diagnosis of the established model. Therefore, this study proposes a defect detection method for eddy current thermal imaging of a workpiece that combines depth learning and domain adaptation. First, the attention mechanism is introduced into the deep residual network ResNet50 to enhance the feature extraction capability of the model. Then, the source and target domain data are sent into the improved ResNet50 network to extract the depth features. The local maximum mean difference is introduced into the full connection layer of the network to reduce the distribution difference between the two domain features to achieve the distribution alignment of related sub-domains. Finally, workpiece metal material defects were detected in the Softmax classifier of the network. The experiment was conducted on the open magnetic tile dataset and eddy current infrared image dataset of the metal plate collected during the experiment. The results show that the method proposed in this paper is highly accurate in detecting and recognizing crack defects in eddy current infrared images. The advantages of the method in this study were verified by visualizing the analysis results using the t-distribution random neighbor embedding method.

eddy current thermal imaging, deep residual network, attention mechanism, domain adaptation, local maximum mean discrepancy

TP391

A

1001-8891(2024)03-0347-07

2022-11-15；

2023-01-31.

張毅（1997-），男，四川眉山人，碩士研究生，主要從事渦流熱成像缺陷檢測、圖像處理。E-mail：1946552068@qq.com。

范玉剛（1973-），男，山東省威海市人，副教授，主要從事渦流熱成像檢測技術、圖像處理。E-mail：km72905566372@qq.com。

云南省科技廳項目（KKPT202203010）。