基于改進DRLSE模型的焊接缺陷特征提取方法

章誠，宋燕利,1c，李漢培，高昶霖，左洪洲

基于改進DRLSE模型的焊接缺陷特征提取方法

章誠1a,1b，宋燕利1a,1b,1c，李漢培2，高昶霖1a,1b，左洪洲2

（1.武漢理工大學 a.現代汽車零部件技術湖北省重點實驗室 b.汽車零部件技術湖北省協同創新中心 c.湖北省新能源與智能網聯車工程技術研究中心，武漢 430070；2.湖北省齊星汽車車身股份有限公司，湖北 隨州 441300）

針對目前大多數焊接缺陷自動特征提取方法存在的準確度較低的問題，研究滿足準確度要求的X射線圖像中焊接缺陷特征提取方法。對圖像進行增強去噪預處理后，在初步確定焊縫區域的基礎上，根據焊縫圖像列灰度值曲線梯度特性，設計基于灰度值梯度的焊縫邊界精確提取算法；以提取得到的焊縫精確邊界為初始輪廓，提出基于改進DRLSE模型的焊接缺陷特征提取方法。基于改進DRLSE模型的焊接缺陷特征提取方法能夠有效地提取氣孔、夾渣、未熔合和未焊透等缺陷特征，準確率達到94.6%。所提方法克服了原始焊縫X射線圖像質量較差、背景復雜的問題，能夠精確提取焊縫區域邊界，并準確地對各種焊接缺陷進行特征提取，具有較強的適應性和實用性。

X射線圖像；灰度值梯度；焊縫邊界；改進DRLSE模型；特征提取

X射線作為工業常用的無損檢測手段之一，廣泛應用于航空航天裝備、壓力容器等先進制造領域的焊接接頭質量的檢測[1-2]。目前，對于X射線圖像中焊接缺陷的檢測工程多采用傳統的人工評定方式，受檢測人員專業知識和經驗的影響，存在效率低、漏檢和一致性較差等缺點[2]。因此，為了提高焊接質量評價的客觀性與連貫性，提高檢測效率，焊縫X射線檢測圖像缺陷自動檢測已成為無損檢測發展的重要方向。

自20世紀70年代Shafeek等[3]最早提出關于X射線焊縫缺陷自動檢測的圖像處理算法起，國內外許多學者隨之對焊縫X射線圖像中的缺陷自動提取進行了探索和研究。Alaknanda等[4]應用了具有適當閾值的Canny算子來檢測缺陷邊緣輪廓，并使用形態學圖像處理方法使輪廓閉合，但是該方法存在漏檢和誤檢的情況。Mahmoudi等[5]在整幅圖像上采用全局閾值的方法對焊縫區域進行了提取，當焊縫區域大致確定后，再采用局部閾值的方法對焊接缺陷進行提取。該方法雖然對一般缺陷提取有一定效果，但對形狀復雜、邊緣模糊的缺陷提取效果不明顯。Chen等[6]使用經驗模態分解（Empirical Modal Decomposition）方法自動提取了X射線圖像中的小缺陷。該方法使用香農熵理論來描述信號源的平均不確定性，并結合峰值信號比來控制EMD的分解級數，能有效地提取出工件內部的小缺陷以及任意方向和類型的缺陷。Shao等[7]使用低閾值的缺陷分割算法對所有潛在焊接缺陷進行分割后，采用修正霍夫變換跟蹤潛在缺陷的重心，將無法跟蹤的潛在缺陷剔除。實驗結果表明，該方法可以高準確性地檢測焊接缺陷，避免噪聲引起的誤檢。李雪琴等[8]提出了采用三階Fourier曲線對圖像列灰度曲線進行擬合并擴展到三維空間，構造自適應閾值面，利用原圖像域構造曲面三維灰度圖的灰度值差異，準確分割背景與缺陷區域。Boaretto等[9]使用Weiner濾波器、直方圖均衡化和Otsu技術定位和分割焊接缺陷，然后將提取到的缺陷特征輸入前饋多層感知器（MLP）中進行分類。實驗結果表明，分類器準確率達到88.6%。Yan等[10]建立了多尺度多強度參數空間對圖像進行預處理，并根據焊縫檢測標準和射線圖像特性，自動限制參數的取值范圍，優化預處理圖像，然后設計用于篩選和合并不同圖像中缺陷的算法，以減少錯誤檢測并提取精確的缺陷邊界。實驗結果表明，該算法具有較好的魯棒性和準確性。Malarvel等[11]提出了一種在X射線圖像中使用改進Otsu算法進行焊接缺陷檢測的方法。實驗結果表明，該方法對于X射線圖像中的焊接缺陷提取有良好的效果。Abdelkader等[12]應用了模糊C均值（FCM）算法選擇初始輪廓，然后使用了Chan-Vese模型和選定的初始輪廓對獲取的圖像進行分割并獲得焊接缺陷的邊界。實驗結果表明，該方法可以有效提取焊接缺陷。近些年來，由于大數據和計算能力的提高，深度學習得到了很大的發展[13-15]。基于其在圖像特征學習中的出色表現，促使人們將其應用于自動缺陷檢測中[16-19]。雖然深度學習可以學習替代傳統圖像處理的分層功能，但是其性能很大程度上取決于數據集的規模和質量，且模型十分復雜，前期訓練準備時間很長。

綜上所述，人工評定焊縫質量的方式高度依賴于工人的技術水平和經驗，受主觀因素影響大，且效率較低。采用智能算法對焊縫X射線檢測圖像評定時，受焊縫X射線檢測圖像清晰度及缺陷類型多樣化、形貌復雜化等因素影響，缺陷提取的精度較低。針對此問題，進行X射線檢測圖像焊接缺陷特征提取方法的研究。

1 焊縫邊界精確提取

在原始焊縫X射線檢測圖像中，大部分區域是文字編號（圖1中線框①、②、③所包含區域）和母材背景等無關信息，焊縫區域（圖1中虛線1、2所包含區域）只占據較小的一部分，并且焊接缺陷（圖1中線框④所包含區域）只存在于焊縫區域之中。因此，為了提高焊接缺陷特征提取的準確度與效率，需要先對焊縫區域進行精確提取。針對此問題，首先對原始焊縫X射線檢測圖像進行預處理以提高其圖像質量，然后對其圖像特性進行分析，探索設計關于焊縫區域邊界的精確提取方法。

圖1 原始焊縫X射線檢測圖像

1.1 圖像預處理

由于射線圖像具有對比度低、灰度范圍窄和噪聲強度大的特點，需要對其進行預處理操作以提高圖像質量。預處理主要包括對比度增強和噪聲過濾。首先對焊縫X射線檢測圖像進行模糊增強處理，提高其對比度，然后進行高斯濾波去噪，得到高質量的焊縫圖像，處理后的圖像如圖2所示。

圖2 經圖像增強與去噪后的焊縫圖像

1.2 焊縫區域初步確定

從圖2可以看出，在焊縫X射線檢測圖像中焊縫區域是一條明顯的帶狀區域，且與背景區域相比，其整體亮度（即灰度值）明顯更高。基于這一特性，設計了如下的逐行計算平均灰度的焊縫區域初步確定方法：

1）對于經過預處理后的×焊縫X射線檢測圖像，逐行計算其平均灰度值，得到一組記錄每行平均灰度值的向量={1，2，3，…，G}，記平均灰度值最大的一行行數為max（圖3實線③所示），以max作為搜索上邊界的起點。

2）從max行開始，向上逐行遍歷向量，當某一行的平均灰度值低于閾值a時，則停止移動，將該行作為焊縫區域的初步上邊界1（圖3中虛線②所示）。經過反復嘗試，a=90時可達到較好的效果。

3）與搜索上邊界類似，從max行開始，向下逐行遍歷向量，當某一行的平均灰度值低于閾值a時則停止移動，將該行作為焊縫區域的初步下邊界2（圖3中虛線④所示）。

4）為確保邊界1、2之間能將焊縫區域完全包含，需要將1、2擴大原始焊縫X射線檢測圖像高度的5%～10%，即初步確定的焊縫區域上邊界1=1+(5%～10%)′，下邊界2=2+(5%～10%)′（圖3點劃線①、⑤所示）。

圖3 焊縫區域初步確定方法示意圖

5）根據所得初步焊縫區域上、下邊界對原始焊縫X射線檢測圖像進行裁剪，以方便后續進行焊縫邊界精確提取操作。裁剪后初步確定的焊縫區域圖像如圖4所示。

圖4 裁剪后初步確定的焊縫區域圖像

1.3 焊縫邊界精確提取

對裁剪后的的×焊縫X射線檢測圖像從左至右逐列進行灰度值掃描，得到個記錄圖像各列灰度值數據的向量。然后對每個向量進行光滑樣條擬合處理，得到個灰度值函數曲線。擬合得到的無缺陷列和有缺陷列的灰度值函數曲線如圖5a、b所示。

圖5 無缺陷列與有缺陷列灰度值曲線及其梯度變化曲線

從圖5a、b中可以看出，灰度值曲線的兩端向內延伸，圖像灰度值最開始變化得比較緩慢，但在經過某一處邊界之后，其灰度值的變化速度就急劇增大。為了更進一步探究焊縫X射線檢測圖像中焊縫邊界處的灰度值變化規律，對擬合得到的灰度值函數進行二次求導得到其梯度變化曲線，如圖5c、d所示。

從圖5c、d中可以看出，灰度值函數的梯度變化曲線在兩端都存在一個極大值點。將其與圖5a、b中的灰度值函數曲線進行比較可知，這兩個極大值點就是焊縫區域的上、下邊界點。在裁剪后的焊縫X射線檢測圖像高度區間內，灰度值函數梯度變化曲線存在多個極大值點，且部分極大值點位于焊縫區域的內部，這是由于焊縫區域內部存在亮度起伏或者該列灰度值曲線穿過了缺陷，導致其梯度發生變化。因此，如何排除位于焊縫區域內部的干擾點，對曲線兩端的焊縫邊界點進行精確的定位，就是此時需要解決的問題。

基于以上分析，設計基于焊縫X射線檢測圖像灰度值特性的自適應焊縫邊界精確提取方法步驟如下。

1）對圖像逐列進行灰度掃描，將掃描得到的離散灰度值向量導入MATLAB中的Curve Fitting工具箱中進行光滑樣條擬合處理，得到其灰度值擬合函數曲線（圖6中曲線3所示），然后對擬合函數依次求導得到其梯度曲線（圖6中曲線1所示）和梯度變化曲線（圖6中曲線2所示）。

圖6 焊縫缺陷列灰度值、梯度和梯度變化曲線

2）針對圖像各列的灰度值曲線，通過分析其梯度曲線得到所有極大值點，將其放入數組*中。遍歷*中的所有極大值點，如果該極大值點的灰度值小于閾值（考慮到某些焊縫X射線檢測圖像背景區域存在亮度起伏），則在*中刪去此點（去除焊縫背景處的極值點），由此可得到圖像各列灰度值曲線在焊縫區域內的極大值點數組。經過反復嘗試，=50時較為合適。

3）根據得到的焊縫區域極大值點數組，選取其第一個元素1和最后一個元素end，然后在[1,1]和[end,]區間內尋找得到其梯度曲線的局部極大值點u和極小值點d，此時可確定焊縫上、下邊界點位于[1,u]和[d,]區間內。

4）尋找得到在[1,u]和[d,]區間內梯度變化曲線的最大值點U和D，即為第列所尋找焊縫精確的上、下邊界點。

5）重復上述步驟，對焊縫X射線檢測圖像所有列的灰度值曲線進行處理，獲得個焊縫上邊界點和個下邊界點后，分別對其進行光滑樣條擬合，即可得到焊縫精確邊界。

使用上述焊縫邊界精確提取方法進行焊縫邊界提取實驗，其結果如圖7所示。

圖7 焊縫邊界精確提取結果

2 焊接缺陷特征提取

在精確提取到焊縫區域邊界后，對焊接缺陷的特征提取操作則就可以在焊縫區域內進行，而不必再對整個焊縫X射線檢測圖像進行分析處理。此時，對于焊接缺陷來說，焊縫區域就成了背景區域。因此，如何在焊縫區域內準確地對焊接缺陷進行特征提取是此時需要解決的問題。

2.1 傳統DRLSE模型

過去十幾年里，水平集方法在圖像分割領域內得到了廣泛的應用[20]。水平集方法的基本原理是將低維目標的輪廓表示為更高維函數（Level Set Function，LSF）的零水平集（Zero level set），能夠以自然有效的方式處理曲線的形狀變化，例如一條封閉曲線演化為2條封閉曲線。傳統的基于水平集方法的圖像分割模型為了使曲線演化得更穩定，在演化過程中需要定期地對水平集函數重新初始化。為了避免重新初始化水平集函數帶來的時間代價和數值偏差，Li等[21-23]提出了距離保持水平集演化（Distance Regularized Level Set Evolution，DRLSE）模型。水平集方法原理示意圖如圖8所示。

圖8 水平集方法原理示意圖[21]

Fig.8 Schematic diagram of the principle of level set method[21]

DRLSE模型提出了如式（1）所示的能量泛函。

式中：第1項為距離正則項，用于保證水平集曲線在演化過程中的光滑性；第2項、第3項分別為引導水平集函數向目標邊界演化的長度項和面積項；代表圖像區域，為定義在上的水平集函數；、、是大于0的常量。

(3)

式中：s為輪廓演化的速度。

(4)

(5)

(6)

2.2 改進DRLSE模型

以預處理得到的焊縫邊界為初始輪廓，分別使用傳統DRLSE模型和改進DRLSE模型進行焊接缺陷特征的提取實驗，提取效果如圖9所示。

圖9 基于傳統與改進DRLSE模型的焊接缺陷特征提取結果的比較

觀察圖9a—c可以看出，對于1號圖像中的缺陷特征提取結果，傳統DRLSE模型出現了過度分割的情況，提取到的缺陷輪廓邊緣呈鋸齒狀，而改進DRLSE模型提取的缺陷輪廓未出現過度分割，且缺陷輪廓邊緣更為圓滑。而從圖9d—f可以看出，對于缺陷邊緣較為模糊的2號圖像，傳統DRLSE模型無法準確地識別焊接缺陷的邊緣輪廓，把本應為同一個缺陷的輪廓分割成了不同的缺陷輪廓，而改進DRLSE模型則沒有出現這個問題。

3 實驗驗證

為了驗證改進DRLSE模型對焊接缺陷特征提取的有效性，選取GDX?RAY數據庫中56張常規的直線型焊縫X射線檢測圖像作為實驗驗證的數據集。在MATLAB平臺進行缺陷特征提取實驗，從其中53幅圖像中提取出缺陷，準確率達到94.6%，剩余3張圖像未能提取出缺陷的主要原因是原始圖像中缺陷邊緣過于模糊，從而導致缺陷邊緣未能被算法成功識別。其中有代表性的圖像缺陷特征提取結果如圖10所示，可以看出，各類型焊接缺陷，如氣孔、夾渣、未熔合和未焊透等都可以被成功提取出來。

圖10 基于改進DRLSE模型的焊接缺陷特征提取結果

4 結論

針對目前大多數焊接缺陷自動特征提取方法存在的準確度較低的問題，進行了基于改進DRLSE模型的焊接缺陷特征提取方法的研究，得到以下主要結論。

1）基于焊縫區域的亮度特性，首先對焊縫區域進行了初步確定。在此基礎上，分析了焊縫圖像列灰度值曲線的梯度變化特性，提出了一種基于灰度值梯度的自適應焊縫邊界精確提取方法。實驗結果表明，該組合方法能夠有效地去除焊縫X射線檢測圖像中的無關背景信息，實現對焊縫區域邊界的精確提取。

2）以提取到的精確焊縫邊界為初始輪廓，建立了距離保持水平集演化（DRLSE）的改進模型。通過對改進DRLSE模型與傳統DRLSE模型在焊接缺陷特征提取結果的分析，結果表明，改進DRLSE模型能夠對缺陷輪廓進行準確的分割，有效地改善了傳統DRLSE模型所出現的過度分割、特征提取失準的情況。

3）為驗證改進DRLSE模型對不同類型焊接缺陷特征提取的有效性，在MATLAB平臺上進行了焊縫X射線檢測圖像缺陷特征提取實驗。結果表明，所提出基于改進DRLSE模型的焊接缺陷特征提取方法能有效提取各種類型缺陷特征，準確率達到94.6%。

[1] 劉福順, 湯明. 無損檢測基礎[M]. 北京: 北京航空航天大學出版社, 2002.

LIU Fu-shun, TANG Ming. The Basis of Non-Destr-uc-tive Testing[M]. Beijing: Beijing University of Aeronautics & Astronautics Press, 2002.

[2] MITRA S K, LI H, LIN I S, et al. A New Class of Nonlinear Filters for Image Enhancement[C]// Acoustics, Speech, and Signal Processing, IEEE International Con-fe-r--ence on. IEEE Computer Society, 1991: 2525-2528.

[3] SHAFEEK H I, GADELMAWLA E S, ABDEL- SHAFYB A A, et al. Assessment of Welding Defects for Gas Pipeline Radiographs Using Computer Vision[J]. NDT & E International, 2004, 37(4): 291-299.

[4] ALAKNANDA, ANAND R S, KUMARB P, et al. Flaw Detection in Radiographic Weld Images Using Morphological Approach[J]. NDT & E International, 2006, 39(1): 29-33

[5] MAHMOUDI A, REGRAGUI F. Fast Segmentation Method for Defects Detection in Radiographic Images of Welds[C]// 2009 IEEE/ACS International Conference on Computer Systems and Applications. Rabat, Morocco: IEEE, 2009: 857-860.

[6] CHEN F L, WANG L M, HAN Y. X-ray Detection of Tiny Defects in Strongly Scattered structures Using the EMD Method[C]//2010 3rd International Congress on Image and Signal Processing. Yantai, China: IEEE, 2010: 1033-1037.

[7] SHAO Jia-xin, DU Dong, CHANG Bao-hua, et al. Automatic Weld Defect Detection Based on Potential Defect Tracking in Real-Time Radiographic Image Sequence[J]. NDT & E International, 2012, 46: 14-21.

[8] 李雪琴, 劉培勇, 殷國富, 等. 基于Fourier擬合曲面的X射線焊縫缺陷檢測[J]. 焊接學報, 2014, 35(10): 61-64.

LI Xue-qin, LIU Pei-yong, YING Guo-fu, et al. Weld Defect Detection by X-ray Images Method Based on Fourier Fitting Surface[J]. Transactions of the China Welding Institution, 2014, 35(10): 61-64.

[9] BOARETTO N, CENTENO T M. Automated Detection of Welding Defects in Pipelines from Radiographic Images DWDI[J]. NDT & E International, 2017, 86: 7-13.

[10] BOARETTO N, CENTENO T M, et al. Automated Detection of Welding Defects in Pipelines from Radiographic Images DWDI[J]. NDT & E International, 2017, 86: 7-13.

[11] YAN Z H, et al. Multi-Scale Multi-Intensity Defect Detection in Ray Image of Weld Bead[J]. NDT & E International, 2020, 116: 102342.

[12] MALARVEL M, SINGH H. An Autonomous Technique for Weld Defects Detection and Classification Using Multi-Class Support Vector Machine in X-Radiography Image[J]. Optik, 2021, 231: 166342.

[13] ABDELKADER R, RAMOU N, KHORCHEF M, et al. Segmentation of X-ray Image for Welding Defects Detection Using an Improved Chan-Vese Model[J]. Materials Today: Proceedings, 2021, 42: 2963-2967.

[14] TO?I? I, FROSSARD P. Dictionary Learning[J]. IEEE Signal Processing Magazine, 2011, 28(2): 27-38.

[15] LECUN Y, BENGIO Y, HINTON G. Deep Learning[J]. Nature, 2015, 521(7553): 436-444.

[16] CHEN Zhen-hua, HUANG Guo-liang, LU Chao, et al. Automatic Recognition of Weld Defects in TOFD D-Scan Images Based on Faster R-CNN[J]. Journal of Testing and Evaluation, 2020, 48(2): 20170563.

[17] PARK J K, AN W H, KANG D J. Convolutional Neural Network Based Surface Inspection System for Non-patterned Welding Defects[J]. International Journal of Precision Engineering and Manufacturing, 2019, 20(3): 363-374.

[18] PAN Hai-hong, PANG Zai-jun, WANG Yao-wei, et al. A New Image Recognition and Classification Method Combining Transfer Learning Algorithm and MobileNet Model for Welding Defects[J]. IEEE Access, 8: 119951-119960.

[19] GUO Wen-ming, LIU Kai, QU Hui-fan. Welding Defect Detection of X-ray Images Based on Faster R-CNN Model[J]. 北京郵電大學學報, 2019, 42(6): 20-28.

[20] GUO Wen-ming, LIU Kai, QU Hui-fan. Welding Defect Detection of X-ray Images Based on Faster R-CNN Model[J]. Journal of Beijing University of Posts and Telecommunications, 2019, 42(6): 20-28.

[21] YANG Lei, WANG Huai-xin, HUO Ben-yan, et al. An Automatic Welding Defect Location Algorithm Based on Deep Learning[J]. NDT & E International, 2021, 120: 102435.

[22] 王大凱, 侯榆青, 彭進業. 圖像處理的偏微分方程方法[M]. 北京: 科學出版社, 2008.

WANG Da-kai, HOU Yu-qing, PENG Jin-ye. Partial Differential Equation Method for Image Processing[M]. Beijing: Science Press, 2008.

[23] LI C M, XU C Y, GUI C F, et al. Level Set Evolution without Re-Initialization: A New Variational Formulation[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA: IEEE, 2005: 430-436.

[24] LI C M, KAO C Y, GORE J C, et al. Implicit Active Contours Driven by Local Binary Fitting Energy [C]// 2007 IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis. MN, USA: IEEE, 2007: 1-7.

[25] LI C M, XU C Y, GUI C F, et al. Distance Regularized Level Set Evolution and Its Application to Image Segmentation[J]. IEEE Transactions on Image Processing, 2010, 19(12): 3243-3254.

[26] OSHER S, FEDKIW R, PIECHOR K. Level Set Methods and Dynamic Implicit Surfaces[J]. Applied Mechanics Reviews, 2004, 57(3): B15.

Welding Defect Feature Extraction Method Based on Improved DRLSE Model

ZHANG Cheng1a,1b, SONG Yan-li1a,1b,1c, LI Han-pei2, GAO Chang-lin1a,1b, ZUO Hong-zhou2

(1. a. Hubei Key Laboratory of Advanced Technology for Automotive Components, b. Hubei Collaborative Innovation Center for Automotive Components Technology, c. Hubei Research Center for New Energy & Intelligent Connected Vehicle, Wuhan University of Technology, Wuhan 430070, China; 2. Hubei Qixing Automobile Boy Co., Ltd., Hubei Suizhou 44300, China)

The work aims to study a feature extraction method for welding defects in X-ray images that meets the accuracy requirements, aiming at the low accuracy of most current automatic feature extraction methods for welding defects. After image enhancement and denoising preprocessing, based on the initial determination of the weld area, and according to the gradient characteristics of the gray value curve of the weld image column, an accurate extraction algorithm of the weld boundary based on the gray value gradient is designed; the precise boundary of the weld is the initial contour, and a feature extraction method of welding defects based on the improved DRLSE model is proposed. The results show that the welding defect feature extraction method based on the improved DRLSE model can effectively extract defect features such as pores, slag inclusions, incomplete fusion and incomplete penetration, and the precision rate reaches 94.6%. The method overcomes the problems of poor image quality and complex background of the original welding seam X-ray image, can accurately extract the boundary of the welding seam region, accurately perform feature extraction on various welding defects, and has strong adaptability and practicality.

X-ray image; gray value gradient; weld boundary; improved DRLSE model; feature extraction

10.3969/j.issn.1674-6457.2022.12.017

TG456.9

A

1674-6457(2022)12-0153-07

2020?01?01

湖北省技術創新專項（2019AAA014）；教育部創新團隊發展計劃（IRT17R83）；新能源汽車科學與關鍵技術學科創新引智基地（B17034）

章誠（1996—），男，碩士生，主要研究方向為無損檢測。

宋燕利（1979—），男，博士，教授，主要研究方向為高端裝備高性能輕量化制造。