一種電熔焊接缺陷自動識別方法的研究與應用

胡劍峰， 周家樂， 王慧鋒， 張 俊

（1. 華東理工大學信息科學與工程學院，上海 200237；2. 上海海驕機電有限公司，上海 201800）

聚乙烯（Polyethylene，PE）管道具有質量輕、可回收、良好的密封性、使用壽命長和很好的耐腐蝕性等特點[1]，因此被廣泛應用于城市燃氣輸送系統中。電熔焊接[2]是目前PE 管道常用的一種連接方式，若管道焊接接頭存在焊接缺陷，則易發生燃氣泄漏事故。PE 燃氣管道的電熔焊接狀況可通過相控陣系統拍攝的超聲波圖像獲得，在電熔焊接缺陷識別過程中，需要由專業人員通過超聲圖像判斷缺陷類別，并根據缺陷的嚴重程度判定缺陷等級。但是人工識別方法需要檢測人員具有豐富的識別經驗和專業知識，且識別過程耗時耗力，易發生漏檢和錯檢現象。

利用圖像處理方法對各種場景下的缺陷進行自動識別是近年來缺陷識別的一個發展趨勢。Duan 等[3]采用人工提取焊接圖像中的灰度特征和幾何特征，并通過AdaBoost 算法實現金屬管道的焊接缺陷分類。楊志超等[4]通過卷積神經網絡實現金屬管道的焊接缺陷分類，從而避免人工提取特征。Pan 等[5]通過TL-MobileNet 網絡結構實現對焊接缺陷的分類，且效果良好。He 等[6]提出了一種基于多層特征融合的端到端的深度學習網絡來識別缺陷并進行定位。Chen 等[7]提出了一種將卷積神經網絡與貝葉斯數據融合的方法，能夠識別視頻類的缺陷。渠慧帆[8]采用改進的Faster-RCNN 識別并定位缺陷。針對基于超聲波圖像的PE 管道焊接缺陷識別問題，李禮彬等[9]提出了一種能夠識別超聲信號線的方法。黃躍鑫等[10]將圖像中的灰度值按列求和并進行歸一化，得到一組一維的灰度值信號，隨后通過小波分析實現PE 管道冷焊缺陷識別。Bohlouli 等[11]利用數字圖像處理技術對焊接圖像進行預處理，通過小波變換獲得缺陷特征向量，并采用神經網絡算法判斷超聲圖像是否存在缺陷。盡管自動化的缺陷識別方法得到了快速發展，但針對PE 管道的焊接缺陷問題仍未得到妥善解決。由于PE 管道在實際使用中可以容忍一定程度的焊接缺陷，所以在識別PE 管道的焊接缺陷時，不僅要能夠準確識別缺陷的類別和位置，也同樣需要識別缺陷的嚴重程度來確定缺陷等級，然而上述方法都沒有有效解決如何識別缺陷等級的問題。

本文針對PE 管道的電熔焊接缺陷自動識別問題提出了一套完整的解決方法，可自動識別超聲圖像中是否存在焊接缺陷，以及焊接缺陷的類別與等級。首先通過數據增強技術擴充電熔焊接數據集；然后訓練電熔焊接圖像語義分割模型，并對焊接圖像進行語義分割；采用數學形態學方法消除分割圖中的噪聲，并通過連通域分析法得到特征線、電阻絲線以及底部回波線等缺陷相關信息；最后依據電熔焊接標準及缺陷相關信息識別缺陷類別及等級。實驗結果表明，本文提出的電熔焊接缺陷自動識別方法在準確率、召回率以及算法運行速度上都達到了工業應用要求。本文方法的主要創新點：（1）能夠實現PE 管道電熔焊接缺陷的分類分級；（2）通過焊接標準制定每種缺陷的識別準則；（3）針對U-Net 網絡深度較淺問題，采用殘差網絡對其進行了改進。

1 焊接缺陷自動識別方法

圖1 所示為PE 管道焊接接頭采用超聲相控陣系統獲得的超聲圖像。電熔焊接缺陷識別過程中需要專業人員人工識別每張圖片中的特征線、電阻絲、底面回波線等與缺陷相關的信息，進而確定缺陷類別，并根據缺陷嚴重程度判定缺陷等級。本文提出了一種能夠自動識別電熔焊接缺陷類別與等級的方法，該方法由4 步組成：（1）電熔焊接數據增強；（2）電熔焊接圖像語義分割；（3）數學形態學去噪，并對圖像進行連通域分析；（4）電熔焊接缺陷分類分級。

圖1 超聲圖像Fig. 1 Ultrasonic image

1.1 圖像數據增強

對數據集中的每張圖片分別采用水平翻轉、加噪聲、水平翻轉和加噪聲3 種方式擴充數據集。水平翻轉是以圖像左邊界為軸，將圖像從右向左翻轉180°。圖像中所加噪聲為椒鹽噪聲和高斯噪聲。椒鹽噪聲是一種隨機出現白點或者黑點的噪聲，常用參數是噪聲比例，該參數越大，圖像中的黑白點越多；高斯噪聲是指噪聲信息服從高斯分布的一類噪聲，高斯分布的概率密度函數如下：

其中： μ 為噪聲的均值； σ 為噪聲的方差。

1.2 圖像語義分割

圖像語義分割是近年來計算機圖像處理方向的重要研究領域，常用于對圖像內容的識別和分類。其作用是為輸入圖像中的每個像素點分配一個類別標簽，使得屬于同一物體的像素具有相同的類別標簽，即這些像素擁有相同的語義。語義分割的網絡模型[12-14]眾多，其中的U-Net 網絡參數少且分割效果好，是目前最常用的圖像語義分割方法之一，被廣泛應用于自動駕駛、醫學圖像分析等領域[15-17]。本文使用改進的U-Net 網絡對電熔焊接圖像進行語義分割。

U-Net 網絡主要分為下采樣和上采樣兩部分，下采樣通過卷積神經網絡提取圖像中的特征；上采樣通過對所提取的特征進行反卷積操作來還原圖像像素所屬類別。原始U-Net 網絡因其下采樣部分的卷積神經網絡層數較少，無法提取足夠的特征信息。針對此問題，本文采用Res-block 結構對其下采樣網絡進行改進。

Res-block 結構是ResNet[18]網絡的核心，其采用跳躍連接的方式實現信息的融合并且能夠緩解梯度消失問題，結構如圖2 所示。改進后的U-Net，即殘差U-Net 網絡在下采樣階段由卷積層和Res-block 以及池化層構成，其中卷積層由原始U-Net 網絡的10 層增加到17 層，提取了更多的特征信息；上采樣階段由反卷積層和卷積層組成，改進后的結構如圖3所示。殘差U-Net 網絡不僅增加網絡深度，而且緩解了網絡中梯度消失問題。

圖2 Res-block 結構圖Fig. 2 Structure of Res-block

1.3 數學形態學去噪及連通域分析

數學形態學[19-21]是圖像處理領域常用的一種方法。腐蝕和膨脹是數學形態學中兩種最基本的運算，其數學公式分別見式(2)、式(3)。

其中：F(x,y) 表示圖像位置及像素值；S(x′,y′) 表示結構元素，可根據具體應用定義； ⊕ 表示腐蝕運算符號； ⊕ 表示膨脹運算符號；Fe(x,y)、Fd(x,y) 分別表示腐蝕運算和膨脹運算的結果。腐蝕運算能夠將圖像中目標物體變小，膨脹運算則相反。

首先對語義分割后的圖像進行數學形態學中的開運算。開運算是一種腐蝕運算與膨脹運算的組合運算，它能夠消除背景中的小物體，起到去噪的作用。開運算的運算公式見式(4)。

其中： ° 表示開運算符號；Fo(x,y) 表示開運算結果。

經過去噪處理的圖像再進一步通過連通域分析來確定缺陷相關信息。連通域分析是常見的圖像處理操作, 其作用是將相同像素值且位置相鄰的像素找出并標記，Seed-Filling 算法[22]是連通域分析常用方法之一。假設原始圖像記為P，P(x,y) 表示圖像坐標 (x,y) 的像素值，連通域分析后的圖像為P′。Seed-Filling 算法具體步驟如下：

1.4 基于焊接標準的缺陷分類與分級

根據連通域分析的標記結果，并結合焊接標準對電熔焊接進行缺陷分類和分級。首先，經過連通域分析后可以得到K個特征線類別的連通域、N個電阻絲類別的連通域、M個底部回波類別的連通域，并定義每種類別的連通域幾何參數，如表1 所示。

表1 標準相關的幾何參數Table 1 Geometric parameters related to the standard

圖3 殘差U-Net 網絡結構Fig. 3 Structure of residual U-Net network

DB31/T 1058-2017[23]是上海市的電熔焊接標準，也被國家標準[24]引用。該標準將焊接缺陷分為冷焊、過焊、孔洞、電阻絲錯位、熔合面夾雜（如夾物、油污、氧化皮未刮等）共5 類，每類缺陷根據其程度進一步分為Ⅰ、Ⅱ、Ⅲ級。依據表1 的幾何參數并結合焊接標準，定義焊接缺陷判別準則如下：

（1）冷/過焊。首先，若特征線類別的連通域個數為0，即K=0 ，則說明特征線未能通語義分割識別出，可直接判定為冷焊Ⅲ級缺陷。若K＞0 ，則根據式(5)計算特征線與電阻絲之間的距離：

隨后，根據式(6)計算冷/過焊缺陷表征程度Hcold/over，并對照表2 確定缺陷類別及等級。

其中：lnormal表示正常焊接時特征線到電阻絲之間的距離，由具體管材型號確定。

表2 冷/過焊缺陷表征程度與缺陷類型、等級對照Table 2 Comparison of cold/over-welding defect characterization degree, defect categories and levels

（2）孔洞。首先，通過底部回波類別的連通域個數M確定是否存在孔洞缺陷以及孔洞的類型：若M= 1，說明不存在孔洞缺陷；若M＞ 1，則存在孔洞缺陷。其次，根據式(7)計算孔洞缺陷的表征程度Hhole，并參照表3 確定孔洞類型及等級。

其中：L表示熔合區長度，由具體管材型號確定。

（3）熔合面夾物夾雜。若存在n∈[1,N] ，使得rxmax(n-1)＞rxmin(n)，則說明存在熔合面夾物夾雜；熔合面夾物夾雜一旦存在，直接定為Ⅲ級缺陷。

表3 孔洞缺陷表征程度與缺陷類型、等級對照Table 3 Comparison of hole defect characterization degree,defect categories and levels

（4）電阻絲錯位。首先，通過式(8)計算電阻絲連通域質心x方向上間距的平均值作為電阻絲質心x方向上的正常距離；通過式(9)計算電阻絲連通域質心y坐標的平均值作為正常情況下電阻絲質心的y坐標值。

其次，根據式(10)和式(11)計算電阻絲連通域中的最大偏離量dmax。最后，根據表4 確定電阻絲錯位等級。

表4 電阻絲連通域最大偏離量與缺陷等級對照Table 4 Comparison between the maximum deviation of the connected domain of the resistance wire and defect levels

2 實驗與結果分析

實驗采用圖形工作站作為實驗平臺驗證算法的有效性。硬件配置：運行內存16 GB 的Intel i7-8750H CPU@2.20 GHz 處理器、顯存2 GB 的NVIDIA Quadro P600 顯 卡； 軟 件 環 境： Ubuntu16.04LTS、python3.6 和FastAI 等。

2.1 電熔焊接缺陷識別結果評價指標

采用準確率(Accuracy)和召回率(Recall)作為識別結果的主要評價指標[25]，如式(12)所示。準確率表示正確識別的樣本數量與樣本數量的比值，該比值越大說明缺陷識別的效果越好。召回率表示正確識別正樣本數量占所有正例樣本數量的比例，該指標越大說明正確被預測的正例樣本數越多。

其中：TP 表示被正確預測的正例樣本數量；FP 表示被錯誤預測的負例樣本數量；FN 表示被錯誤預測的正例樣本數量；TN 表示被正確預測的負例樣本數量。

2.2 實驗數據

實驗數據來源于上海某公司，所有數據被分為訓練集和測試集。訓練數據集包含焊接正常的圖片和帶有缺陷的圖片共200 張，其中正常數據80 張，冷焊數據40 張，過焊數據30 張，孔洞數據30 張，熔合面夾物夾雜數據10 張，錯位數據10 張。測試集包含152 張圖片，其中過焊缺陷30 張，冷焊缺陷30 張，夾雜缺陷17 張，錯位缺陷16 張，孔洞缺陷19 張以及正常焊接圖像40 張。

2.3 實驗過程

2.3.1 焊接數據增強 采用1.1 節中的數據增強方法進行數據增強。圖4(a)為原始圖片，圖4(b)為水平翻轉圖，圖4(c)為加入噪聲比例為0.000 5 的椒鹽噪聲的電熔焊接圖像，圖4(d)為加入均值為0、方差為0.000 01 的高斯噪聲的電熔焊接圖像。通過上述方法對訓練數據集進行數據增強，從原始的200 張圖片擴增到1 000 張。

圖4 電熔焊接數據增強Fig. 4 Data enhancement of electrofusion welding

2.3.2 圖像語義分割 通過Labelme 工具對焊接圖像中的3 個部分（特征線、電阻絲和底部回波）進行標注，圖5 為圖4(a)的標注圖。

圖5 焊接標注圖Fig. 5 Labeling image of welding

采用數據增強后的電熔焊接數據集訓練殘差UNet 分割網絡模型。batch size 設置為2，learning rate 設置為 1 ×10-3，采用Adam 優化器，激活層函數使用Relu 函數，輸出層采用交叉熵損失函數。模型共訓練了30 個Epoch，且訓練準確率達到93.2%。訓練完成后，對得到的模型進行測試。圖6 為3 張測試圖的效果圖，可以看出預測圖與標注圖總體上十分接近，顯示了網絡模型較好的分割效果。

2.3.3 數學形態學去噪與連通域分析 電熔焊接圖像經過圖像語義分割后其結果可能存在少量噪聲，如圖7 所示。數學形態學中的開運算能夠消除背景中的小物體，由于噪聲大小與目標物體大小相差甚遠，故采用 3 ×3 大小的結構元素對分割圖實現開運算，結果如圖8 所示，可以看出電阻絲下方的噪聲已消除。

在完成焊接圖像分割和形態學去噪后，采用Seed-Filling 算法對焊接分割圖進行連通域分析，結果如圖9 所示。

通過圖像語義分割和連通域標記分析，使得圖像不僅有目標物體的標記還有同種類別的不同連通域的標記。這種方法不僅有利于焊接缺陷的分類，也有利于焊接缺陷的分級。

2.3.4 基于焊接標準的缺陷識別與分級 根據1.4 節描述的方法對測試集中的電熔焊接圖像進行分類分級。測試實驗共分為三部分，分別為二分類實驗、多分類實驗以及分級實驗。

圖6 分割模型效果對比Fig. 6 Effect comparison of segmentation model

圖7 噪聲圖Fig. 7 Image with noise

圖8 去噪圖Fig. 8 Denoising image

圖9 連通域標記Fig. 9 Connected domain marking

（1）二分類實驗。在二分類實驗中，正例指含缺陷的電熔焊接圖像，反例指正常的電熔焊接圖像，準確率代表正確識別的焊接缺陷圖像數量占所有焊接圖像數量的比值，召回率代表被正確識別的焊接缺陷圖像數量占所有含缺陷的電熔焊接圖像數量。實驗使用測試集中全部圖像進行實驗，實驗結果如表5 所示，準確率達到92.8%，召回率達到為95.5%。

表5 二分類結果Table 5 Results of binary classification

（2）多分類實驗。在多分類實驗中，正例指含某種特定缺陷的電熔焊接圖像，反例指其他類型缺陷的電熔焊接圖像，采用召回率作為衡量指標。召回率代表被正確識別的某種特定焊接缺陷圖像數量占該種缺陷所有的電熔焊接圖像數量的比值。實驗使用測試集中帶有缺陷的112 張圖像進行測試。識別結果如表6 所示，所有缺陷的召回率均達到90%以上，其中熔合面夾物夾雜缺陷和孔洞缺陷的召回率達到100%。

表6 多類別識別結果Table 6 Test results of multiple categories

（3）分級實驗。在分級實驗中，正例指含某種缺陷的特定等級的焊接圖像，反例指含某種缺陷的其他等級的焊接圖像，采用召回率作為衡量指標。召回率代表某缺陷類別中正確識別特定等級的焊接圖像數量占該種缺陷特定等級的所有電熔焊接圖像數量的比值。實驗對30 張冷焊缺陷數據和30 張過焊

缺陷數據分別進行等級評定，其中冷焊缺陷中Ⅰ級5 張，Ⅱ級10 張，Ⅲ級15 張；過焊缺陷Ⅰ級6 張，Ⅱ級5 張，Ⅲ級19 張。冷/過焊缺陷等級劃分需要采用公式(6)并參考表2 進行缺陷分級，最終評定結果如表7 所示。可以看出冷焊與過焊分級的準確率都達到80.0%以上，且召回率都高于80.0%。其他焊接缺陷根據相應規則也能實現分級，但由于其他缺陷各等級數據量過少，故無法進行等級測試。

表7 冷/過焊缺陷等級劃分結果Table 7 Results of classification of cold/over welding defects

實驗還統計了整個算法運行的時間，除了加載語義分割模型的時間，一張電熔焊接缺陷的自動識別時間能達到60 ms 左右。

2.4 結果分析與討論

在實際工程中，一般首先判斷電熔焊接圖像是否存在焊接缺陷，即缺陷二分類；其次對二分類得到的焊接缺陷圖像進行具體缺陷細分，即缺陷的多分類；最后將細分后具體的缺陷類別進行等級劃分，即缺陷分級。根據工程要求，缺陷二分類的準確率要求達到90.0%，召回率達到95.0%；缺陷多分類的召回率達到80.0%；缺陷分級的召回率達到65.0%且算法運行速度達到每張333 ms 時，本文方法可以應用到實際工程中。通過對實際指標要求與上述實驗指標數據對比，本文方法的各項指標均滿足實際要求。

但本文方法也存在如下風險：（1）在實驗過程中，learning rate 和batch size 等參數均根據經驗與實驗平臺性能確定，可能存在更好的參數設置；（2）存在測試數據過小的風險；（3）采用其他型號的超聲相控陣系統得到的焊接圖像進行實驗時，各種缺陷識別評價指標可能會有所變化。因此，本文的識別算法還可以在以下方面進一步加以改進：

（1）使用參數自動搜索技術，進一步改善實驗結果；

（2）隨著系統的投入使用，可以得到更多的圖片來進一步測試和改善多分類和分級的效果；

（3）將該算法運用于更多類型的超聲圖像，使其更好的泛化能力；

（4）對PE 管道焊接缺陷中的油污夾雜、氧化皮未刮等未能識別的焊接缺陷進一步研究。

3 結 論

本文針對電熔焊接缺陷分類分級問題提出了一種將數據增強、圖像語義分割、數學形態學去噪以及連通域分析等技術相融合并結合電熔焊接標準的PE 管道電熔焊接缺陷自動識別方法。該方法的優勢如下：（1）不用人為地提取圖像中的特征；（2）不僅能夠焊接缺陷分類，而且能夠對缺陷進行分級；（3）結合電熔焊接標準對焊接缺陷進行分類與分級，能夠說明分類分級的合理性與可靠性；（4）能夠識別同一張焊接圖像中的多種缺陷。實驗證明各項指標滿足均實際工程要求，能夠滿足實際應用。目前該方法已應用于實際項目中，運行效果良好。