基于紋理特征的焊縫圖像缺陷識別方法

孫士保 尹立航 閆曉龍 賈博文 章 沖

(河南科技大學信息工程學院 河南 洛陽 471023)

0 引 言

射線焊縫缺陷圖像的智能識別是無損檢測領域的一大熱點。針對從復雜背景中對射線圖像做出準確識別問題，國內外學者進行了許多研究。文獻[1]引入主成分分析思想，對圓形缺陷和線型缺陷進行降維從而完成兩種缺陷的分類。文獻[2]利用焊縫圖像邊界及區域特征對缺陷進行描述，直接采用多類支持向量機進行分類。文獻[3]提出一種基于自適應網絡的模糊推理系統ANFIS(An adaptive-network-based fuzzy inference system)的射線焊縫缺陷識別方法，抽取12個幾何特征來描述缺陷的形狀和大小，對6類常見的缺陷進行分類識別。文獻[4]引入深度學習網絡模型，以卷積神經網絡結構為基礎構建模擬大腦深度學習層次感知系統，最終以徑向基網絡對缺陷進行識別。文獻[5]從25個形狀描述符中抽取代表性的9個描述符，通過訓練多層感知機神經網絡MLP(Mutil-layer perception)進行識別。文獻[6]提出一種新的基于紋理特征的焊縫缺陷識別方法，提取了兩個常用的紋理特征：(1) 基于灰度共生矩陣；(2) 基于2D -Gabor 濾波器，最終使用指數展開分類器進行識別。文獻[7]對缺陷圖像進行二值化并提取特征，然后利用決策樹對焊縫圖像分類。文獻[8]通過設定二進制閾值獲取分割區域，利用形態學濾波防止過分割，然而閾值的精確選取往往很難做到。文獻[9] 設計了基于幾何和紋理特征的多類缺陷識別專家系統，使用43個特征描述符對缺陷的紋理和幾何特征進行描述，最后用三種方法，支持向量機、神經網絡、KNN對常見的6種缺陷進識別并對比其準確率。此外，在無損檢測領域還有一些新方法，比如文獻[10]提出一種基于時間序列的射線焊縫缺陷檢測方法，使幀內分割與幀間跟蹤相結合從而完成缺陷識別。文獻[11]介紹一種基于自適應參數模型的射線圖像缺陷統計檢測。

從已有的成果來看，射線圖像缺陷識別主要有以下幾種模型：深度學習模型、支持向量機模型、專家系統模型、統計模型。然而深度學習模型需要建立在大量樣本之上，并且需要合理控制網絡復雜程度，否則容易產生過度擬合、網絡退化等問題。專家系統則需要對焊縫缺陷特征有很專業的了解。支持向量機比較適合小樣本集的識別且分類種類相對單一，若需分類多個類別則需要構建子分類器。并且除了基于深度學習的方法外，其他方法都需要對圖像進行分割。然而由于射線圖像本身復雜，準確的分割往往是很難做到的，從而使提取的特征不夠準確，進而導致識別正確率低。

針對以上問題，本文提出基于紋理特征提取的焊縫圖像缺陷識別方法。該方法綜合分析缺陷圖像紋理的全局與局部信息，提取圖像的整體輪廓特征、局部細分特征、鄰域差分特征三方面特征。然后分別計算每部分特征對應的統計直方圖，并拼接到一起作為該缺陷圖像的綜合特征。最終利用最近鄰分類器做出智能識別。同時為了模擬實際生產中缺陷種類的復雜性，還對缺陷進行了不同角度的旋轉。通過對某工廠980張實際焊縫圖片進行測試，結果表明該方法準確可行。

本文的創新點在于：首先該方法綜合分析缺陷圖像紋理的全局與局部信息，彌補了現有方法僅考慮單方面信息的不足；其次與基于深度學習的方法和ANFIS方法相比較具有較高的分類準確率；最后和現有方法相比較本文方法只分析了圖像的整體輪廓特征、局部細分特征、鄰域差分特征三方面的特征，因此效率高、耗時少。

1 缺陷圖像預處理

由于采集到的射線圖像存在噪聲，首先對圖像進行預處理。常見的去燥方法有中值濾波、均值濾波、維納濾波、小波濾波等。焊縫中噪聲主要表現為一些隨機分布的散點，這些散點的灰度值明顯不同于鄰居像素，類似于椒鹽噪聲。由于中值濾波對椒鹽噪聲有很好的處理效果，同時還能保持圖像中的細節信息，防止邊緣模糊，因此這里采用5×5的中值濾波器對原始圖像進行預處理。圖1是經過預處理后的焊縫圖像及其對應的三維曲面圖。從圖中可以看出噪聲點能夠很好地被濾除，這是由于其中心像素的灰度值被鄰居像素灰度值的中值代替。

圖1 濾波前后的圖像及其對應三維視圖

2 缺陷圖像紋理特征提取

紋理特征是圖像模式識別中最重要的特征之一，但是在X射線圖像無損檢測的自動識別中，這種特征還沒有得到廣泛的應用。本文采用文獻[12]中的結構方差直方圖模型SDHR(Structural difference histogram representation)對缺陷圖像進行紋理特征提取。SDHR源于局部二進制模式LBP(Local binary pattern)，是在LBP模式上的改進[13]。它從全局與局部兩個方面對射線圖像進行特征描述。下面分別介紹每一部分的特征提取。

2.1 全局特征提取

全局特征提取得到的是圖像的輪廓信息。圖像的灰度直方圖描述了圖像整體灰度分布，由于不同像素帶有不同的圖像特征，為抽取焊縫圖像輪廓信息利用閾值對灰度值進行區間劃分，將近似的像素灰度值映射到相應的區間。對于尺寸為M×N的圖像J，它的輪廓信息J*為：

J*(x,y)=juj

(1)

式中：f(x,y)為像素點(x,y)處的灰度值，uj是射線圖像的第j個閾值。uj的取值按如下規則：

(2)

式中：u1是原焊縫圖像的最小灰度值，um是缺陷圖像的平均灰度值。其中δ∈2N+1，(N=1,2，…)。由上述分析可知原圖像J的灰度值被映射到了δ-1個區間，本文中δ=5取自文獻[12]中的值。最終變換后的圖像J*能夠表示原始缺陷圖像J的輪廓信息。對于轉變后的焊縫圖像J*，其局部區域中心像素灰度值的SSP計算如公式所示：

(3)

式中：Wj為第j個鄰域的灰度值，運算符?·」保證了SSP值為整數，lt是中心像素鄰域的個數。這里lt=32，同樣取自文獻[12]中的值，即取中心像素的32鄰域，當鄰域像素值小于lt時按雙線性插值計算。可以看出，SSP的最小值為lt，最大值為(δ-1)×lt，它的值共有(δ-2)×lt+1種，其統計直方圖為：

(4)

這里，當x=y時f(x,y)=1，否則為0。

由上述方法可獲得焊縫圖像的全局特征，然而局部特征同樣是圖像特征不可或缺的一部分，接下來將介紹焊縫圖像的局部特征提取。

2.2 局部特征提取

圖像的局部特征描述了圖像的細節信息，它由兩個模式組成：細分的局部二進制模式、鄰域差分模式。

2.2.1 細分的局部二進制模式

細分的局部二進制模式RLBP(Refined LBP)由三部分組成，符號、大小、局部區域中心像素值。對于一個含有P個鄰域的局部區域其中心像素Cp(x,y) (p=0,1,2，…,P-1)的符號由下式計算,本文實驗中M=1。

(5)

類似符號的計算方式，細分模式中的大小由下式得出：

(6)

而中心像素則由取模操作獲取，取模操作用來量化GMI(x,y)：

RLBP_C=mod(GMI(x,y),lt)

(7)

GMI(x,y)的計算如公式所示：

(8)

式(8)中的取模操作用來縮小中心像素的范圍，這里lt同樣為中心像素的32鄰域。可以看出，GMI(x,y)是這些中心像素的整體大小。通過統計量化后GMI(x,y)的個數就可以得到它的統計直方圖。

由上面的方法可知RLBP的統計特征直方圖可由符號、大小、中心像素三部分得出。

2.2.2 鄰域差分模式

由于之前考慮的都是中心像素和鄰域像素之間的關系，沒有考慮鄰域與鄰域像素之間的關系，它們之間同樣攜帶可用的信息。鄰域之間的旋轉不變性計算如下：

(9)

式中：P是中心像素的鄰域個數。gmod(i,P)(x,y)、gmod(i+1,P)(x,y)分別是第i，i+1個鄰域。焊縫圖像的NDP特征直方圖表示了它的鄰域差分信息，其統計特征直方圖由下式計算：

(10)

2.3 相似度測量及分類器選擇

在基于統計的模式識別中，常用的測量相似度公式有歐氏距離、曼哈頓距離、馬氏距離、卡方距離等。雖然它們的形式不同，但是目的是一樣的，都能夠計算出兩個對象之間的距離。

本文中使用卡方距離計算訓練樣本與測試樣本之間的距離，利用最近鄰分類器對缺陷圖像進行分類。測試樣本與訓練樣本之間的卡方距離為：

(11)

至此，通過以上原理即可完成射線缺陷圖像的智能識別，具體步驟如下：1) 對原始圖像集進行降噪處理；2) 抽取缺陷圖像的SSP、RLBP、NDP三部分的特征直方圖；3) 對提取的特征進行2-D聯合；4) 計算每個測試樣本與訓練樣本之間的卡方距離；5) 使用最近鄰分類器進行智能分類。圖2顯示了本文焊縫缺陷識別的具體框架圖。

3 實驗及分析

本文要識別的焊縫缺陷類型有7種：裂紋、夾渣、夾鎢、未焊透、未融合、氣孔及正常。本文數據集來自某工廠實際生產中X射線無損檢測圖片，每類缺陷140張，共980張。實驗中通過對常見7種缺陷進行智能分類識別來驗證該方法的準確性。由于原始射線圖像比較大，直接作為輸入計算量將會很大。本文采用基于視覺機制獲取注意區域并將其規范至200×200大小，規范后的部分缺陷圖像如圖3所示。

3.1 在原始據集上的實驗結果

為了測試該方法的有效性，首先將980張缺陷圖像按類別進行遞增編號，然后從每類140張中隨機抽取30張，共210(30×7)張作為訓練集，余下的770(110×7)張作為測試集。按照此方法，分別隨機從每類中抽取40、50、60、70、80、90、100、110、120張缺陷圖片作為訓練集，剩下的作為測試集。為了驗證該方法的隨機性，每類都進行10次抽取。圖4顯示了該方法及其對比方法的平均識別正確率。

圖4 平均識別正確率

從圖4中可以看出，與采用基于深度學習模型的分類方法以及基于自適應網絡的模糊推理系統(ANFIS)的方法相比較，本文所提出的方法識別正確率有明顯的提高。這是由于基于深度學習模型需要建立在大量的數據樣本上，剛開始訓練樣本數據集少導致分類性能很差，隨著訓練樣本的增加識別率逐漸提高，最終保持穩定在89.72%。由于人為定義的特征有限，導致ANFIS方法識別準確率被限制在72.13%左右。而本文所提出的方法能夠提取缺陷的全局與局部特征從而達到較高的識別率。

3.2 在旋轉數據集上的實驗結果

由于在實際生產過程中缺陷的種類是各種各樣，以裂紋為例，其裂紋方向是不確定的，可以是縱向裂紋、橫向裂紋及其他方向裂紋。為了盡可能的模擬實際生產中的缺陷，對980張原始缺陷圖進行(0°、5°、10°、15°、30°、45°、60°、75°、90°)9個不同角度的旋轉，得到8 820(980×9)200×200個樣本集。圖5展示了旋轉后的部分缺陷圖像。

圖5 旋轉后部分缺陷圖像

從中選取中心128×128大小作為旋轉后的圖像。此時每類樣本個數為1 260(140×9) 128×128，從中隨機選取1 000個作為訓練集，剩余260個為測試集進行測試。表1顯示了該方法及對比方法在原始數據集和旋轉數據集上執行10次的平均識別正確率。

表1 平均識別正確率 %

從表中可以看出本文方法明顯優于其他兩種方法。旋轉后造成文獻[3]中方法識別率低的原因可能在于:1) 該方法需要對缺陷位置進行準確分割才能對其進行幾何特征提取，而射線圖片噪聲對圖像分割有很大的影響；2) 對于復雜的大規模缺陷數據集而言，12個描述符已經不能夠表達焊縫缺陷的全部特征，從而使其分類準確率下降到80.23%。對于深度學習模型，由于其訓練樣本的增多使其識別率進一步提高，但仍然低于本文方法。而本文的方法在局部特征提取中，細分局部二進制模式和鄰域差分模式具有旋轉不變性，從而對不同方向的缺陷具有很好的魯棒性。同時，本文方法不需對缺陷圖像進行分割，所以降低了因分割導致的誤識別。表2顯示的是旋轉后取其中一次的各類分類正確率。

表2 單類平均識別正確率 %

續表2

3.3 平均耗時

本文的實驗在Inter Core i3-3320 CPU，3.3 GHz，4 GB內存， MATLAB(2013 Ra)環境下執行，為了測試該算法的平均耗時，對原始980張樣本集進行10次測試，表3顯示了本文方法及其對比方法的平均耗時。從表中可以看出文獻[3]中方法的平均耗時是本文方法的3倍多，文獻[4]中方法的平均耗時是本文方法的2倍多，因此本文法在缺陷檢測中具有很高的效率。這是因為深度學習模型中網絡構建特征過程有訓練網絡、獲取節點權值過程，這一部分是最耗時的地方。然而本文方法沒有訓練過程，直接分析缺陷圖像結構，因此計算速度快。

表3原始數據集(980張)耗時秒

實驗方法本文方法文獻[3]方法文獻[4]方法平均耗時3621137843

4 結 語

本文對焊縫缺陷圖像的識別進行了研究，分析了當前無損檢測領域缺陷識別存在的問題，提出一種基于紋理特征的射線焊縫缺陷識別方法。該方法從全局與局部兩方面分析缺陷圖像特征，直接提取圖像的整體輪廓特征、局部細分特征、鄰域差分特征，不需要對圖像進行分割，能夠降低因分割不準確導致的誤識別。通過對常見缺陷(裂紋、夾渣、夾鎢、未焊透、未融合、氣孔)進行識別，結果表明該方法能夠很好的濾除噪聲，提高特征提取的精度，能夠識別方向復雜的缺陷且具有旋轉不變性。同時，運行速度快、效率高，能滿足實際需要。

本文方法所研究的焊縫缺陷圖像光照較為均勻，然而由于實際環境中成像條件的限制，往往會造成焊縫圖像的光照不均勻。對光照不均勻條件下的缺陷圖像識別將是下一個研究的重點。

參考文獻

[1] 高煒欣, 胡玉衡, 武曉朦,等. 埋弧焊X射線焊縫缺陷圖像分類算法研究[J]. 儀器儀表學報, 2016,37(3):518-524.

[2] 申清明,高建民,李成.焊縫缺陷類型識別方法的研究[J].西安交通大學學報,2010,44(7):100-103.

[3] Zapata J, Vilar R, Ruiz R. An adaptive-network-based fuzzy inference system for classification of welding defects[J]. Ndt & E International, 2010,43(3):191-199.

[4] 余永維, 殷國富, 殷鷹,等. 基于深度學習網絡的射線圖像缺陷識別方法[J]. 儀器儀表學報, 2014,35(9):2012-2019.

[5] Lim T Y, Ratnam M M, Khalid M A. Automatic classification of weld defects using simulated data and an MLP neural network[J].Insight - Non-Destructive Testing and Condition Monitoring, 2007,49(3):154-159.

[6] Mery D, Berti M A. Automatic detection of welding defects using texture features[J].Insight - Non-Destructive Testing and Condition Monitoring, 2003,45(10):676-681.

[7] 鐘映春.基于決策樹的焊縫缺陷類型識別研究[J]. 計算機工程與應用, 2008,44(20):226-228.

[8] Carrasco M A, Mery D. Segmentation of welding defects using a robust algorithm[J]. Materials Evaluation, 2004,62(11):1142-1147.

[9] Valavanis I, Kosmopoulos D. Multiclass defect detection and classification in weld radiographic images using geometric and texture features[J].Expert Systems with Applications, 2010, 37(12):7606-7614.

[10] 田原, 都東, 侯潤石,等. 基于X射線圖像序列的焊縫缺陷自動檢測方法[J]. 清華大學學報(自然科學版), 2007,47(8):1278-1281.

[11] Cogranne R, Retraint F. Statistical detection of defects in radiographic images using an adaptive parametric model[J].Signal Processing, 2014, 96(5):173-189.

[12] Feng J, Liu X, Dong Y, et al. Structural difference histogram representation for texture image classification[J].Iet Image Processing, 2017,11(2):118-125.

[13] Ojala T, Harwood I. A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]. Pattern Recognition,1996,29(1):51-59.