基于VGG網(wǎng)絡(luò)的焊縫缺陷識別技術(shù)在UOE鋼管生產(chǎn)應(yīng)用初探

李樂榕，于子金

（寶山鋼鐵股份有限公司設(shè)備部，上海 201900）

0 引言

鋼管焊接過程中會產(chǎn)生各種缺陷，比如：裂紋、氣孔、未熔合、未焊透、夾渣等，直接危害到焊接產(chǎn)品的質(zhì)量，嚴(yán)重減低焊接件的機(jī)械性能[1],射線檢測是最常用的一種無損檢測方法，利用射線不同程度地透過不透明物體并使底片感光的原理，從中識別出焊縫中是否存在缺陷以及缺陷的位置和大小。

目前X射線圖像識別主要依靠人工進(jìn)行評定，通過專職的技術(shù)人員，對X射線圖像中的焊縫區(qū)域一一進(jìn)行查驗，并進(jìn)行比對分析，以識別圖像中焊縫區(qū)域是否有缺陷。人工評定的缺陷：首先人眼的視覺有局限，達(dá)不到機(jī)器能夠分辨的灰度級別和目標(biāo)范圍；其次人工評片的速度有限，很難滿足生產(chǎn)要求；最后人工評片受限于評片人員的主觀經(jīng)驗，很難保證檢測結(jié)果的可靠性[2]。

隨著計算機(jī)視覺和深度學(xué)習(xí)技術(shù)的興起，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別技術(shù)在各行各業(yè)中解決了大量實際問題，卷積神經(jīng)網(wǎng)絡(luò)(CNN)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)不同，其直接以圖像為輸入，無需人工提取目標(biāo)特征，將特征提取轉(zhuǎn)化為一個自學(xué)習(xí)過程，并且網(wǎng)絡(luò)中每個卷積層的輸出都可以視為網(wǎng)絡(luò)自學(xué)習(xí)到的特征。基于這些特征，能夠進(jìn)行更深層次的相似度比較[3]，筆者將預(yù)處理后的焊縫DCM圖像作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，利用卷積神經(jīng)網(wǎng)絡(luò)良好的容錯、并行以及泛化能力,對常見焊縫缺陷進(jìn)行特征提取與識別。

1 鋼管焊縫DICOM圖像數(shù)據(jù)分析和預(yù)處理

本文中收集了寶鋼UOE鋼管廠，近兩年來的X射線探傷焊縫圖像數(shù)據(jù)，清洗圖像質(zhì)量不好的數(shù)據(jù)，并且對焊縫圖片有無缺陷以及缺陷類型進(jìn)行標(biāo)識。

圖像預(yù)處理是圖像識別過程中的基礎(chǔ)環(huán)節(jié)，能夠有效消除和降低圖像中因噪聲、光照、背景等因素帶來的影響，使得圖像中的缺陷特征更明顯，從而直接影響模型的學(xué)習(xí)效果。

1.1 常見鋼管焊縫缺陷類型分析

由于焊接工藝的復(fù)雜性和現(xiàn)場環(huán)境的多樣性，焊接過程中會產(chǎn)生各種缺陷，直接危害到焊接產(chǎn)品的質(zhì)量，對焊接結(jié)構(gòu)的安全性能和使用性能造成極大影響。為了便于后續(xù)模型訓(xùn)練和分析，對收集到的焊縫缺陷數(shù)據(jù)進(jìn)行了缺陷類型標(biāo)識，如表1所示，共分為13種類型缺陷。

表1 鋼管焊縫缺陷類型標(biāo)識表

1.2 圖像預(yù)處理

由于原始的焊縫DCM圖像存在一定的噪聲，且對比度不高，這對于后續(xù)卷積神經(jīng)網(wǎng)絡(luò)的特征提取帶來很大的影響，為了使焊縫缺陷區(qū)域更加明顯，采用OpenCV圖像處理函數(shù)庫中噪音過濾、平滑增強(qiáng)、閾值處理以及邊緣檢測等算法，對焊縫射線圖像進(jìn)行圖像預(yù)處理[4]，如圖1所示，分別研究了幾種圖像預(yù)處理算法，對焊縫缺陷圖像進(jìn)行增強(qiáng)，以便于后續(xù)模型能夠更有效的提取缺陷特性[5]。

圖1 預(yù)處理后的鋼管焊縫缺陷圖像

2 設(shè)計基于卷積神經(jīng)網(wǎng)絡(luò)的焊縫缺陷識別模型

2.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)是圖像識別領(lǐng)域中應(yīng)用最多的一種神經(jīng)網(wǎng)絡(luò)。包含了一個由卷積層和子采樣層構(gòu)成的特征抽取器。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，一個神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個卷積層中，通常包含若干個特征平面[6]（feature Map），每個特征平面由一些矩形排列的的神經(jīng)元組成，同一特征平面的神經(jīng)元共享權(quán)值，這里共享的權(quán)值就是卷積核。卷積核一般以隨機(jī)小數(shù)矩陣的形式初始化[7]，在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值（即卷積核）帶來的直接好處，是減少網(wǎng)絡(luò)各層之間的連接，同時又降低了過擬合的風(fēng)險。

2.2 不同神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)對比分析

卷積神經(jīng)網(wǎng)絡(luò)有很多經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，包括LeNet、AlexNet、VGG-16、GoogleNet等網(wǎng)絡(luò)結(jié)構(gòu)。我們在實驗中搭建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)時，分別對每種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練和驗證[8]。

為了便于分析，此處僅將焊縫缺陷分為有缺陷和無缺陷兩種類型進(jìn)行實驗驗證，對寶鋼UOE鋼管廠近兩年多的數(shù)據(jù)進(jìn)行梳理，去除無效及圖像質(zhì)量不好的圖片，共采集有缺陷的圖像3000張，無缺陷合格圖像6000張，共計9000張樣本數(shù)據(jù)。隨機(jī)選取缺陷圖像中的2000張以及無缺陷合格圖像4000張作為訓(xùn)練集，剩下的作為測試集，用以驗證模型的泛化能力與可靠性。網(wǎng)絡(luò)訓(xùn)練直接以圖像為輸入，將圖像進(jìn)行進(jìn)行Resize處理，統(tǒng)一轉(zhuǎn)化為224*224大小的圖像[9]。在相同的硬件配型條件下，每種網(wǎng)絡(luò)模型的訓(xùn)練次數(shù)均設(shè)置為30000次，如表2中所示，在相同條件下，VGG-16模型的訓(xùn)練精度為98%，驗證準(zhǔn)確率為92%，好于另外三種模型。

表2 不同神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及驗證準(zhǔn)確率對比情況

最終我們選擇了如表2中的VGG-16網(wǎng)絡(luò)作為識別焊管缺陷圖像的神經(jīng)網(wǎng)絡(luò)模型,并對該模型內(nèi)部參數(shù)進(jìn)性適當(dāng)優(yōu)化[10]，將其應(yīng)用到現(xiàn)場進(jìn)性實驗驗證。

3 現(xiàn)場運行測試及結(jié)果分析

我們將設(shè)計訓(xùn)練好的模型部署到寶鋼鋼管廠復(fù)檢實驗室進(jìn)行驗證，將模型預(yù)測結(jié)果和人工評片結(jié)果進(jìn)行對比分析，比較兩者之間的差異，以及對存在的誤檢情況進(jìn)行詳細(xì)的分析。

3.1 現(xiàn)場運行情況測試

2018年8月20日將該模型部署到寶鋼鋼管廠復(fù)檢操作室進(jìn)行測試,缺陷識別結(jié)果統(tǒng)計畫面如表4所示。此處統(tǒng)計了2018年8月20日到2018年11月18日三個月的射線圖像人工評片結(jié)果與實驗系統(tǒng)的預(yù)測結(jié)果的差異，統(tǒng)計缺陷漏檢和誤檢情況。表中每行分別為每周收集的全部鋼管焊縫圖像樣本數(shù)，誤檢樣本數(shù)（誤檢樣本數(shù)是模型預(yù)測結(jié)果和人工評片結(jié)果不一致的鋼管焊縫圖像樣本數(shù)）以及漏檢樣本數(shù)（漏檢樣本數(shù)指模型將有缺陷的樣本判定為無缺陷的樣本數(shù)），從表中可以看出，最高的一周漏檢樣本為4，后續(xù)將會對誤檢的樣本以及漏檢樣本進(jìn)行詳細(xì)的分析。模型部署到現(xiàn)場實驗測試，表4中將每周的運行運行情況進(jìn)行了統(tǒng)計，每周的運行情況統(tǒng)計如下所示：

表3 現(xiàn)場試驗測試中人工評片和模型預(yù)測結(jié)果對比統(tǒng)計表

10/22-10/28 1115 1082 33 648 466 0 437 10/29-11/04 1405 1364 40 724 681 0 641 11/05-11/11 1348 1312 35 921 427 1 395 11/12-11/18 1263 1228 35 846 417 2 386

3.2 漏檢結(jié)果分析

“漏檢”指的是將人工評片結(jié)果存在缺陷的樣本識別為合格樣本的情況。本文中對上述實驗測試過程中的每一周的漏檢圖像進(jìn)行詳細(xì)分析如表4所示，漏檢情況主要分以下幾種：

表4 漏檢情況分析表

（1）射線圖像中的缺陷不明顯；

（2）新缺陷（沒有在之前的訓(xùn)練樣本出現(xiàn)過）；

（3）缺陷位置不在機(jī)器識別圖像的區(qū)域內(nèi)等。

筆者針對表4中所統(tǒng)計出的漏檢情況，進(jìn)行了詳細(xì)的分析，后面再次將這些漏檢圖像作為訓(xùn)練樣本讓模型再次學(xué)習(xí)，對模型的缺陷識別區(qū)域進(jìn)行限定，對模型進(jìn)行優(yōu)化。后續(xù)采用優(yōu)化后的模型對探傷圖片進(jìn)行識別，原有漏檢圖片已經(jīng)能夠識別，真正實現(xiàn)了漏檢率為0。

3.3 誤檢結(jié)果分析

現(xiàn)場試驗過程中，對每周的誤檢圖像按照缺陷類型做了分類如表5所示，由于篇幅限制此處僅展示了3周的誤檢圖像分析情況。從表5中可以看出，誤檢的圖像主要分以下幾種：凹坑或壓痕導(dǎo)致的誤檢、飛濺導(dǎo)致的誤檢、氣孔或夾渣或夾珠導(dǎo)致的誤檢、咬邊或未熔合或未焊透導(dǎo)致的誤檢以及實際誤檢情況。

表5 誤檢情況分析表

誤檢的詳細(xì)原因可以分為以下幾種情況：凹坑或壓痕導(dǎo)致的誤檢、飛濺導(dǎo)致的誤檢、氣孔或夾渣或夾珠導(dǎo)致的誤檢、咬邊或未熔合或未焊透導(dǎo)致的誤檢、實際誤檢。如圖2所示，分別對幾種誤檢情況進(jìn)行介紹，其中只要“飛濺”這個誤檢經(jīng)過和焊管廠工藝人員溝通確認(rèn)，不需要模型識別出來以外，其他除實際誤檢以外的圖像，都可以作為缺陷情況報出。因此該套模型的實際誤檢僅為如表5中所示的飛濺類型，最大誤檢率僅為2.6%。

圖2 誤檢圖像分析圖

4 結(jié)論

本文針對寶鋼UOE焊管廠焊縫缺陷自動識別的需求，基于卷積神經(jīng)網(wǎng)絡(luò)圖像識別原理，采用VGG-16深度學(xué)習(xí)模型框架實現(xiàn)對焊縫缺陷的自動識別。該算法直接將經(jīng)過預(yù)處理后的X射線焊縫圖像作為輸入向量，利用深度學(xué)習(xí)模型獲取其缺陷特征，從而有效避免了人為主觀因素對識別結(jié)果造成的不良影響。通過對該模型進(jìn)行兩個月的現(xiàn)場實際測試數(shù)據(jù)統(tǒng)計，對于明顯的缺陷能夠?qū)崿F(xiàn)100%的識別，實現(xiàn)無漏檢；對于焊縫圖像中的飛濺類缺陷，雖然在和焊管工藝人員溝通后飛濺不作為焊縫缺陷，但仍對作業(yè)人員有一定的提示作用。目前該模型僅在固定機(jī)組進(jìn)行試驗，還不能完全覆蓋所有鋼管焊縫類缺陷，后續(xù)仍需不斷完善，不斷完善缺陷樣本庫，使該模型的對于鋼管焊縫缺陷識別更穩(wěn)定準(zhǔn)確。通過實驗分析和實際應(yīng)用可知，該模型建立的思想與方法能廣泛應(yīng)用于各種類型部件缺陷的識別項目中，對焊接缺陷自動檢測技術(shù)的工程應(yīng)用有一定的參考價值。