基于深度學習的管道焊縫超聲檢測缺陷識別方法

余澤禹, 袁洪強, 衛小龍, 杜國鋒*

(1.長江大學電子信息學院， 荊州 434023; 2.長江大學城市建設學院， 荊州 434023; 3.長江大學石油工程學院， 武漢 430100)

隨著油氣資源需求量的日益增長，管道運輸扮演著越來越重要的角色。在管道服役的過程中，焊縫作為管道結構中最薄弱環節，是油氣管道缺陷產生的高發部位。為保證管道的安全運行，管道安全檢測已成為管道建設整體中的重要研究方向。現階段工業中對于油氣管道焊縫內部檢測使用最多的方法是超聲無損檢測和射線檢測法[1-2]。超聲無損檢測相對于射線檢測來說，對人體無害，設備更加輕便，也更利于野外環境下在役管道的檢測[3]。但是現階段超聲無損檢測完全依賴經驗豐富的從業人員主觀判斷缺陷。

目前，大多數研究都是基于圖像的管道缺陷智能識別或者是傳統機器學習缺陷分類，如李忠虎等[4]利用管道內表面腐蝕圖像研究了一種基于BP神經網絡的管道內表面腐蝕圖像邊緣檢測。劉涵等[5]根據射線檢測圖像利用深度學習網絡自動識別管道焊縫缺陷，所設計的系統可以自動學習射線焊縫缺陷圖像中復雜的深度特征。Zhang等[6]基于局部圖像增強技術的管道焊接缺陷檢測，對不同類型缺陷的圖像進行了測試，使得多個弱分類器組合成一個級聯強分類器,可以大幅度地提高檢測準確率。桑宏強[7]等基于改進的卷積神經網絡的管道視頻缺陷檢測技術的研究，采用多尺度卷積核和分割卷積核，充分提取管道圖像特征，實現準確的圖像分類。Mohamed等[8]研究了一種基于決策樹的油氣管道缺陷檢測與分類方法，利用漏磁檢測數據的分類作為一種可行的油氣管道監測工具。Shaik等[9]使用支撐向量機(support vector machines, SVM)進行油氣管道故障分類。侯懷書等[10]在管道焊縫上制作人工缺陷,利用高頻數據采集卡采集缺陷信號,最后通過短時傅里葉變換處理缺陷信號以識別出金屬管道焊縫中的4種缺陷類型，這種人工制作數據集的方法不僅成本高、時間消耗大而且能夠制作的樣本數也十分有限最終也使得識別模型泛化能力不足。王向宇等[11]通過觀察超聲導波在焊縫缺陷前后的傳播特征,以入射波與透射波峰值點之比作為損傷指標識別出焊縫缺陷的位置與大小，但這種方法無法實現焊縫缺陷類型的識別。

這些問題的出現主要是由于超聲無損檢測方法訓練數據集匱乏和數據的復雜性(步長大、多模態、多峰分布等)導致。對于深度學習的訓練依賴大量的訓練數據，而油氣管道檢測數據庫國家是特定機密資產，不能像其他應用一樣使用公開數據集進行訓練，而自建大量數據集也是非常昂貴和不可實現的。

綜上所述，現提出一種超聲無損檢測數據增強方法和缺陷智能識別方法，通過改進生成對抗網絡(generative adversarial network, GAN)數據增強生成虛擬FMC數據，擴充訓練數據集，利用LSTM-FCN網絡識別真實檢測數據中的缺陷類型。

1 管道焊縫超聲無損檢測數據

現階段針對管道焊縫缺陷超聲無損檢測設備多數使用全矩陣捕獲(full matrix capture, FMC)數據。使用超聲陣列探頭的FMC 特定數據采集過程，其中陣列中的每個陣元依次作為發射器，而所有陣元作為每個發射脈沖的接收器。相控陣換能器的N個陣元依次激發，當其中一個陣元被激發時，所有陣元都接收超聲回波信號并儲存。將發射陣元的序號記為i，接收陣元的信序號為j，接收的超聲回波時域信號記為Sij，每個具體的Sij其實就是一個 A 掃信號[11]。待N個陣元都激發完成后，便可得到一個包含了檢測物體全部信息的N×N矩陣集[11]，如表1所示。

表1 全矩陣捕獲的數據表

在FMC數據中，對每一個收發組合，計算該像素點到對應收發陣元的聲傳播時間，最后全部疊加得到像素的成像幅值以實現缺陷檢測的目的。

2 數據增強

為了解決訓練樣本嚴重不足的問題，采用一種改進的生成對抗網絡(generative adversarial network, GAN) 數據增強方法生成虛擬FMC數據，擴充訓練數據集。傳統的GAN包含生成器和判別器兩個部分，生成網絡使用一個從標準多元正態分布中采樣的向量，通過與判別器或鑒別神經網絡一起訓練，最終得到一個確定性轉換，將標準多元正態分布映射到數據的分布中[12]。但是FMC數據不是服從標準多元正態分布的，傳統的訓練生成器方法并沒有考慮到分類列中的不平衡，所以傳統的GAN方法不能適用于FMC數據的訓練。

為了克服這些問題，構建一種適合FMC數據生成方法FMC-GAN。FMC-GAN包括以下幾個部分。

(1)

(2)全連接隱含層。由于FMC數據中每一列列沒有局部結構，所以在生成器和判別器中使用全連接的網絡來捕獲列之間的所有可能的相關性。在生成器和判別器中都使用了兩個完全連接的隱含層[13]。

(3)生成器。使用批標準化(batch-normalization,BN)和激活函數Relu。接兩個全連接隱含之后，使用混合激活函數生成合成數據。其中標量值αi,j由tanh生成，熱獨向量βi,j由gumbel softmax生成。

(4)判別器。對于每一個全連接隱含層使用leaky relu函數和dropout函數。

綜上，FMC-GAN生成器表示為

(2)

FMC-GAN判別器表示為

(3)

使用WGAN損失和梯度來訓練模型，用Adam優化器，學習率為2×10-4。

利用FMC-GAN模型，基于原始檢測數據集生成了30 000個對應于氣孔、未焊透、裂紋、未熔合、夾渣等五種焊接常見缺陷的合成數據樣本。然后將生成的數據與原始數據一起用于進一步處理。

3 缺陷識別

長短期記憶網絡(long short-term memory, LSTM)[13]已經很好地被應用于時間序列數據分析。但是對于超聲無損檢測數據步長往往大于2 000，這對于LSTM是很難訓練的，會出現梯度消失或梯度爆炸的問題。

為了克服這個問題，使用一種改進的LSTM-FCN模型[14-15]，LSTM-FCN引入門函數[16-18]，模型中每一個單元包含1個隱藏向量h和1個記憶向量m。在每個時間步長，記憶向量調節狀態更新和輸出，計算公式為

(4)

式(4)中：gu、gf、go、gc分別為輸入門、遺忘門、輸出門和狀態門的激活向量；Wu、Wf、Wo、Wc分別為相應的循環權重矩陣；Iu、If、Io、Ic為投影矩陣；σ為函數logistic sigmoid；mt為第t個時間步長的狀態更新向量；ht為第t個時間步長的隱藏狀態向量。

圖1給出了LSTM-FCN模型的結構。從圖1可以看出，該模型由兩個分支組成，分別為時序卷積分支(fully convolutional neural networks，FCNs)和長短時記憶(long short term memory,LSTM)分支。其中，FCN網絡模型部分包含三個卷積塊，每一塊都由一個一維卷積層、批歸一化和線性整流函數組成，濾波器的數量定義為128、256和128最后一層由全局平均池化取代全連接層以減少模型參數長短時記憶分支使用了一層LSTM網絡，同時加入隨機丟棄機制Dropout緩解模型的過擬合情況。最后拼接兩個分支的輸出，并使用Softmax分類器對得到的特征進行分類。

圖1 LSTM-FCN網絡模型Fig.1 The network model of LSTM-FCN

4 實驗及結果分析

4.1 實驗過程

首先，利用超聲檢測設備CTS-PA22T采集真實管道焊縫缺陷檢測數據。管道為45#鋼管對焊件，焊接方法為氬弧焊打底加手工焊蓋面，打磨表面，由丹東佰匯達檢測設備有限公司定制缺陷，其中包括氣孔、未焊透、裂紋、未熔合、夾渣5種焊接常見缺陷。

再利用數據增強方法FMC-GAN生成數據，構建虛擬數據集，虛擬數據集用于管道焊縫缺陷識別模型訓練，真實數據作為模型的驗證集，最后LSTM-FCN對比現有分類方法。具體數據集如表2所示。

表2 數據集劃分

所有模型都使用Adam優化器通過梯度下降進行訓練。初始學習率被設置為0.002，迭代250次，并進行超參數優化。

4.2 實驗結果及分析

為了更好地比較LSTM-FCN在管道焊縫缺陷識別能力，選取常用于缺陷分類的MLP和RestNet50網絡模型與之比較。在模型訓練過程中，記錄模型的損失和超參數變化曲線以觀察模型是否會出現梯度消失或爆炸，如圖2和圖3所示。

圖2 各輪模型訓練過程中損失變化情況Fig.2 Loss variation in each epoch during model training

圖3 超參數對應曲線Fig.3 Hyperparametric corresponding curve

如圖2所示，在利用FMC數據對3種模型進行訓練時，MLP模型訓練中模型損失始終高于2.3，出現了梯度無法下降的情況；ResNet50模型在訓練到48步時出現梯度消失，使得模型無法收斂；LSTM-FCN模型損失隨著訓練步數的增加逐漸收斂，在迭代250次后將損失降低到0.18。證明LSTM-FCN模型很好地克服了FMC數據步長大、多模態、多峰分布等特性導致的梯度問題。

在圖3中，對LSTM-FCN模型進行超參數優化，繪制學習率、L1正則化對應損失曲線。實驗證明初始學習率為0.002、L1正則化尺度為64得到最優損失為0.02，以此得到最優的模型性能。

所有模型在虛擬數據集下訓練，用真實數據做驗證，同時比較各缺陷識別率和漏檢率。漏檢率是一個工業上特別關注的指標，因為在實際生產環境下是不允許有缺陷是未被檢測到的。

構建的虛擬數據集很好地模擬了真實的超聲無損檢測數據，使得模型能夠在真實數據下仍具有良好的泛化能力，如表3所示。表明了LSTM-FCN對于管道焊縫缺陷識別率高于95%、召回率和F1達到96%，且漏檢率為0，對超聲無損檢測數據具有很好的適應性，克服了其數據復雜性，可以達到工業檢測的要求。而MLP和RestNet50模型由于在訓練中出現梯度問題最終導致模型在缺陷識別上精度只有34%和64%，很難達到使用條件。

表3 各模型在驗證集上的評估結果

圖4 LSTM-FCN模型驗證結果混淆矩陣Fig.4 Confusion matrix of model verification results

混淆矩陣如圖4所示，在圖4中，縱坐標表示真實的缺陷類型，橫坐標表示模型識別的缺陷類型，所有正確地識別結構都記錄在矩陣的對角線單元中。對于各種類型的缺陷，LSTM-FCN模型沒有漏檢，并且平均正確識別率高于95%，誤判率低于5%。證實了FMC-GAN數據增強的有效性和LSTM-FCN模型的缺陷識別能力。

5 結論

針對管道焊縫超聲檢測，為了實現泛化能力強的深度學習模型，首先構造了一種超聲無損檢測數據方法FMC-GAN，并構建了虛擬超聲檢測數據集。通過該虛擬數據集訓練出的模型在真實檢測數據的驗證下仍然具有良好的泛化能力。LSTM-FCN網絡識別真實檢測數據中的缺陷類型漏檢率為0，綜合正確識別率高于95.6%，可以達到工業檢測的要求，為超聲無損檢測智能化發展提供重要研究基礎。