基于自注意力的排水管道缺陷檢測方法

馬鐸，方宏遠，王念念，胡浩幫，董家修

(1.鄭州大學水利科學與工程學院，河南 鄭州 450000；2.國家地方重大基礎設施檢測與修復技術聯合工程實驗室，河南 鄭州 450000)

1 引 言

排水管網是城市的生命線，廣泛埋置于城市地下，對城市排水、排污起到重要作用。近年來，由于地基的不均勻沉降[1]，微生物腐蝕[2]等多種因素的作用，形成了多種管道缺陷，如破漏，錯口，腐蝕，障礙物等。這些缺陷造成了管道的擁堵、泄露，甚至會引發城市內澇，路面塌陷，嚴重影響了人民的生命財產安全。因此，應當定期檢測排水管道，為養護修復工作提供支持。

現有的排水管道檢測主要通過電視檢測和潛望鏡檢測采集圖像或視頻數據，人工判讀的方法，費時費力，效率低下。隨著計算機性能的不斷發展，計算機視覺算法廣泛應用于食品[3]、基礎工程[4]等領域。計算機視覺算法同樣可以應用于排水管道檢測領域。現有的基于計算機視覺的排水管道檢測方法主要包括：傳統算法[5]、機器學習[6，7]和深度學習。由于排水管道內部環境復雜，傳統算法和機器學習算法僅分析了少量缺陷特征，無法滿足排水管道檢測準確度要求。

近年來，隨著深度學習的不斷發展，王新穎等人[8]提出了一種基于卷積神經網絡的燃氣管道泄漏檢測方法，與基于機器學習的人工神經網絡相比，該方法更加準確穩定，提高了燃氣管道泄漏故障的診斷能力。Kumar等人[9]提出了一種基于卷積神經網絡的多種類排水管道缺陷圖像分類方法，提高了模型的泛化能力。

但是，單層卷積無法捕獲遠距離特征，卷積算子的感受野具有局限性。為了擴大網絡的關注區域，需要堆疊多層“卷積-池化”結構，增加網絡深度，從而提高檢測精度[10，11]。但是，這種方法獲得的有效感受野以中心為原點向外高斯衰減，造成了信息損失，阻礙了檢測精度的進一步提升。針對以上問題，本文構建了一種基于自注意力的排水管道缺陷檢測方法。該方法采用自注意力機制和Transformer代替了卷積神經網絡作為特征提取器，通過多層感知機和Softmax函數為缺陷圖像預測分類標簽。

2 方 法

標準的Transformer是用于解決機器翻譯問題的模型，輸入值為一維語義序列[12]。如圖1所示，為了處理二維圖像，本文首先將原始圖像分割為9個區塊。然后，將各二維區塊向量化為Transformer模型可以接收的一維有效序列(x1，x2，x3，…，x9)。接下來，通過全連接層，將一維序列轉換為固定長度的內容向量。為了增加區塊的位置信息，對每個區塊增加位置編碼信息，最終，嵌入內容向量，得到語義序列(z1，z2，z3，…，z9)。最終，通過多層感知機和Softmax函數，將獲得的特征向量轉化為預測的分類結果，從而實現了對管道缺陷的檢測。

圖1 基于Transformer的多種類管道病害檢測算法結構圖

2.1 注意力機制

注意力模型(AM，Attention model)最初被用于機器翻譯，用于解決長期依賴的問題，現已成為神經網絡領域的一個重要概念[13]。如圖2所示，Transformer中的注意力機制是通過計算輸入序列的注意力分布，得到與當前預測值相關的注意力值，這個過程實際上是注意力機制緩解神經網絡模型復雜度的體現。通過權重大小，注意力機制模擬了人類處理信息的注意力側重，有效地提高了模型的性能，降低了計算量[12]。

圖2 注意力機制結構圖

2.2 Transformer模型

傳統的機器翻譯等任務采用循環神經網絡。但是，循環神經網絡難以處理長序列輸入問題。Transformer模型拋棄了傳統的“編碼-解碼”模型的固有模式，僅采用自注意力機制，減少了計算量，不損害最終的實驗結果[14]。

通過堆疊自注意力矩陣，可以獲得“多頭”注意機制，每個查詢矩陣、關鍵矩陣、值矩陣保持獨立，從而產生不同的權重矩陣。如圖3所示，Transformer結構是全連接層和多頭自注意力層的連接。通過堆疊多層Transformer結構，算法能夠提取長期序列的輸入特征，從而用于預測或分類問題。

圖3 Transformer結構圖

3 管道缺陷分類模型的構建

3.1 多種類管道缺陷數據庫

(1)數據采集

與深度卷積神經網絡相同，基于Transformer的神經網絡模型也需要大量的圖像數據。通過管道機器人，本文采集了鄭州市和天津市的地下排水管道圖像。但是，由于排水管道內部環境復雜，原始圖像存在模糊、各類缺陷數量不均衡等問題。本文對原始圖像進行了嚴格的挑選，組成了清晰度高，數量均衡的原始排水管道缺陷數據集。該數據集包含4類缺陷：錯口、腐蝕、破漏、障礙物。

如表1所示，本文將原始圖像隨機分為訓練集、驗證集和測試集。

多種類管道缺陷數據庫組成表 表1

(2)數據增強

數據增強是指基于有限的數據生成更多等價數據，豐富訓練數據分布，提高模型泛化能力的方法[15]。為了保證驗證集和測試集圖像的真實性，本文沒有對這兩種圖片進行數據增強。因此，驗證集和測試集的圖像數量仍保持不變。

(3)多種類管道病害數據庫的構建

由于僅僅對訓練集圖像進行了增強處理，因此，管道病害圖像數據庫中訓練集、驗證集和測試集的圖像比例沒有保持6∶2∶2的比例。最終，管道病害圖像數據庫包含 7 576張管道病害圖像，其中訓練集共 6 496張圖像，1 516張錯口圖像，1 492張破漏圖像、1 616張腐蝕圖像，1 872張障礙物圖像，驗證集和測試集圖像數量保持不變，分別包含540張圖像。

3.2 模型的訓練與驗證

(1)遷移學習

相比于卷積神經網絡，Transformer更加依賴于大量的訓練數據。隨著數據集規模的增大，Transformer模型的檢測效果能夠逐漸超越卷積神經網絡[16]。現有的公開數據集，如ImageNet[17]等，包含大量的圖像數據，因此，能夠獲得優異的檢測效果。但是，由于管道內部環境復雜，現有的管道內表面缺陷圖像數量較少。

遷移學習是指遷移相關領域的知識結構，改進目標領域學習效果的方法。本文遷移了在ImageNet數據集上訓練最優的預訓練模型作為初始參數，提高了管道病害識別模型的收斂速度和準確率。如圖4所示，損失函數曲線跌宕下降。本文設置每次循環記錄一次訓練集損失值和驗證集準確率，用來繪制損失值下降曲線和準確率曲線，把握收斂速率，控制模型迭代次數。可以看出，20次循環后，損失曲線保持平穩，模型收斂。24次循環時，準確率達到了94.59%。

圖4 損失函數下降曲線和準確率曲線

(2)超參數

超參數調優 表2

對于深度學習算法，模型參數可分為普通參數和超參數。普通參數是各層網絡連接的權重參數，通過反向傳播，不斷訓練模型，從而得到最優參數。超參數是指在開始深度學習訓練前人為設置的參數。通常情況下，需要對超參數進行優化，提高學習的性能和效果。通過對不同超參數模型訓練，并在驗證集圖像上對比檢測準確度，可以得出最優的超參數組合方式。本文設置的超參數具體如下：最大循環次數為24次，學習率為 0.000 5，反向傳播方法為隨機梯度下降算法(SGD)，動量設置為0.9，每批次訓練4張圖片。

3.3 模型的測試

混淆矩陣也稱誤差矩陣，是模型測試的一種標準評價格式，用于比較每組實測圖像的預測分類與真實分類。如表3所示，對于一個二分類系統，將實例分為正類(Positive)、負類(Negative)，則該分類器有四種分類結果：真陽性(TP，True Positive)：正類實例被預測為正類；假陰性(FN，False Negative)：正類實例被預測為負類，代表了漏報的數量；假陽性(FP，False Positive)：負類實例被預測為正類，代表了誤報的數量；TN(True Negative)：負類實例被預測成負類。

混淆矩陣 表3

如方程1所示，準確率表示預測正確的樣本(真陽性與真陰性的和)與所有樣本的比率。

(1)

如表4所示，錯口，腐蝕，破漏，障礙的檢測準確率分別為100.0%，97.01%，87.10%，99.36%。其中，錯口，腐蝕，障礙的檢測準確率均在90%以上，平均準確率為96.11%。

雖然準確率能夠判斷總的正確率，但是在樣本不均衡的情況下，并不能作為很好的指標來衡量結果。在樣本不平衡的情況下，得到的高準確率沒有任何意義，此時準確率就會失效。

地下管道缺陷分類模型檢測結果分析 表4

4 Transformer與卷積神經網絡對比

為了檢驗基于Transformer的多種類管道缺陷檢測方法的檢測效果，本文對比了Inceptionv3、Inceptionv1、Resnet-101和VGG16經典卷積神經網絡，并且，對比了兩個現有的排水管道缺陷檢測網絡(兩級分層卷積神經網絡、管道病害分類網絡)。如表5所示，本模型的準確度為96.11%，比兩級分層卷積神經網絡高1.21%。相比于卷積神經網絡，Transformer模型在特征提取方面更具優勢。

Transformer與卷積神經網絡對比分析表 表5

5 總 結

排水管道是城市的生命線，應當定期檢測管道缺陷。但是現有的檢測手段主要依靠CCTV視頻檢測和人眼判斷的方式，費時費力。現有的計算機檢測方法以傳統算法、機器學習和深度學習為主，分別具有人工特征單一、提取特征維度低、感受野局限的缺點。針對以上問題，本文提出了一種基于自注意力的排水管道缺陷檢測方法。該方法采用Transformer和自注意力機制替代了卷積神經網絡作為管道缺陷的特征提取器，通過多層感知機和Softmax函數為缺陷圖像預測分類標簽。相比于經典的卷積神經網絡和現有的排水管道檢測方法，本方法的準確度達到了96.11%，效果更優。以上研究證明了：Transformer算法在排水管道缺陷圖像分類領域的可行性，提高了檢測的準確度，為排水管道檢測提供了一種新思路。