基于對抗修復網絡的輸送帶表面缺陷檢測

摘要：針對輸送帶缺陷數據獲取和標注困難、輸送帶工作場景中的不穩定因素和數據波動導致基于深度學習的輸送帶缺陷檢測方法精度低的問題，提出了一種基于對抗修復網絡的輸送帶表面缺陷檢測模型。該模型主要由自編碼器結構的生成器和馬爾可夫判別器組成。在訓練階段，將模擬的輸送帶表面缺陷圖像輸入生成器，得到無模擬缺陷的重構圖像，提升模型對未知缺陷的泛化能力；將原始無損輸送帶圖像、重構圖像和模擬的輸送帶表面缺陷圖像輸入馬爾可夫判別器，通過殘差塊獲得特征圖，提高模型對于微小缺陷的檢測能力。在檢測階段，將待測圖像輸入訓練完的生成器得到重構圖像，再通過訓練完的馬爾可夫判別器提取待測圖像與重構圖像的特征圖，根據待測圖像與重構圖像特征圖之間的均方誤差和待測圖像特征圖最大值，計算異常分數并與設定的閾值進行比較，從而判斷待測圖像是否存在缺陷。實驗結果表明，該模型的接收操作特征曲線下面積（ROC?AUC）達0.999，精確率?召回率曲線下面積（PR?AUC）達0.997，單張圖像檢測時間為13.51 ms，能準確定位不同類型缺陷位置。

關鍵詞：輸送帶表面缺陷檢測；對抗修復網絡；自編碼器；生成器；馬爾可夫判別器

中圖分類號：TD528/634 文獻標志碼：A

0 引言

帶式輸送機是一種在煤礦生產中應用廣泛的物料運輸裝置，輸送帶是其關鍵部件之一[1]。在實際應用中，由于落料沖擊、物料邊緣尖銳等因素容易造成輸送帶非常態損壞[2]。若未能及時檢測輸送帶損壞，破損會進一步擴展，進而造成物料損失、生產中斷，嚴重時甚至產生安全隱患，因此準確、快速地檢測輸送帶表面缺陷是物料安全、高效運輸的重要保障[3]。

早期輸送帶缺陷檢測主要采用接觸式方法（如在托輥上安裝棒形檢測器、壓力檢測器和漏料檢測器），方法簡單但易受環境干擾，且難以檢測較小的破損和劃痕[4]。隨著高性能處理器的發展，機器視覺技術得到應用。程月等[5]使用Canny 算子和支持向量機分析輸送帶裂紋圖像的像素面積和長寬比，從而檢測輸送帶撕裂；王以娜[6]利用預采集的輸送帶表面數據作為模板，與運行時采集的圖像匹配，實現了輸送帶縱向撕裂檢測。機器視覺技術提高了輸送帶缺陷檢測能力，但需復雜的圖像預處理和嚴格的成像條件，較難滿足現場要求。

為克服傳統機器視覺技術的不足，研究者嘗試使用深度學習進行輸送帶表面缺陷檢測，主要分為監督學習、半監督學習及無監督學習3 種方式。周宇杰等[7]對YOLOv4 的路徑融合網絡進行改進，提高了輸送帶表面缺陷檢測精度；張夢超等[8]通過對YOLOv4-tiny 網絡的特征金字塔和殘差塊進行優化，實現了對輸送帶缺陷的分類檢測。但這種監督學習方法依賴大量的缺陷樣本標注來進行模型訓練，而獲得完備充足的輸送帶表面缺陷數據極其困難。針對缺陷數據不足的問題，Guo Xiaoqiang 等[9]和YangQi 等[10]使用半監督學習和數據增強技術，采用多分類條件生成對抗網絡和知識蒸餾，以增強監督學習的表現。但煤礦生產環境的復雜性導致缺陷具有未知性和無規則性，數據增強難以復制實際缺陷的復雜性，從而限制了基于先驗知識的半監督學習方法的有效性[11]。為此，部分學者如Teng Yapeng 等[12]和Lü Chengkan 等[13]利用無監督學習方法，使用生成模型和自動編碼器學習圖像差異，以便在不依賴大量標注數據的情況下進行缺陷檢測。但輸送帶工作場景光照變化、環境噪聲等的不規則性和數據的發散性導致模型輸入圖像特征分布不穩定，影響生成模型的輸出一致性，導致現有無監督學習方法對輸送帶表面缺陷檢測精度較低。

本文提出了一種基于對抗修復網絡的輸送帶表面缺陷檢測模型。該模型通過自編碼器結構的生成器和馬爾可夫判別器的對抗訓練[14]，使得生成器能夠生成逼真的圖像，提高判別器對缺陷的敏感性；在模型訓練過程中引入模擬的輸送帶表面缺陷圖像，以增強模型對未知缺陷的泛化性能，提升模型在復雜工作場景下的缺陷檢測精度。

1 輸送帶表面缺陷檢測模型

1.1 總體結構

基于對抗修復網絡的輸送帶表面缺陷檢測模型主要由自編碼器結構的生成器與馬爾可夫判別器組成，如圖1 所示。

在訓練階段，將模擬的輸送帶表面缺陷圖像輸入生成器，先通過編碼器提取低維的邊緣、紋理信息，并逐步生成豐富的高級語義信息，再利用解碼器對高級語義信息進行解碼，消除圖像中模擬的缺陷，獲得重構圖像。將原始無損輸送帶圖像、重構圖像和模擬的輸送帶表面缺陷圖像輸入馬爾可夫判別器，通過殘差塊提取圖像特征，獲得3 種圖像的高級語義信息，再通過降維塊將高級語義信息壓縮為特征圖。

在檢測階段，將待測圖像輸入訓練完的生成器得到重構圖像，再通過訓練完的馬爾可夫判別器提取待測圖像與重構圖像的特征圖，并基于特征圖計算異常分數，將異常分數與設定的閾值進行比較，以判斷待測圖像是否存在缺陷。

1.2 模擬的輸送帶表面缺陷圖像

在實際煤礦場景中，輸送帶表面缺陷以多種形式存在。然而，在表面缺陷數據收集過程中，很難覆蓋所有可能出現的異常情況，且僅使用正常樣本進行訓練的模型對實際表面缺陷的泛化能力較差。受去噪重建異常嵌入模型（DR?M）[15]及基于內存的端到端分割網絡（MemSeg）[16]的啟發，本文使用柏林噪聲生成無規則掩膜，結合紋理數據集DTD[17]來模擬輸送帶表面缺陷，使其盡量貼近現場缺陷的無規則性，同時增強生成器對于未知樣本的生成能力。模擬的輸送帶表面缺陷圖像生成流程如圖2 所示，具體步驟如下。