基于深度學習的礦用輸送帶損傷檢測方法

張夢超，周滿山,2，張媛,2，于巖，李虎

(1.山東科技大學 機械電子工程學院， 山東 青島 266590；2.力博重工科技股份有限公司， 山東 泰安 271000;3.中煤科工集團常州研究院有限公司， 江蘇 常州 213015)

0 引言

智能運輸系統是智慧礦山的重要組成部分，是集智能驅動、智能控制、智能運維和無人駕駛等先進技術于一體的安全、高效、智能、無人化的運輸系統，其核心在于智能化的礦山運輸裝備[1-4]。帶式輸送機是散料輸送最為重要的運輸設備之一，而輸送帶作為帶式輸送機的重要組成部分，起著承載物料與牽引的重要作用。在礦用輸送帶使用過程中，落料沖擊、物料夾雜金屬異物等易引起輸送帶非正常損傷，縮短輸送帶使用壽命，增加生產成本[5]。如不能及時發現和處理輸送帶損傷，會引發輸送帶撕裂事故，造成更大危害。

目前輸送帶損傷檢測方法分為人工檢測和自動檢測。人工檢測方法包括觀察法、標線測量法等，屬于靜態檢測方法，工作量大，難以滿足帶式輸送機智能化發展的需求。自動檢測方法包括漏磁法[6]、弱磁法[7]、內置感應線圈法[8]、機器視覺法[9-11]等。其中，基于機器視覺的輸送帶損傷檢測方法應用較為廣泛。張春明[12]提出了基于線激光輔助的輸送帶撕裂檢測及保護裝置，利用線激光條紋的高對比度特性降低了粉塵、光照等因素對檢測圖像的干擾，解決了二維圖像中撕裂特征提取困難的問題，提高了檢測結果的準確度。郭啟皇[13]綜合考慮了多種圖像分割算法在輸送帶撕裂圖像中的處理效果和處理速度，最終確定以Otsu閾值分割算法(大津法)作為輸送帶撕裂視覺檢測系統的圖像處理算法，根據輸送帶表面二值圖像的特點規定撕裂診斷規則，達到撕裂檢測的目的。喬鐵柱[14]提出了基于輸送帶溫度紅外特征與可見光激光線輔助視覺特征雙重可靠判據的輸送帶撕裂特征提取方法，充分考慮了物料因卡堵而與輸送帶摩擦造成的帶面溫度升高問題，有效解決了復雜環境下圖像信息采集的準確性與可靠性低的問題。劉偉力[15]根據FAST角點檢測算法、改進的概率Hough變換直線檢測算法和2-1 Hough變換圓形檢測算法,設計了基于圖像特征提取的輸送帶縱向撕裂檢測和定位方法，實現了輸送帶縱向撕裂的實時檢測、缺陷定位。Che Jian等[16]提出了基于視聽融合的輸送帶撕裂檢測方法，通過提取輸送帶在正常、撕裂和劃痕狀態下的圖像和聲音特征，并利用機器學習算法進行分類，從而實現較高精度的撕裂判斷。上述方法主要針對輸送帶撕裂問題進行分析，缺乏對輸送帶其他損傷類型的研究。在實際情況下，輸送帶撕裂是輸送帶損傷的最終結果，而對輸送帶其他損傷類型進行檢測，可有效地防止輸送帶事故擴大。本文提出了一種基于深度學習的礦用輸送帶損傷檢測方法，該方法通過Yolov4-tiny目標檢測網絡對輸送帶損傷類型進行檢測。

1 方法原理

1.1 Yolov4-tiny目標檢測網絡結構

Yolov4-tiny目標檢測網絡從結構上可分為主干特征提取網絡和預測網絡2個部分，其中主干特征提取網絡直接影響預測網絡的預測效果，且主干特征提取網絡的深度、寬度及輸入圖像的分辨率直接影響特征提取的豐富性。Yolov4-tiny目標檢測網絡結構如圖1所示。

以CSPDarknet53-tiny作為主干特征提取網絡，由多個CSPblock_body組成。CSPblock_body借鑒Resnet中的殘差思想，直接將輸入信息繞道傳到輸出層，可保護信息的完整性，且只需學習輸入與輸出的差異部分，可簡化學習目標和難度。使用Resnet殘差塊防止深層網絡中高層語義特征丟失，以提高檢測精度。采用特征金字塔網絡(Feature Pyramid Networks，FPN)[17]對主干特征提取網絡中得到的2個有效特征層(26×26×256和13×13×512)進行高低層語義信息融合。其中，高層語義信息中所含目標特征語義信息多但位置信息少，而低層語義信息中所含目標位置信息較多但特征語義信息較少。通過特征融合，可實現特征語義信息和位置信息的充分互補，提高檢測精度。

圖1 Yolov4-tiny目標檢測網絡結構 Fig.1 Yolov4-tiny target detection network structure

1.2 Yolov4-tiny目標檢測原理

將主干特征提取網絡中得到的2個有效特征層輸入預測網絡Yolo Head。通過Yolo Head將所得特征層劃分成S×S個網格(本文中為13×13和26×26)，若待測目標的中心落在某個網格中，則由該網格負責檢測該目標，具體目標檢測流程如圖2所示。在預測過程中，每個網格產生3個預測框，每個預測框包含9個預測值,其中，前4個預測值為目標種類，包括表面劃傷、表面破損、擊穿、撕裂；第5個預測值為置信度，用來表征預測框的置信水平與預測精度，即通過置信度確定框內是否包含物體，取值區間為[0,1]，置信度趨近0，表示沒有物體；后4個預測值為預測框的調整參數，分別為預測框中心點相對于網格左上頂點的偏移量、預測框的寬和高。在得到預測框之后，通過得分排序和非極大值抑制(Non-Maximum Suppression，NMS)算法對預測框進行篩選。

圖2 目標檢測流程Fig.2 Target detection flow

1.3 損失函數

Yolov4-tiny目標檢測網絡訓練時的損失函數L由預測框回歸損失LCIoU、分類損失Lclass、置信度損失Lconf共3個部分組成。其中，LCIoU為預測框的位置、寬和高與真實標簽之間的誤差，Lclass為預測分類與真實分類之間的誤差，Lconf與每個預測框中預測值的置信度得分相關。

(1)

(2)

(3)

(4)

(5)

L=LCIoU+Lconf+Lclass

(6)

當預測框內沒有目標時，只計算置信度損失；若預測框內存在目標，則根據式(1)—式(6)計算損失。損失值越小，意味著預測值與真實值之間的差距越小，表明目標檢測網絡訓練得越好。

2 實驗結果與分析

本文在Keras 2.1.5、CUDA 9.0、CUDNN 7.1下對Yolov4-tiny目標檢測網絡進行訓練，實驗環境為Windows 10 64位操作系統，48 GB內存，NVIDIA GeForce RTX2060S顯卡，Intel Xeon E5 2620v3×2 CPU，編程語言為Python。

通過現場數據采集和網絡搜索等形式收集輸送帶損傷圖像3 000張，其中表面破損、擊穿、表面劃傷和撕裂4種輸送帶損傷類型圖像各占1/4，并通過人工標注的方式構建輸送帶損傷數據集，部分樣本數據如圖3所示。

(a) 表面破損

(b) 擊穿

(c) 表面劃傷

(d) 撕裂

在網絡訓練過程中，采用Mosaic及CutMix數據增強策略增加輸入圖像可變性，豐富圖像背景信息。使用逐步下降的學習率，迭代100次，初始學習率為1×10-3，在迭代50次和80次時下降為之前的1/10，批尺寸為16。

2.1 預測精度與預測速度

在多分類目標檢測任務中，通常采用平均精度均值 (mean Average Precision，mAP)度量預測精度，采用幀速率度量預測速度。平均精度均值與精確率和召回率密切相關，精確率和召回率與正負樣本是否被正確分類相關。

(7)

式中：M為平均精度均值；Q為各分類的平均精度。

(8)

式中：P為精確率；NTP為被預測為正樣本的正樣本數量；NFP為被預測為正樣本的負樣本數量。

(9)

式中：R為召回率；NFN為被預測為負樣本的正樣本數量。

以精確率為橫軸、召回率為縱軸繪制各損傷類型的P-R曲線(圖4(a))，P-R曲線與橫縱坐標軸圍成的面積即各損傷類型的平均預測精度，如圖4(b)所示。可看出Yolov4-tiny目標檢測網絡對表面劃傷、撕裂、表面破損和擊穿檢測的平均精度分別為99.36%，94.85%，89.30%，86.76%，平均精度均值達92.57%。

(a) 各損傷類型的P-R曲線

(b) 各損傷類型的平均預測精度

為了驗證Yolov4-tiny目標檢測網絡的優越性，與Faster-RCNN，RFBnet，M2det，SSD，Yolov3，EfficientDet和Yolov4目標檢測網絡進行對比，結果見表1。可看出Yolov4-tiny目標檢測網絡在數據集上取得了最快的檢測速度，幀速率達101幀/s，實現了速度與精度的平衡。

本文方法對輸送帶損傷類型的檢測結果如圖5所示。可看出表面破損、擊穿、表面劃傷和撕裂的置信度均大于0.98，表明本文方法對4種輸送帶損傷類型的檢測均能達到較高精度。

(a) 表面破損

(b) 擊穿

(c) 表面劃傷

(d) 撕裂

2.2 硬件占用率

Faster-RCNN，RFBnet，M2det，SSD，Yolov3，EfficientDet、Yolov4和Yolov4-tiny目標檢測網絡的硬件占用率如圖6所示。對比可知Yolov4-tiny目標檢測網絡在取得最快的檢測速度和較高的檢測精度的情況下，占用計算資源相對較少。

表1 不同目標檢測網絡預測精度和預測速度對比Table 1 Comparison of prediction precision and prediction speed of different target detection networks

圖6 硬件占用率Fig.6 Hardware occupancy rate

2.3 泛化能力

為驗證Yolov4-tiny目標檢測網絡的泛化能力，選取文獻[18]、文獻[19]和文獻[20]中的輸送帶撕裂圖像進行檢測，結果如圖7所示,各文獻中輸送帶撕裂形態自左至右分別為原圖、相應文獻中方法檢測結果、本文方法檢測結果。可看出本文方法能很好地實現對數據集外新鮮樣本的檢測，證明其具有良好的泛化能力。

(a) 文獻[18]中輸送帶撕裂形態

(b) 文獻[19]中輸送帶撕裂形態

(c) 文獻[20]中輸送帶撕裂形態

3 結語

基于深度學習的礦用輸送帶損傷檢測方法通過Yolov4-tiny目標檢測網絡實現輸送帶損傷情況的分類。Yolov4-tiny目標檢測網絡以CSPDarknet53-tiny作為主干特征提取網絡，借鑒Resnet殘差思想防止深層網絡中高層語義特征丟失，同時采用FPN實現高低層語義信息融合；將CSPDarknet53-tiny中得到的2個有效特征層輸入預測網絡Yolo Head，通過得分排序和NMS算法對預測框進行篩選，從而預測輸送帶損傷類型。實驗結果表明，Yolov4-tiny目標檢測網絡在輸送帶損傷數據集上對表面劃傷、撕裂、表面破損和擊穿4種損傷類型檢測的平均精度分別為99.36%，94.85%，89.30%，86.76%，平均精度均值達92.57%；與Faster-RCNN，RFBnet，M2det，SSD，Yolov3，EfficientDet和Yolov4目標檢測網絡相比，Yolov4-tiny目標檢測網絡在數據集上取得了最快的檢測速度，幀速率達101 幀/s，實現了較好的速度與精度的平衡，且占用計算資源相對較少；通過對數據集外新鮮樣本的檢測，驗證了本文方法具有較好的泛化能力。