基于深度學習的輸送帶跑偏狀態智能監測方法

關鍵詞：帶式輸送機；跑偏監測；直線檢測；輸送帶邊緣識別；深度學習；YOLOv5

中圖分類號：TD528 文獻標志碼：A

0引言

帶式輸送機作為礦山運輸的主力裝備之一，具有可連續運輸、運距長、運量大、能耗低等顯著優點，目前正向著高效節能驅動、運行狀態精確感知、智能無人運維等方向發展[1-2]。輸送帶跑偏作為帶式輸送機最常見的故障之一，嚴重時將導致輸送帶異常磨損或撕裂，造成財產損失[3-4]。因此，對輸送帶跑偏狀態進行有效監測至關重要。

輸送帶跑偏狀態監測大多依賴于跑偏傳感器實現，近年來也發展出基于機器視覺的非接觸式測量方法，具體包含基于傳統圖像處理算法的輸送帶邊緣直線檢測[5-8]、基于深度學習的輸送帶跑偏狀態分類[9]、基于目標分割的輸送帶區域定位和邊緣分割[10-11]、基于托輥數量識別與比對的判定方法[12-13]等。在實際應用中，因受礦山復雜環境和運輸料流的影響，利用傳統圖像處理算法進行輸送帶區域（或輸送帶邊緣）定位時需要經過復雜的圖像處理流程[14]，涉及灰度變換閾值、邊緣檢測梯度閾值、霍夫變換累加器閾值、最低線段長度參數和間隙參數等大量閾值參數的確定，算法整體泛化能力和實用性較差，且易受偽邊緣干擾。基于深度學習的輸送帶跑偏狀態分類方法通過卷積神經網絡將輸送帶運行圖像分為左跑偏、右跑偏和無跑偏等基本類別[9]，該方法在數據集制作階段受人為主觀因素影響較大?；谕休仈盗孔R別的判定方法通過識別輸送帶左右兩側區域內的托輥數量判斷跑偏狀態，只能實現定性測量，且算法魯棒性不足?；谀繕朔指畹妮斔蛶^域定位和邊緣分割方法借助目標分割網絡實現輸送帶區域或輸送帶邊緣與視野背景的分離，該方法直接、高效，但目標分割屬于像素級分類，前期數據集制作工作量大。

針對上述方法存在的不足，本文提出一種基于深度學習的輸送帶跑偏狀態智能監測方法。將輸送帶邊緣識別和定位問題看作特定場景下的直線監測問題，提出以目標檢測網絡預測框的對角線特征來表征輸送帶邊緣直線的研究思路，并基于端對端的YOLOv5 目標檢測網絡進行輸送帶跑偏檢測；在得到相應預測框對角頂點坐標的基礎上，通過進一步計算得到輸送帶邊緣直線方程，用于跑偏量的定量計算。

1方法原理

跑偏狀態監測任務的核心是對輸送帶兩側邊緣進行準確定位。以固定式監控為例，由于輸送帶邊緣在相機視野內通常表現為較理想的直線（圖1），所以跑偏狀態監測任務可看作是復雜環境下直線特征的檢測與提取。該任務相較于其他場景下的直線檢測問題存在一定特殊性：① 場景的特殊性。對于固定式監控，相機視野范圍相對固定，不存在復雜多變的背景，但存在料流的影響。② 目標的特殊性。被檢測對象有且只有2 條輸送帶邊緣線，且該2 條邊緣線相比視野內的其他直線較長。因而，現有面向任意場景的通用直線檢測算法，如Hough[15]、直線段檢測（Line Segment Detection，LSD）算法[16]、基于三點的線段檢測器（Tri-Points Based Line Segment Detector，TP?LSD）[17]等并不完全適用。

針對圖1所示的監控場景，本文提出一種利用目標檢測網絡預測框的對角線特征表征輸送帶邊緣直線的策略，原理如圖2所示。

根據跑偏定義，輸送帶的跑偏量應為輸送帶中心線偏離輸送機中心線的距離。因此，在固定監控視野下，假設相機對中安裝，則計算所得數值實為跑偏量的2倍。同時，由于相機在傾斜拍攝下鏡頭的放大倍率非定值，沿相機傾斜方向、視野寬度方向非線性減小，所以依據式（7）、式（8）計算所得跑偏量僅可用于判定跑偏狀態，不適用于跑偏量測量值與真實值間的精確轉換。

跑偏閾值 的具體設定方法可分為以下2 種：

1） 手動篩選數據集中輸送帶跑偏圖像，通過本文方法對跑偏圖像中的輸送帶邊緣進行識別并計算跑偏量，將跑偏量計算結果設置為閾值并用于后續自動檢測。

2） 任選數據集中1 張圖像，使用畫圖工具繪制1 條平行于輸送帶左（右）邊緣的傾斜直線作為輸送帶運行邊界，并量取所繪制邊界與圖像邊界在水平虛擬參考線上的距離（像素），計算得到跑偏閾值。

本文所提的直線檢測策略無需對通用目標檢測網絡中特征提取部分、預測部分進行任何改進，僅需要修改相應的繪圖（預測框）代碼。以YOLOv5 模型為例，僅需對plots.py 文件中的save_one_box 函數按如上策略進行再定義。

2數據集建立

基于中國礦業大學開源數據集CUMT?BELT[21]開展數據標注和驗證工作。篩選了300張圖像用于輸送帶跑偏數據集制作， 將圖像分辨率調整為416×416，使用LabelImg軟件進行標注。標簽類別為2類， 分別是left_edge（左邊緣）和right_edge（右邊緣）。標注過程中，嚴格保證標注框的相應對角線落于輸送帶邊緣，部分樣本數據標注樣式如圖4所示。

將數據集按照8∶1∶1的比例劃分為訓練集、驗證集和測試集，網絡訓練時選擇默認超參數和損失函數，設置總訓練步數（Epoch）為100 ，批尺寸（Batchsize）為8。硬件平臺配置： Windows 10 操作系統，CPU 為i5?12400F， GPU 為RTX3080?10G， Pytorch版本為1.8，Python 版本為3.6.13。

觀察圖4 中輸送帶位置與托輥架形態，可發現相機視野的中心線近似與輸送帶中心線保持對中，但托輥架處于傾斜狀態，這說明CUMT?BELT 數據集在數據采集過程中并未保證相機視野的中心線與輸送機中心線的嚴格對中，相機處于傾斜且偏置的狀態。

3實驗分析

3.1算法檢測精度與速度

為驗證本文所提策略的有效性，使用YOLOv5系列網絡（s，m，l，x）對該策略進行了驗證。YOLOv5系列網絡在數據集上的訓練損失（分類損失、置信度損失與回歸損失之和）和檢測精度（mAP@0.5）迭代情況如圖5 所示?？梢?，YOLOv5 模型在本文數據集上表現出良好的收斂性，其檢測精度隨著訓練的進行逐步逼近1.0。需要強調的是，該檢測精度綜合表征分類精度和定位精度，即網絡對于左邊緣區域和右邊緣區域的檢測結果，檢測精度接近1.0 則表示檢測結果與所標注結果之間的誤差趨近于0，網絡檢測效果良好。

YOLOv5損失函數中，回歸損失CIoU 綜合考量了檢測框與真實框之間的“距離”，即檢測框與真實框間的交并比、檢測框與真實框中心點間的距離、檢測框與真實框最小外接矩形的對角線距離。隨著網絡訓練的進行，損失值下降，意味著檢測框與真實框之間的“距離”越來越小，即檢測框與真實框之間的交并比越來越大，中心點距離越來越小，最小外接矩形的對角線距離越來越小。

對于本文所提固定監控下的輸送帶跑偏狀態監測方法，損失值趨近于0 表示輸送帶左右邊緣檢測框與標注框之間的“距離”趨近于0。在標注過程中嚴格保證標注框的相應對角線落于輸送帶邊緣線上，因而在損失值趨近于0 時，檢測框的相應對角線也會落在輸送帶邊緣線上。

用每秒能夠處理的圖像幀數衡量算法的實時性。在本文所配置的硬件平臺上對網絡的檢測速度進行測試，YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x的檢測速度分別為148，122，93，75 幀/s，說明所提算法實時性極好。

3.2檢測結果可視化

觀察圖4 所示的輸送帶形態可發現，料流邊界在顏色、形態等方面與輸送帶邊緣存在較高相似度，可能對算法的識別精度產生潛在干擾。本文以結合深度學習和經典霍夫變換的算法（Deep HoughTransform，DHT）作為對比，驗證結合直線檢測策略的YOLOv5s 模型的抗干擾能力。

3.2.1輸送帶邊緣識別效果

結合直線檢測策略的YOLOv5s模型對測試集中圖像的檢測效果如圖6 所示。圖示2 條直線分別為輸送帶的左右邊緣，直線上方數字表示兩側邊緣直線的斜率。在相機對中安裝的條件下，可通過比較2 個斜率（絕對值）的大小直接判斷輸送帶傾斜情況。

作為對比，相同工況下DHT 對輸送帶邊緣的檢測效果如圖7 所示?？梢姡珼HT 能有效識別圖像中輸送帶邊緣，但也對支柱的邊緣直線進行了檢測，且DHT 對輸送帶邊緣的識別受到了料流邊界的干擾。而結合直線檢測策略的YOLOv5s 模型有一定的抗視野內其他直線干擾的能力，尤其是樣式十分相似的料流邊界。

3.2.2跑偏量計算與分析

在對輸送帶邊緣進行有效識別的基礎上，進一步提取、利用輸送帶邊緣直線的特征參數是實現跑偏狀態自動判別的基礎。設置圖像高度為416像素，跑偏閾值為20像素，輸送帶跑偏數值計算和狀態判定結果如圖8所示。其中，offtrack 表示輸送帶狀態為跑偏，no_offtrack 表示輸送帶未發生跑偏，后面相應的數字為跑偏量計算數值，藍色數字則為算法檢測到的對角頂點坐標。

結合圖3及跑偏判斷規則，對圖8（a）中的判定結果進行分析。檢測得到輸送帶左邊緣線與圖像底邊的交點（即圖3中L₁點）橫坐標約為78像素，輸送帶右邊緣線與圖像底邊的交點（圖3中R₁點）橫坐標約為372像素，則輸送帶左右邊緣距離相機視野邊緣的距離分別為78 像素和44 像素，二者之間的差值為34 像素，與圖示跑偏計算結果31.261 像素相差不大，二者之間存在差值的原因：① 所繪制輸送帶邊緣線存在線寬；② 圖8（a）中所示坐標并非嚴格的交點坐標；③ 圖示坐標進行了取整顯示。

3.2.3檢測結果分析與優化方案

算法對圖8（b）、圖8（d）的跑偏狀態判定結果為no_offtrack（未跑偏） ，與主觀跑偏狀態判定結果相悖，這是因為CUMT?BELT 數據集中的輸送帶圖像并未保證相機視野的中心線與輸送機中心線的嚴格對中，即相對于跑偏判定參照標準，相機安裝處于傾斜且偏置的狀態。

為提高相機安裝的對中性，保證所提算法的有效可靠，本文提供一種相機對中安裝方案。在相機安裝過程中，可通過在近視野端、遠視野端分別取機架中點驗證的方式確保安裝的對中性， 如圖9 所示。以近端、遠端的機架中心為參考點（圖9（a）中的點1、點2），在相機視野內添加水平和豎直的2 條平分線并實時顯示（圖9（b）），通過手動調整相機角度和位置，使點1 和點2 落在豎直線上，同時使其滿足視野水平條件。調整后的圖像如圖9（c）所示，檢測結果如圖9（d）所示。

圖9（d）中，圖像分辨率為1 557×1170，即圖像高度為1170 像素，設跑偏閾值為80 像素，檢測出的輸送帶左邊緣直線兩端點坐標分別為（666，78） 和（128，825），右邊緣直線兩端點坐標分別為（926，102）和（1 445，988）。依據式（7）和式（8），左右兩邊緣直線與圖像底部交點坐標分別為?120.47 像素和1 552.02像素，跑偏量計算值為125.45 像素，大于設定的跑偏閾值，因此判定結果為跑偏。圖示跑偏量為130.47 像素，計算及判斷結果相對可靠。

本文所提直線檢測策略能有效識別輸送帶兩側邊緣，實現跑偏狀態量化顯示和跑偏狀態判定。相比于傳統的圖像處理方法，本文方法無需經過復雜的邊緣提取、直線擬合等操作，基于改進YOLOv5 模型能夠實現端對端的直線檢測，同時，該方法可有效避免圖像中其他潛在直線（如料流邊界、機架邊界等）對邊緣檢測效果的影響。

3.3特征層可視化

使用梯度加權類激活映射Grad Cam 技術將訓練所得YOLOv5 模型的第23 層（最后一層）特征進行可視化，結果如圖10 所示?？煽闯觯糜谳斔蛶ё笥疫吘墔^域分類的特征相對集中，重心大致分布在所標注的區域內，這能為訓練算法的可靠性及高精度預測提供一定的可解釋性。

4結論

1）將輸送帶跑偏狀態監測問題可看作是復雜環境下的直線特征檢測與提取問題，提出以通用目標檢測網絡預測框的對角線特征來表征輸送帶邊緣直線的策略。

2）結合直線檢測策略和YOLOv5模型完成輸送帶邊緣直線檢測和跑偏狀態判定。YOLOv5 模型在CUMT?BELT 數據集上的檢測精度達99% 以上，檢測速度最快達148 幀/s，實時性好；YOLOv5 模型對料流邊界、支柱等其他直線的抗干擾能力強于DHT 算法。

3）提出了一種利用近端、遠端視野分別取對中驗證的相機對中安裝指導方案，為工程實際中的相機對中安裝提供方案參考。

4）未來將嘗試借鑒CornerNet網絡的思路，直接通過對相應目標的頂點進行檢測，以進一步提高算法的精度和泛化能力，確保預測框的頂點始終與輸送帶邊緣保持較高精度的耦合。