煤礦帶式輸送機異物檢測

杜京義， 陳瑞， 郝樂， 史志芒

(1.西安科技大學 電氣與控制工程學院，陜西 西安 710054;2.西安科技大學 安全科學與工程學院，陜西 西安 710054)

0 引言

由于煤炭開采環境復雜，運輸過程中煤礦輸送帶容易發生撕裂、轉接處堵塞等安全事故[1-3]，主要原因是異物(錨桿、編織物、木塊和鐵絲網)進入。因此對煤礦輸送帶上異物進行實時檢測，及時發現并處理，可最大程度減少異物對帶式輸送機造成的損害，不僅有利于煤礦安全生產，而且對提高生產效率具有重要意義。

傳統的煤礦帶式輸送機異物檢測方式主要包括人工檢測、雷達檢測、金屬探測器等[4-5]。人工檢測效率低，安全隱患大；雷達檢測成本高，維護難；金屬探測器部署困難，檢測類別較少。隨著圖像識別技術的發展，基于深度學習的目標檢測算法應用廣泛。基于深度學習的目標檢測算法根據模型結構可分成以Faster-RCNN(Faster Region-based Convolutional Neural Networks)為代表的雙階段目標檢測算法和以YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)為代表的單階段目標檢測算法[6-8]。呂志強[9]提出了基于Faster-RCNN的輸送帶異物識別方法，引入置信度懲罰函數篩選最佳候選框，獲得較高的檢測精度。Wang Yuanbin等[10]基于改進SSD設計了煤礦輸送帶異物檢測方法，通過替換損失函數及優化默認錨框比例等提高了檢測精度。胡璟皓等[11]在YOLOv3模型基礎上，采用Focal Loss函數替換交叉熵損失函數，并調節最佳超參數來解決輸送帶異物檢測的樣本不平衡問題，提高了模型檢測性能。然而，基于深度學習的目標檢測模型參數量大[12]，在計算資源有限的設備上運行速度慢[13]，無法實現異物的實時檢測，且單純依靠硬件的提升不足以帶來檢測性能的顯著改善，根據目標特點設計模型才能更好地提升檢測效果。因此，本文在YOLOv3模型的基礎上，利用深度可分離卷積和復合殘差塊設計DarkNet22-DS網絡作為主干特征提取網絡，引入加權雙向特征金字塔網絡(Weighted Bi-directional Feature Pyramid Networks，BiFPN)改進特征融合網絡，采用完全交并比(Complete Intersection over Union，CIoU)作為目標框回歸損失函數，提出了一種改進YOLOv3模型，并將其應用于煤礦帶式輸送機異物檢測，在滿足檢測精度要求的同時獲得了較高的檢測速度。

1 異物檢測原理

煤礦帶式輸送機異物檢測原理如圖1所示。具體步驟：① 在井下輸送帶轉接處安裝攝像頭及光源，采集監控視頻。② 對異物進行統計分類，構建異物數據集，并利用數據增強操作對數據集進行擴充。③ 對改進YOLOv3模型進行訓練，存儲訓練誤差最低的權重文件。④ 輸入實時視頻，讀取改進YOLOv3模型進行圖像檢測，得到異物的類別和位置信息，存儲異物信息并上傳數據庫。

圖1 煤礦帶式輸送機異物檢測原理

2 改進YOLOv3模型

2.1 主干特征提取網絡改進

YOLOv3模型的主干特征提取網絡采用DarkNet-53[14]，由于該網絡具有大量參數，使得模型檢測速度較慢。為滿足異物檢測速度要求，本文在DarkNet-53的基礎上提出一種輕量化主干特征提取網絡DarkNet22-DS，其結構如圖2所示。DarkNet22-DS中5個復合殘差塊用于傳遞不同層次的特征信息。復合殘差塊通過1×1標準卷積進行通道調整，并將輸出特征劃分成兩部分，一部分進入殘差連接1，另一部分進入殘差連接2，通過這種雙路殘差進行特征信息融合，不僅能增加網絡深度，提高特征利用效率，還能加快模型訓練速度。

圖2 DarkNet22-DS結構

深度可分離卷積將標準卷積分解成深度卷積和逐點卷積[15]。深度卷積對每個輸入通道進行篩選，之后逐點卷積通過1×1卷積進行通道調整，這種分解方式可大大減少網絡計算量。標準卷積、深度卷積和逐點卷積結構如圖3所示。假設輸入的特征圖尺度為DI×DI×M(DI為特征圖的高度和寬度，M為輸入通道數)，標準卷積的參數量為DKDKMN(DK為卷積核的高度和寬度，N為輸出通道數)，則標準卷積的計算量為DIDIMNDKDK。

(a)標準卷積

深度可分離卷積先用DK×DK×1的深度卷積給輸入通道提供單個濾波器，再用1×1×N的逐點卷積來調整輸出通道數，其計算量為DIDIMDKDK+DIDIMN。

深度可分離卷積和標準卷積的計算量之比為

(1)

隨著DK的增加，深度可分離卷積計算量相比標準卷積計算量減少程度逐漸增大；但當DK=1時，由于深度可分離卷積采用分步卷積方式，使得其計算量相對于標準卷積反而有所增加。因此DarkNet22-DS利用深度可分離卷積替換3×3標準卷積，減少模型參數量，但保留第1層3×3標準卷積用于對輸入圖像進行下采樣操作，確保特征輸入的完整性。

2.2 特征融合網絡改進

YOLOv3模型中特征融合網絡采用特征金字塔網絡(Feature Pyramid Networks，FPN)[16]。FPN結構如圖4(a)所示，自上而下對不同級別特征(P3—P6)進行相加融合。然而，在實際檢測過程中不同尺度的特征信息對于最終預測結果的貢獻具有差異性，這種差異性通常會對輸出特征產生不同的影響。為更好地利用不同尺度的特征信息，引入BiFPN改進特征融合網絡，利用輸入特征的不同權重信息進行高效的多尺度特征融合。BiFPN結構如圖4(b)所示，其集成了雙向交叉尺度連接和快速歸一化融合[17]。

(a)FPN

BiFPN融合多尺度特征可表示為

(2)

(3)

由于對帶式輸送機造成高威脅的異物多為木塊、錨桿等大塊物體，為增加大塊異物的特征提取效率，在輸入圖像尺寸為416×416的前提下，將YOLOv3模型中52×52，26×26，13×13的三尺度預測輸出改進為26×26，13×13的雙尺度預測輸出，在充分利用多尺度特征信息的同時減少模型計算量，進一步提高檢測速度。改進的特征融合網絡結構如圖5所示。

圖5 改進的特征融合網絡結構

2.3 損失函數改進

YOLOv3模型中使用交叉熵作為置信度和分類的損失函數、均方誤差(Mean Squared Error，MSE)為目標框回歸的損失函數。然而，煤礦帶式輸送機中的異物尺度存在很大差異，MSE損失函數沒有考慮到目標框信息間的相關性，容易導致定位不準確，并且在訓練剛開始階段會出現梯度消失現象，導致模型訓練速率十分緩慢。為使模型在訓練過程中具有更好的收斂性、實現更高效的檢測，采用CIoU作為目標框回歸的損失函數，從而建立更有針對性的目標框回歸過程。

CIoU損失函數充分利用了目標框中心點和寬高的關聯信息，從而提高目標框回歸的穩定性。CIoU計算過程如下[18]：

(4)

(5)

(6)

(7)

式中：LIoU為預測框和真實框之間的交并比損失函數；B，Bgt分別為預測框和真實框的面積；LCIoU為CIoU損失函數；ρ(b，bgt)為預測框中心點b和真實框中心點bgt之間的歐氏距離；C為同時包含預測框和真實框的閉合矩形對角線距離；α為平衡尺度權重參數；v為衡量預測框和真實框的長寬比相似性參數；wgt，hgt分別為真實框的寬和高；w，h分別為預測框的寬和高。

改進YOLOv3模型的損失函數Lloss為

Lloss=LCIoU+Lcls+Lobj

(8)

(9)

(10)

3 實驗與結果分析

模型訓練平臺環境為Windows10，CPU為Intel(R)Core(TM)i7-10875H CPU@2.30 GHz，內存為16 GB，GPU為NVIDIA GeForce GTX2060，編程框架為Tensorflow開源框架；模型部署平臺為NVIDIA Jetson Xavier NX，核心功率設置為15 W。

3.1 數據集

樣本數據采集自河南某煤礦井下輸送帶轉接處監控視頻。實驗中設置錨桿、編織物、木塊及鐵絲網的標簽分別為anchor，woven，wood，wire，再依照VOC2007數據集格式，通過LabelImg軟件對800張圖像進行標注。為增加數據樣本的多樣性，提高模型泛化能力，將圖像擴充至1 800張，其中包含錨桿、編織物、木塊及鐵絲網的圖像數量分別為443，439，427，391張，環境圖像為100張，并隨機取1 620張圖像作為訓練樣本，180張圖像作為測試樣本。

3.2 錨框聚類

為使改進YOLOv3模型在數據集中有更好的訓練效果，通過k均值聚類算法[19]對數據集中真實框的寬高參數進行重新聚類，并根據模型的不同尺度類別計算對應的聚類中心，從而獲得初始錨框的寬高參數。由于改進YOLOv3模型將預測尺度改為13×13和26×26，所以設置聚類數為6，錨框聚類如圖6所示。

圖6 錨框聚類

根據錨框聚類結果可得2種特征圖尺度下的初始錨框尺度，見表1。

表1 初始錨框尺度

3.3 模型訓練

在VOC2007數據集上對改進YOLOv3模型進行訓練，得到預訓練權重文件，用于加快后續模型訓練效率。參數設置：輸入圖像大小為416×416；最大訓練次數為300；批尺寸為16；初始學習率為0.001，經過50輪迭代訓練后，將學習率降至0.000 1，再進行250輪迭代訓練。

模型的損失函數曲線如圖7所示。可看出隨著訓練次數增加，YOLOv3模型的損失值穩定在0.48，改進YOLOv3模型的損失值穩定在0.41，且改進YOLOv3模型在前50次訓練中收斂速度明顯優于YOLOv3模型，表明改進YOLOv3模型取得了更好的訓練效果。

圖7 損失函數曲線

3.4 檢測結果

為驗證本文改進YOLOv3模型的檢測效果，在YOLOv3模型基礎上進行不同改進來做對比實驗，結果見表2(mAP為平均精度均值，FPS為每秒傳輸幀數)。可看出YOLOv3模型的權重文件大小為235 MB，mAP為90.1%，FPS為1.9幀/s；改進模型1使用DarkNet22-DS作為主干特征提取網絡，其權重文件大小降低為71.8 MB，FPS達25.2幀/s，而mAP相較于YOLOv3模型僅降低了1.9%，表明DarkNet22-DS能夠大幅提高模型檢測速度；改進模型2引入BiFPN改進特征融合網絡，將權重文件大小降低至189 MB，而mAP相較于YOLOv3模型提高了0.6%，表明利用不同特征的權重信息有利于提高模型檢測精度；改進模型3使用DarkNet22-DS作為主干特征提取網絡并采用CIoU為目標框回歸損失函數，其權重文件大小為71.8 MB，mAP為89.4%，FPS為25.1幀/s，相較于改進模型1，mAP提高了1.2%，表明CIoU作為目標框回歸損失函數可改善模型檢測精度；改進模型4引入BiFPN改進特征融合網絡并采用CIoU為目標框回歸損失函數，其權重文件大小為189 MB，mAP為92.1%，FPS為5.6幀/s，相較于YOLOv3模型均有提升，表明改進特征融合網絡和使用CIoU損失函數可提高模型檢測精度及速度；改進模型5替換主干特征提取網絡并改進特征融合網絡，其權重文件大小為20.2 MB，mAP為89%，FPS為30.7幀/s，相較于YOLOv3模型，替換主干特征提取網絡和特征融合網絡可大幅減少模型參數，提高檢測速度，但檢測精度略有降低；本文改進YOLOv3模型的權重文件大小為20.2 MB，mAP為90.4%，FPS為30.7幀/s，相較于YOLOv3模型，權重文件大小降低了91.4%，mAP提高了0.3%，FPS提高了約16倍，表明本文改進YOLOv3模型能夠在保證檢測精度的同時大幅減少模型參數，從而提高檢測速度。

表2 不同改進YOLOv3模型檢測結果對比

煤礦帶式輸送機異物檢測結果如圖8所示。可看出本文改進YOLOv3模型能快速檢測出各類異物，且檢測精度相較于YOLOv3模型略有提升。

(a)YOLOv3模型檢測結果

改進YOLOv3模型與常見目標檢測模型檢測結果見表3。可看出Faster RCNN和SSD由于網絡參數量大、結構復雜，FPS均小于1幀/s，難以在計算資源有限的設備上部署應用；改進YOLOv3模型的檢測精度相較于Faster RCNN略低，但檢測速度是Faster RCNN和SSD的30多倍，保證了較好的實時性。

表3 不同目標檢測模型檢測結果對比

4 結語

針對現有基于深度學習的帶式輸送機異物檢測方法存在檢測速度慢的問題，提出了一種可用于煤礦帶式輸送機異物檢測的改進YOLOv3模型。改進YOLOv3模型以輕量化網絡DarkNet22-DS作為主干特征提取網絡，解決了模型參數量大的問題；引入BiFPN改進特征融合網絡，提高了模型對于不同尺度特征的利用效率；采用CIoU作為目標框回歸的損失函數，有效提升了模型檢測精度。實驗結果表明，改進YOLOv3模型能在保證檢測精度的同時，大幅提升檢測速度，滿足煤礦帶式輸送機異物檢測需求。