基于MES-YOLOv5s 的綜采工作面大塊煤檢測算法

徐慈強，賈運紅，田原

（1.煤炭科學研究總院，北京 100013；2.中國煤炭科工集團太原研究院有限公司，山西 太原 030032；3.煤礦采掘機械裝備國家工程實驗室，山西 太原 030032）

0 引言

煤炭是我國的主體能源，煤礦智能化建設是我國煤炭工業高質量發展的方向[1-3]。綜采工作面的刮板輸送機在運輸煤流的過程中，大塊煤易造成煤流堵塞，引發堆煤現象，嚴重影響機械設備性能和采煤效率[4-7]。由于綜采工作面低照度、運動模糊和粉塵、水霧等特殊環境條件[8]，且受限于煤礦井下的低算力設備，現有的目標檢測算法往往存在精度低、模型占用的內存大、硬件依賴強等問題。因此，設計精度高、輕量化、移動端易部署的大塊煤目標檢測算法對于綜采工作面安全生產有重要意義。

綜采工作面環境惡劣，存在運動模糊、尺度變化、遮擋等復雜工況。傳統的目標檢測算法存在效率低、準確率較低等問題[9]。隨著計算機視覺技術的發展，基于深度學習的目標檢測技術[10]被應用到煤礦井下目標檢測中。曹現剛等[11]提出了一種跨模態注意力融合的煤炭異物檢測方法，有效提高了復雜特征異物檢測精度，減少了誤檢、漏檢現象。高涵等[12]融合特征增強與Transformer 的方法，實現了煤礦輸送帶異物檢測，有效解決了輸送帶異物目標檢測中細長物體檢測效果差、弱語義特征提取困難的問題。張立亞[13]提出了一種基于生成對抗網絡的帶式輸送機異物檢測方法，采用深度可分離卷積代替原有主干網絡中的卷積操作，大幅降低了模型計算量，提高了異物檢測速度。王科平等[14]以YOLOv4模型為基礎，通過深度可分離卷積替換傳統卷積，在主干網絡中添加殘差自注意力模塊，減少了模型參數量和計算量，實現了檢測模型的工業部署。李江濤等[15]提出了一種基于異物識別模型的輕量化策略，減小了模型大小和運行時占用的內存。

上述研究通過添加注意力機制、更換深度可分離卷積等操作，一定程度上提升了煤礦目標檢測精度，但仍存在以下問題：模型占用的內存過大，導致部署困難；輕量化設計雖提升了模型的檢測速度，但導致精度下降。針對上述問題，本文以YOLOv5s為基礎，通過輕量化MobileNetV3 網絡、高效多尺度注意力（Efficient Multi-Scale Attention，EMA）模塊、SIoU 損失函數對模型進行改進，提出了一種基于MES-YOLOv5s 的綜采工作面大塊煤檢測算法，并通過實驗驗證了該算法的有效性。

1 基礎模型選擇

YOLO 網絡因其在速度和準確性方面的顯著平衡而在目標檢測模型中脫穎而出。YOLO 系列中常用的網絡有YOLOv5，YOLOv7，YOLOv8。YOLO 系列網絡性能對比如圖1 所示，n，s，m，l，x 表示YOLO的不同變體，E為3 種模型在COCO 數據集上的檢測精度（閾值范圍為0.50～0.95），m為模型占用的內存，t為CPU 檢測時間。可看出，YOLOv8 網絡模型整體性能優于其他網絡模型，但檢測速度較慢；YOLOv7 網絡模型精度較高，但檢測速度慢，且模型占用的內存大，難以部署；YOLOv5 網絡模型精度較低，但具有參數量少、易訓練、推理速度快和部署簡單等特點；YOLOv5s 性能優于YOLOv8n，且檢測時間和占用的內存與YOLOv8n 差距較小。綜合性能和實際工況考慮，本文選擇YOLOv5s 作為基礎模型。

圖1 YOLO 系列網絡模型性能對比Fig.1 Performance comparison of YOLO series network models

YOLOv5s 網絡模型[16]主要包括輸入層、主干網絡、頸部網絡、檢測頭4 個部分。輸入層包含數據增強方法，對隨機4 張圖像進行任意縮放和拼接，以擴張數據集并提高訓練效率。主干網絡是由卷積（Conv）模塊、C3 模塊和快速空間金字塔池化（Spatial Pyramid Pooling-Fast，SPPF）模塊組成。Conv 模塊用于提取物體特征，C3 模塊對特征信息進行殘差連接，SPPF 模塊融合不同尺度的特征信息。頸部網絡由特征金字塔網絡（Feature Pyramid Network，FPN）和路徑聚合網絡（Path Aggregation Network，PAN）[17]組成，用于提高多尺度檢測精度。檢測頭輸出預測結果，生成預測類別。

2 MES-YOLOv5s 網絡模型

在煤礦井下，煤機裝備等移動端設備搭載的硬件算力低，而目標檢測任務實時性要求高。針對該問題，本文設計了MES-YOLOV5s 網絡模型，其結構如圖2 所示。

圖2 MES-YOLOV5s 網絡模型結構Fig.2 MES-YOLOV5s network model structure

2.1 主干網絡改進

YOLOv5s 的主干網絡由卷積模塊和C3 模塊堆疊組成，該結構能夠較好地提取物體特征信息，但參數量大、計算量大、推理時間長，難以部署到移動端等算力較低的設備上。因此，本文使用MobileNetV3替代主干網絡。

MobileNetV3 的核心模塊是bneck，該模塊主要包含可分離卷積、壓縮和激勵（Squeeze-and-Excitation,SE）通道注意力機制和shortcut 連接，如圖3 所示[17-18]。特征圖首先經過1×1 卷積升維，再通過3×3 深度可分離卷積，保持通道數不變。SE 通道注意力機制為每一個通道賦予權重。設輸入特征圖維度為C×H×W（通道數×高×寬），經過全局平均池化得到C×1×1 的張量，該張量包含每個通道的權重。將通道權重與對應通道的輸入特征相乘，再通過1×1 卷積降維，得到深層信息。最后通過shortcut 將淺層特征信息傳遞到深層，實現特征復用。

圖3 bneck 模塊結構Fig.3 Structure of bneck module

2.2 EMA 模塊

由于大塊煤檢測任務目標遮擋嚴重，密集分布且MobileNetV3 網絡縮減了大量模型參數，導致YOLOv5s模型精度下降。因此，本文在頸部網絡引入EMA 模塊[19]，保留各通道信息并進一步減少計算開銷。

EMA 模塊結構如圖4 所示[19]。在空間維度上，對于輸入維度為C×H×W的特征圖，按通道將其分為G組，每組的維度為(C/G)×H×W。通過一維水平全局池化XAvg Pool、一維垂直全局池化YAvg Pool、3×3 卷積3 個并行分支進行處理。前2 個分支輸出的特征經過Sigmoid 激活函數激活，最后通過Concat 將2 個通道注意力特征聚合。3×3 卷積操作用于提取特征圖的特征。跨空間學習方法利用二維全局平均池化將全局空間信息編碼并通過1×1 分支輸出，建立信息短期和長期依賴關系。最后輸出維度為C×H×W的特征圖。

圖4 EMA 模塊結構Fig.4 Structure of efficient multi-scale attention（EMA）module

2.3 SIoU 損失函數

YOLOv5s 模型的損失函數為CIoU[20]，該函數依賴于預測框與真實框的距離、重疊區域和縱橫比，未考慮到預測框與真實框的方向匹配問題，在模型訓練過程中，預測框的方向會產生振蕩。因此，本文采用SIoU[21]損失函數，該函數考慮到所需回歸之間的向量角度，重新定義了懲罰指標，提高了訓練速度和推理準確性。

SIoU 損失函數中添加了角度損失，當預測框與真實框水平方向夾角 α≤π/4時，收斂過程首先最小化 α；當預測框與真實框垂直方向夾角 β≤π/4時，收斂過程首先最小化 β。

3 實驗及結果分析

3.1 數據采集及預處理

實驗使用文獻[22]提供的長壁綜采工作面數據集，將大塊煤數據集按照8∶1∶1 的比例劃分，共包含16 813 張訓練圖像、2 101 張驗證圖像、2 101 張測試圖像。長壁綜采工作面數據集處理流程如圖5 所示，包含數據采集、數據過濾和數據標注。首先將采集到井下原始監控視頻數據通過FFmpeg 軟件切成幀圖像，通過數據過濾操作篩出不完整、難識別、運動模糊、遠距離的圖像，最后使用LabelImg 軟件完成數據標注。

圖5 長壁綜采工作面數據集處理流程Fig.5 The processing process of the dataset of the longwall fully mechanized working face

3.2 實驗配置及評價指標

硬件配置：操作系統為ubuntu20.04，cuda 版本為11.3，CPU 型號為Intel（R）Xeon（R）Platinum 8369B CPU @2.90 GHz，GPU 型號為NVIDIA A10。

軟件及訓練參數：輸入圖像分辨率為1 920×1 080，迭代次數為300，初始學習率為0.01，batchsize 為32，選用SGD 優化器，學習率動量為0.937；python 版本為3.9，pytorch 框架版本為1.12，OpenCV版本為4.5.1。

使用召回率、平均精度均值（mean Average Precision，mAP）作為模型的評價指標。

式中：P為精確度；TP 為預測類別與真實類別都為真的目標數目；FP 為預測類別為真、真實類別為假的目標數目；R為召回率；FN 為預測類別為假、真實類別為真的目標數目；AP 為平均精確度；n為檢測框數目；L為類別數，當L=1 時，mAP 與AP 相等。

3.3 消融實驗

為驗證各模塊的效果，以相同的實驗配置進行消融實驗，結果見表1。可看出采用MobileNetV3替代主干網絡后，模型的mAP 降低了4.2%，內存減少了43 MiB，檢測時間減少了39.7 ms；在頸部網絡添加EMA 模塊后，模型的mAP 增加了2.2%，內存增加了0.6 MiB，檢測時間增加了7.2 ms；在檢測頭部使用更為高效的SIoU 損失函數后，模型的mAP 增加了0.6%，內存保持不變，檢測時間減少了3.6 ms；同時添加3 項改進策略后，模型的mAP 達84.6%，占用內存為11.2 MiB，檢測時間為31.8 ms。

表1 消融實驗結果Table 1 Ablation test results

消融實驗結果表明：MobileNetV3 大幅減少了模型占用的內存和檢測時間，但mAP 損失嚴重；EMA 模塊和SIoU 損失函數可在一定程度上恢復損失的精度，同時保證模型在CPU 上具有較高的檢測速度，滿足煤礦井下目標實時檢測需求。

3.4 對比實驗

為進一步驗證MES-YOLOv5s 的性能，在CPU測試環境下，將其與DETR[22]，YOLOv5n，YOLOv5s，YOLOv7 進行對比。DETR 是基于Transformer 的目標檢測框架，使用 Transformer 編碼器-解碼器架構來同時預測所有對象，比傳統的目標檢測器更簡單、更高效。實驗結果見表2。可看出MES-YOLOv5s模型的mAP 達84.6%，較DETR，YOLOv5n 分別增加了3.3%，0.7%，較YOLOv5s，YOLOv7 模型分別減少了0.5%，1.9%；模型占用的內存為11.2 MiB，較DETR，YOLOv5n，YOLOv5s，YOLOv7 模型分別減少了137.8，2.8，42.9，273.4 MiB；檢測時間為31.8 ms，較DETR，YOLOv5n，YOLOv5s，YOLOv7 模型分別減少了464.4，0.1，36.7，289.0 ms。

表2 對比實驗結果Table 2 Comparative experimental results

對比實驗結果表明，MES-YOLOv5s 模型的精度較高，內存小，CPU 檢測速度快，綜合性能優于其他模型，更適合部署于低算力設備。

在測試集上采用各模型進行實驗，部分結果如圖6 所示。第1 組實驗在高速運動、多尺度的工況下進行，DETR，YOLOv5n，MES-YOLOv5s 模型對于小尺度目標的mAP 小于50%，YOLOv5s，YOLOv7模型的mAP 大于50%。第2 組實驗在遮擋、多目標的工況下進行，DETR 和YOLOv5n 模型出現誤檢情況，YOLOv5s，YOLOv7，MES-YOLOv5s 模型的召回率為100%，且mAP 大于85%。第3 組實驗在靜止的工況下進行，DETR 模型的精確度為57%，其他模型的召回率為100%，mAP 大于85%。第4 組實驗在高速運動、多尺度、遮擋的工況下進行，DETR 模型的精確度為85%，其他模型的召回率為100%，YOLOv7和MES-YOLOv5s 模型的mAP 大于60%。

圖6 不同模型部分檢測結果Fig.6 Partial detection results of different models

MES-YOLOv5s 模型綜合性能表現最好，在高速運動、多尺度、遮擋和多目標的工況環境下能夠保持較高的召回率和精度。

4 結論

1）采用MobileNetV3 網絡替換YOLOv5s 的主干網絡，以適應模型在移動端的部署，模型占用的內存減少了43 MiB，CPU 端檢測時間減少了39.7 ms。在頸部網絡添加EMA 模塊，以保留各通道信息并進一步減少計算開銷，mAP 增加了2.2%，模型占用的內存增加了0.6 MiB，檢測時間增加了7.2 ms。在檢測頭部更換SIoU 損失函數，以提高模型的訓練速度和推理的準確性，mAP 增加了0.6%，模型占用的內存保持不變，檢測時間增加了3.6 ms。

2）與DETR，YOLOv5n，YOLOv5s，YOLOv7 模型進行對比，MES-YOLOv5s 模型綜合性能最好，mAP為84.6%，模型占用的內存為11.2 MiB，在CPU 端的檢測時間為31.8 ms，在高速運動、多尺度、遮擋和多目標的工況環境下能夠保持較高的召回率和精度。