基于改進YOLOv7 的礦用電鏟檢測算法

宋立業， 趙小萱， 崔昊

（遼寧工程技術大學 電氣與控制工程學院，遼寧 葫蘆島 125105）

0 引言

人工收放電纜是礦山作業背景下的常規電纜卷放方式，其缺點是易導致電鏟施工效率降低，且當工作人員操作不及時會產生安全隱患[1]。跟隨電鏟移動的新型電纜卷放車能夠有效降低由于電鏟行走作業碾壓所引起的電纜拖拽損壞和接頭老化的現象[2-3]，大大提高了電鏟使用安全性。為達到電纜卷放車依據電鏟移動情況合理收放電纜的目的，需對電鏟進行實時檢測。

傳統電鏟檢測方法是遙控電纜人員利用人眼觀察前方電鏟姿態，遙控電纜人員需與電鏟司機協同作業，消耗大量時間，難以滿足對電鏟實時、準確檢測的需求。目前，基于深度學習的目標檢測網絡得到廣泛應用[4-6]。文獻[7]利用SqueezeNet 卷積神經網絡對車輛顏色進行識別，模型運算速度得到明顯提升，但由于模型參數過少，導致其對于復雜問題的表達能力較弱。文獻[8-10]利用MobileNetV3 作為模型主干網絡，雖然運算量顯著減少，但提取特征不明顯，檢測精度低。文獻[11-13]使用高效的輕量化ShuffleNetV2 作為主干網絡，通過在分組卷積中重新排列組間通道信息增加組間關聯度，但密集卷積需要更多的計算資源，造成檢測效率降低。文獻[14]采用RFB-Bottleneck 架構改進頸部網絡，并引入GhostConv 替換普通卷積，雖然模型大小在一定程度上有所改善，但檢測速度明顯下降。

上述算法未能很好地平衡檢測速度與檢測精度之間的關系，難以滿足對礦用電鏟實時、準確檢測的需要。因此，本文在YOLOv7 模型的基礎上進行改進，提出一種改進YOLOv7 模型，用于礦用電鏟檢測。在主干網絡中利用GhostNet 網絡對輸入圖像進行特征提取，在頸部網絡中利用輕量級GSConv 代替部分普通卷積，實現模型輕量化，提升檢測速度；考慮到輕量化改進后模型參數量減少對特征信息提取能力的影響，在擴展高效層聚合網絡（Extended Efficient Layer Aggregation Network，ELAN）中添加坐標注意力機制（Coordinate Attention Mechanism，CA），并利用雙向特征金字塔網絡（Bidirectional Feature Pyramid Network，BiFPN）改進路徑聚合網絡（Path Aggregation Network，PANet），改善模型對目標特征信息表達能力較弱的問題，提高檢測精度。

1 YOLOv7 模型

YOLOv7 模型利用輸入網絡、主干網絡、頸部網絡和頭部網絡的相互作用實現檢測效率和檢測精度之間的平衡[15]。輸入網絡是整個模型的預處理階段，采用Mosaic 和Mixup 圖像增強技術擴充數據集，再通過Resize 方法將輸入圖像統一為640×640 大小，滿足主干網絡對輸入圖像大小的要求。主干網絡和頸部網絡采用CBS 模塊（由卷積Conv、批處理歸一化BN 和SiLU 激活函數組成）、SPPCSPC 模塊（空間金字塔池化結構SPP 和跨階段局部網絡CSPNet 相結合）、ELAN 模塊（多個CBS 模塊進行多分支堆疊）和MP 模塊（最大池化層MaxPool 和CBS 模塊相結合）進行特征提取，并利用PANet 擴張與壓縮圖像大小進行多尺度特征融合，增強網絡學習能力，以獲取有效特征層。頭部網絡是模型的檢測部分，采用重參數化（Rep）結構來調整頭部網絡輸出特征圖像的通道數量，并利用1×1 卷積進行檢測。

2 改進YOLOv7 模型

改進YOLOv7 模型網絡結構如圖1 所示，其中紅色方框和紅色箭頭表示改進部分，nclass為類別數量。主干網絡采用GhostNet 輕量化網絡對輸入進行初步特征信息提取。在頸部網絡中，將YOLOv7 模型中利用不同大小池化核進行并行最大池化處理的SPPCSPC 模塊替換為利用相同大小池化核進行串行最大池化處理的SPPFCSPC 模塊，可在保持感受野不變的情況下提升速度；在此基礎上引入GSConv 替換SPPFCSPC 模塊中卷積核大小為3 的普通卷積，組成SPPFCSPC-G 模塊，同時使用GSConv 替代不改變特征圖大小只改變特征圖通道數量的普通卷積，進一步降低模型參數量、計算復雜度，以達到實時檢測效果；采用嵌入CA 并融合GSConv 的ELAN-GC模塊替換YOLOv7 模型中的ELAN 模塊，使網絡更加關注有用的特征信息；將YOLOv7 模型MP 模塊中卷積核大小為3 的卷積修改為GSConv 組成的MP-G模塊；利用BiFPN 對PANet 進行改進，提高目標檢測能力，解決輕量化網絡造成模型檢測精度下降的問題。

圖1 改進YOLOv7 模型網絡結構Fig. 1 Network structure of improved YOLOv7 model

2.1 GhostNet 網絡

YOLOv7 主干網絡中采用大量卷積進行特征提取，導致計算復雜度增加，影響模型檢測速度。GhostNet 網絡是典型的輕量級卷積神經網絡，利用“減半”卷積操作來保留通道間交互信息[16]，相比普通卷積浮點運算量大幅度減少，且與具有相同計算量的MobileNetV3 相比檢測精度更高。該網絡由多個Ghost Bottleneck 瓶頸結構堆疊而成，其中每個瓶頸結構由Ghost Module 組成。Ghost Module 結構如圖2 所示。首先，通過普通的1×1 卷積來整合特征，以生成輸入特征層的特征濃縮；然后，利用深度可分離卷積來提取與特征濃縮相似的特征圖；最后，將這些相似的特征圖和原始的特征濃縮進行整合，生成有效特征圖。

圖2 Ghost Module 結構Fig. 2 Ghost Module structure

Ghost Bottleneck 瓶頸結構有2 種形式，如圖3 所示。當設置Ghost Bottleneck 的步長為1 時，直接利用2 個Ghost Module 增加網絡深度；當設置Ghost Bottleneck 的步長為2 時，在2 個Ghost Module 間增加1 個步長為2 的深度可分離卷積（DWConv），用于壓縮特征層的寬和高，同時為滿足對輸出通道數的要求，在殘差連接中加入步長為2 的深度可分離卷積和步長為1 的普通卷積。這2 種形式均結合了卷積運算和線性運算，其中線性運算處理可去除冗余的特征層，減少部分卷積操作帶來的計算量，進而提高模型對電鏟檢測的速度。

圖3 Ghost Bottleneck 結構Fig. 3 Ghost Bottleneck structure

2.2 GSConv 模塊

深度可分離卷積有助于減少模型參數量，提升檢測速度，但缺點是采用逐通道卷積獨立計算會丟失大量通道信息，導致其特征提取能力比普通卷積低，檢測精度達不到要求。輕量級GSConv 模塊將深度可分離卷積和普通卷積結合，能夠在保證檢測精度穩定的同時降低模型復雜度[17]。

GSConv 模塊結構如圖4 所示。首先，對輸入特征圖進行卷積核大小為1、步長為1 的卷積，使通道數由輸入通道數C1變為最終輸出通道數C2的一半；然后，對特征圖進行卷積核大小為5、步長為1 的深度可分離卷積，保持輸出通道數仍為最終輸出通道數C2的一半；最后，將獲得的特征圖整合并進行通道重排，得到最終輸出通道數為C2的特征圖。

圖4 GSConv 模塊結構Fig. 4 GSConv module structure

在不同位置引入GSConv 模塊會對最終檢測結果產生不同影響。若在主干網絡中引入該卷積會加深網絡層數，從而加劇對空間信息流的阻力，影響模型檢測精度和速度。因此本文在頸部網絡中利用GSConv 代替普通卷積。

2.3 CA 模塊

加入GhostNet 網絡和GSConv 模塊進行輕量化改進后減少了計算量和參數量，但對特征信息的提取能力也隨之下降。為提高目標檢測網絡的特征提取能力，將注意力機制模塊嵌入到卷積神經網絡中，以收集訓練過程中的重要特征信息。常用的可即插即用的輕量級注意力機制模塊有通道注意力機制模塊（Squeeze-and-Excitation，SE）[18]和卷積塊注意力機制模塊（Convolutional Block Attention Module，CBAM）[19]。但SE 模塊只考慮了通道維度上的注意力，無法捕捉空間維度上的注意力；CBAM 模塊雖然可從空間和通道2 個方面上對圖像進行關注，但需要更多計算資源，計算復雜度更高。

CA 模塊可兼顧通道信息及長距離空間位置信息，且能在避免大量計算開銷的前提下進行特征提取[20]。CA 模塊結構如圖5 所示。在水平方向和垂直方向上進行平均池化，對2 個方向上獲得的信息進行合并、卷積、歸一化、非線性處理等操作，重新獲取空間特征信息，最后利用重新分配權重的方式將空間信息在通道上進行特征整合。CA 模塊不僅擁有對通道上特征信息的關注度，而且添加了對水平方向和垂直方向2 個維度空間位置上特征信息的關注度，有助于網絡著重關注電鏟及周圍障礙物區域，對不必要的背景信息不做關注。

圖5 CA 模塊結構Fig. 5 Coordinate attention mechanism module structure

本文將輕量級GSConv 模塊與CA 模塊進行融合，改進頸部網絡中的ELAN 模塊（圖6（a））。改進方案1：在2 個GSConv 模塊中間直接引入CA 模塊，如圖6（b）所示，通過增加網絡深度提高檢測精度。改進方案2：將CA 模塊嵌入在2 個相鄰的3×3 GSConv 模塊中間，如圖6（c）所示，并保留原始短連接部分，通過增加權重提高檢測精度。

圖6 ELAN 模塊改進前后結構Fig. 6 Structure of extended efficient layer aggregation network module before and after improvement

通過實驗可得2 種方案下檢測精度均有提升，且提升效果相差不大，但在檢測速度上有明顯區別。方案1 直接加入CA 模塊，增加了卷積數量，導致網絡層次加深，影響檢測速度。方案2 保持原有短連接部分的同時將CA 模塊嵌入2 個相鄰的3×3 GSConv 模塊中間，相當于在GSConv 模塊上利用增加權重的方式提升特征提取精度，在不增加額外層次結構的前提下保證了檢測精度且提升了檢測速度。因此本文采用方案2 來改進ELAN 模塊，可使模型在參數量更少的情況下兼顧保留豐富的語義信息和位置感知信息。

2.4 BiFPN

卷積網絡隨著層數的疊加可獲取更豐富的語義信息，但特征圖分辨率降低會造成部分位置信息丟失，這對目標檢測的定位任務十分不利。BiFPN 可達到充分融合不同分辨率特征圖的目的[21]，其使用跳躍連接來實現輕量化，通過為網絡增加權重的方式來學習更加關鍵的特征信息。考慮到煤礦現場可能會出現多種障礙物對電纜卷放車跟隨電鏟移動收放電纜造成影響，需對多目標障礙物進行精準識別。因此，利用BiFPN 改進YOLOv7 模型中的PANet，將主干網絡原始特征信息直接引入到頸部網絡的PANet 中，進而有效提升檢測精度。改進PANet 結構如圖7 所示，其中P3_in，P4_in，P5_in 為主干網絡進行初步特征提取獲得的有效特征信息；P4 為融合P5_in 上采樣信息和P4_in 本身有效信息獲得的中間特征信息；P3_out，P4_out，P5_out 為輸出特征信息，傳入頭部網絡進行目標檢測。

圖7 改進PANet 結構Fig. 7 Improved path aggregation network structure

改進PANet 的融合路徑：利用上采樣獲得中間信息，對P5_in 上采樣后與P4_in 堆疊得到P4，再對P4 上采樣后與P3_in 堆疊得到P3_out；利用下采樣獲得輸出信息，對P3_out 下采樣后融合P4 和P4_in 本身輸入信息得到P4_out，再對P4_out 下采樣后與P5_in 堆疊得到P5_out。最終得到P3_out，P4_out，P5_out 作為輸出特征層。

3 實驗結果與分析

3.1 實驗平臺

實驗選用Ubuntu18.04 操作系統，環境配置為Python3.7+PyTorch1.7.1+CUDA10.1。 硬件配置為Intel Xeon Gold 6230 CPU@2.10 GHz×80 處理器、內存256 GiB DDR4 及4 塊顯存8 GiB 的NVIDIA RTX2080Ti GDDR6 顯卡。

3.2 數據集建立

實驗所用數據集通過人為現場拍攝采集，以電纜卷放車的視角采集電鏟、人、安全帽、運輸車輛、操作工具、油箱及滅火器7 類數據集，共500 張圖像。為進一步增加數據集的豐富性，提高魯棒性，對原始圖像進行水平翻轉、改變亮度、Mosaic、Mixup 及自校準照明（Self-Calibrated Illumination，SCI）[22]等數據增強處理。水平翻轉用于處理電鏟處于電纜卷放車不同方位的情況；改變亮度用于處理不同拍攝角度的圖像亮度出現差異的情況；Mosaic 用于處理目標出現遮擋、扭曲等情況；Mixup 用于處理電纜卷放車行進過程中檢測圖像出現抖動的情況或雨、霧及沙塵天氣下檢測圖像出現模糊的情況；SCI 用于處理逆光或低光照下圖像不能正常曝光且噪聲較強的情況。

3.3 不同輕量化模塊不同位置對比實驗

為驗證輕量化GhostNet 網絡和輕量級GSConv模塊對提高模型檢測速度的有效性，在YOLOv7 模型不同網絡位置引入不同輕量化模塊進行實驗，結果見表1。

表1 不同輕量化模塊引入不同位置對比實驗結果Table 1 Comparative experimental results of different lightweight modules introduced at different positions

從表1 可看出，在YOLOv7 模型基礎上，使用GSConv 替換頸部網絡中普通卷積的模型相較于使用其替換主干網絡及頸部網絡中普通卷積的模型平均精度提高了28.8%，檢測時間縮短了26.9 ms；同時在主干網絡中引入GhostNet 網絡和在頸部網絡中引入GSConv 替換普通卷積的模型相較于YOLOv7 模型的參數量減少了80.1%，檢測時間縮短了43%。

3.4 不同注意力機制模塊對比實驗

為驗證CA 模塊和BiFPN 對改善模型特征提取能力的有效性，在頸部網絡的ELAN 模塊中分別嵌入SE，CBAM，CA 不同注意力機制模塊進行對比實驗，結果見表2。

從表2 可看出，在YOLOv7 模型基礎上，使用CA 模塊的模型相較于使用SE，CBAM 模塊的模型平均精度均有所提升；使用CA 模塊同時引入BiFPN 的模型檢測精度最高，相較于YOLOv7 模型的平均精度提高了1.56%。

3.5 模型對比實驗

為進一步評估改進YOLOv7 模型對電鏟檢測的性能，與Faster R-CNN，YOLOv3，YOLOv4，YOLOv5，YOLOv7 等目標檢測模型進行對比實驗，結果見表3。

表3 不同模型對比實驗結果Table 3 Comparative experimental results of different models

從表3 可看出，典型的兩階段Faster R-CNN 模型雖然檢測精度最高，但其龐大的模型計算量和參數量導致檢測速度十分緩慢，難以達到實時檢測的效果；典型的單階段目標檢測YOLOv3，YOLOv4，YOLOv5 模型雖然在實時檢測上較Faster R-CNN 模型有明顯改善，但對比改進YOLOv7 模型仍存在較大差距，檢測速度分別減小了68.1%，62.9%，42.8%；改進YOLOv7 模型的平均精度僅比YOLOv7 模型低了1.81%，但參數量較YOLOv7 模型減少了75.4%，每秒浮點運算次數減少了82.9%，檢測速度提高了24.3%。

3.6 實際場景檢測效果對比實驗

針對露天煤礦場景，使用YOLOv7 模型和改進YOLOv7 模型進行電鏟檢測效果對比，結果如圖8 所示。

圖8 實際場景檢測結果對比Fig. 8 Comparison of detection results of actual scenarios

由圖8 可看出，YOLOv7 模型和改進YOLOv7模型均可實現電鏟檢測，但YOLOv7 模型針對小目標檢測出現多處誤檢和漏檢，如將安全帽誤檢為操作工具及針對多處操作工具均未檢測出，且YOLOv7模型對電鏟檢測的置信度較低，檢測效果不佳；改進YOLOv7 模型對小目標能夠實現準確檢測，同時對電鏟檢測的置信度可達0.85 以上。

4 結論

1） 以YOLOv7 模型為基礎，提出了一種改進YOLOv7 模型用于礦用電鏟檢測。該改進模型將GhostNet 輕量化網絡作為主干網絡，使用GSConv 輕量級卷積替換頸部網絡中的部分普通卷積，以加快模型檢測速度；在頸部網絡中將CA 模塊引入ELAN 模塊，并利用BiFPN 改進PANet，以提高網絡對特征信息的提取能力，改善模型檢測精度。

2） 實驗結果表明，改進YOLOv7 模型在保證檢測精度的前提下，模型參數量和計算量少、檢測時間短、檢測速度快，為后續將其部署到移動設備中提供了條件。