基于Stair?YOLOv7?tiny的煤礦井下輸送帶異物檢測

文章編號：1671?251X（2024）08?0099?07 DOI：10.13272/j.issn.1671-251x.18172

關鍵詞：輸送帶異物檢測；YOLOv7?tiny；多尺度目標檢測；Stair?fusion；高效層聚合網(wǎng)絡；檢測頭

中圖分類號：TD528/634 文獻標志碼：A

0引言

作為煤炭運輸?shù)年P鍵設備，輸送帶運行狀態(tài)直接關系到煤礦的生產(chǎn)效率與作業(yè)安全[1-2]。然而，物料中混入的矸石和錨桿等異物極易卡在輸送帶及其輔助設施之間，導致輸送帶磨損、劃傷甚至撕裂[3]，嚴重干擾煤礦正常生產(chǎn)，還可能引發(fā)安全事故，造成重大經(jīng)濟損失。因此，準確且快速地檢測輸送帶上的異物，對于提高輸送帶運行的安全性和穩(wěn)定性至關重要。

基于圖像處理的輸送帶異物檢測方法通過提取物體的顏色、紋理、形狀、空間關系等特征，對煤與非煤異物圖像進行處理，可實現(xiàn)異物自動檢測，成為輸送帶異物檢測的研究重點之一。Dou Dongyang等[4]針對不同的煤炭運輸環(huán)境，提取了包括顏色、紋理等19個特征， 利用Relief?支持向量機（Relief?Support Vector Machine，Relief?SVM）實現(xiàn)了異物識別。王燕等[5]將圖像預處理、幀間差分與卡爾曼濾波相結合，實現(xiàn)了大塊異物自動識別。程健等[6]通過改進的高斯混合模型提取背景信息，減少了背景干擾，有效提升了異物識別效果。上述基于人工特征提取的傳統(tǒng)圖像處理計算效率高，但特征提取過于依賴專家知識和經(jīng)驗，導致異物檢測算法的魯棒性較差。

隨著深度學習的快速發(fā)展，以卷積神經(jīng)網(wǎng)絡為基礎的異物識別方法利用其自動特征學習能力，顯著提高了識別的準確性和可靠性。Pu Yuanyuan 等[7]利用VGG16和遷移學習策略，解決了訓練數(shù)據(jù)不足和計算資源受限的問題，實現(xiàn)了異物的高效識別。程德強等[8]采用基于ResNet 的輕量級網(wǎng)絡進行異物分類，在資源受限環(huán)境下實現(xiàn)了高效分類。曹正遠等[9]利用不含異物的正常煤流圖像訓練基于雙注意力的生成對抗網(wǎng)絡，實現(xiàn)了異常煤流圖像的識別。楊建輝等[10]基于雙路卷積神經(jīng)網(wǎng)絡，實現(xiàn)了煤和異物的識別。基于卷積神經(jīng)網(wǎng)絡的異物識別方法在準確性上取得了顯著效果，但在應對復雜場景方面仍存在不足。近年來，目標檢測算法憑借其對復雜場景的適應性，逐漸被用于輸送帶異物識別領域[11]。

任志玲等[12]在CenterNet 中使用深度可分離卷積替代標準卷積，并結合加權特征圖融合算法，顯著提高了異物檢測的準確率和效率。Zhang Mengchao 等[13]利用深度可分離卷積技術對YOLOv4 的主干網(wǎng)絡和頸部網(wǎng)絡進行優(yōu)化，構建了輕量級的YOLOv4，在保持異物檢測精度的同時，提升了檢測速度。郝帥等[14]使用結合YOLOv5 與卷積塊注意力模型（Convolutional Block Attention Module， CBAM） 的CBAM?YOLOv5，有效解決了煤塵和輸送帶高速運行對異物檢測精度的影響。高涵等[15]針對細長物體檢測效果差的問題，設計了一種基于低層次特征增強與Transformer 機制的異物檢測算法。上述目標檢測算法在復雜場景下的檢測性能有所提高，但在滿足實時性和輕量化要求方面仍面臨挑戰(zhàn)。YOLOv7?tiny 通過引入模型重參數(shù)化、高效層聚合網(wǎng)絡（Efficient Layer Aggregation Networks，ELAN）及輔助頭訓練方法，不僅顯著提高了推理效率，還減少了計算開銷[16-17]。然而，在處理尺寸多樣的異物時，多尺度目標檢測性能仍有待進一步提升[18]。

本文在YOLOv7?tiny 模型的基礎上進行改進，提出了一種Stair?YOLOv7?tiny 模型，并應用于煤礦井下輸送帶異物檢測。一方面，改進ELAN 結構，通過引入階梯ELAN（Stair?ELAN）模塊，實現(xiàn)高低維特征的融合，優(yōu)化特征層間的信息流動，從而增強信息捕獲能力；另一方面，優(yōu)化檢測頭設計，通過引入階梯檢測頭（Stair?head）模塊，強化不同分辨率檢測頭之間的特征融合，彌補傳統(tǒng)檢測頭中單一尺度特征的不足，實現(xiàn)特征信息的互補，從而提升模型的多尺度目標檢測能力。

1Stair?YOLOv7?tiny模型

為滿足多尺度異物檢測的需求，針對YOLOv7?tiny 的ELAN 模塊和3 個檢測頭進行改進，構建Stair?YOLOv7?tiny 模型，通過融合不同層級的低維與高維特征，豐富檢測頭模塊中的高維語義特征，從而有效提升輸送帶異物檢測性能。Stair?YOLOv7?tiny 模型主要由骨干網(wǎng)絡、特征融合模塊和Stair?head 模塊組成，如圖1 所示。骨干網(wǎng)絡主要用于抽取低維的邊緣、紋理特征，并逐步生成豐富的高維語義特征；特征融合模塊將骨干網(wǎng)絡中的低維特征與高維特征融合， 增強模型的特征表達能力； Stair?head 模塊從融合后的特征中提取待測目標的位置及類別信息，實現(xiàn)異物識別。

1.1Stair?ELAN模塊

ELAN 模塊將不同層級的卷積特征沿通道維度進行堆疊，縮短了模型訓練過程中梯度傳播的路徑長度，有助于緩解常見的梯度消失和梯度爆炸問題，從而提升模型訓練的穩(wěn)定性和效率[19]。然而，ELAN模塊在特征融合上過分依賴數(shù)據(jù)堆疊，若前后層級的卷積輸出距離較遠，堆疊中的特征聯(lián)系可能變得稀疏，增加了從融合特征中提取有效信息的難度。為解決該問題，本文對ELAN 模塊進行改進，設計了Stair?ELAN 模塊，如圖2 所示。通過在ELAN 模塊中添加特征拼接單元，將低維特征與高維特征進行融合，得到分辨率為40×40×128 的融合特征，進一步豐富特征數(shù)據(jù)的層級融合信息。這種階梯特征融合（Stair?fusion）策略縮短了信息流動的路徑，加強了高維特征與低維特征間的直接聯(lián)系，從而提升了模型對信息的捕獲能力。由于特征在各層間的直接傳遞，模型能更有效地利用高維特征的語義信息和低維特征的細節(jié)信息，這不僅有助于模型加速收斂，而且有利于提升模型學習復雜模式的能力。

1.2Stair?head模塊

YOLOv7?tiny模型通過3個不同的卷積操作生成3 種不同分辨率的檢測頭，然而這些檢測頭之間的特征數(shù)據(jù)關聯(lián)性較弱，面對環(huán)境復雜、目標尺寸多樣的井下視頻圖像時，可能導致目標置信度不足和漏檢問題。為增強多尺度特征間的關聯(lián)性并豐富中低分辨率檢測頭的特征信息，本文提出了Stair?head模塊。與傳統(tǒng)方法在不同尺度上獨立進行檢測不同， Stair?head 模塊從高分辨率檢測頭開始提取特征，然后依次與中低分辨率檢測頭的特征融合，逐漸增強中低分辨率檢測頭對細節(jié)信息的捕捉能力。引入Stair?fusion 后，不同層級的檢測頭之間可以共享特征信息，形成更加豐富的特征表達，彌補了單一尺度特征的不足，實現(xiàn)了特征信息的互補，從而在復雜場景和多尺度目標檢測中提升了模型的檢測精度及對小尺寸目標的識別能力。

2實驗與結果分析

2.1數(shù)據(jù)集

從真實煤礦井下輸送帶監(jiān)控視頻中抽取圖像并構建輸送帶異物開源數(shù)據(jù)集CUMT?BelT，其中包含矸石圖像、錨桿圖像各2 000 張。為評估基于Stair?YOLOv7?tiny 的煤礦井下輸送帶異物檢測算法在真實場景下的檢測效果，對數(shù)據(jù)集進行清洗，并使用LabelImg 對數(shù)據(jù)進行標注，得到2 943 張有效圖像，其中包含矸石圖像1514張、錨桿圖像1 429 張。按照8∶1∶1的比例將數(shù)據(jù)集隨機劃分成訓練集、驗證集和測試集，用于模型訓練和性能評估。

異物尺寸分布如圖3所示，尺寸范圍從十幾像素到幾百像素不等，涵蓋了各種大小和形狀的目標，以便評估模型的多尺度目標檢測能力。

2.2 模型訓練

主要軟硬件配置為Intel（R） Core（TM） i9?10980XE CPU @ 3.00 GHz 處理器、48 GiB 的NVIDIARTX A6000 GPU、Ubuntu 20.04 操作系統(tǒng)，使用PyTorch框架進行訓練及推理。超參數(shù)設置：迭代輪次為500，初始學習率為0.01，并在訓練末期調整至0.001；使用動量梯度下降法對參數(shù)進行更新，權重衰減系數(shù)為0.005；使用Mosaic 數(shù)據(jù)增強算法增加訓練數(shù)據(jù)的多樣性；測試階段，模型的置信度閾值為0.5，交并比閾值為0.65。

模型在訓練過程中的損失函數(shù)值變化曲線如圖4 所示。可看出當?shù)螖?shù)達到100 左右時模型初步收斂；在500輪迭代后模型收斂。模型訓練結束后，選擇在驗證集上表現(xiàn)最佳的模型在測試集上評估其性能。

2.3實驗結果

2.3.1性能對比

為驗證Stair?YOLOv7?tiny 的優(yōu)越性， 與CBAM?YOLOv5[14]，YOLOv7?tiny[16]，YOLOv7?tiny?Ghost[20]， YOLOv7?tiny?MobileNetv2[21]， YOLOv7?tiny?ShuffleNetv2[22]模型進行性能對比，結果見表1。

從表1 可看出，Stair?YOLOv7?tiny 的精確率、召回率、平均精度均值和準確率均最高，分別達88.4%，82.2%，81.0% 和98.5%，較基準模型YOLOv7?tiny 分別提升了3.6%，2.6%，5.9% 和4.6%。與目前較為先進的輸送帶異物檢測模型CBAM?YOLOv5 相比，Stair?YOLOv7?tiny 模型整體檢測性能表現(xiàn)更優(yōu)，主要原因是CBAM?YOLOv5 模型只針對大塊矸石設計， 未針對小尺寸異物進行特別優(yōu)化， 而Stair?YOLOv7?tiny 利用Stair?fusion 提高了對尺寸各異的矸石與錨桿的檢測效果，且模型復雜度僅為CBAM?YOLOv5 的17.1%。與YOLOv7?tiny 的輕量化變體模型（YOLOv7?tiny?Ghost，YOLOv7?tiny? MobileNetv2和YOLOv7?tiny?ShuffleNetv2）相比，Stair?YOLOv7?tiny 模型在單位時間內處理的圖像數(shù)據(jù)量最大，檢測速度達192.3 幀/s，遠高于監(jiān)控攝像機的常規(guī)幀速率（25 幀/s），驗證了Stair?YOLOv7?tiny 在輸送帶異物檢測任務中的高效性。

2.3.2消融實驗

為驗證Stair?ELAN模塊和Stair?head 模塊對異物檢測效果的提升作用，以YOLOv7?tiny 為基準模型進行消融實驗，結果見表2。可看出使用Stair?ELAN 模塊替換ELAN 模塊后，與YOLOv7?tiny 相比， 準確率和平均精度均值分別提升了1.2% 和1.7%，單幀推理時間僅增加了0.1 ms；引入Stair?head模塊后，雖然單幀推理時間增加了0.3ms，但準確率和平均精度均值分別實現(xiàn)了3.1% 和3.7% 的提升；當Stair?ELAN 和Stair?head 模塊同時引入YOLOv7?tiny 模型時，單幀推理時間增加了0.4 ms，但精確率、召回率、平均精度均值和準確率均達到最優(yōu)，證明了Stair?fusion 在提升模型性能方面的有效性。

2.3.3可視化結果

為直觀評估復雜礦井環(huán)境下輸送帶異物檢測性能，通過攝像機實時采集山東某礦井下輸送帶多點監(jiān)控視頻，并經(jīng)過井下千兆環(huán)網(wǎng)傳送到地面監(jiān)控中心，在監(jiān)控中心服務器部署相關模型，執(zhí)行輸送帶異物檢測任務。不同場景下CBAM?YOLOv5，YOLOv7?tiny，YOLOv7?tiny?Ghost 和Stair?YOLOv7?tiny 模型的識別效果如圖5 所示（使用紅色和藍色矩形框分別表示矸石和錨桿，使用黃色圓圈表示漏檢區(qū)域）。可看出在場景1 中， YOLOv7?tiny 未能檢測到遠處的矸石異物；在場景2 中，CBAM?YOLOv5，YOLOv7?tiny 和YOLOv7?tiny?Ghost 模型對于密集場景中相鄰矸石的檢測均顯現(xiàn)出不足，漏檢問題較為明顯；在場景3 中，上述3 種模型均未能識別出緊鄰矸石的錨桿；在3 種場景中，Stair?YOLOv7?tiny 模型均未發(fā)生漏檢和誤檢情況，證明了該模型在復雜環(huán)境下依然具有較強的異物識別能力。

3結論

1） 在YOLOv7?tiny 的基礎上，引入Stair?fusion策略，設計了Stair?ELAN 模塊，顯著增強了模型對不同尺度特征的捕捉能力；利用Stair?head 模塊進一步融合3 個不同分辨率的檢測頭特征，實現(xiàn)了特征信息的有效互補，從而提高了對多尺度目標的檢測精度。

2） 在輸送帶異物開源數(shù)據(jù)集CUMT?BelT 上進行實驗，結果表明所提Stair?YOLOv7?tiny模型的輸送帶異物檢測效果優(yōu)于CBAM?YOLOv5，YOLOv7?tiny 及其輕量化模型，異物檢測的準確率、平均精度均值、召回率和精確率分別達98.5%，81.0%，82.2%和88.4%，檢測速度達192.3 幀/s。在某礦井下輸送帶監(jiān)控視頻上的測試結果表明， Stair?YOLOv7?tiny模型在不同場景下均未出現(xiàn)漏檢或誤檢，可實現(xiàn)輸送帶異物準確檢測。