基于改進YOLOv8n+DeepSORT的帶式輸送機異物檢測及計數方法

文章編號：1671?251X（2024）08?0091?08 DOI：10.13272/j.issn.1671-251x.2024070043

關鍵詞：帶式輸送機；目標檢測與跟蹤；異物檢測及計數；MSF?YOLOv8n；DeepSORT

中圖分類號：TD528.1 文獻標志碼：A

0引言

帶式輸送機運輸的煤料中會伴隨很多異物，如大塊矸石、錨桿及鐵質器物等，這些異物如果不及時清理，將導致落煤口堵塞、膠帶撕裂，嚴重時引起火災等事故[1-2]。使用巡檢機器人對帶式輸送機運輸煤料中混雜的異物進行準確識別和計數，并將異物信息傳送給異物分揀機器人，異物分揀機器人再將異物完全取出，對帶式輸送機安全穩定運行具有重要意義[3-4]。

目前，基于深度學習的目標檢測算法按階段可分為2 類。一類是雙階段目標檢測算法，如Fast?RCNN，Faster?RCNN 等。吳守鵬等[5]提出一種基于Faster?RCNN+雙向特征金字塔網絡的運煤輸送帶異物識別模型，有效提升了對矸石、錨桿等多尺度異物的識別精度。另一類是單階段目標檢測算法， 如YOLO 系列。郝帥等[6]提出一種融合卷積塊注意力模型的YOLOv5目標檢測算法，解決了帶式輸送機中異物目標圖像因受煤塵干擾、輸送帶高速運動及光照不均等影響而難以準確檢測的問題。高涵等[7]設計了一種基于低層級特征增強和Transformer 機制的井下輸送帶異物檢測算法，解決了輸送帶異物目標檢測中細長物體檢測效果差、弱語義特征提取困難的問題。

現有帶式輸送機異物檢測方法存在提取目標語義信息能力弱、檢測精度差等問題，且僅對異物進行識別檢測，不能準確計算異物數量。針對上述問題，設計了一種基于改進YOLOv8n+DeepSORT 的帶式輸送機異物檢測及計數方法。對YOLOv8n 模型進行改進，再使用改進YOLOv8n模型對帶式輸送機異物進行識別；將改進YOLOv8n 模型的異物檢測結果作為DeepSORT 算法[8]的輸入，對帶式輸送機上異物進行跟蹤和計數。

1改進YOLOv8n模型

1.1模型結構

考慮到異物檢測模型最終部署到巡檢機器人上，選取YOLO 系列中體積最小的YOLOv8n 模型作為基礎網絡。該模型由骨干特征提取網絡（Backbone）、頸部網絡（Neck）及頭部網絡（Head）3個部分組成[9-10]。在煤礦井下運輸巷道場景中，巡檢機器人的監控畫面存在高噪聲、背景復雜、低照度及運動模糊等問題，這極大提升了帶式輸送機上異物檢測的難度[11]。此外，帶式輸送機上異物會出現被遮擋的情況，顯露出來的面積很小，導致YOLOv8n 應用于井下惡劣環境中目標識別時精度較差。針對上述問題， 對YOLOv8n 模型結構進行改進，將改進后的網絡模型命名為MSF?YOLOv8n，其結構如圖1 所示。

1） 使用輕量級的混合局部通道注意力（MixedLocal Channel Attention，MLCA）模塊改進C2f 模塊中的Bottleneck 模塊，記作C2f_MLCA 模塊。該模塊能夠同時考慮通道信息和空間信息，并結合局部信息和全局信息，以提高網絡在井下惡劣環境中的識別效果。

2） 使用分離和增強注意力模塊（Separated andEnhancement Attention Module， SEAM） 改進Head 部分，以提高異物被遮擋情況下的檢測精度。

3） 采用Focaler?IoU 優化損失函數，使得模型在不同尺度的異物檢測任務中聚焦不同的回歸樣本，改善邊框回歸效果。

1.2C2f_MLCA模塊設計

C2f 模塊中的Bottleneck 模塊會使得網絡在高頻位置疊加大量信息，在關鍵特征獲取過程中產生很多冗余特征，最終導致關鍵信息流失[12]。因此，在Bottleneck 模塊中加入1個輕量級的MLCA 模塊進行改進。C2f_MLCA模塊結構如圖2所示。

首先對MLCA模塊的輸入特征向量進行局部平均池化（Local Average Pooling，LAP）操作，隨后分為2個分支： 第1分支進行全局平均池化（GlobalAverage Pooling， GAP）操作，使其包含局部空間信息；第2 分支進行Reshape 操作， 使其包含全局信息。2個分支在一維卷積后，通過反平均池化（Anti-Average Pooling，UNAP）操作恢復2 個向量的原始分辨率，再進行信息融合，達到混合注意力的目的[13]。

1.3SEAM設計

煤炭運輸過程中會出現異物被煤炭遮擋的情況，且異物形狀多樣，導致識別難度大大增加[14]。為了解決該問題，將SEAM 引入檢測頭中，以強調圖像中的對象檢測區域，并削弱背景區域，從而提高了存在遮擋情況下的帶式輸送機異物檢測精度。SEAM結構如圖3所示。

SEAM輸入特征圖通過通道和空間混合模塊（Channel and Spatial Mixing Module， CSMM）學習空間維度和通道的相關性。但由于CSMM 模塊中使用了一個3×3 的深度卷積與殘余連接，使得卷積只能用來學習不同通道的重要性，而忽略了通道之間的信息關系。為了補償這種損失，通過1×1逐點卷積對不同深度卷積的輸出進行組合，再使用2層全連接網絡融合每個通道的信息。全連接層輸出的logits值的范圍為[0，1]，使用指數函數將其擴展到[1，e]。這種指數歸一化提供了一種單調映射關系，使得結果對位置誤差的容忍度更高。最后， 用SEAM 的輸出乘以原始特征，將結果作為注意力，使模型能夠更有效地處理目標的遮擋[15]。

1.4損失函數優化

YOLOv8n的損失函數為CIoU，在不同的檢測任務中具有一定局限性[16]。為了在不同檢測任務中聚焦不同的回歸樣本，本文采用邊界框回歸損失函數Focaler?CIoU[17]。該函數通過關注不同難易程度的回歸樣本， 提高模型在不同檢測任務中的性能。Focaler?CIoU的損失值為

2異物檢測及計數方法流程

DeepSORT算法是目前較為常用的目標跟蹤算法之一，其前身是經典的SORT 算法[18]。DeepSORT不僅繼承了SORT的實時性優勢，還通過融入深度特征顯著提高了追蹤的魯棒性和重識別能力，特別是在目標外觀變化較大或存在短暫遮擋的情況下[19]，解決了ID頻繁切換的問題。因此， 本文采用DeepSORT 算法實現帶式輸送機異物計數。

基于MSF?YOLOv8n+DeepSORT 的帶式輸送機異物檢測及計數方法基本思路是使用MSF?YOLOv8n檢測帶式輸送機上存在的異物，將檢測結果輸入DeepSORT算法對連續跟蹤的異物進行ID編碼，最后的ID 數值即為帶式輸送機上存在的異物數量。異物檢測及計數流程如圖4所示。

1） 使用礦用防爆巡檢機器人搭載攝像儀，獲取帶式輸送機運行狀態視頻數據并傳輸到上位機。

2） 篩選有效視頻片段，對視頻進行抽幀并保存為圖像文件，對圖像文件進行分類標注后構建異物檢測數據集，隨后輸入MSF?YOLOv8n模型中進行訓練，保存最佳檢測模型。

3） 使用訓練好的MSF?YOLOv8n模型檢測巡檢機器人采集的視頻數據，輸出視頻幀中異物的邊界框信息（bounding box） 、類別標簽信息（class label） 、置信度信息（confidence score），作為DeepSORT 算法的輸入。

4） DeepSORT 算法利用深度神經網絡提取異物的外觀特征，并賦予每個異物ID信息；利用Kalman濾波器預測目標狀態，并更新目標進行狀態估計；通過匈牙利算法實現異物關聯，在追蹤過程中不斷更新目標的外觀模型。對連續追蹤的異物持續輸出相同的ID 信息，最終得到的ID數值即為帶式輸送機上存在的異物數量。

3MSF?YOLOv8n模型性能驗證實驗

3.1數據采集

實驗平臺的操作系統為Ubuntu18.04，CPU 型號為Intel（R） Xeon（R） Silver 4210R，GPU 型號為TeslaV100?PCIE?32 GiB，編譯器為Python 3.7.13，深度學習框架為PyTorch 1.8.1，CUDA 版本為CUDA10.2。MSF?YOLOv8n 訓練參數設置見表1。

實驗使用的數據集來源于中國礦業大學智能檢測與模式識別研究中心煤礦專用視頻AI 分析數據集CUMT?BelT，該數據集采集自井下膠帶運輸環境。選取CUMT?BelT 中的大塊煤圖像數據集和錨桿圖像數據集，共選取圖像2800張，包含訓練圖像2200張和測試圖像600張[20]。根據7∶2∶1的比例將數據集隨機劃分為訓練集、驗證集、測試集。

為避免模型訓練過程中過擬合，提高數據集的魯棒性和模型的泛化能力，采用Albumentations 在線數據增強模塊進行數據增強和模型訓練。通過圖像翻轉、RGB轉換、隨機旋轉、隨機裁剪等對數據集圖像進行處理，部分增強后的圖像如圖5所示。

本文采用的主要評價指標包括交并比閾值為0.5時的平均精度均值mAP（mAP50）、參數量和幀率。其中mAP50 用來衡量模型的精度，參數量用來評價模型的復雜度，幀率用來評價模型的檢測速度[21]。

3.2消融實驗

為了驗證MSF?YOLOv8n模型的有效性，進行了消融實驗。在原有YOLOv8n 模型的基礎上逐步優化， 先使用C2f_MLCA 模塊替換主干網絡中的C2f 模塊；隨后采用SEAM 改進基礎網絡的檢測頭Detect， 記作Detect_SEAM； 最后采用Focaler?CIoU損失函數計算邊界框回歸損失。在不改變其他訓練環境的情況下，分別對模型進行改進訓練，實驗結果見表2。

從表2 可看出：① 加入C2f_MLCA 模塊后，mAP50提高了0.8%， 并且參數量沒有增加， 其原因在于MLCA 模塊提取的關鍵信息同時包含特征通道信息和空間特征信息， 使得模型檢測精度有所提高。② 加入Detect_SEAM 模塊后， mAP50 提高了1.6%，同時模型的參數量也有所減少，其原因在于SEAM加強了所有通道之間的連接，使模型可更好地應對目標遮擋問題，且SEAM 中深度可分離卷積按深度進行分離和獨立的操作減少了參數量。③ 引入Focaler?CIoU 損失函數后，雖然mAP50 降低了2.0%，但幀率提高到117 幀/s，其原因是Focaler?CIoU 損失函數能夠在不同的檢測任務中聚焦不同的回歸樣本，使模型快速聚焦到不同的目標。④ 將所有改進方案添加到基礎模型中后，mAP50 和參數量都有所改善，幀率有所下降，但101 幀/s 仍可滿足視頻實時性檢測要求。

實驗結果表明， 3個改進部分的協同作用使mAP50提升了2.1%，參數量減少了0.19×10⁶，幀率略有下降，為101 幀/s。MSF?YOLOv8n 模型在滿足實時檢測要求的同時，提高了模型檢測精度，減輕了邊緣設備的計算負擔。

3.3可視化分析

為了更清晰直觀地分析模型改進效果， 使用Grad?CAM 熱力圖進行可視化分析，結果如圖6 所示。由圖6（b）可看出：左側和右側圖像中YOLOv8n模型雖然關注到錨桿和大塊煤的熱度信息，但關注的有效區域范圍較小；中間圖像中，模型不僅關注到異物的熱度信息，還關注到背景干擾物的熱度信息。由圖6（c）可看出：左側圖像中，MSF?YOLOv8n模型對部分遮擋異物也有足夠多的關注；中間圖像中，不同尺寸異物都得到有效關注；右側圖像中，多個目標區域都能很好地被激活。可視化結果表明，MSF?YOLOv8n 模型能夠很好地處理被遮擋及多尺度的目標。

3.4對比實驗

為了進一步驗證MSF?YOLOv8n 模型的優越性，基于相同數據集，在保持訓練環境不變的情況下，對MSF?YOLOv8n 及其他幾種主流模型進行了比較，結果見表3。經過對比發現， MSF?YOLOv8n模型的檢測精度比YOLOv5s， YOLOv7， YOLOv8s，YOLOv8n 模型分別高出2.2%， 1.3%， 0.3%， 2.1%；幀率比YOLOv8s 和YOLOv8n 分別低14，10 幀/s；MSF?YOLOv8n 模型的參數量僅為2.82×106，更適合部署到巡檢機器人等邊緣設備中。

主流模型檢測精度對比結果如圖7 所示。可看出，MSF?YOLOv8n 模型收斂速度快，在保持較高檢測速度的情況下，檢測精度也高于其他流行模型。

主流模型在測試集上的檢測效果如圖8 所示。從左側圖可看出， YOLOv5s， YOLOv8n 只檢測出大塊煤， 而被煤流遮擋嚴重的錨桿沒有檢測出來；YOLOv7、YOLOv8s 和MSF?YOLOv8n 將錨桿和大塊煤都檢測出來，其中MSF?YOLOv8n 模型檢測異物的置信度更高。從中間圖可看出，與其他主流模型相比， MSF?YOLOv8n 模型能準確檢測出被煤流遮擋嚴重的大塊煤。從右側圖可看出，在面對異物多尺度且嚴重遮擋時， MSF?YOLOv8n 模型能夠很好地應對，而其他檢測模型出現漏檢及錯檢情況。對比實驗表明， MSF?YOLOv8n 模型能夠在各種具有挑戰性的場景中正確識別各類異物，并且在煤流遮擋情況下精準獲取異物信息。

4異物檢測及計數實驗

為了驗證本文方法的實用性，使用礦用防爆巡檢機器人搭載攝像儀在實驗基地采集帶式輸送機運行狀態的視頻數據，使用MSF?YOLOv8n模型進行異物檢測，采用DeepSORT算法進行異物計數。

4.1異物檢測實驗結果與分析

不同工況下的異物檢測結果如圖9所示。在錨桿小部分被煤流遮擋的情況下，錨桿以較高置信度被檢測出來。在大塊煤顏色與煤流相似的情況下，本文方法可對大塊煤目標進行準確識別， 說明MLCA 模塊提高了網絡在顏色單一環境下的信息提取能力。錨桿大部分被遮擋的情況下，因采用SEAM優化檢測頭，使得模型可很好地檢測出被遮擋目標。在檢測目標形狀差異較大的情況下，大塊煤與細長錨桿都可被準確識別，驗證了使用Focaler?IoU優化損失函數的必要性。

4.2異物計數實驗結果與分析

將MSF?YOLOv8n 識別的帶式輸送機異物信息作為計數算法的輸入，對BYTETracker，HybridSORT，BoT?SORT，DeepSORT 算法的計數結果進行對比分析，結果見表4。可看出，DeepSORT 算法的準確率達80%，遠高于其他3種算法。

各種算法的異物計數效果如圖10 所示。從圖10（a）和圖10（c）可看出，異物ID 切換頻繁，主要原因是目標被遮擋或暫時離開視野后又重新進入，導致目標ID 的變換。從圖10（b）可看出，帶式輸送機上異物可被準確跟蹤，且目標ID 沒有變換，但出現了目標計數錯誤的現象，圖中目前有2個目標，而左上角的計數顯示有3個。從圖10（d） 可看出，DeepSORT 算法可準確跟蹤被遮擋的錨桿及形狀差異較大的目標，且在圖像右上角準確顯示當前畫面中的異物數量，實現帶式輸送機異物準確計數。

5結論

1）提出一種基于MSF?YOLOv8n+DeepSORT 的帶式輸送機異物檢測及計數方法。在YOLOv8n 的基礎上， 使用C2f_MLCA 模塊替換主干網絡中的C2f 模塊，提高網絡在顏色信息單一環境下的信息提取能力；采用SEAM 改進網絡的檢測頭Detect，提高模型在異物被遮擋情況下的檢測精度；使用Focaler?CIoU 損失函數計算邊界框回歸損失，解決檢測目標形狀差異大的問題。

2）MSF?YOLOv8n 模型性能驗證實驗結果表明，MSF?YOLOv8n 模型的mAP50 達93.2%，相較于基礎模型提高了2.1%；參數量僅為2.82×10⁶，比基礎模型減少0.19×10⁶，更適合部署到巡檢機器人等邊緣設備中；檢測精度比YOLOv5s，YOLOv7，YOLOv8s 算法分別高2.2%，1.3%，0.3%；其幀率雖然比YOLOv8s和YOLOv8n 低，但仍可滿足視頻實時性檢測要求。

3） 異物檢測及計數實驗結果表明， DeepSORT算法的準確率達80%，可準確跟蹤被遮擋的錨桿及形狀差異較大的目標。基于改進YOLOv8n+ DeepSORT的帶式輸送機異物檢測及計數方法不僅具有很好的魯棒性，還能準確計算異物數量，且參數量較小，適用于邊緣設備。