基于改進YOLOv5+DeepSort算法的塊狀磨屑的識別與計數研究

邵靖男

摘要：傳統塊狀磨屑的處理方式存在效率低、收集不及時等問題，為了實現塊狀磨屑的精準定位檢測，需研究塊狀磨屑的識別及數量統計。文章在原始YOLOv5算法的基礎上添加注意力機制后，進一步強化了塊狀磨屑的有效特征；用BiFPN 結構代替 YOLOv5 原有 PAN 結構，加強了淺層特征的利用。添加大尺度檢測層，可更加準確地定位小尺寸塊狀磨屑；選擇 EIoU 作為目標框回歸的損失函數，提高收斂速度。在此基礎上，該研究采用DeepSort算法和虛擬檢測線法實現塊狀磨屑的數量統計。利用軌道小車采集的數據進行塊狀磨屑的檢測和計數試驗。試驗結果表明：較于原始 YOLOv5算法，改進 YOLOv5算法雖然檢測速率有所下降，但是精確率提升了 4%、召回率提升了 7.5%、均值平均精度提升了 9.7%，改善了小尺寸塊狀磨屑的檢測效果。改進YOLOv5+DeepSort算法結合改進檢測線在各場景下可較準確地實現對塊狀磨屑的計數。

關鍵詞：高速鐵路；計算機視覺技術；YOLOv5算法；DeepSort算法；塊狀磨屑

中圖分類號：U270? 文獻標志碼：A

0 引言

隨著我國高速列車運營速度的提高和運輸能力的增強，鋼軌會出現各種形式的損傷和缺陷［1-2］。鋼軌打磨車作為常用的打磨設備之一［3-4］，在其打磨過程中，高溫顆粒狀磨屑飛落到防火簾上，逐漸形成塊狀，最后在其重力和車輛振動的作用下隨機掉落在軌道內從而影響行車安全。目前，塊狀磨屑的處理方式主要是人工處理，存在效率低、主觀性強、收集不及時等問題。

為實現對塊狀磨屑的精準定位檢測，研究塊狀磨屑的識別及計數尤為重要。深度學習技術的發展和鐵路信息化設備覆蓋率的提高，為塊狀磨屑的識別和計數提供了一種可行性方案。基于深度學習的目標檢測算法有較高的識別率。其中，YOLO系列算法應用于實時性較高的場景。對于目標跟蹤領域，針對SORT算法容易因背景中其他雜物遮擋而產生ID切換的問題，研究人員提出了精度和實時性更好的DeepSort算法。因此，本文在YOLOv5算法上做了改進，提高塊狀磨屑的識別效果，結合DeepSort算法實現對塊狀磨屑的計數。

1 基于改進YOLOv5算法的目標檢測算法

YOLOv5算法的網絡結構主要包括：輸入端（Input）、骨干網絡（Backbone）、頸部（Neck）和輸出端（Head）。為了提高塊狀磨屑識別效果，本文從注意力機制、頸部網絡、多尺度檢測和損失函數4方面進行了改進，改進后的YOLOv5算法網絡框架如圖1所示。

1.1 增添注意力機制

增添注意力機制（Convolutional Block Attention Module，CBAM）是由 Sanghyun 等提出的高效注意力模塊［5］，主要包括通道注意力模塊和空間注意力模塊，通過對不同重要性關注區域的特征增加權重，以此來實現加強感興趣區域特征表達的目的，其模塊結構如圖2所示。

本文在骨干網絡中用CBAMC3模塊替換C3模塊，增強對塊狀磨屑有效特征的關注度。

1.2 特征金字塔結構的改進

加權雙向特征金字塔網絡結構（Bi-Directional Feature Pyramid Network，BiFPN）的主要思想包括：高效的雙向跨尺度連接以及加權特征圖融合，如圖3所示。

本文采用BiFPN結構代替YOLOv5原有PAN結構。圖3（a）結構通過自上而下的傳遞，有效增強淺層特征的語義表達，但是會受到單向信息流的限制；PAN結構在FPN的基礎上增加一條自下而上的通道；相比PAN，BiFPN首先通過刪除一個輸入邊且無特征融合的節點，以簡化雙向網絡；針對同一尺度特征，在其輸入和輸出節點之間引入橫向連接，使原始特征信息參與特征融合；最后，BiFPN針對不同重要性的特征增加了權重，可學習調節每個特征的貢獻度，同時將自上而下和自下而上的路徑作為一個特征層，通過重復堆疊，獲得更深層次的特征。

1.3 添加多尺度檢測

對于小尺寸塊狀磨屑的檢測，過多的下采樣和過大的感受野，使小尺寸塊狀磨屑在深層特征圖所占據的像素點較少，并且在其周圍存在大量無用特征，影響檢測精度，因此深層網絡的高級特征不利于小尺寸塊狀磨屑的檢測。本文在原始網絡上增加尺度為160×160的檢測層來提取淺層的特征信息，從而加強對小尺寸塊狀磨屑的檢測能力。

1.4 損失函數改進

由于YOLOv5的定位損失忽略了寬、高分別與其置信度的差異，本文選擇EIoU（Efficient Intersection over Union）代替CIoU，加快模型的收斂速度，其計算見式（1）。

LEIoU=LIoU+Ldis+Lasp=1-IoU+ρ2（bpred，bgt）c2+ρ2（wpred，wgt）c2w+ρ2（hpred，hgt）c2h（1）

其中：IoU為交并比；cw、ch分別為覆蓋塊狀磨屑預測框和真實框的最小包圍框的寬和高；b、bgt分別為塊狀磨屑預測框和真實框的中心點；ρ為塊狀磨屑預測框和真實框的歐式距離；c為能夠覆蓋塊狀磨屑預測框和真實框的最小包圍框的對角線距離。

2 基于DeepSort的塊狀磨屑計數算法

在完成對塊狀磨屑的識別后，接下來就是對塊狀磨屑進行計數。目標跟蹤算法能夠實時跟蹤塊狀磨屑的軌跡，從而實現計數的目的。

在對軌道內多個塊狀磨屑進行實時跟蹤時，會涉及不同尺寸塊狀磨屑之間的ID識別，以及對受到道砟、落葉燈遮擋的處理，目標檢測位置與跟蹤位置之間的準確匹配等問題。多目標跟蹤算法SORT在目標跟蹤過程中有較高的精度［6］，但是該算法會因為目標受到場景中其他雜物遮擋而產生ID切換的問題。因此，研究人員提出DeepSort算法來解決該問題。

本文通過將改進的YOLOv5 與DeepSort相結合從而實現對塊狀磨屑的有效追蹤，為接下來塊狀磨屑的數量統計做鋪墊，檢測流程如下。

（1）輸入實時視頻流，利用改進的YOLOv5目標檢測算法檢測出當前幀目標的方位及類別信息。

（2）將上一步得到的識別信息和前一幀的卡爾曼濾波的預測信息作為輸入。

（3）計算基于運動信息的馬氏距離和基于外觀特征的最小余弦距離，將計算結果融合成關聯矩陣，并使用匈牙利算法進行跟蹤匹配。

（4）結果輸出的同時，通過卡爾曼濾波實現實時更新，重新開始目標檢測。

本文在對塊狀磨屑的計數過程中采用虛擬檢測線法。傳統檢測線法在計數過程中會因掉幀、塊狀磨屑漏檢等原因而出現數量統計不準確的情況。為此，本文在原始虛擬檢測線的基礎上進行改進，可實現雙向計數，并有效改善以上存在的問題，如圖4所示。

3 試驗驗證

3.1 數據集收集及試驗環境

本文通過軌道小車在光照不足、光照正常、光照充足和遮擋4種不同的場景下進行數據采集；然后對采集到不同尺寸的塊狀磨屑圖片進行預處理；最后，利用開源工具對每張圖片中的塊狀磨屑進行標注。試驗環境：Windows10的操作系統，GPU為RTX2070，CPU為Core I7-10875H，CUDA的版本為11.0，CuDNN的版本為8.0.4。

3.2 評價指標

（1）目標檢測評價指標。

塊狀磨屑識別的評價指標主要采用召回率R、均值平均精度mAP和檢測速度FPS，其計算公式如下：

P=TPTP+FP（2）

R=TPTP+FN（3）

AP=∫10P（R）dR（4）

mAP=1m∑mi=1APi（5）

其中，TP為模型識別塊狀磨屑正確的個數；FP為模型將其他目標錯誤識別為塊狀磨屑的個數；FN為模型將塊狀磨屑錯誤的識別為其他目標的個數；P為模型在所有預測情況中正確預測塊狀磨屑的概率；R為模型準確識別塊狀磨屑的概率；AP為準確率對召回率的積分；mAP為對所有類別的AP取平均值。

（2）目標計數評價指標。

塊狀磨屑計數算法的計數結果與人為計數做對比。

3.3 塊狀磨屑檢測試驗

3.3.1 消融試驗

為驗證本文算法各改進部分的有效性，進行消融試驗。4種模型試驗結果的對比如表1所示，其中符號“√”表示在原始網絡上進行的相應改進。

在原始模型的基礎上添加一個檢測層，可提高小尺寸塊狀磨屑的定位精度；嵌入CBAM注意力機制可加強對塊狀磨屑有效特征的關注，其P值和R值有小幅度提升；選擇EIoU替換CIoU，可加快收斂速度；在此基礎上，用BiFPN替換PANet，其R值提升了2.8%。試驗結果表明：與原有的YOLOv5算法相比，改進YOLOv5算法在多尺度檢測、注意力機制、邊框回歸損失函數和頸部網絡4個方面的優化下，P值、R值和mAP值均有顯著提升；檢測速度FPS稍有下降，但仍能夠做到實時且更加精準地檢測塊狀磨屑。

3.3.2 模型特征提取能力分析

為了更直觀地體現在骨干網絡中嵌入注意力機制對算法性能的影響，本節通過對原始算法和改進算法的中間層特征圖進行可視化分析，如圖5所示。

圖5是網絡中p/2、p/4、p/8、p/16和p/32共5層級的特征圖可視化對比結果。第一列和第二列圖像為原始算法針對不同尺寸目標的中間層特征圖，第三列和第四列圖像為改進算法針對不同尺寸目標的中間層特征圖。淺層網絡提取到的特征信息較為完善，如圖5（c）和（d）中的塊狀磨屑、道砟和落葉等；隨著卷積次數的增多，特征圖的尺度逐漸減小，特征圖抽象化程度增高的同時，也會模糊掉一些細節信息如圖5（k）和（l）；從圖5（e）和（f）之間的對比可以看出，添加注意力機制之后，塊狀磨屑和軌道內側背景差被明顯放大，突出了目標信息的亮度，可更清晰地辨別出塊狀磨屑的具體位置和輪廓。

3.3.3 熱力圖分析

為更好地展現多尺度檢測和BiFPN結構改進對網絡的貢獻，本文使用Grad-CAM對原始算法和改進算法進行了類激活映射可視化的效果對比。圖6給出了不同尺寸的塊狀磨屑在光照不足、正常、充足以及遮擋背景下的輸入圖像及其類激活熱力圖。

從圖6可以很直觀地看出模型在原始圖像中識別時所關注的一些特征區域。其中，白色區域為模型的重點關注區域，激活區域的顏色越偏黑說明該區域與所屬類別越不相關。通過對比改進前后算法在不同場景下的熱力圖可以發現：（1）在識別非小尺寸塊狀磨屑時，改進算法在上述背景下都能準確地提取到圖像中的關鍵信息，激活區域對非小尺寸塊狀磨屑的覆蓋程度較為全面；（2）原始算法在光照不足、正常和充足情況下關注到小尺寸塊狀磨屑的同時，也關注到道砟、軌枕和部分陰影區域，并且在小樹枝遮擋情況下，激活區域沒能準確覆蓋目標，進而產生漏檢情況；（3）改進后算法受復雜背景的影響較小，并且能精準地定位到目標的關鍵特征區域。當小尺寸塊狀磨屑表面有樹枝遮擋時，激活區域也能準確地覆蓋。通過上述分析可知，4尺度的檢測層和BiFPN結構的使用可進一步增強網絡對不同尺度特征信息的融合能力，使得深層特征圖中小尺寸塊狀磨屑的位置信息更為精確。

3.3.4 檢測結果分析

圖7第一列和第二列分別為原始YOLOv5算法和改進YOLOv5算法在不同光照環境下對不同尺寸塊狀磨屑的部分檢測結果。對于非小尺寸塊狀磨屑的識別，改進算法和原始算法差距不大，如圖7（a）所示；在對于小尺寸塊狀磨屑的識別，原始算法存在誤檢：將道砟誤識別成塊狀磨屑，如圖7（b）和（c）所示，以及漏檢的問題，如圖7 （d）所示；相對于原始算法，改進算法則有效提高了對小尺寸塊狀磨屑的檢測精度。

3.4 塊狀磨屑計數試驗

在塊狀磨屑計數階段，本文在改進YOLOv5算法的基礎上結合DeepSort和改進檢測帶進行檢測。為驗證算法的有效性，本文在光照不足、光照正常和光照充足多個場景下進行塊狀磨屑的計數試驗，并將計數結果與原始算法和人為計數進行對比，如表2所示。

通過表2對比結果可以發現：（1）改進的YOLOv5+DeepSort 算法在3種環境下的計數結果的準確度均高于原始算法；（2）在光照不足的情況下，原始算法無法提取塊狀磨屑的有效特征，導致塊狀磨屑識別精度降低，從而嚴重影響其計數的準確度；（3）在光照正常情況下，改進后的算法基本不受光照影響，能準確識別及追蹤塊狀磨屑，其準確率能達到96.7%，相比于原始算法提升了16.1%，同時該場景下改進算法的計數結果最接近人為計數結果。

試驗結果表明：與原有的YOLOv5算法相比，在改進YOLOv5算法的基礎上結合DeepSort和改進檢測帶對塊狀磨屑計數準確度更高，能夠適應多種復雜環境。

4 結語

在原YOLOv5算法的基礎上對注意力機制、特征金字塔結構、多尺度檢測和損失函數4方面進行了改進，通過消融試驗，結合中間層特征圖和熱力圖可視化對比了改進前后的算法，改進YOLOv5算法在犧牲一定實時性的情況下，精確率提升了4%、召回率提升了7.5%、均值平均精度提升了9.7%，提升了對小尺寸塊狀磨屑檢測的準確率。

將改進的虛擬檢測線算法與改進YOLOv5+DeepSort算法相結合，在不同場景下進行塊狀磨屑統計試驗。試驗表明，相較于原始算法，改進算法結合改進檢測線在各場景下計數準確率更高。

參考文獻

［1］金學松，劉啟躍.輪軌摩擦學［M］.北京：中國鐵道出版社，2004.

［2］王璞.高速鐵路道岔鋼軌磨耗發展規律的試驗研究［J］.鐵道建筑，2019（7）：109-112.

［3］雷曉燕.鋼軌打磨原理及其應用［J］.鐵道工程學報，2000（1）：28-33.

［4］金學松，杜星，郭俊，等.鋼軌打磨技術研究進展［J］.西南交通大學學報，2010（1）：1-11.

［5］曹義親，伍銘林，徐露.基于改進YOLOv5算法的鋼材表面缺陷檢測［J］.圖學學報，2022（10）：1-11.

［6］陳紫強，張雅瓊.一種基于YOLOv4的改進DeepSort目標跟蹤算法［J］.桂林電子科技大學學報，2021（2）：140-145.

（編輯 王永超編輯）

Research on the recognition and counting of block debris based on improved YOLOv5+DeepSort algorithm

Shao? Jingnan

（China Railway SIYUAN Survey and Design Group Co.， Ltd.， Wuhan 430063， China）

Abstract： The traditional treatment method for block debris has problems such as low efficiency and untimely collection. In order to achieve precise positioning and detection of block debris， it is necessary to study the identification and quantity statistics of block debris.This article further strengthens the effective features of block debris by adding CBAM attention mechanism on the basis of the original YOLOv5. Replacing YOLOv5s original PAN structure with BiFPN structure enhances the utilization of shallow features. Adding a large-scale detection layer can more accurately locate small-sized block debris. The paper selects EIoU as the loss function for the target box regression to improve convergence speed. On this basis， the DeepSort algorithm and virtual detection line method are used to achieve the quantity statistics of block debris. Detection and counting of block debris use data collected by rail cars. The experimental results show that compared to the original YOLOv5， although the detection rate of the improved YOLOv5 has decreased， the accuracy has increased by 4%， the recall has increased by 7.5% and the average accuracy has increased by 9.7%， improving the detection effect of small-sized block debris. The improved YOLOv5+DeepSort algorithm combined with improved detection lines can accurately count blocky debris in various scenarios.

Key words： high-speed railway; computer vision technology; YOLOv5 algorithm; DeepSort algorithm; block debris