基于改進YOLOv4算法的鐵路扣件檢測

高嘉琳， 白堂博*， 姚德臣， 許貴陽

(1.北京建筑大學機電與車輛工程學院， 北京 100044; 2.城市軌道交通車輛服役性能保障北京市重點實驗室， 北京 100044)

近年來，隨著中國軌道覆蓋面不斷擴大，軌道技術也相應提升。鋼軌扣件的健康狀態是保證軌道交通安全穩定運行的關鍵[1]。鋼軌扣件具有保障列車安全性和設計安裝的嚴格性等性質，因此，對鋼軌扣件的狀態進行展開研究具有必要性。受到軌道及自然條件的影響，扣件的主要問題是扣件斷裂、扣件丟失、扣件移位等。如果此問題不及時解決，會對軌道的安全運營留下隱患。

目前，對軌道故障診斷研究成為了中外學者研究的熱點。將鐵路故障進行信息化、智能化處理是當前的大趨勢，其中包括基于振動[2]、噪聲[3]等檢測方法，上述方法更適用于輪軌踏面的損傷效果檢測，而軌道扣件由于缺陷、損耗等問題產生的振動信號和噪聲十分微小，基于振動、噪聲等方法檢測扣件缺陷難度較大。

當下，目標檢測在科研中應用廣泛。例如，孔英會等[4]提出基于改進Mask R-CNN(convolutional neural networks, CNN)模型的目標檢測方法，對電力場景進行目標檢測；詹成祥等[5]提出基于SSD (single shot multi box detector)算法對影像中飛機進行提取。上述提到的兩種方法同屬于Two-Stage算法，高精度是此類算法的主要特點，但存在模型體積大、檢測較慢等弊端。徐國標等[6]提出改進YOLO(you only look once，YOLO)算法的塔臺目標檢測。此方法屬于One-stage算法，檢測速度快、模型體積小是此類算法的主要特點。

在軌道扣件的研究中，基于圖像采集與處理的扣件檢測方法[7]滿足了快速性、嚴格性的軌道要求。近年來，中外學者基于計算機視覺檢測算法[8]不斷探索，許貴陽等[8]提出基于局部特征的提取方法，并結合深度學習進行軌道扣件狀態識別；Giben等[9]提出基于深度學習卷積神經網絡的語義分割，該算法能夠獲得較高的精度；Liu等[10]提出了基于相似度的深度學習網絡對扣件進行分類，使用區域定位方法對扣件進行檢測；上述方法能夠獲得較高精度，但存在內存消耗大、檢測速度較慢等問題，難以實現高精度、快速性的目標檢測。

針對這一情況，采取基于圖像處理的扣件檢測方法，提出一種基于改進YOLOv4算法模型的鐵路扣件檢測方法，在原YOLOv4模型基礎上，增加一個輸出端和頭部結構。結合扣件的檢測的特點，增強對扣件檢測的有效度，達到高精度、高效率的檢測目的。為進一步實現實時監測鐵路構件打下基礎，對于保障軌道列車的安全性運行具有重要意義。

1 YOLOv4算法

1.1 YOLOv4算法模型

在YOLO算法提出之前，two-stage領域的R-CNN[11]系列算法是目標檢測領域最受歡迎的算法之一。與one-stage算法相比，two-stage算法檢測速度較慢。因此one-stage網絡結構特點的YOLO[12-13]算法被提出，其核心要義是將目標檢測轉換成回歸問題，將目標圖作為網絡的輸入，僅經過一個神經網絡就能得到其邊界框的位置及目標類別等特征信息，實現了檢測速度快、精度高的目的。

YOLOv4算法是在YOLOv3[14]的基礎上改進而來，YOLOv4[15]作為一個強大的目標檢測算法能夠訓練出快速而準確的目標檢測器，其網絡結構主要是主干網絡、頸部網絡和頭部網絡，其中主干網絡為CSPDarknet53，頸部網絡為SPP附加模塊和PANet路徑聚合，頭部網絡仍采用YOLOv3的頭部網絡。

如圖1所示，YOLOv4的主干網絡為CSPDarknet53,該主干網絡的作用在于豐富梯度的組合形式，減少計算量。并且YOLOv4的激活函數將LeakeyReLU函數修改為Mish函數，Mish函數能夠保持準確性，并且Mish函數的梯度更加平滑，從而能夠更加深入到神經網絡中，最終能夠更加泛化、準確化。Mish函數具有光滑、非單調性、下有界、上無界的特點，具有良好的使用性能。YOLOv4中的卷積模塊更改為DarknetConv2D_BN_Mish，Mish函數的公式表達式為

圖1 YOLOv4網絡結構圖Fig.1 Network structure of YOLOv4

Mish=xtanh[ln(1+ex)]

(1)

式(1)中：x、h分別代表Mish函數中點的橫坐標與縱坐標。

1.2 SPP結構

如圖2所示，空間金字塔池化 (spatial pyramid pooling，SPP)結構存在于CSPDaerknet53的最后一個特征層中，能夠增加網絡的感受野。YOLOv4采用SPP思想，將CSPDaerknet53的最后特征層進行三次卷積后，然后分別利用四個不同尺度的最大池化進行再次處理，其中最大池化的池化核大小分別為13×13、9×9、5×5、1×1，其中1×1代表無處理。使用SPP結構，能夠進行不同尺度的池化后堆疊，并且能夠突出數據的顯著特征。

圖2 SPP結構圖Fig.2 Network of structure of SPP

1.3 Loss計算

計算Loss是實際值與預測值之間的對比。對數據集中的每一個目標計算其中的真實框與預測框的交并比 (intersection over union， IOU)，計算回歸的Loss值。其次計算置信度的Loss值，置信度的Loss值由兩部分組成：其一是實際存在的目標，預測結果中的置信度與1對比；其二是實際不存在的目標，預測結果中的置信度與0對比。最后計算預測種類的Loss，計算的為實際存在的目標，真實與預測之間的差距?？侺oss值就是回歸Loss值、置信度Loss值與預測種類Loss值三者的和。

YOLOv4中的CIOU計算方法會使得目標檢測的目標框回歸變得穩定，它會將目標中的與錨點之間的距離、重疊度、尺度、懲罰項都考慮進去，而且不會出現訓練發散等問題。Loss公式為

(2)

(3)

(4)

(5)

式中：c為指能夠將預測框和真實框同時包上的最小區域的對角線距離；ρ為指歐式距離；b、w、h是指預測框的中心坐標及寬、高；bgt、wgt、hgt是指真實框的中心坐標及寬、高。

扣件檢測在目標檢測識別中具有其自身的特殊性，扣件檢測要實現其檢測的快速性、準確性、有效性，為此，根據YOLOv4算法實現扣件的缺陷檢測。

2 本文方法

2.1 YOLOv4算法適應性改進

YOLOv4算法使用的特征提取網絡為CSPDarknet53，CSP模塊可以提升CNN學習能力，在保證網絡輕量化的同時，降低計算次數、減小占用內存。CSPDarknet53網絡經過雙三次差值法將圖像進行放縮處理，。在算法實現過程中會進行5次步長為2的卷積下采樣，其中最大步幅為25。如圖3所示，CSPDarknet53中共有5個大殘差塊，其中每個大殘差塊包含的小殘差單元數為1、2、8、8、4。每個CSP模塊前面的卷積核大小都同為3×3，步長為2，因此能夠進行下采樣。若輸入圖像為416×416，則特征圖的變化規律為416、208、104、52、26、13。經過五次CSP模塊得到13×13大小的特征映射圖，然后經過SPP層(即空間金字塔池化)和PANet網絡的實現，輸出到YOLO頭部中。最終實現對軌道扣件的檢測。

結合本文，需要使網格進行更小的目標位置特征信息提取，提升對于小目標的檢測率。如圖3所示，由于扣件尺寸相對較小，故將網格輸入圖片尺寸設置為416×416，利用第二個殘差塊獲得104×104分辨率圖像。這樣做的目的是為了使特征圖中包含更小的目標位置信息。將YOLOv4輸出的8次下采樣特征層進行2次上采樣，將2次上采樣的特征層與特征提取網絡中的104×104。從而建立了一種輸出為4次的下采樣特征目標融合層。

圖3 改進的YOLOv4網絡結構Fig.3 Improved YOLOv4 network structure

此改進在保留YOLOv4原有網絡結構的基礎上進行了補充。此改進使YOLOv4網絡獲得更多的特征信息，提升了卷積神經網絡的學習能力，提高對軌道扣件的檢測精度。改進之后能夠增強對扣件的檢測效果，提升檢測率。

2.2 方法框架

利用扣件檢測在目標檢測中具有其特殊性，以實現扣件檢測的快速性、準確性、有效性為目的。采用基于改進YOLOv4算法的方法實現對軌道扣件的檢測。由圖4所示，將新型軌道巡檢小車采集的數據進行篩選并建立數據集，并將此數據集輸入到改進的YOLOv4網絡中，經過算法的識別、分類、訓練，得到訓練模型最終將訓練完成的模型輸入到算法網絡中對未知扣件進行預測分析。由此過程能夠實現對軌道扣件各種狀態的檢測。

圖4 方法框架Fig.4 Framework of the proposed method

在建立數據圖集時，對數據集的標注是其中的關鍵步驟。選取的方法是應用Labelimg軟件進行圖像標注處理，將圖像中的有效構件作為目標檢測的區域，如圖5(比例尺為1∶30)所示。

圖5 Labelimg圖像標注處理(1∶30)Fig.5 Labelimg image annotation processing(1∶30)

同時將扣件類型分成了4類，扣件正常、扣件丟失、扣件移位、扣件斷裂，以便能夠進行扣件目標檢測。在構建數據集時需要使用Labelimg對數據進行預處理，輸出XML文件，XML文件主要內容為交代扣件所在位置的位置信息以及扣件的類型。

如圖6、圖7(比例尺為1∶9)所示，分別為有砟、無砟軌道扣件狀態類型。其中扣件正常是指扣件未受任何損傷且各零部件完整；扣件丟失是指扣件受到軌道列車運行或自然條件的影響，導致其脫落；扣件移位是指扣件受到軌道列車運行或自然條件的影響，導致其發生偏移，根據工程經驗，偏移角度超過±10°，即可判定為移位；扣件斷裂是指扣件受到外力影響，導致其部分零部件出現斷裂。本文中扣件類型分成4類，有利于網絡模型識別與檢測。

圖6 有砟軌道扣件狀態類型Fig.6 Ballast track fastener type

圖7 無砟軌道扣件狀態類型Fig.7 Unballasted track fastener type

3 試驗驗證

3.1 圖像獲取

如圖8所示，該裝置為北京某公司設計研發的新型軌道巡檢小車。小車系統由電動巡檢小車和軌道狀態巡檢系統兩部分組成。與傳統的軌道巡檢系統相比，該巡檢儀具有整體重量輕、能源清潔等優點，能夠滿足巡檢軌道要求。并且小車結構簡單易于巡檢人員操作，巡檢人員采用搭乘操作的方式對軌道進行檢測。在正常巡檢工況下，小車的速度為20 km/h。

圖8 新型軌道巡檢小車Fig.8 New-type track inspection car

該巡檢小車受到鐵路行業的歡迎，具體優點如下：①圖像精度能夠達到0.3 mm，達到精度高的要求；②該小車采用電能為動力，能源清潔；③設計結構符合輕量化的設計要求；④易于操作、設計合理；⑤軌道定位精度較高，精度能夠達到0.3 m。

3.2 扣件檢測結果分析

本文中所運行的環境為GPU為NVIDIA RTX2080，CPU為Intel i7 9700，內存為16 GB，軟件環境為Windows 10，Tensorflow，Python 3.6，CUDA 10.0，cuDNN 10.0。

本文研究對象為某長度約為10 km的高鐵線路，其中研究內容包括有砟軌道扣件與無砟軌道扣件。為建立數據集獲取目標數據，選用由新型軌道檢測儀所獲取到某線路的18 000張軌道數據，隨機選擇13 000張作為訓練數據集，其余5 000張作為測試數據集。

通過使用模型訓練，將圖像數據集合輸入到訓練模型，最終得到扣件的測試結果。本實驗將扣件種類判斷置信度設置為0.9，當模型網絡判斷其置信度超過0.9，則會識別此構件，否則不識別，進而提高對扣件的檢測精度。利用YOLOv4與本文特點相結合的方法，最終預測出結果。結果如圖9所示。

圖9 改進YOLOv4 方法扣件檢測結果Fig.9 The result of fastener detection by improved YOLOv4

經過實驗檢測，改進的YOLOv4能夠檢測出扣件的各個狀態，包括構件正常、移位、丟失、斷裂。檢測結果如表1、表2所示。作為one-stage算法之一的YOLOv4算法，在各項檢測結果中都超過同系列算法的YOLOv3，相比于Faster R-CNN，YOLOv4同樣表現出較好的檢測效果。Mask R-CNN作為語義分割的目標檢測算法，其檢測結果各項指標略強于YOLOv4約為1%，但其模型體積較大，不適宜作為輕量化網絡。本文中所使用的基于YOLOv4算法的方法具有較高的檢出率和準確率，其各項指標均有較好的表現，雖然模型體積相比原YOLOv4算法略有增大，但其表現出的性能指標表明：本文中所采用的基于改進YOLOv4算法的鐵路扣件檢測能夠實現高檢出率、高準確度的軌道扣件檢測。

表1 不同方法扣件檢測結果對比

表2 不同方法扣件檢測結果對比Table 2 Result comparison of fastener detection with different methods

4 結論

根據軌道扣件的檢測特點，研究了基于深度學習的目標檢測方法，提出了基于改進YOLOv4的算法實現扣件的異常檢測。根據本文中所運用的方法，得出以下結論。

(1)構建了基于改進YOLOv4算法的扣件檢測模型。該模型能夠有效的對扣件進行識別與分析，與其他方法對比，本文中所用方法模型體積小、檢出率與準確度高。達到了快速、準確對軌道扣件進行檢測的要求。

(2)對軌道扣件進行圖像的采集，并建立數據集進行檢測試驗。試驗結果表明，本文應用的基于改進YOLOv4的方法能夠對軌道扣件有效檢測。實現了軌道扣件自動化檢測與分析的目的。