基于YOLO 算法的高速鐵路客運車站鋼結構雨棚螺栓缺失檢測系統

王域辰，馮海龍，劉伯奇

（中國鐵道科學研究院集團有限公司 鐵道建筑研究所，北京 100081）

我國高速鐵路客運車站鋼結構雨棚大部分采用高強螺栓連接，由于長期暴露等原因，導致其強度逐漸降低，在使用過程中易產生斷裂、脫落等病害，存在重大安全隱患。因此，對螺栓狀態進行定期檢查具有重要意義。目前，螺栓檢查方法以人工目測的定期巡查為主，也有部分采用安裝傳感器的方式，但由于螺栓連接節點較多，分布廣泛，需要耗費大量人力資源和時間成本，且漏檢率較高，對于高度大、距離遠的結構構件較難進行有效檢查。傳統的檢測方式難以滿足需求，因此，本文提出一種基于YOLO 算法的高速鐵路客運車站鋼結構雨棚螺栓缺失檢測系統。

基于深度學習的目標檢測算法主要分為單階段和雙階段2 類。其中，雙階段目標檢測算法從RCNN（ Region Convolutional Neural Networks）、Fast RCNN 到Faster RCNN 已發展了多個版本，此類方法分為2 個子網絡，分別進行定位回歸和分類任務；單階段算法以YOLO[1]（You Only Look Once）和SSD（Single Shot MultiBox Detector）為代表，相比雙階段算法，此類方法的定位和分類僅通過1 個網絡，在保持一定檢測精度的前提下，具有更好的檢測速度，可滿足某些實時性要求較高的場合。基于單階段目標檢測算法的優勢，本文采用YOLOv4作為檢測算法，對高速鐵路客運車站雨棚螺栓進行檢測識別[2]。

1 YOLOv4 算法概述

1.1 YOLOv4 網絡結構

YOLOv4[3]屬于單階段目標檢測算法，將目標分類和定位回歸集成在一個網絡中，實現輸入圖像便可同時完成分類與回歸工作[4]。YOLOv4 比YOLOv3[5]網絡結構更加復雜，如圖1 所示。YOLOv4 加入多種訓練技巧來提升訓練準確性，并進行成本控制。其中，充當YOLOv4 Neck 結構的SPP（Spatial Pyramid Pooling）和PANet（Path Aggregation Network）可對不同特征層的語義信息進行融合補充，有利于檢測不同尺寸的目標。例如，將輸入尺寸（單位：px）為416×416 的圖片經過CSPDarknet53 特征提取和PANet 特征融合，輸出的特征層尺寸（單位：px）分別為13×13、26×26、52×52，在特征層上劃分的網格尺寸越小，感受野越大，適合檢測大目標；反之，適合檢測較小目標，在一定程度上滿足了不同尺寸目標的檢測需求。

圖1 YOLOv4 網絡結構

1.2 YOLOv4 算法適應性改進

相比之前的YOLO 算法，YOLOv4 算法實現了速度和精度的平衡，在以下4 方面進行了改進。

（1）采用新的backbone 特征提取網絡

YOLOv4 采用CSPDarknet53 作為特征提取網絡，解決了大型CNN 優化中存在的梯度信息重復問題，并將梯度變化全部集成到特征圖中，有效減少模型參數量，提高計算速度，在保證預測實時性和準確性的同時，減小了模型尺寸。

（2）先進的數據增強方法

YOLOv4 使用CutMix[6]和Mosaic 數據增強方法。CutMix 對2 張圖像進行裁剪，并拼接成1 張新樣本，對2 張圖像中目標的標簽值進行線性組合形成新樣本標簽，采用加權求和的方式計算損失；Mosaic 將4 張圖像合并為1 張進行訓練，豐富了檢測目標的背景，使得每個mini-batch 包含較大的圖像變化，從而減少估計均值和方差時需要較大mini-batch 的需求，降低了訓練成本。

（3）backbone 改用Mish[7]激活函數。Mish 激活函數具有更好的泛化性和更高的準確性，輸入為負值時不完全截斷，允許較小的負梯度流入，有利于梯度的計算和更新，其公式為

其中，x和y分別表示圖像特征的輸入和輸出；ln(1+ex)為softmax 激活函數； tanh 為雙曲正切函數。

（ 4） 使 用 綜 合 交 并 比（ CIOU， Complete Intersection Over Union）作為損失計算標準。交并比（IOU，Intersection Over Union）策略沒有考慮真實框與預測框中心之間的距離信息，沒有重疊的預測框便不再計算損失。由于預測框中心點距真實框中心越小預測越準確，運用考慮兩個框之間重疊面積、中心點距離、長寬比的CIOU 計算的預測框會更加符合真實框，其公式為

其中，w表示預測框寬度；h表示預測框高度；b表 示預測框中心；wgt表示真實框寬度；hgt表示真實框高度；bgt表示真實框中心； ρ2(b,bgt) 表示預測框到真實框中心點的歐氏距離；c為預測框和真實框最小外接矩形對角線長度； α 為權重系數；v是度量長寬比相似性的參數。

2 系統設計

2.1 系統組成

基于YOLO 算法的螺栓缺失檢測系統包括定位導航模塊、數據采集模塊及數據處理模塊3 部分。其中，定位導航模塊由點云地圖構建和路徑規劃組成，負責站臺地圖構建與巡檢路徑規劃，可設置螺栓檢測點位置；數據采集模塊由Raspberry Pi 處理器、網絡高清攝像頭、云臺組成，負責在檢測點處進行螺栓圖像采集，并通過實時流傳輸協議（RTSP，Real Time Streaming Protocol）發送至服務器端；數據處理模塊位于PC 端，主要功能包括：圖像預處理（圖像增強、圖像壓縮和灰度轉換）、圖像檢測與識別。

2.2 系統工作流程

本系統工作流程如下：

（1）利用定位導航模塊建立點云地圖并在地圖上規劃巡檢路徑和檢測點；

（2）設置自動巡檢任務，并在檢測點位置記錄待檢測螺栓的云臺角度；

（3）執行設置的自動巡檢任務，搭載系統的監測設備到達檢測點，且云臺轉至對應角度后開啟識別功能；

（4）將識別出的螺栓數目與理論數目進行對比，得出差值，若缺失則進行記錄并報警。

3 檢測實驗

3.1 數據獲取與標注

3.1.1 基礎數據集

選取6 個高速鐵路站臺的雨棚和接觸網的螺栓作為采樣對象，采用4 K 網絡高清攝像頭、相機等可移動設備拍攝照片和視頻。為保證數據的多樣性，在不同角度、焦距和光照條件下，對同一具體場景目標區域進行多次采集。人工篩選出有效圖像，剔除模糊、重復的無效樣本。經篩選得到雨棚螺栓正面樣本3 022 例、背面樣本738 例、接觸網螺栓1 550例，共5 310 例，并分別標注樣本類別為LS_YP、LSB_YP、LS_JCW，部分樣本圖像如圖2 所示。選擇接觸網螺栓作為采樣對象的目的是為了驗證該檢測系統對螺栓樣本類別的識別能力。

圖2 構建的數據集部分樣本示例

3.1.2 數據增強

由于采集的樣本較為單一，同一樣本出現的次數較多，訓練結果易出現過擬合，系統泛化性較低，導致識別準確性下降。在數據集數量一定的情況下，為進一步增加訓練數據的多樣性，獲得更加平衡的數據集，本系統采取數據增強（CutMix 和Mosaic）方法對樣本進行擴充，來解決樣本單一帶來的過擬合問題。

CutMix 方法是在1 張圖片上隨機裁剪1 個矩形框，在另1 張圖片相同位置上裁剪大小一致的框，將第2 張圖片裁剪的部分拼接在第1 張的相應位置，形成1 張新的樣本，樣本的標簽根據拼接的面積按比例調整，如圖3（a）所示。Mosaic 方法是將4 張圖片拼接為1 張圖片，如圖3（b）所示，增加了檢測物體的背景多樣性，訓練時便可小批次輸入，降低了訓練時間和計算量。也可再對拼接的樣本進行隨機水平翻轉、顏色變化等操作，進一步增加樣本的多樣性。

圖3 通過CutMix 和Mosaic 方法進行數據增強示意

3.2 環境與參數配置

本文在Window10 系統中，采用TensorFlow 2.4.0深度學習框架搭建YOLOv4 卷積神經網絡。實驗訓練所用模型的backbone 部分采用COCO 數據集預訓練參數初始化，在每一輪訓練中同時進行CutMix 和Mosaic 數據增強，通過K-means 聚類算法得到的預設 邊 界 框 尺 寸（單 位：px）為：65×64，71×71，97×97， 117×115， 126×125， 171×168， 230×282，333×397，376×247。模型主要訓練參數如表1 所示。

表1 模型訓練參數

3.3 實驗結果

本實驗數據集螺栓圖片數量為5 310 張，隨機抽取圖片分配給訓練集、驗證集和測試集，分配比例為：7:2:1，即訓練集3 717 張，驗證集1 062 張，測試集531 張。訓練過程中采用ModelCheckpoint 監測函數，每10 輪檢查一次損失值，當損失值有明顯減小時保存最新權重，當損失不再減小時停止訓練，此時，訓練集損失值為5.698，驗證損失為5.896。

使用訓練好的模型對驗證集進行檢測分析，部分測試結果如圖4 所示，分析得出的識別結果，如表2 所示。本驗證集中，各類別人工確認的螺栓總數（目標理論總數）為62 個；本實驗采用的置信度為0.7，當模型最后判斷目標為某種類別的置信度超過0.7 時，便認為其屬于該類別，進行框選，否則忽略此目標。

圖4 部分螺栓目標識別圖像

表2 YOLOv4 算法識別結果

由表2 可知，利用YOLOv4 模型在驗證集中檢測出螺栓總數52 個，類別的識別正確率為100%；漏檢10 個，漏檢率16.1%。在對531 張測試集樣本的檢測中，類別的識別正確率為87.5%，漏檢率為11.5%。出現漏檢問題的主要原因是待檢目標的部分區域被遮擋，因遮擋樣本較少，訓練后的模型對此類目標敏感度較低，因受環境光照影響導致目標模糊不清，模型無法提取深度特征，使得漏檢率增加；存在類別識別不正確問題的主要原因是訓練樣本數量仍不足，對目標特征的區分不夠細化，增加訓練樣本數量，進一步訓練，類別識別正確率將會有所提高。

4 結束語

針對高速鐵路客運車站雨棚鋼結構螺栓缺失帶來的安全隱患問題，本文研究了一種基于YOLO 算法的螺栓缺失檢測系統，采用YOLOv4 算法進行螺栓識別，識別準確率較高，漏檢率較低，滿足了檢測實時性要求，減少了人工檢測的工作量，具有一定的實際意義[8]。但在試驗過程中也存在一些問題：

（1）對于有遮擋的目標檢測識別漏檢率較高；

（2）由于樣本來源固定，導致樣本種類比較單一，數量有限，訓練過程中容易過擬合。

因此，在后續工作中將以解決上述問題為目標，在不同環境和地點條件下采集樣本，增加樣本的種類，避免過擬合現象。