基于深度學習的鐵路輔助巡檢系統

蔡檬嶼，郭 旭，王浩帆，李良平，張瀚文

（西南交通大學 信息科學與技術學院，成都 611756）

隨著我國鐵路高速發展，安全隱患逐漸增加，定期巡檢、及時排查故障和安全隱患愈加必要。目前，巡檢主要依賴人工目測，難以保證巡檢質量，且占用大量人力[1]。

隨著人工智能的興起和計算機圖像處理技術的日漸成熟，機器視覺和虛擬現實在很多領域得到應用，采用機器視覺等前沿技術的鐵路巡檢系統正在成為趨勢。張毅[2]針對接觸網巡檢圖像定位器缺陷檢測的問題，提出一種基于圖像深度表示和直線檢測的目標檢測一體化算法。何玉娟等人[3]分析鐵路隧道漏纜巡檢維護的現狀及發展趨勢，提出利用射頻識別（RFID）技術輔助定位的視頻巡檢方案。張德光等人[4]研究開發一種鐵路電務智能巡檢機器人，解決高速鐵路區間信號中繼站監測的漏報、誤報問題。王留軍等人[5]通過實時視頻采集和判別，實現鋼軌、軌枕、扣件等軌道主要部件相關缺陷的快速檢測。

目前，在以排查異物為主的鐵路線路巡檢方面，采用深度學習技術的相關研究尚不多見。本文基于深度學習開源模型YOLO，設計了一個鐵路輔助巡檢系統，通過修改YOLO 模型最后一個卷積層的卷積核數，將模型遷移到定制數據集上，利用虛擬現實（VR）視覺和服務器推流技術，實時遠程視頻監測鐵路異常狀況，并以第1 視角獲得沉浸式體驗，以期利用深度學習，達到人機協調、高效巡檢的效果，推動傳統人工異物排查作業模式向智能化發展。

1 系統構成及工作過程

1.1 系統構成

鐵路輔助巡檢系統由室外和室內2 部分組成：室內部分由App 軟件和中央處理單元、控制設備、VR 設備等硬件構成；室外部分包括攝像頭、搭載設備和無線通信模塊。系統結構如圖1 所示。

圖1 系統構成示意

1.2 系統工作過程

系統主要工作過程簡述如下：

（1） 系統啟動后，攝像頭采集數據，利用服務器推流技術，將數據上傳到服務器；（2）使用深度學習算法對所采集的數據進行異物檢測，標識出異物的位置與類別；（3）將帶識別結果的視頻流實時傳送到用戶App 端，實現VR 視覺顯示效果；（4）通過方向傳感器，使攝像頭視角跟隨用戶視角同步切換，用戶根據巡檢情況做出判斷，命令控制設備將動作指令發送到服務器，搭載設備從服務器獲取指令并執行動作。

2 輔助巡檢關鍵技術

2.1 基于深度學習的異物識別技術

2.1.1 數據集定制

定制鐵路異物檢測數據集是為了使模型對鐵路環境下異物識別達到一定的精度和速度。定制的鐵路異物檢測數據集由開源數據集VOC2007 中1 000張圖片和根據鐵路周邊常見異物拍攝的約3 000 張圖像組成。對拍攝圖片的物體邊框、類別等必要信息進行統一標注，受限于人力和時間，僅收集了14 類常見鐵路異物圖像，包括紙張、塑料袋、卡車、石塊等，如圖2 所示。

圖2 鐵路異物圖像

2.1.2 實時異物檢測方法

異物檢測問題可視為深度學習領域中的物體檢測問題。物體檢測問題主要有2 類方法：one-stage detection 和two-stage detection。one-stage detection 類方法具有低時延和較高精度，適合處理需要實時監測的問題，而two-stage detection 類方法具有很高精度，但檢測時間非常長，適用于對實時性要求不高的場景。

考慮到需要對畫面中異物進行實時檢測，選擇one-stage detection 類方法中具有代表性的YOLO 開源模型[6-7]，利用其開源的模型參數作為預訓練模型，利用定制數據集對模型進行擬合和微調。

2.1.3 異物檢測模型結構

異物檢測模型共使用19 個卷積層和5 個最大池化層提取圖片特征。通過殘差網絡（ResNet）的跳躍式連接，提高了模型對細粒度物體的檢測率；再利用一個卷積層進一步提取融合特征，通過全局平均池化后，使用softmax 函數輸出分類結果，達到識別目的。該模型的結構如圖3 所示。

圖3 異物檢測模型結構示意

2.1.4 模型訓練

模型訓練分為3 步：（1）將模型最后一層卷積層之前的各層全部凍結，用224×224 分辨率的圖像對參數擬合5 個epoch；（2）將凍結的層全部解凍，再用224×224 分辨率的圖訓練15 個epoch；（3）使用448×448 分辨率的圖對模型訓練20 個epoch。

為加快模型訓練速度和提升模型的檢測質量，通過遷移學習對模型進行擬合。遷移學習[8]的過程如圖4 所示，在學習任務A 時，可獲得一定的相關知識經驗，當學習另一個相似的任務B 時，可以快速將經驗應用于新問題。

圖4 遷移學習原理示意

2.2 基于服務器推流的可視化VR 遠程控制技術

鐵路輔助巡檢系統基于C/S 架構，通過以太網通信實現服務器與客戶端之間的數據交互，圖像和控制指令分別通過2 個通道獨立傳輸。

圖像傳輸過程為：搭載設備接收遠程訪問命令后，攝像頭將畫面實時傳輸給服務器，經算法處理后轉發至VR 端，VR 端接收并解析處理服務器回應的最新Http 報文，通過VR 顯示插件顯示監測圖像。

控制指令傳輸過程為：手機的方向傳感器捕捉用戶頭部動作，將其轉化為攝像頭的角度旋轉指令后，發送給控制設備，使攝像頭與用戶轉頭動作同步。可視化遠程控制[9]所依托的服務器推流技術[10]可保證在服務器發送批量數據的同時，客戶端能繼續接收數據。

3 實驗分析

3.1 室內實驗分析

3.1.1 異物識別模型實驗結果分析

實驗室環境的相關軟件配置包括Ubuntu16.04 系統、CUDA 10.0.130、cuDNN 7.6.3，Python 3.6.8、TensorFlow 1.15.0、Keras 2.2.4；相關硬件配置包括NVIDIA GeForce RTX2080Ti 顯卡、AMD Ryzen 5 2600X Six-Core Processor 處理器、16 GB 運行內存。

以IoU 取值為0.5 時的平均精度均值（mAP）作為評價指標，測試數據集上mAP 計算結果為64.5，AP 值見表1。結果表明：在保持模型對VOC 數據集中5 個類別精度差別不大的情況下，對定制圖像數據也具有較高的精度。

表1 AP 值計算結果

3.1.2 遠程巡檢控制實驗結果分析

在室內較理想情況下，搭載設備（本實驗中采用小車）與網關間距50 m，測試20 組數據，每組間隔15 min，共進行90 min，記錄其中3 組的平均幀數和時延數據，見表2。經測試發現：隨著測試時間推移，2 類數據都僅在小范圍內波動，驗證該系統性能較為穩定，可實現流暢的遠程控制。

表2 平均幀數和平均時延測試數據

3.2 室外基地系統測試

室外測試的目的是驗證該系統的可行性、異物識別的準確性以及室外無線傳輸的穩定性。

利用履帶小車作為搭載設備，在校園局域網（模擬5G）環境下，使用校內鐵路實習基地總長為200 m 的鐵道進行測試。將10 類100 個異物隨機投放到鐵道沿線，利用手柄、App 及VR 設備，遠程控制小車沿軌道線路進行實時可視化巡檢。分別在晴天、微風、小雨3 種天氣下，按不同傳輸距離分別進行20 次測試，記錄所識別的異物個數、種類及通信完成情況，最終平均檢測到10 類83 個異物，通信完成情況的測試結果見圖5 所示。

圖5 通信成功率（距離測試折線圖）

測試結果表明：系統控制正常，VR 畫面基本流暢，鐵道沿線放置的主要異物均可被識別；同時，在10 組不同距離下，異物識別的成功率波動變化不大，晴朗天氣下通信成功率為93.5%，微風條件下通信成功率為93.3%，即便在小雨條件下，通信成功率依然能保持在88.1%。

在此基礎上，再對小車與人工配合巡檢以及人工單獨巡檢分別進行20 組測試，結果發現輔助巡檢系統的平均漏檢率僅為3%，而單純人工巡檢平均漏檢率為13%，可見輔助巡檢的效果顯著。

4 結束語

綜合考慮人工巡檢和傳統機器學習在工程上應用的優缺點，利用無線通信技術和深度學習算法的優勢，建立鐵路輔助巡檢系統。實驗表明：該系統對鐵路巡檢中異物排查具有良好的輔助效果，與人工方式相比，異物檢測更為細致、準確，漏檢更少，且更經濟。

今后可嘗試將YOLO 的Backbone 網絡結構替換為ResNet、ThunderNet、ShuffleNet、EfficientNet 等輕量級網絡結構，以獲得更高實時性和精度。隨著輔助巡檢模型和搭載設備的進一步完善和健全，該項技術還可更廣泛地應用于諸如隧道漏纜安全巡檢、軌道磨損檢查等更多方面。另外，在實際巡檢中可搭載無人機、綜合巡檢車等視野更廣闊的設備，以降低巡檢的漏檢率。還可以利用5G 低時延的特點，實現不限距離的通信，并獲得更高實時性。