基于深度學習的軌道異物入侵檢測算法

何文玉，楊 杰，張天露

(江西理工大學 電氣工程與自動化學院，江西 贛州 341000)

0 引 言

鐵路異物入侵檢測系統對鐵路軌道上的異物進行實時的檢測和告警，它可以為相關人員提供鐵軌列車安全行駛的全局數據，科學合理地調配站內工作人員的值班時間，充分合理地使用人力資源，提高列車運行的安全程度，保證有關部門可以快速高效的對突發事件進行處理。

根據檢測器對鐵路運行軌道的接觸程度，智能檢測手段通常由直接檢測法和間接檢測法組成，直接檢測即檢測器與鐵軌接觸，間接檢測即檢測器不與鐵軌接觸。在實際應用中，考慮到安裝成本與工程量，實現手段通常采用間接的非接觸式的檢測方法。同磊設計了一種基于機器視覺的鐵路軌道入侵檢測系統，實現軌間異物和接觸網異物的在線識別，但其檢測系統對小目標檢測精度不佳；李丹丹基于軌道異物檢測設計了危險區域的軌道異物檢測窗口并且提出了一種雙背景建模的方法實現軌道異物的檢測，但其算法落地的實時性不佳，難以達到實時檢測的要求。因此需要轉換思路考慮性能高效的方法來實現軌道異物的檢測，同時在深度學習領域，機器視覺類的智能檢測方法正在不斷發展壯大，Geoffrey等在ImageNet圖像分類比賽中利用AlexNet[7]網絡以準確率比第二名高出12%的顯著優勢一舉奪得了冠軍。文獻[8]提出了啟發式區域提名方法(region-based convolutional neural networks，R-CNN)，由此該算法開始進入目標檢測的歷史舞臺，此方法較為明顯提升了檢測精度，但重復計算是其不可避免的缺點。針對R-CNN的反復計算的弊端，文獻[11]提出了Fast R-CNN 算法，將SPP進一步簡化成ROI Pooling層改善這一問題，以同時得到的置信度和邊框回歸的結果進行分析，該算法小幅度提升了精度。文獻[14]基于Fast R-CNN，提出了Faster R-CNN檢測算法實現精確檢測和快速檢測，改進了候選區域的生成網絡，即為區域生成網絡(region proposal network，RPN)。文獻[15]提出了YOLO(you look only once)算法，其思想是利用全卷積完成檢測，將計算結果最大化共享，使用一個7×7的網格回歸計算，同時完成目標分類操作和定位處理，并且算法速度初次達到實時要求。

本文將基于深度學習技術對比SSD網絡模型與YOLO_v3網絡模型，構建最優檢測軌道入侵目標的檢測模型，選擇最優和最適用于軌道異物檢測應用的算法，在保證準確率與實時性的前提下，有效完成基于軌道異物入侵的檢測工作與提前預警工作。

1 算法設計

本文將鐵路軌道線路中的異物入侵作為切入點并展開研究，利用深度學習相關技術方法設計了可應用至異物入侵檢測場景的算法模型達到基于遠程智能監控系統對鐵路軌道的異物入侵情況的有效檢測和提前預警的目的。

本文的軌道入侵檢測算法的首要流程是對視頻幀進行預處理，原因在于在視頻轉換過程會造成大量噪音生成的問題，解決此問題的主要手段是對視頻幀進行去除噪聲操作。通過對比使用最普遍的4種去噪濾波算法，確定使用中值濾波完成視頻幀轉換過程中的去噪工作。同時也需要確定軌道異物入侵軌道檢測范圍，即視頻幀在經過去噪處理的基礎上，繼續經由二值化處理、邊緣化處理和灰度處理和基爾霍夫變化算法得到最佳邊緣檢測圖，從而得到軌道檢測區域范圍。

最后使用本文訓練好的檢測模型對畫的好的入侵區域進行檢測，并且設置告警機制，即若系統檢測到發生異物入侵軌道的情況時，立刻推送報警信息給工作人員，進行緊急處理。

本文算法框架如圖1所示。

圖1 算法框架

2 算法分析

本文設計的基于深度學習的軌道異物入侵檢測算法由三部分組成，分別是圖形預處理模塊、軌道入侵區域劃定模塊和軌道異物入侵檢測模塊。

2.1 圖形預處理

將視頻幀切割成單幀的圖像是算法流程操作的基礎。由cv2.VideoCapture()來捕獲視頻，是視頻幀的檢測的預操作，接著進入圖片的預處理流程，具體流程如圖2所示。

圖2 圖像預處理流程

2.2 軌道入侵區域劃定

需要說明的是，如若鐵路軌道入侵的檢測范圍劃定不當，比如范圍劃定過大，拍攝設備會記錄較多無用信息，會影響檢測系統的檢測效率，造成誤檢、漏檢和檢測較慢的情況。所以需要劃定適當的危險檢測區域，處理檢測圖像，剔除檢測圖像的無用部分。

軌道入侵區域，顧名思義即異物進入軌道以及靠近其周圍的范圍。鐵軌的位置是確定軌道危險情況的前提，所以檢測鐵路軌道的位置是檢測異物入侵的首要前提。鐵軌位置檢測流程如圖3所示。

圖3 入侵區域劃定流程

軌道入侵區域的劃定是鐵路軌道異物入侵檢測的重要基礎，該區域的劃定依據是區域能否清楚地檢測到異物。實現流程如圖4所示。

圖4 軌道入侵區域劃定圖

如圖4所示，先對圖像進行圖像預處理，首先對圖4(a) 噪聲圖像進行濾波處理獲得圖4(b)去噪圖像，然后進行灰度化處理、二值化處理和邊緣檢測處理；最后使用霍夫變換算法對圖像預處理后邊緣檢測圖像進行直線檢測，獲取軌道位置，通過向軌道外側方向平移一定的距離得出檢測區域，如圖4(h)中的方框區域。

2.3 軌道入侵異物檢測

當傳統檢測算法應用在本文的入侵軌道異物檢測的場景中，檢測對象不僅只有異物還有軌道上的列車，然后在檢測對象中再剔除列車，此舉會影響檢測效率和浪費時間。其中具有代表特征的是背景減法、幀差法和光流法，這3種算法對于檢測運動緩慢亦或是靜止的目標效率較差，在檢測對象的范圍上有一定程度的局限性。

鐵路列車的發展勢頭猛烈，基于傳統算法的檢測性能難以達到異物檢測任務的速度要求和精度要求，與此同時，深度學習技術不斷發展，基于深度學習的優秀目標檢測算法逐一面世，比如R-CNN、Faster-R-CNN、Faster-R-CNN、SSD和YOLO_v3算法，但R-CNN系列的算法速度較慢，實現不了實時檢測。故而本文設計的算法基于現階段性能最好的YOLO_v3算法來進行異物入侵的檢測。

3 模型訓練

本文進行了大量的實驗，利用下面幾個指標、數據源和模型架構來評估我們的模型的有效性，以便驗證本文算法的可行性。

3.1 數據集獲取

由于異物入侵算法實驗的對象是鐵路軌道上的目標物體，也為了使實驗數據結果更加準確，在VOC2012數據集的基礎上添加了自制標注的軌道異物的1000張數據集，并將其應用于模型訓練測試和評估。

(1)數據集標注[18]

數據集的標記環節采用的是標注工具labelImg，自行手動標注圖片里的目標即可，標注完成后會自動生成包含目標位置和類別信息的xml文件。標注過程如圖5所示。

圖5 標注過程

(2)配置數據集路徑

經由人工自行標簽后生成的xml格式的標注文件，將其路徑配置至VOC2012數據集路徑下的標注文件即Annotations下，xml文件如圖6所示。

(3)配置標簽文件

配置標簽文件需要生成格式為txt的標簽文件，操作是經由運行python程序進行xml文件與txt文件的標簽格式轉換，轉換后會得到名稱為train、test、val和trainval的4個txt文件，以上4個txt文件的路徑配置在名為Main的文件夾下。同時，需要將ImageSets與Annotations中的數據文件合并。整理后的數據集數據由Annotations、Image-Sets、Main中的數據構成，由此構成了改進后的數據集，包括訓練集、驗證集和測試集，數據集總數為12 540，訓練集、測試集和驗證集的大概比例為6500∶5940∶100。

3.2 模型網絡結構定義

YOLO_v3目標檢測算法是現階段較為出色的算法，也是端到端算法。YOLO_v3網絡結構可分為Darknet-53和YOLO層，前者用于特征提取，后者用于多尺度預測。不同于YOLO_v2，YOLO_v3沒有池化層和全連接層，張量的尺寸變換均依賴于改變卷積核的步長。將原始圖片縮放到416×416大小，Darknet-53通過5次下采樣實現由大小為416×416×3的輸入得到13×13×1024的輸出，能在保證實時性的基礎上追求性能。YOLO層得到Darknet-53輸出的特征圖后，通過concat機制擴充張量維度，實現上采樣與淺層特征圖的相連，從而輸出13×13、26×26和52×52，3種尺寸大小的特征圖，通過這種多尺度的方法，可以更好地對小物體進行檢測。YOLO_v3算法不但繼承YOLO_v2算法的優點，并在即有的框架下做了改進和提升。

(1)網絡架構設計

Darknet網絡由卷積層和殘差層組成，卷積層數為53。網絡結構如圖7所示。設置卷積層和殘差層相間的網絡結構，能夠優化網絡性能提高檢測效果，和Resnet101網絡相比，其效率是后者的1.5倍。

圖7 Darknet-53網絡結構

在Imagenet數據集上的檢測結果如圖8所示。

圖8 網絡結構參數對比

(2)邊界框預測

YOLO_v3模型通過使用回歸確定單元網格預測的邊界框的置信度。首先會提前設置預測框與真實邊界框IOU的閾值，一般設置為0.5。若網格單元中的交并比大于該閾值，表示存在其目標且置信度為1，反之，則代表該網格單元中并無其目標且置信度為0。

(3)多標簽類別預測

YOLO_v3模型在類別預測上選擇使用多類別預測，與以前算法中的單一類別預測不同的是對目標能更加準確的分類。同樣確定所屬類別的方式還是取決于標簽類別的閾值，高于其閾值則為該類別。

(4)多尺寸特征圖預測

YOLO_v3模型與SSD模型在檢測時相似的點在于都采用了多尺度的特征圖檢測，大的特征圖檢測較小目標，小的特征圖檢測較大目標，但與SSD模型不同的是YOLO_v3模型采用不同的特征圖尺寸，如13×13、26×26，如圖9所示。

圖9 特征圖

圖9中的各方框為真實目標邊界和需檢測目標物體的中心點所在的位置，因為YOLO_v3模型的3種不同的特征圖，不同尺度的特征圖會劃分不同數量的單元網格，所以單元格中的先驗框尺寸也要隨著單元格尺寸的不同而變化調整。預選框隨著3種不同的網格單元分別設置3種預選邊界框，即有9種尺寸的預選框。

(5)損失函數

YOLO_v3算法的損失函數由3個不同分支的損失函數構成，其分支分別為位置、置信度和類別。如式(1)～式(3)所示

(1)

(2)

(3)

式(1)是位置預測的損失函數，預測邊界框的坐標與位置為 (x,y,w,h)， 其中 (x,y) 是邊界框的中心坐標值， (w,h) 是邊界框的尺寸值；式(2)是置信度損失函數，其使用smoothL1作為損失計算函數；式(3)是類別概率的損失函數。

YOLO_v3算法彌補了YOLO系列算法對于大小目標檢測不精的問題，使用了更先進的特征提取網絡，進一步提升了檢測精度和檢測效率。

3.3 神經網絡運行

對數據進行預先處理一般是深度學習算法中的必備環節。基于軌道入侵異物的目標樣本在不同環境下的表現不相同，同時保證模型的訓練過程進行了充分訓練，需要對樣本數據實施數據增強的操作，如水平翻轉或平移、等比例放大縮小。由于添加了自制數據集是對人工實景進行拍攝的，無法保證此環境下的目標圖片質量，故而也需要對所采集到的數據樣本實施數據增強操作，此處采用的增強方法是自適應直方圖均衡化，來提高自制樣本的數據質量。

本文YOLO_v3算法網絡的模型基于Tensorflow框架運行訓練，Tensorflow作為一個深度學習工具，其優勢明顯，操作簡便，處理模型能力優越。YOLO_v3模型訓練的具體訓練步驟如下：

(1)參數初始化

在YOLO-v3模型的訓練過程發揮作用的是各類參數：迭代次數、學習率、衰減率、步長和默認框的設置。訓練模型的第一步就是參數初始化。

(2)加載預訓練模型

參數初始化后需要加載預訓練模型，加載預訓練模型是初始化訓練參數后的步驟，此舉能夠在減短模型訓練時間的基礎上避免模型過擬合。

(3)訓練模型

YOLO_v3模型訓練的要點有參數初始化、加載預訓練模型、訓練模型和模型保存。首先，將經由預處理的數據輸入至檢測網絡，通過卷積層實現目標特征的提取，由于YOLO_v3的多尺度檢測特性，特征提取后會產生3種大小不同的特征圖，每種尺寸的特征圖會根據自己尺度自行劃分網格，需要說明的是每個網格都有3種默認框，所以在這里會產生10 647個邊界框，共聚類出9種尺寸的預選框。

(4)模型保存

訓練模型的保存同樣也是模型訓練過程中的一個重要步驟，從保存的5個模型中擇優選擇一個模型作為最終實時檢測鐵軌異物入侵的模型。

4 模型評估

本文的性能評價評估指標采用的是mAP：mean Ave-rage Precision，即均值平均精度。該性能指標的計算思路是先對一個類別求平均精度，接著對全部類別的目標分別求平均精度，最后再對所有類別的平均精度求平均。使用mAP作為性能評估指標能夠同時對本文檢測模型的定位任務和分類任務進行一定程度上的評估。

本文基于實際應用場景的特定環境和模型檢測性能的要求，自制數據集以擴大訓練集提高模型檢測的準確率。本文同時將YOLO_V3模型與基于SSD模型的檢測算法進行了對比，通過實驗測試對比不同檢測算法在鐵路軌道異物入侵檢測上的效果，經由各類參數對比驗證了YOLO_v3模型的檢測性能更佳，在完成實時檢測的基礎上兼顧了模型的計算速度，也保證了檢測精度，無論距離遠近都能有效地檢測目標，更加適合軌道異物入侵檢測任務。利用模型的良好遷移性，在鐵路的日常運營中，可以有效遷移至鐵路軌道的監控系統中并投入使用。

基于需實時檢測的性能要求，在本文對比使用的是SSD300模型，利用其輕量級的模型對100張樣本進行檢測，得出的mAP評估結果如圖10所示。

圖10 SSD模型均值平均精度

與SSD模型相對的是，YOLO_V3模型的也采用的是輕量級模型，利用該輕量級模型對100張樣本進行檢測，得出的mAP的評估結果如圖11所示。

圖11 YOLO_v3模型均值平均精度

由SSD模型和YOLO_v3模型的實驗對比，能明顯得知YOLO_v3模型的mAP優于SSD模型。需要說明的是，由于采用輕量級進行訓練和測試，降低了模型的檢測精度，但能夠達到軌道異物入侵的檢測精度要求，同時，模型檢測的實時性得到了保證。所以選擇采用YOLO_v3模型完成鐵軌異物入侵檢測工作。

5 測試結果對比

SSD模型測試結果如圖12所示。

圖12 SSD模型測試

需要說明的是鐵軌入侵檢測區域是圖中黑線標注區域。由圖12(a)和圖12(b)可知，SSD算法在檢測軌道異物入侵的任務中，對于分散的單獨較大目標能夠清晰檢測，但對于目標較小和密集情況下，檢測效果不佳，如圖12(c)和圖12(d)所示。考慮到鐵路軌道入侵異物的大小形狀是充滿不確定性的，而基于SSD模型的檢測算法具有一定的局限性，難以滿足軌道異物檢測的精度要求，在此情況下更加難以確定是否能正確及時地排除險況，因此，基于SSD模型的檢測算法在鐵路異物入侵檢測的任務中不適用，故本文的異物入侵檢測算法不使用基于SSD模型的檢測算法。

YOLO_v3模型的測試結果如圖13所示。

圖13 YOLO_v3模型測試

由圖13可知，YOLO_v3模型與SSD模型的檢測效果存在明顯的不同，在攝像頭下軌道異物的大小會因距離的遠近而發生變化，SSD模型對于物體的尺度相對比較敏感，對尺度較小的物體泛化能力較差。基于YOLO_v3模型的軌道異物檢測能夠較好地自適應物體的大小，無論是靠近鏡頭的較大物體亦或是鏡頭遠處較小的物體，均能正確檢測出。能準確檢測出大小物體的原因在于，YOLO_v3檢測模型在其前YOLO_v2的基礎上增添了多尺度檢測的特點，即有3種不同大小的特征圖檢測功能，其尺寸分別是13×13、26×26和52×52，利用較大的特征圖檢測遠處較小的目標，利用較小的特征圖檢測靠近攝像頭的而較大的物體，保證了模型檢測的可適用性。所以，對于鐵路軌道異物大小形狀的不確定性，YOLO_v3檢測模型能夠有效檢測較大目標和較小目標，能保質保量完成鐵路軌道異物入侵檢測的任務。所以基于YOLO_v3模型的檢測算法能夠適用于鐵路軌道異物入侵檢測。YOLO_v3模型在漏檢率和泛化能力上有著明顯的提升，模型訓練較為成功，軌道異物入侵的檢測較為精準、定位較為清晰。

隨著深度學習類檢測算法的不斷發展，在鐵路軌道異物入侵檢測的應用上，檢測算法的準確性能和實時性能也會不斷提高。

6 結束語

性能優良的目標檢測算法是避免異物入侵至鐵路軌道的有力保證，同時也是實現基于鐵路軌道環境下的異物入侵檢測系統最為關鍵的核心技術。本文基于深度學習的模型的優越特性，設計了應用至軌道異物入侵檢測場景的檢測算法，本文設置了軌道異物入侵的特定場景，劃定檢測區域、基于YOLO_V3深度學習模型的檢測檢測、分析結果并告警的一整套軌道異物入侵檢測流程，能夠實現全面檢測、實時監控、及時告警和盡早處理的功能。改進了傳統軌道異物檢測方式中的需要手動標定軌道異物目標的繁瑣操作，節省了人力與物力并提高鐵路運營的安全性，且本文提出的軌道異物入侵檢測算法的創新點在于提高動態入侵異物的檢測準確性的同時，也有效解決了小目標異物的檢測問題和運動緩慢的異物檢測問題。本文對鐵路軌道的安全監控、應急管理和布局優化等應用工作具有較好的借鑒價值。