高速鐵路周界快速識別算法研究

朱力強，許力之，周 鑫，王耀東

(1.北京交通大學 機械與電子控制工程學院,北京 100044 2.北京交通大學 載運工具先進制造與測控技術教育部重點實驗室,北京 100044)

基于視頻圖像的智能分析技術能有效檢測出侵入鐵路周界內的異物，是鐵路安全防災系統的重要一環[1]。判斷異物是否侵限需要獲取精確的鐵路周界即軌道區域的邊界及位置。傳統的處理算法大多針對監控區域固定的相機采集的圖像進行處理，并需要手動標記報警區域。隨著我國高速鐵路的快速發展，鐵路沿線的監控相機數目激增，對所有相機內的場景進行標注需要耗費大量的時間和人力成本。同時大量布置在鐵路沿線的可變焦的云臺相機，隨時可能因不同的需求而改變拍攝角度、焦距等，導致監控場景改變，使得報警區域需要手動的重新標定。故把能學習特征后自動識別目標的深度學習算法應用到周界識別中，實現不同場景內周界區域的劃分，將大幅度提升檢測系統的工作效率和精確度。在實際工程應用中，需要將算法移植進沿線不同配置的數據處理平臺，即要求設計的檢測算法具備良好的識別精準度，同時算法的計算量要足夠小。

周界識別可歸為分割問題，目前分割算法主要有傳統算法和基于深度學習兩種。傳統算法基于閾值、區域和目標紋理等信息劃分出不同目標區域，如Achanta等[2]基于簡單線性迭代聚類的超像素算法，該方法將圖像由RGB顏色空間轉換到CIE-Lab顏色空間，并和X、Y坐標組成5維特征向量，然后通過K-means算法進行局部聚類獲取目標邊界。文獻[3-4]提出一種多尺度組合聚合(MCG)算法，在多尺度融合的基礎上，引入隨機森林回歸器提升區域組合以及目標生成的方式。房澤平等[5]提出基于特征顏色和SNCC的交通標志識別與跟蹤方案，基于圖像的YCbCr顏色空間進行閾值分割，并設計標準的匹配模板來定位和識別交通標志。Verbeek等[6]提出一種基于馬爾科夫隨機場的區域分類算法，并結合基于方面的空間模型，提高了區域級分類的精度。文獻[7-9]基于K-means聚類算法，設定基于場景的顏色聚類規則，對所有碎片化區域中的連通域進行分析后進行組合與聚類。以上傳統分割算法計算耗時較長，在不同的場景運用需要進行調整，且無法獲得目標的語義信息。

深度學習算法可根據任務分為目標檢測和語義分割兩大類，目標檢測網絡有基于單階段檢測和基于兩階段檢測兩種，兩階段檢測算法如R-CNN系列[10-13]，首先生成大量的候選區域，再對各候選區域進行分類。單階段檢測算法如YOLO系列則略過了生成候選區域階段[14-18]，但在圖像的不同尺度特征圖的每一個像素位置預設了大量不同尺度的先驗框，最后直接預測產生物體的類別和位置。然而無論是單階段還是兩階段的目標檢測算法，依賴的錨框均不能精確地適配周界區域，無法直接應用于周界識別。語義分割網絡如FCN等[19-22]對圖像中所有像素進行分類，所以網絡需要的尺寸較大，其中包含的上采樣的結構導致計算量比目標識別網絡大。以上問題使得分割網絡依賴于高性能GPU顯卡，為獲取區域的精準度需要較長的計算時間不利于將算法移植進在鐵路沿線的端側數據處理平臺層。

因此，結合目標檢測算法和語義分割算法的優點，提出一種基于特征點識別的目標檢測網絡算法，實現鐵路周界區域的實時識別。該算法在保證網絡精確識別周界的前提下，壓縮網絡參數進一步優化模型，提升網絡速度。

1 基于特征點的周界識別網絡

提出算法方案不同于傳統目標檢測算法需要依賴檢測目標錨框，而是直接對鐵軌、護欄的特征點進行識別。算法整體方案見圖 1，首先對圖像中的鐵軌、護欄等邊界上的特征點進行標注，然后設計深度神經網絡實現對特征點的識別，最后利用識別的特征點集進行曲線擬合從而獲取精確的周界區域。

圖1 基于特征點的周界識別方案

1.1 數據標注方式

傳統的目標檢測標注方式見圖2(a)，該標注方案同時包含軌道區域和軌道周圍的無關區域。當物體侵入該部分區域時，無論物體在軌道內還是軌道外，視頻監控系統都會進行報警，導致容易出現大量誤報為入侵的情況。語義分割網絡雖然能精準的識別出鐵路周界區域，但是網絡尺寸大，計算量高，不適用于鐵路沿線數據處理設備。因此，需要在傳統目標檢測基于邊界框的方案上進行改進，通過小計算量的網絡模型，劃分出更為精準的報警區域。

圖2 周界不同的標注方式

提出基于特征點的周界識別算法，通過識別鐵軌和護欄的特征點后再擬合出精確的周界。該方案的標注方式見圖2(b)，首先將護欄按照左右兩側的不同特征分別標記為主護欄Fm和側護欄Fs，然后周界內四條鐵軌分別標記為四類R1、R2、R3、R4，最后將周界內區域劃分成兩部分：護欄區域和軌道區域。其中兩側的護欄區域由最外側兩條鐵軌R1、R4和護欄Fm、Fs分別連接而成，軌道區域由最外側兩條鐵軌R1和R4連接而成。

手動標記的特征點并不能包含周界上的所有特征點，因此需要將標注的數據概率化生成熱圖。首先將六類特征點(左右側護欄、四條軌道)分開單獨進行處理，再將手動標注的特征點在該類熱圖上的位置值設為1，通過圖3所示高斯核，將特征點位置附近的區域都置為0～1之間的數代表真值，最后將每類特征點的真值圖轉為熱圖。圖4為數據集中單幅圖像的熱圖，六張圖片分別代表R1、R2、R3、R4、Fm、Fs六類特征點的熱圖。

圖3 高斯核熱圖

圖4 熱圖數據集

1.2 特征點提取網絡LDNet

為了兼顧準確率和模型大小，選用VGG16網絡模型作為基礎網絡。卷積神經網絡中不同尺度的特征圖提取的是網絡不同的圖像信息，因此需要針對周界特征點的識別任務改進VGG16網絡模型。改進的網絡模型為LDNet，其結構見圖5。

圖5 多尺度信息融合網絡結構LDNet

網絡結構的改進步驟如下：

Step1全連接層改進

使用卷積層替代VGG16中的全連接層，網絡最后直接生成熱圖與真值比對進行損失計算。使用卷積層替換后三層全連接層后，網絡參數減小了2～5個數量級，有效地減小了原網絡模型的規模。

Step2多尺度信息融合

淺層網絡輸出的特征圖包含豐富的幾何細節信息，如點和線的位置信息，但語義信息表征能力較弱；深層網絡輸出特征圖中含有更多的語義信息，但缺乏對空間幾何細節信息的感知能力。網絡模型實現精確的鐵路周界特征點識別，既需要鐵路周界特征點在圖像上的空間細節信息，也需要通過豐富的語義信息識別不同的周界線。因此需要融合計算的多尺度特征信息提升模型特征點識別能力。在全連接層改進后的VGG16網絡基礎上，加入池化層和卷積層Conv7增大模型的感受野。

模型中同一尺度的特征由相同序列不同的卷積核計算得到，圖5中Conv6下兩個藍色的特征圖(尺寸為：19×19×1 024)是Conv6-1和Conv6-2計算所得，其他序列類推。

選用Conv2-2、Conv3-3、Conv4-3、Conv6-2、Conv7五個卷積層的輸出(分辨率分別為：150×150、75×75、38×38、19×19、10×10)分別代表了五個不同尺度的信息進行融合。信息融合方式為首先對低分辨率的特征進行Squeeze層壓縮，然后對壓縮后的特征反卷積到與高分辨率特征同一尺度，最后再與高分辨率特征進行像素級點乘。在訓練過程中，每一尺度的信息經過Squeeze層壓縮后的特征，都會與熱圖標簽計算損失進行反向傳播，即圖5中四個綠色的Squeeze層與最后兩個藍色的預測層，總共計算6個尺度信息的損失。以圖5網絡模型最后一層Conv7輸出的1 024個通道的10×10尺度特征為例。首先將該特征圖輸入到Squeeze7層通過1×1卷積核壓縮成6個通道做檢測(與標簽計算損失)；再將6個通道信息輸入到反卷積層Deconv7，得到19×19×1的特征信息；最后與模型Conv6-2輸出的19×19×1 024特征的每個通道信息進行點乘。后續計算以此類推，直至與模型Conv2-2輸出的150×150×128特征相乘后，通過Conf_layer和Loc_layer分別計算得到置信度預測結果(150×150×6)和位置偏差預測結果(150×150×2)。其中置信度預測結果的像素點值表示為該點屬于六類特征點的概率值，置信度預測結果每個像素點值代表該點與真值的位置偏差，兩個通道分別預測X、Y兩個方向上的位置偏差。

以上搭建的網絡模型稱為LDNet，由圖5可以看出，LDNet可分為三大模塊，包括由VGG16改進的基礎特征提取模塊(白色網絡層)；多尺度特征融合模塊的Squeeze層和Deconv層(綠色網絡層和黃色網絡層)；以及最終用于周界特征點預測的Conf_layer和Loc_layer(藍色網絡層)。LDNet網絡每層配置如表1所示，其中Conv1代表Conv1-1、Conv1-2，其他層以此類推。

表1 LDNet網絡配置

1.3 網絡損失函數

網絡損失Λdet分為置信度損失Λconf和位置損失Λloc，計算式為

Λdet=Λconf+λlocΛloc

( 1 )

式中：λloc為位置損失權重，取1。

使用Focal Loss計算置信度損失

( 2 )

( 3 )

( 4 )

式中：Lk為每k個尺度的Focal Loss;N為圖像中關鍵點的數量;訓練過程中，γ設為2，β設為4。

訓練過程中，LDNet中共有五個尺度的信息參與了置信度損失的計算，即圖5中綠色網絡層輸出的特征和Conf_layer藍色網絡層輸出的特征。因此總置信度損失計算式為

( 5 )

式中：n代表一共有n個尺度的信息；Λi是根據式( 2 )計算的當前尺度的置信度損失；αi為當前尺度置信度損失的權重因子，對150×150的尺度置信度損失取2，其他尺度取1。

網絡位置損失基于L1 loss，L1 loss計算式為兩數差值的絕對值，具體如下

( 6 )

1.4 網絡訓練與數據后處理

選用Adam優化器，可大幅度提升網絡的學習收斂速度，并容易獲得更優的模型參數。網絡訓練超參數設置如下：學習率基于迭代次數進行階梯狀變化，初始學習率設置為0.000 1，在迭代8 000、10 000、12 000次后學習率依次減小10倍。設置每次輸入的數據Batch size為2，Batch Normalization的權重衰減系數設置為0.000 1，動量參數為0.9。訓練經過30 000次后完全收斂，收斂后網絡輸出的熱圖見圖6，每個尺度的熱圖從左至右依次代表R1、R2、R3、R4、Fm、Fs。

圖6 網絡輸出不同尺度熱圖

使用Conf_layer輸出150×150的熱圖用于擬合周界曲線。見圖7(a)，首先將熱圖的每一行搜索一個概率最大值標記在原始圖像上。然后對于每一個概率大于0.4的行最大值，加上Loc_layer預測的位置偏置值變換至原圖像的真實坐標位置。最終將每一類篩選出的值做多項式擬合并連接，得到四條邊界線fm、fs、r1、r2。其中r1、r2兩條線組合形成軌道區域，fm和fs根據邊界線的起始點位置排序決定分別與哪一條鐵軌組合形成對應的護欄區域，當fm起始點在r1左側時，fm和r1組合而成的區域作為主護欄區域。最終排序后四條邊界線組合成的周界區域，見圖7(b)，其中包括軌道區域(紅色區域)、護欄區域(藍色區域和綠色區域)。

由圖7可以看出，LDNet能在多場景、白天黑夜、霧天雨天等多張狀況有效識別周界上的特征點，并對特征點擬合合成精準的周界。

圖7 算法最終輸出結果

2 基于特征相似度的LDNet網絡裁剪

( 7 )

對于LDNet識別鐵路周界的特征點過程，雖然各通道特征圖的l1范數值能有效代表對應的卷積核是否有用，但不能判斷該卷積核是否為冗余的卷積核(即其他卷積和與其貢獻相近)，同樣不能代表當該卷積核與模型最終輸出結果的相關程度。由于LDNet每一尺度反卷積生成的特征的六個通道均包含了需要識別的六類特征點的信息，故利用LDNet網絡結構中的反卷積層輸出的特征信息能有效判斷卷積核是否冗余，LDNet各尺度反卷積結果見圖8。

圖8 LDNet各尺度反卷積結果

將LDNet中每個卷積核輸出的特征圖與其尺度相同的反卷積結果進行比較，當卷積核與反卷積輸出的特征越相似，說明該卷積和對最終輸出的影響越大，該卷積核對最終結果是否精確越重要。將圖8的這四種尺度反卷積特征圖作為模板，然后把模型每個卷積核與對應相同尺度的模板的差值計算l1范數。l1范數越大，說明該卷積核與模板匹配度越小，對結果的貢獻度也越小。在實施裁剪過程中，通過計算卷積核在訓練集中結果的l1均值后進行排序，l1均值越大，則該卷積核序列越靠后，對應的通道則為可以裁剪的通道。特別的，LDNet中Conv1-1和Conv1-2輸出的為300×300特征圖，Conv7輸出為10×10特征圖，按特征圖l1范數準則裁剪，則最終裁剪準則如下

( 8 )

式中：size為當前卷積核輸出的特征圖尺寸；Sxi為第i張圖片xi輸入網絡后生成的對應尺度的特征圖模板。

為了對比本文裁剪準則(基于特征相似度)與其余兩種裁剪準則(基于特征圖l1范數，基于卷積核l1范數)，把數據集中每個場景的50個圖像用于計算卷積核與輸出的相似度-‖Fxi-Sxi‖，并按升序進行排序可視化。圖9為三種裁剪準則排序結果，基于特征相似度和基于特征圖l1范數變化趨勢相近，這二者與基于卷積核l1范數變化趨勢差異較大。雖然前兩種裁剪準則的曲線走勢大致相同，但對卷積和的排序結果有區別的。以第20個卷積核的特征相似度和特征圖l1范數作為基準線為例，前20個卷積核對應的特征圖l1范數有一部分是低于基準線的，而基于特征相似度的沒有這種情況，后續將通過實驗討論這三種裁剪方式對檢測結果的影響。

圖9 特征相似度、特征圖l1范數與核l1范數準則排序結果

3 分析與討論

為了驗證算法的可行性，從鐵路視頻監控系統收集了多場景多狀況的圖像數據，包含白天、夜晚、直道、彎道、公鐵跨橋、無護欄等多種鐵路場景圖像數據3 816張，并以6∶2∶2的比例劃分成訓練集(2 288張)、驗證集(764張)和測試集(764張)。由于監控系統中采用的相機不同，采集的原圖尺寸大小有1 920×1 080和1 280×720兩種，為了保證輸入圖像尺寸統一和減少深度學習算法的計算量，統一將圖像縮放至300×300。使用LDNet進行計算，并進行裁剪實驗，將裁剪前后網絡性能與其他算法作對比，實驗平臺為采用統一配置，Intel i7處理器，16 GB內存，不使用GPU 顯卡。

3.1 性能評價指標

基于提出的周界識別算法方案，本章基于運行速度和對樣本是否分類正確的判斷進行評價。按分類是否正確將最終的預測值分為四類：真正例TP、真負例TN、假真例FP、假負例FN。

語義分割的性能評價指標采用mPA、mIoU，根據置信度閾值判斷像素點是否分類正確，計算式為

( 9 )

(10)

(11)

式中：PA為像素精確率，mPA為所有類別的平均像素精確率；mIoU為所有類別的平均交并比；k為除去背景的k個類別目標；pij為屬于第i類但被預測為第j類的像素點的總數目，即pii為TP，pij為FN，pji為FP。

3.2 裁剪準則有效性驗證

在應用中，通常根據實際任務所需的處理速度和內存大小來確定對模型的壓縮比。一次性將模型裁剪成所需的大小容易裁去一些潛在有用的卷積核，破壞了模型的結構，導致很大的精度損失以及大幅度識別準確度降低。因此采用多次裁剪的策略，選取每次最合適的裁剪比例，逐步的將原始模型壓縮到目標結構。通過對LDNet不同裁剪次數形成相同的最終裁剪結果實驗出最佳裁剪策略。不同裁剪策略結果如表2所示，不同裁剪策略性能結果如表3所示。

表2 不同裁剪策略相關參數對比

表3 不同裁剪策略的性能比較 %

由表3可知，裁剪策略1采用少量多次的方式最佳，故后續將統一采用四次裁剪次數。為了比較本文所提出的裁剪方法與特征圖l1范數、卷積核l1范數的性能差異，基于鐵路數據集訓練，將這三種準則在LDNet上分別進行四次裁剪實驗，實驗的性能對比和裁剪壓縮率如表4所示。

表4 不同裁剪準則的性能比較 %

由表4可以看出，在對LDNet進行四次裁剪到相同參數壓縮率后，基于特征相似度的裁剪準則的結果在mPA和mIoU指標上均優于其余兩種裁剪準則，且最終識別精度優于原始模型。故本文提出的裁剪準則得到的模型識別精度更好，能更有效的識別出模型中無用和冗余的卷積核。

為了探索更優的模型壓縮后的結構，對LDNet按表2策略1所示的裁剪壓縮比基礎上增加裁剪次數，直至裁剪后模型精度不能恢復為止。裁剪次數增加過程中模型的性能變化見圖10。

圖10 網絡識別精度變化曲線

由圖10可知，使用特征相似度的裁剪準則在小裁剪比例的基礎上，對LDNet裁剪8次后精度損失較大，且進行微調也無法恢復原有精度，故以第7次裁剪后得到的模型結構作為最終裁剪結果，在保證精度的情況下盡可能減少網絡參數量。

3.3 LDNet有效性驗證

使用圖10中7次裁剪后得到的LDNet進行計算，并與FCN、MCG算法以及裁剪前原始結構作對比。其中可視化區域分別為主護欄區域、側護欄區域、軌道區域。不同算法的性能比較如表5所示。

表5 使用所提算法裁剪前后模型與不同算法性能參數比較

由表5可知，LDNet裁剪后模型尺寸壓縮至僅2.99 MB，壓縮了原始LDNet尺寸的97.4%。裁剪后的LDNet在mPA上達到最高為96.37%，相比原始LDNet增加0.26%，而mIoU僅下降0.08%，幾乎保持不變。LDNet裁剪后計算耗時降低61.5%，相比其他算法運行時間大幅度縮短。綜上可得將LDNet用提出裁剪準則進行7次裁剪最終可以實現2.99 MB的參數占用空間，且精度幾乎無損失。最終識別精度上優于其他的算法，不同算法對鐵路周界的識別結果見圖11。

圖11 不同算法識別結果

由表5和圖11可知，FCN識別結果中,護欄區域存在漏識別，也有部分非周界區域識別成鐵軌區域；MCG算法計算過程中需要對大量的區域進行迭代聚合，所以計算速度和效率遠低于算法，并且MCG識別結果中鐵軌和護欄聚合區域均存在缺少的情況。本文提出的識別模型LDNet對周界各個區域的識別精度更高，誤識別也更少，裁剪后單張圖片計算耗時最短，能夠滿足鐵路視頻監控系統實時性要求和低內存占用要求，不再依賴GPU的加速，容易搭載在鐵路沿線不同配置的處理平臺上，實現自動快速的識別出鐵路周界中的護欄和鐵軌區域。

4 結論

提出一種基于多尺度信息融合的鐵路周界識別深度神經網絡模型LDNet，實現各種線路場景的周界自動快速精確識別。該算法拋棄了目標檢測網絡依賴的錨框，直接識別周界線特征點，使用目標檢測網絡實現了分割式的結果；對于實際運用中的配置問題，設計了基于特征相似度的裁剪準則，選用網絡裁剪的方式壓縮網絡，進一步的對模型優化。通過對比實驗，裁剪后的LDNet單張圖像處理耗時0.60 s，識別mPA達到96.37%，模型尺寸僅2.99 MB，均優于FCN和MCG算法，能滿足在精度要求的前提下達到實時性識別鐵路周界的要求。