基于視覺(jué)的地鐵列車前向目標(biāo)識(shí)別系統(tǒng)研究

趙輝 張陸軍 張永鵬 田文健

摘 要：為解決地鐵列車前向運(yùn)行環(huán)境中障礙物判斷問(wèn)題，提出基于視覺(jué)的地鐵列車前向目標(biāo)識(shí)別系統(tǒng)。該系統(tǒng)利用語(yǔ)義分割算法提取行駛軌道區(qū)域，結(jié)合軌道區(qū)域識(shí)別，基于 SSD 算法提取前向運(yùn)行環(huán)境中軌道限界范圍內(nèi)的列車、行人等目標(biāo)。針對(duì)上述場(chǎng)景，建立列車前向運(yùn)行環(huán)境樣本庫(kù)，并基于該樣本庫(kù)完成模型訓(xùn)練。實(shí)驗(yàn)結(jié)果證明所得模型可有效識(shí)別列車前向行駛多目標(biāo)。

關(guān)鍵詞：地鐵列車;視覺(jué);深度學(xué)習(xí);語(yǔ)義分割;目標(biāo)識(shí)別

中圖分類號(hào)：U284.1

1 研究背景

隨著地鐵的大規(guī)模建設(shè)，城市軌道交通技術(shù)也隨之快速發(fā)展。但目前的技術(shù)主要聚焦在常規(guī)運(yùn)營(yíng)場(chǎng)景下的無(wú)人化作業(yè)方面，故障應(yīng)急場(chǎng)景下通常仍需要人工介入處理。由于無(wú)人駕駛系統(tǒng)在異常場(chǎng)景下的安全性、可靠性、可用性以及無(wú)人化水平方面，尚存在很大的提升空間，目前亟需一種技術(shù)手段增強(qiáng)列車對(duì)復(fù)雜周邊運(yùn)行環(huán)境的自主識(shí)別能力，使之在信號(hào)系統(tǒng)故障時(shí)，仍能在照明不良、視距受限的隧道、彎道、坡道等運(yùn)行環(huán)境下，對(duì)前方列車和其他影響行車安全的障礙物進(jìn)行準(zhǔn)確地距離判斷和制動(dòng)防護(hù)，為司機(jī)提供可靠的制動(dòng)預(yù)警信息，從而有效避免因設(shè)備故障或人為失誤造成的追尾、側(cè)沖或闖信號(hào)等運(yùn)行事故。

如何檢測(cè)并識(shí)別軌道線及其周邊是否存在障礙物（行人、車輛）并迅速做出反應(yīng)，是實(shí)現(xiàn)無(wú)人駕駛列車運(yùn)行的重要環(huán)節(jié)。目前針對(duì)軌道區(qū)域目標(biāo)的識(shí)別，國(guó)內(nèi)外采用了不同的識(shí)別技術(shù)，對(duì)這一領(lǐng)域的發(fā)展都做出了貢獻(xiàn)。AL Polivka等人[1]通過(guò)光纖陀螺提供的角速度信息來(lái)判斷通過(guò)岔道時(shí)的列車運(yùn)行軌道。蔡伯根等人[2]提出了一種新的列車軌道占用自動(dòng)識(shí)別算法，分析了LTS-Hausdorff距離的計(jì)算過(guò)程及軌道占用自動(dòng)識(shí)別決策方法。王劍等人[3]提出了一種基于隱馬爾可夫模型（HMM）軌道占用自動(dòng)識(shí)別的算法，即利用不同軌道的列車運(yùn)行歷史數(shù)據(jù)建立各自對(duì)應(yīng)的HMM。

現(xiàn)今目標(biāo)識(shí)別的問(wèn)題多依賴于視覺(jué)傳感器，計(jì)算機(jī)視覺(jué)的研究從傳統(tǒng)基于特征的方法，如邊緣特征、紋理特征、模板匹配等[4-5]，到現(xiàn)如今基于機(jī)器學(xué)習(xí)中神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，效果大幅提升[6]。文獻(xiàn)[7]使用滑窗、小波、哈爾特征進(jìn)行識(shí)別，它是第一個(gè)可以實(shí)時(shí)處理的物體類別識(shí)別算法。文獻(xiàn)[8]利用方向梯度直方圖（HOG）和支持向量機(jī)（SVM）作為分類器可識(shí)別行人。文獻(xiàn)[9]提出了DPM算法以解決非剛體識(shí)別問(wèn)題。文獻(xiàn)[10]提出基于卷積神經(jīng)絡(luò)的方法，使得計(jì)算機(jī)視覺(jué)領(lǐng)域開(kāi)始進(jìn)入深度學(xué)習(xí)時(shí)代。文獻(xiàn)[11]使用深度網(wǎng)絡(luò)進(jìn)行目標(biāo)回歸。文獻(xiàn)[12]使用卷積網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)包圍盒。文獻(xiàn)[13]提出了SSD目標(biāo)識(shí)別算法，使得網(wǎng)絡(luò)實(shí)現(xiàn)端到端訓(xùn)練，并且大幅提高了網(wǎng)絡(luò)速度，效果也達(dá)到當(dāng)時(shí)的頂級(jí)?；谏疃葘W(xué)習(xí)的方法可有效提升識(shí)別效果，故本文采用深度學(xué)習(xí)的方法進(jìn)行前向目標(biāo)識(shí)別。

基于上述研究基礎(chǔ)，本文提出了一種基于視覺(jué)的列車前向目標(biāo)識(shí)別系統(tǒng)，該系統(tǒng)利用語(yǔ)義分割算法提取出行駛軌道區(qū)域，與此同時(shí)應(yīng)用目標(biāo)識(shí)別算法識(shí)別出前向列車、行人等目標(biāo)，在此基礎(chǔ)上結(jié)合識(shí)別的軌道區(qū)域，從而判別識(shí)別的目標(biāo)是否影響車輛行駛。本系統(tǒng)可有效提升列車行駛安全，實(shí)現(xiàn)列車信號(hào)系統(tǒng)故障時(shí)的前向列車安全防護(hù)。

2 系統(tǒng)介紹

本文提出的基于視覺(jué)的列車前向目標(biāo)識(shí)別系統(tǒng)的功能如圖1所示，主要包含樣本庫(kù)構(gòu)建和算法開(kāi)發(fā)兩大部分。由于列車運(yùn)行場(chǎng)景較為特殊，樣本庫(kù)無(wú)法使用MNIST、VOC、COCO、ImageNet等公用數(shù)據(jù)集，因此本文針對(duì)軌道交通列車實(shí)際運(yùn)行場(chǎng)景采集視頻素材，并根據(jù)采集的視頻進(jìn)行處理可得到針對(duì)列車前向運(yùn)行場(chǎng)景的樣本庫(kù)。算法開(kāi)發(fā)部分包含軌道區(qū)域識(shí)別算法開(kāi)發(fā)，列車、行人識(shí)別算法開(kāi)發(fā)以及信號(hào)機(jī)識(shí)別算法開(kāi)發(fā)3個(gè)部分。其中軌道區(qū)域識(shí)別是基于深度學(xué)習(xí)的語(yǔ)義分割算法，列車、行人識(shí)別和信號(hào)機(jī)識(shí)別是基于卷積神經(jīng)網(wǎng)絡(luò)中的多目標(biāo)識(shí)別算法。為使上述算法有良好的封裝和應(yīng)用功能，本文的算法設(shè)計(jì)、訓(xùn)練、測(cè)試和應(yīng)用都是基于Caffe深度學(xué)習(xí)框架完成，硬件設(shè)備使用Nvidia Titan X Pascal。將構(gòu)建好的樣本庫(kù)輸入已設(shè)計(jì)完成的深度學(xué)習(xí)網(wǎng)絡(luò)，并利用Caffe訓(xùn)練網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)權(quán)值及參數(shù)最優(yōu)之后得到訓(xùn)練模型。

2.1 樣本庫(kù)構(gòu)建

構(gòu)建良好的樣本庫(kù)對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練來(lái)說(shuō)尤為重要，增加特征不夠明顯、應(yīng)用場(chǎng)景不夠準(zhǔn)確的樣本會(huì)破壞訓(xùn)練模型精度，大幅度提高誤識(shí)別率和漏識(shí)別率。因此為了提高訓(xùn)練模型性能，本文將根據(jù)實(shí)際列車行駛場(chǎng)景采集視頻素材，并根據(jù)不同的算法處理該視頻素材，構(gòu)建針對(duì)列車前向行駛的樣本庫(kù)。

為結(jié)合長(zhǎng)焦攝像機(jī)探測(cè)距離遠(yuǎn)，短焦攝像機(jī)探測(cè)視角廣的優(yōu)點(diǎn)，視頻素材采集過(guò)程中同時(shí)使用了長(zhǎng)短焦攝像機(jī)。長(zhǎng)短焦攝像機(jī)的安裝位置在列車駕駛室內(nèi)，以保證獲取的視頻素材不受天氣影響，不僅能維持高質(zhì)量的識(shí)別度，還無(wú)需頻繁擦拭或者更換攝像機(jī)。攝像機(jī)安裝時(shí)面向列車行駛正前方，以保證沒(méi)有遮擋。攝像機(jī)安裝完成后需進(jìn)行聯(lián)合標(biāo)定，從而實(shí)現(xiàn)長(zhǎng)短焦坐標(biāo)信息的統(tǒng)一，主要應(yīng)用基于張正友相機(jī)標(biāo)定算法進(jìn)行相機(jī)內(nèi)參標(biāo)定，同時(shí)應(yīng)用相機(jī)幾何成像原理進(jìn)行相機(jī)外參標(biāo)定。標(biāo)定完后在列車實(shí)際行駛時(shí)采集視頻素材。由于視頻素材無(wú)法直接輸入模型訓(xùn)練，需要進(jìn)行圖片截取和標(biāo)注并構(gòu)建樣本庫(kù)。

2.2 軌道區(qū)域識(shí)別算法

列車實(shí)際行駛時(shí)通常會(huì)有兩條甚至多條軌道，由于列車某一時(shí)間只能在一條軌道內(nèi)固定行駛，因此通常不在該列車行駛軌道中的物體不需要關(guān)注，否則會(huì)引起誤報(bào)警。針對(duì)以上需求，對(duì)列車行駛的軌道區(qū)域識(shí)別尤為重要。

本文針對(duì)軌道區(qū)域識(shí)別采用語(yǔ)義分割算法，相比于其他傳統(tǒng)算法，語(yǔ)義分割算法可更好地解釋道路環(huán)境，十分適用于本文的軌道區(qū)域識(shí)別場(chǎng)景?；谏疃葘W(xué)習(xí)的語(yǔ)義分割算法可構(gòu)建端到端的網(wǎng)絡(luò)映射框架，并能實(shí)現(xiàn)像素級(jí)分類。將處理好的樣本庫(kù)輸入進(jìn)語(yǔ)義分割算法網(wǎng)絡(luò)中，利用Caffe框架訓(xùn)練即可得到軌道區(qū)域識(shí)別模型。

2.3 多目標(biāo)識(shí)別算法

在軌道區(qū)域識(shí)別的基礎(chǔ)上引入多目標(biāo)識(shí)別，目的是識(shí)別出列車前向的多目標(biāo)物體，通過(guò)判斷該目標(biāo)是否在軌道區(qū)域內(nèi)進(jìn)而提供預(yù)警或決策信息。若在列車前進(jìn)軌道的安全限界內(nèi)，則判斷其目標(biāo)為前向行駛障礙物，若不在列車前進(jìn)軌道上，則判斷為安全物體。同時(shí)利用該識(shí)別方法還能夠獲取信號(hào)機(jī)信息。

目標(biāo)識(shí)別任務(wù)可以分為傳統(tǒng)圖像處理方法和基于深度學(xué)習(xí)的方法，由于傳統(tǒng)圖像處理方法應(yīng)用場(chǎng)景單一且精度較差，因此本文將采用基于深度學(xué)習(xí)的方法?；谏疃葘W(xué)習(xí)的多目標(biāo)識(shí)別算法有Faster R-CNN[14]、YOLO[15]以及SSD算法等。Wei Liu等提出的SSD算法是一種one-stage的目標(biāo)檢測(cè)方法，可在一張圖像中檢測(cè)多類目標(biāo)。它保留了Faster R-CNN中的錨點(diǎn)（Anchor）機(jī)制，識(shí)別精度高于YOLO算法。它的待識(shí)別目標(biāo)類別和識(shí)別方框可一次性預(yù)測(cè)，識(shí)別速度快于Faster R-CNN算法。由于其速度精度俱佳的良好特性，因此十分適用于本文的列車多目標(biāo)識(shí)別場(chǎng)景。針對(duì)列車行駛場(chǎng)景樣本庫(kù)輸入進(jìn)SSD卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可得到多目標(biāo)識(shí)別模型。

3 實(shí)驗(yàn)驗(yàn)證

為分別說(shuō)明并驗(yàn)證軌道區(qū)域識(shí)別及多目標(biāo)識(shí)別的訓(xùn)練模型是否有效，測(cè)試視頻數(shù)據(jù)分別選用只含有軌道、列車不在前進(jìn)軌道以及列車在前進(jìn)軌道3類。分別如圖2、圖3、圖4所示。從測(cè)試結(jié)果能夠發(fā)現(xiàn)，所得的訓(xùn)練模型不僅能夠有效分割前向軌道區(qū)域，還能有效識(shí)別目標(biāo)，并結(jié)合兩者判斷該目標(biāo)是否在列車行駛軌道上。

為深入分析算法的性能，進(jìn)一步采集大量的列車正常運(yùn)行視頻數(shù)據(jù)進(jìn)行分析。采集的視頻數(shù)據(jù)分辨率大小均為1280dpi×720dpi，本文中采集的數(shù)據(jù)集包含10000幀數(shù)據(jù)，其中前向有車的數(shù)據(jù)為4 800幀。

本文選取了2個(gè)指標(biāo)用于評(píng)估列車的識(shí)別精度，包括漏識(shí)別率和誤識(shí)別率，漏識(shí)別率指的是漏識(shí)別的列車數(shù)占數(shù)據(jù)集中所有樣本的比例，誤識(shí)別率指的是錯(cuò)誤識(shí)別的列車數(shù)占數(shù)據(jù)集中所有樣本的比例，本文的識(shí)別結(jié)果如表1所示。

通過(guò)表1可知，該地鐵列車前向目標(biāo)識(shí)別算法在漏識(shí)別和誤識(shí)別上均有較高精度，對(duì)于保障列車運(yùn)行安全具有重要意義。

4 結(jié)語(yǔ)

本文針對(duì)列車行駛環(huán)境特征提取問(wèn)題，提出了基于視覺(jué)的列車前向目標(biāo)識(shí)別系統(tǒng)研究。針對(duì)特定場(chǎng)景，通過(guò)在列車前方安裝長(zhǎng)短焦攝像頭，來(lái)采集實(shí)際列車運(yùn)行的視頻素材，并構(gòu)建該特定場(chǎng)景的樣本庫(kù)。該系統(tǒng)首先利用語(yǔ)義分割算法進(jìn)行軌道區(qū)域識(shí)別任務(wù)，可將列車前向軌道進(jìn)行像素級(jí)分類提取。結(jié)合軌道區(qū)域識(shí)別，利用SSD算法進(jìn)行多目標(biāo)識(shí)別任務(wù)，可判斷列車前進(jìn)軌道內(nèi)是否包含列車、行人等危險(xiǎn)障礙物，還能夠識(shí)別信號(hào)機(jī)等信息。實(shí)驗(yàn)結(jié)果表明上述算法所得模型識(shí)別效果較好。現(xiàn)階段本研究基于視覺(jué)數(shù)據(jù)，檢測(cè)效果易受光線等因素干擾，下一步研究將采用視覺(jué)與激光雷達(dá)融合進(jìn)行前向列車識(shí)別，從而提升列車的識(shí)別效果。

參考文獻(xiàn)

[1]Polivka A，Ede B M，Drapa J. North American joint positive train control project [R]. Railroad Safety，2009.

[2]蔡伯根.低成本列控系統(tǒng)的列車組合定位理論與方法[D]. 北京：北京交通大學(xué)，2010.

[3]王劍，張輝，蔡伯根，等. 基于HMM的列車軌道占用自動(dòng)識(shí)別算法研究[J].鐵道學(xué)報(bào)，2009（3）：54-58.

[4]張宇，韓振軍，焦建彬.一種基于綜合特征評(píng)估的運(yùn)動(dòng)目標(biāo)跟蹤算法[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2010（5）：491-495.

[5]Mithun N C， Howlader T， Rahman S M M. Video-based tracking of vehicles using multiple time-spatial images[J]. Expert Systems with Applications，2016（6）： 17-31.

[6]Zhang Z， Peng H. Deeper and wider siamese networks for real-time visual tracking[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2019.

[7]Viola P， Jones M. Rapid object detection using a boosted cascade of simple features[J]. Computer Vision and Pattern Recognition，2001（2）：511-518.

[8]Dalal N， Triggs B. Histograms of oriented gradients for human detection[C]. 2005 IEEE Computer Society Conference on Computer Vision，2005.

[9]Felzenszwalb P F， Girshick R B， McAllester D， et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，32（9）：1627-1645.

[10] Krizhevsky A， Sutskever I， Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems，2012.

[11] Szegedy C， Toshev A， Erhan D. Deep neural networks for object detection[C]. Advances in Neural Information Processing Systems，2013.

[12] Erhan D， Szegedy C， Toshev A， et al. Scalable object detection using deep neural networks[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014.

[13] Liu W， Anguelov D， Erhan D， et al. SSD： Single shot multibox detector[C]. European Conference on Computer Vision，2016.

[14] Ren S， He K， Girshick R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[C]. Advances in Neural Information Processing Systems. 2015.

[15] Redmon J， Divvala S， Girshick R， et al. You only look once： Unified， real-time object detection[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.

收稿日期 2019-07-15

責(zé)任編輯 胡姬

Research on visual based metro train forward target recognition system

Zhao Hui， Zhang Lujun， Zhang Yongpeng， et al.

Abstract： In order to solve the problem of identifying obstacles in the metro train forward direction running environment， this paper proposes a visaul-based forward target recognition system. Taking into consideration of the track area recognition， and based on SSD algorithm to extract the train， pedestrian and other targets in the forward running environment， the system uses semantic segmentation algorithm to extract the running track area. In view of the above scenarios， it establishes the train forward operation environment sample database， and completes the model training based on the sample database. The experimental results show that the model effectively identifies the train moving forward multiple targets.

Keywords： metro train， visual， deep learning， semantic segmentation， target recognition