一種采用FPGA的軌道異物檢測(cè)系統(tǒng)

吳志勇, 鞠傳香

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 山東淄博 255049)

一種采用FPGA的軌道異物檢測(cè)系統(tǒng)

吳志勇, 鞠傳香

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 山東淄博 255049)

摘要：為降低貨運(yùn)列車行駛過(guò)程中的事故發(fā)生率，設(shè)計(jì)實(shí)現(xiàn)了貨運(yùn)軌道異物檢測(cè)系統(tǒng).系統(tǒng)包括位于車頭上部的視頻采集處理裝置和位于駕駛室內(nèi)的異物檢測(cè)系統(tǒng)兩部分.首先，介紹了系統(tǒng)結(jié)構(gòu)和異物檢測(cè)系統(tǒng)的功能結(jié)構(gòu)，描述了采用FPGA模塊的圖像采集處理裝置的硬件結(jié)構(gòu).然后，給出了系統(tǒng)異物檢測(cè)的幀間差分算法和背景減法算法及流程.針對(duì)系統(tǒng)之間的數(shù)據(jù)傳輸問(wèn)題，設(shè)計(jì)了上位機(jī)和下位機(jī)的通信協(xié)議，包括數(shù)據(jù)結(jié)構(gòu)、幀定義和通信流程.最后，給出了上位機(jī)異物檢測(cè)系統(tǒng)的開(kāi)發(fā)環(huán)境和運(yùn)行結(jié)果演示.經(jīng)測(cè)試表明，系統(tǒng)運(yùn)行正常、檢測(cè)正確率高，能較好的給予駕駛員異物報(bào)警提示.

關(guān)鍵詞：異物檢測(cè)； FPGA； 圖像處理； 貨運(yùn)列車

2014年5月25日，國(guó)家鐵路局首次發(fā)布了2013年鐵路運(yùn)輸安全監(jiān)管報(bào)告.報(bào)告中指出，2013年全國(guó)鐵路交通事故死亡人數(shù)1336人[1].鐵路運(yùn)行安全一直以來(lái)都是國(guó)家安全總局重點(diǎn)監(jiān)管對(duì)象，鐵路部門也通過(guò)各種先進(jìn)管理理念和科技技術(shù)來(lái)盡量避免事故發(fā)生，雖然2013年事故發(fā)生率比2012年下降了5.2%，但與國(guó)外發(fā)達(dá)國(guó)家相比，我國(guó)事故率仍處高位.另外，2013年披露的鐵路交通事故中，鐵路貨車事故占較大比例.通過(guò)對(duì)事故分析可以看出，大部分的事故如果能夠提前300m得到預(yù)警，并采取相應(yīng)的處理措施，就可避免.一直以來(lái)，不斷發(fā)展的科技技術(shù)是鐵道安全的重要保障，隨著軟硬件技術(shù)的發(fā)展，通過(guò)在鐵路貨車車頭安裝高性能的視頻監(jiān)控設(shè)備，并對(duì)視頻數(shù)據(jù)進(jìn)行異物檢測(cè)，是近年來(lái)的研究熱點(diǎn).

本系統(tǒng)將具有高性能FPGA處理模塊的視頻監(jiān)控設(shè)備附著于火車車頭,通過(guò)視頻采集實(shí)時(shí)監(jiān)控前方軌道狀態(tài)，并通過(guò)軌道異物檢測(cè)算法檢測(cè)前方是否存在異物,當(dāng)發(fā)現(xiàn)異物后,系統(tǒng)客戶端發(fā)出報(bào)警提示.

1系統(tǒng)結(jié)構(gòu)

軌道異物檢測(cè)系統(tǒng)由位于火車頭上方安裝的視頻采集處理裝置和火車駕駛室內(nèi)的視頻監(jiān)控客戶端構(gòu)成主從式總線結(jié)構(gòu).圖像采集處理裝置通過(guò)前置攝像頭實(shí)時(shí)采集軌道前方的軌道圖像數(shù)據(jù)，F(xiàn)PGA可編程模塊對(duì)采集到的軌道圖像進(jìn)行預(yù)處理，然后通過(guò)串口端口將處理后的軌道圖像數(shù)據(jù)實(shí)時(shí)發(fā)送到駕駛室內(nèi)的軌道異物檢測(cè)系統(tǒng)[2].軌道異物檢測(cè)客戶端同步顯示軌道視頻，并采用幀間差分法或背景減法實(shí)時(shí)檢測(cè)軌道異物，如果發(fā)現(xiàn)異物，啟動(dòng)告警程序，提醒駕駛員采取處理措施.系統(tǒng)結(jié)構(gòu)框圖如圖1所示.

圖1 系統(tǒng)結(jié)構(gòu)框圖

圖像采集處理裝置的主要功能是實(shí)現(xiàn)貨運(yùn)火車行駛過(guò)程中的前方軌道圖像采集、圖像預(yù)處理、程序存儲(chǔ)、加載、數(shù)據(jù)傳輸?shù)裙δ埽饕▓D像傳感器CMOS、圖像預(yù)處理FPGA編程邏輯芯片、內(nèi)存SRAM、FLASH閃存、LED/LCD視頻信號(hào)輸出、USB/RS232/RJ45傳輸接口、電源電路等組成[3].圖像采集處理裝置采用實(shí)時(shí)采集處理傳輸方式，當(dāng)上位機(jī)客戶端用戶選擇開(kāi)啟視頻監(jiān)控時(shí)，該裝置自動(dòng)加電，并處于待機(jī)狀態(tài).當(dāng)用戶選擇異物檢測(cè)功能時(shí)，F(xiàn)PGA加載存儲(chǔ)在SRAM中的圖像預(yù)處理程序，并將實(shí)時(shí)采集的圖像數(shù)據(jù)經(jīng)過(guò)預(yù)處理后根據(jù)裝置的狀態(tài)通過(guò)串口或網(wǎng)口發(fā)送到上位機(jī).

視頻監(jiān)控客戶端的軌道異物檢測(cè)管理系統(tǒng)主要負(fù)責(zé)對(duì)圖像采集處理裝置發(fā)送來(lái)的圖像數(shù)據(jù)進(jìn)行分析檢測(cè)、存儲(chǔ)、查詢和統(tǒng)計(jì)等功能.管理系統(tǒng)包括系統(tǒng)設(shè)置、系統(tǒng)控制、圖像預(yù)處理管理、圖像異物檢測(cè)管理、查詢統(tǒng)計(jì)等5個(gè)功能模塊[4]，如圖2所示.系統(tǒng)設(shè)置實(shí)現(xiàn)通信參數(shù)和系統(tǒng)管理的設(shè)置，例如通訊方式的選擇(RS232、RJ45)，圖像預(yù)處理方法參數(shù)設(shè)置(灰度處理、平滑處理和補(bǔ)償處理)，系統(tǒng)用戶管理(角色控制和登錄控制)等.系統(tǒng)控制實(shí)現(xiàn)設(shè)備的控制和檢測(cè)控制，包括設(shè)備的啟動(dòng)、待機(jī)和關(guān)閉，檢測(cè)功能的啟動(dòng)、暫停和關(guān)閉等功能.圖像預(yù)處理程序的管理包括圖像預(yù)處理程序的下傳更新、流程控制等功能.圖像異物檢測(cè)管理實(shí)現(xiàn)本地檢測(cè)方法的選擇，例如幀間差分檢測(cè)和背景減法檢測(cè).查詢統(tǒng)計(jì)功能包括視頻回放查詢、報(bào)警查詢統(tǒng)計(jì)、日志查詢等功能.

圖2 軌道異物實(shí)時(shí)檢測(cè)管理系統(tǒng)功能模塊

2圖像采集硬件結(jié)構(gòu)

圖像采集處理硬件部分框圖如圖3所示，主要包括CCD高清攝像頭、視頻解碼器、FPGA可編程邏輯陣列、數(shù)據(jù)存儲(chǔ)、通信接口和周邊電路等.系統(tǒng)選用CCD高清攝像頭，經(jīng)過(guò)光電轉(zhuǎn)換、A/D轉(zhuǎn)換后，將圖像模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，然后發(fā)送給已加載圖像處理程序的FPGA芯片.現(xiàn)場(chǎng)可編程門陣列(FPGA)芯片具有體系結(jié)構(gòu)和邏輯單元靈活、集成度高以及適用范圍寬等特點(diǎn)，通過(guò)與SDRAM/FLASH/RAM等周邊電路的集成，可快速預(yù)處理圖像，達(dá)到實(shí)時(shí)性要求[5].根據(jù)上位機(jī)的配置，經(jīng)過(guò)處理后的圖像數(shù)據(jù)通過(guò)串口或網(wǎng)口傳輸給上位機(jī)進(jìn)行顯示和檢測(cè).

圖3 圖像采集硬件框圖

3軌道異物檢測(cè)算法

軌道異物檢測(cè)有多種方法，有主動(dòng)檢測(cè)和被動(dòng)檢測(cè)，也有固定檢測(cè)和移動(dòng)檢測(cè).文獻(xiàn)[6]采用移動(dòng)被動(dòng)式異物檢測(cè)方法，首先通過(guò)Hough變換檢測(cè)出鐵軌，然后分割出鐵軌異物.文獻(xiàn)[7]同文獻(xiàn)[6]的檢測(cè)方法相同，具體檢測(cè)算法不同，首先區(qū)分出大異物和小異物，然后利用已訓(xùn)練好的向量機(jī)對(duì)異物進(jìn)行檢測(cè).文獻(xiàn)[8]采用固定被動(dòng)式異物檢測(cè)方法，通過(guò)相對(duì)背景差分法對(duì)鐵路道口進(jìn)行異物檢測(cè).

該系統(tǒng)可選擇幀間差分算法和背景減法算法進(jìn)行軌道異物的檢測(cè)[9].這兩種檢測(cè)算法都比較常用，也各有優(yōu)缺點(diǎn).幀間差分算法通過(guò)相鄰幀的時(shí)間差分來(lái)提取異物目標(biāo)，具有效率高、適應(yīng)性強(qiáng)的優(yōu)點(diǎn)和易受運(yùn)行速度影響的缺點(diǎn)；背景減法算法通過(guò)將圖像序列和參考背景相減來(lái)提取異物目標(biāo)，具有計(jì)算簡(jiǎn)單、目標(biāo)形狀準(zhǔn)確的優(yōu)點(diǎn)和易受環(huán)境影響的缺點(diǎn).兩種算法對(duì)比結(jié)果見(jiàn)表1.

表1 幀間差分算法和背景減法算法對(duì)比

在幀間差分算法中，首先獲取當(dāng)前幀圖像，然后與前X幀的圖像進(jìn)行灰度相關(guān)性幀間差計(jì)算，X值的定義根據(jù)系統(tǒng)配置可取2或3等.背景減法算法中，獲取當(dāng)前幀圖像后與已建模的背景圖像進(jìn)行背景差分計(jì)算，背景圖像的建模可根據(jù)軌道路段環(huán)境的不同分別建模.對(duì)差分后的圖像進(jìn)行陰影去除、濾波后，確定異物是否出現(xiàn).系統(tǒng)軌道異物檢測(cè)流程如圖4所示.

圖4　軌道異物檢測(cè)流程

4通信協(xié)議設(shè)計(jì)

位于車頭駕駛室內(nèi)的軌道異物檢測(cè)系統(tǒng)與安裝于車頭上的圖像采集處理裝置之間采用主從方式進(jìn)行通信，通信控制都由上位機(jī)檢測(cè)系統(tǒng)發(fā)起，下位機(jī)圖像采集裝置給予響應(yīng)[10].

根據(jù)數(shù)據(jù)傳輸方向的不同，系統(tǒng)的通信協(xié)議包括兩種數(shù)據(jù)結(jié)構(gòu)，即下行數(shù)據(jù)結(jié)構(gòu)和上行數(shù)據(jù)結(jié)構(gòu)，見(jiàn)表2、3.下行數(shù)據(jù)結(jié)構(gòu)包括 Command byte(命令字)、 Command byte complement (命令字反碼)、Type(類型)、Length(長(zhǎng)度)、Data(數(shù)據(jù))，主要實(shí)現(xiàn)上位機(jī)對(duì)下位機(jī)圖像采集處理裝置的控制和數(shù)據(jù)設(shè)置；上行數(shù)據(jù)結(jié)構(gòu)包括Command byte complement (命令字反碼)、 Command byte (命令字)、Length(長(zhǎng)度)、Total length(總長(zhǎng)度)、Data(數(shù)據(jù))，主要實(shí)現(xiàn)圖像數(shù)據(jù)的上傳功能.

表2 下行數(shù)據(jù)結(jié)構(gòu)

表3　上行數(shù)據(jù)結(jié)構(gòu)

協(xié)議中的命令字包括5種類型的幀命令：請(qǐng)求幀、數(shù)據(jù)幀、握手幀、錯(cuò)誤幀和結(jié)束幀.命令字功能說(shuō)明見(jiàn)表4、5.

表4 下行命令字功能說(shuō)明

表5　上傳命令字功能說(shuō)明

設(shè)備加電啟動(dòng)后，上位機(jī)檢測(cè)系統(tǒng)向下位機(jī)視頻采集裝置發(fā)送連接命令0xAB，0x54，如果連接正常，上位機(jī)返回確認(rèn)命令0x54，0xAB，再次發(fā)送連接命令，三次握手成功后，設(shè)備之間連接成功[11].然后，上位機(jī)發(fā)送實(shí)時(shí)圖像數(shù)據(jù)上傳命令，通信流程圖如圖5所示.

圖5　上位機(jī)與下位機(jī)通信流程圖

5系統(tǒng)實(shí)現(xiàn)

系統(tǒng)在Visual Studio .net 2010環(huán)境下采用C#語(yǔ)言開(kāi)發(fā)，采用面向?qū)ο蟪绦蛟O(shè)計(jì)方法，設(shè)計(jì)了系統(tǒng)用例圖、活動(dòng)圖和狀態(tài)圖等，封裝了若干對(duì)象類.劃分了多個(gè)功能模塊，各功能模塊之間保證高內(nèi)聚低耦合，保證系統(tǒng)擴(kuò)展性和維護(hù)性[12].圖像數(shù)據(jù)類中的實(shí)時(shí)數(shù)據(jù)接收部分代碼如圖6所示.

圖6 圖像數(shù)據(jù)實(shí)時(shí)接收部分代碼

系統(tǒng)界面友好，異物檢測(cè)程序演示如圖7所示.

圖7 程序運(yùn)行演示圖

6 結(jié)束語(yǔ)

軌道異物檢測(cè)系統(tǒng)對(duì)行駛中的貨運(yùn)列車給予了安全保障，本文詳細(xì)介紹了該系統(tǒng)的軟硬件設(shè)計(jì)和實(shí)現(xiàn)，通過(guò)采用高效的FPGA模塊，可有效的對(duì)預(yù)處理后的圖像數(shù)據(jù)進(jìn)行異物檢測(cè).通過(guò)實(shí)驗(yàn)可看出，對(duì)于低速、運(yùn)行環(huán)境單一的貨運(yùn)列車通過(guò)該系統(tǒng)可達(dá)到障礙物預(yù)警的目的.但對(duì)于高速列車，由于速度快、運(yùn)行環(huán)境復(fù)雜等特點(diǎn)，仍存在較多問(wèn)題，這也是下一步系統(tǒng)研究的重點(diǎn).

參考文獻(xiàn)：

[1] 國(guó)家鐵路局. 2013年鐵路運(yùn)輸安全監(jiān)管報(bào)告[EB/OL].[2014-05-22].http://www.nra.gov.cn/zwzc/xwdt/xwlb/201405/t20140522_6185.htm.

[2] 李易難,牛燕雄,楊露.基于DSP_FPGA視頻圖像采集處理系統(tǒng)的設(shè)計(jì)[J]. 電子測(cè)量技術(shù),2014,37(1):58-61.

[3] 孫科林,周維超,吳欽章.高速實(shí)時(shí)光纖圖像傳輸系統(tǒng)的實(shí)現(xiàn)[J]. 光學(xué)精密工程,2011,19(9):2 229-2 236.

[4] 張貴祥,金光,鄭亮亮,張劉.高速多通道CCD圖像數(shù)據(jù)處理與傳輸系統(tǒng)設(shè)計(jì)[J]. 液晶與顯示,2011,26(3):397-403..

[5] 楊帆,楊曉慧,黃勇. 基于FPGA和USB的圖像傳輸平臺(tái)[J]. 長(zhǎng)春工業(yè)大學(xué)學(xué)報(bào),2013,34(4):397-400.

[6] 朱正平,王秀麗,岳秋菊.基于機(jī)器視覺(jué)的軌道異物侵限檢測(cè)方法研究[J].甘肅高師學(xué)報(bào)，2009,14(2):22-24.

[7] 同磊,朱力強(qiáng),余祖俊,郭保青.基于車載前視攝像機(jī)的軌道異物檢測(cè)[J].交通運(yùn)輸系統(tǒng)工程與信息,2012,12(14):80-82.

[8] 李家才,陳治亞,王夢(mèng)格.鐵路入侵運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)技術(shù)[J].鐵道科學(xué)與工程學(xué)報(bào),2013,10(6):116-118.

[9] 高凱亮,覃團(tuán)發(fā), 王逸之,等.一種基于幀差法與背景減法的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法[J].電訊技術(shù)，2011，51(10):86-88.

[10] 李煊，丁為.常用設(shè)備串口通信協(xié)議及其應(yīng)用[J].自動(dòng)化儀表,2011,32:82-84..

[11] Morales N,Toledo J,Acosta L,etal.Real-time adaptive obstacle detection based on an image database[J].Computer Vision and Image Understanding，2011,115(9):1273-1285..

[12] Jiménez F,Naranjo J E.Improving the obstacle detection and identification algorithms of a laserscanner-based collision avoidance system[J].Transportation Research,2011，19(4):654-672.

(編輯：姚佳良)

收稿日期：2014-09-05

基金項(xiàng)目：山東省高等學(xué)校科技計(jì)劃項(xiàng)目(J10LG80)

作者簡(jiǎn)介：吳志勇，男，wuzhiyong_sdut@sina.com

文章編號(hào)：1672-6197(2015)02-0009-05

中圖分類號(hào)：TP216

文獻(xiàn)標(biāo)志碼：A

Obstacle detection system for railway by using FPGA

WU Zhi-yong, JU Chuan-xiang

(School of Computer Science and Technology, Shandong University of Technology,Zibo 255049, China)

Abstract:To reduce the train accidents, ensure the safety of people's life and property,this paper gives the design and implementation of theobstacle detection system for freight railway. The system includes two parts. One is the video capturing and processing device which lie head of train, the other one is the obstacle detection system which is located in the train cab. Firstly,this paper introduces theobstacle detectionsystem structure and function structure, and gives the hardware structure of image capturingand processing device. Then, the algorithms of frames differencing and background differencing for the obstacle detection are proposed including algorithm process. Aiming at the problem of data transmission between the systems, the communication protocol of upper machine and lower machineare designed, including data structure,frame definition and communication process. Finally,the development environmentof the obstacledetection system and the detection result demo are displayed.The test shows that the system runs normally with high accuracy. It couldtimelygive the warningwhen detected obstacles.

Key words:obstacle detection; FPGA; image process; freight railway