基于DSP的鐵路智能視頻監(jiān)控系統(tǒng)的研究

楊貴，蔡啟仲，楊敏，徐銘武

（1.廣西科技大學電氣與信息工程學院；2.深圳市普祿科視頻技術(shù)有限責任公司）

基于DSP的鐵路智能視頻監(jiān)控系統(tǒng)的研究

楊貴1，2，蔡啟仲1，楊敏1，徐銘武1

（1.廣西科技大學電氣與信息工程學院；2.深圳市普祿科視頻技術(shù)有限責任公司）

針對鐵路復雜環(huán)境的視頻運動目標檢測易受影響的情況，采用TMS320DM8168 DSP處理器，提出一種融合三幀差法和自適應(yīng)的VIBE改進算法，采用SUSAN邊緣檢測算子、形態(tài)學算子處理、中值濾波后處理進行運動目標檢測，并轉(zhuǎn)化成HSV空間模型，將圖像處理算法移植到DM8168平臺上，在鐵路沿線復雜的場景下，能夠?qū)崟r地準確檢測出視頻中運動目標，有效地消除空洞和鬼影，實現(xiàn)良好的魯棒性。

運動目標檢測；DM8168處理器；DSP；VIBE改進算法；SUSAN邊緣檢測；HSV空間

0 引言

隨著現(xiàn)代計算機視覺技術(shù)快速發(fā)展，鐵路視頻監(jiān)控也越來越智能化，運動目標檢測是實現(xiàn)智能視頻監(jiān)控的關(guān)鍵部分，運動目標檢測的目的就是從視頻圖像序列中將運動區(qū)域從背景視頻圖像中識別、分割和提取出來，以便后續(xù)的跟蹤運動目標，運動目標檢測效果有三個衡量標準。（1）魯棒性。光照變化、運動目標狀態(tài)的變化，部分遮擋引起目標不規(guī)則變形和全部遮擋引起目標暫時消失等情況的變化。（2）準確性。誤檢和漏檢情況。（3）實時性。對視頻流的實時處理，這就要求對核心算法不能太復雜，處理速度必須要超過正常的視頻碼率。而在鐵路沿線現(xiàn)場復雜環(huán)境下，易受白天光照、天氣變化和晚上的燈光影響，要想同時達到運動目標檢測的實時、準確和魯棒性一直是鐵路智能視頻監(jiān)控的難點，從現(xiàn)場的視頻圖像中實時準確的檢測出運動目標，分析視頻監(jiān)控畫面運動目標是否是非法的行人入侵，從而實現(xiàn)一種智能的視頻入侵監(jiān)控系統(tǒng)，本文采用TMS320DM8168 DSP作為系統(tǒng)視頻圖像處理器，并在視頻圖像運動目標檢測算法上，基于一種融合三幀差法和自適應(yīng)的VIBE改進算法，首先采用SUSAN邊緣檢測算子初步提取運動目標大概輪廓，確定運動目標輪廓區(qū)域，只對區(qū)域內(nèi)的像素點進行改進的三幀差和VIBE算法前景匹配和檢測，對檢測出來的運動目標進行相關(guān)的中值濾波和形態(tài)學后處理，以減少空洞和鬼影現(xiàn)象，并轉(zhuǎn)化成HSV空間模型減少光照的影響，把相關(guān)核心算法移植到DM8168平臺上。該系統(tǒng)具有抗干擾性強、功耗低、實時性、準確性等優(yōu)點，能夠有效地實時準確檢測出視頻圖像中運動目標，在鐵路智能視頻監(jiān)控中得到很好現(xiàn)場應(yīng)用。

1 整體的硬件平臺及算法移植

1.1 系統(tǒng)硬件平臺

基于TI公司的 TMS320DM8168是異構(gòu)多核SOC片上系統(tǒng)，它內(nèi)部集成了一個1.0GHz浮點型C674x的DSP，一個1.2GHz V7架構(gòu)的Cortex-A8的ARM,一個高清視頻圖像協(xié)處理器HDVPSS和三個高清視頻圖像協(xié)處理器HDVICP。DSP是處理數(shù)據(jù)運動目標檢測算法運算，ARM是負責各個處理器之間的任務(wù)調(diào)度、消息通信、數(shù)據(jù)讀取和存儲控制。HDVPSS是視頻采集、縮放、去噪、顯示作用，HDVICP是視頻編解碼功能。外圍芯片的EMAC是DM8168處理器與外圍網(wǎng)絡(luò)傳輸模塊，TVP5158是4通道的視頻采集解碼芯片，實現(xiàn)模擬視頻信號到數(shù)字信號的轉(zhuǎn)化，完成相關(guān)視頻圖像的數(shù)字化處理。整個硬件系統(tǒng)圖如圖1。

圖1 硬件系統(tǒng)圖

1

1.2 系統(tǒng)算法移植

本文采用TMS3208168硬件系統(tǒng)平臺，由TI公司提供的DVRRDK開發(fā)環(huán)境，在系統(tǒng)平臺上移植Uboot啟動程序，通過仿真器將二進制文件燒寫到Nand Flash中，設(shè)置 DM8168Nand Flash啟動方式，啟動Uboot初始化和加載內(nèi)核，移植Linux系統(tǒng)，修改和配置內(nèi)核，生成uImage內(nèi)核鏡像，燒寫到Nand Flash的Kernel分區(qū)，加載TVP5158視頻解碼芯片、HDVICP、HDVPSS、HDMI控制器的驅(qū)動程序，完成整個系統(tǒng)算法的移植。整個系統(tǒng)軟件結(jié)構(gòu)框圖如圖2。

圖2 軟件結(jié)構(gòu)圖

2 前景檢測改進算法

在智能視頻監(jiān)控系統(tǒng)中，運動目標的常用算法有三種，幀間差分法、背景差分法和光流法。幀間差分法檢測結(jié)果容易產(chǎn)生空洞。如果運動目標速度快，也會造成重影。背景差分法需要消耗大量的內(nèi)存，對于局部像素突變的干擾，檢測效果也不理想。光流法該方法的計算復雜度高，對硬件的要求高很難做到實時檢測，而且易受到環(huán)境噪聲的影響。結(jié)合工作之中針對以上算法的優(yōu)缺點，使用了一種基于視覺的背景提取算法（VIBE），VIBE算法的研究方法是給一幀圖片中每個像素點建立一個樣本集，采樣該像素點的過去時刻的像素值及其周圍鄰居點像素值填充樣本集。對之后的視頻幀圖片每一個新的像素值和對應(yīng)該點的樣本集進行比較來判斷是否屬于背景點，在此過程中，以一定的概率更新樣本集以適應(yīng)背景環(huán)境的變化，ViBe算法具有計算量小速度快的優(yōu)點，但是對鬼影、背景干擾的消除以及光照變化的未做太多考慮。本文針對這一類問題提出融合三幀差法和自適應(yīng)的VIBE改進算法。

2.1 背景初始化

傳統(tǒng)的VIBE算法用第一幀圖像初始化背景模型容易生成鬼影，改進算法采用三幀差法，用當前幀與像素模型作對比得到的差分圖,后一幀與像素模型作對比得到得到的差分圖，再對兩個結(jié)果去交集得到公共部分。三幀差法的原理如圖。Ik-1為視頻第k-1幀圖像,Ik為第k幀圖像,M（x）為所建立的像素模型,由幀差法可得到第k-1幀和第k幀的的差分圖像dk-1和dk,再dk-1和dk做與運算,得到了最終的二值圖像Dk。改進的三幀差法的原理系統(tǒng)圖如圖3。

圖3 三幀差法分析圖

再采用SUSAN邊緣檢測算子初步提取運動目標大概輪廓，確定運動目標輪廓區(qū)域，只對區(qū)域內(nèi)的像素點進行前景匹配和檢測。SUSAN邊緣檢測是基于灰度特征提取方法，通過圓形模板在圖像上移動，比較圓形模板內(nèi)部像素點與背景模板中心的像素的灰度值，若圓形模板中像素灰度值與模板中心灰度值差值小于一定閾值，則就認為該點與中心模板有相同的灰度值，把相同灰度值的區(qū)域集合在一起，組成灰度值相似區(qū)域USAN。USAN區(qū)域判定方式為：

公式（1）中c（r,r0）為USAN區(qū)域判定函數(shù)，（Ir）是模板中心灰度像素值，（Ir0）是模板其他位置像素值，t是灰度閾值取3/4MAX，MAX是模板中心最大USAN，r0是圓形模板的半徑。

2.2 運動目標檢測

在運動目標輪廓區(qū)域進行運動目標檢測，采用改進的自適應(yīng)VIBE算法，第2幀開始計算每個像素點像素值與背景模型同一位置像素點N幀像素值的差的絕對值，將結(jié)果和預設(shè)的閾值R相比，如果小于R則說明找到一個匹配；統(tǒng)計上述小于R的匹配數(shù)目，如果匹配數(shù)目大于設(shè)定的匹配數(shù)目閾值，就判斷此像素點是背景點，否則就判為前景點。

公式（2）中FR（V（x））以x為圓中心，R為半徑區(qū)域，N表示以FR（V（x））圓區(qū)域與背景輪廓區(qū)域的交集，當N大于一定閾值Rmin時，則判斷x是背景點。自適應(yīng)參數(shù)R是可調(diào)節(jié)的范圍在（15，25）之間，自適應(yīng)參數(shù)R值守根據(jù)現(xiàn)場環(huán)境變化情況來確定，如果現(xiàn)場環(huán)境比較復雜就適當把R值調(diào)大些，現(xiàn)場背景環(huán)境沒有突發(fā)變化就把R值調(diào)小些，VIBE背景模型原理圖如圖4。

圖4 VIBE背景建模

2

2.3 背景模型更新

VIBE算法中背景樣本的更新利用了像素點的空間傳播特性及樣本的更新與時間無關(guān)，這是一種無記憶的更新策略。當一個像素點被判別為背景時，有1/φ的概率更新模型樣本集，同時也有1/φ的概率更新它的鄰居點的模型樣本值。

3 圖像后續(xù)處理

經(jīng)過檢測目標圖像中存在陰影、空洞、噪聲，為得到更好的運動目標提取和跟蹤，必須對檢測目標圖像進行后續(xù)相關(guān)處理，算法后續(xù)處理包括轉(zhuǎn)化HSV空間模型、中值濾波、形態(tài)學算子，能夠有效地消除陰影、噪聲和空洞。

3.1 HHSSVV空間模型

將陰影部分的像素值和背景像素值進行比較，若兩個共同部分的灰度值和色彩同時小于該閾值，那么認為該像素點為陰影。

公式（3）中的 P（x,y）是圖像點（x,y）的陰影像素點模板，QH（x,y）、QS（x,y）、QV（x,y）是坐標（x,y）當前像素值的 H、S、V 分量，與 BH（x,y）、BS（x,y）、BV（x,y）是坐標（x,y）背景像素值的H、S、V分量，如果前像素點判定為陰影，則該像素點背景圖像設(shè)為0，否則不做處理。

3.2 中值濾波

中值濾波是非線性信號處理方法，既中值濾波是一種非線性濾波器，可以克服線性濾波器的不能處理圖像細節(jié)模糊的難點，中值濾波對濾去脈沖干擾和圖像噪聲效果很好。

3.3 形態(tài)學處理

形態(tài)學處理是用一定的形態(tài)結(jié)構(gòu)元素去提取圖像中對應(yīng)的形狀。圖像經(jīng)過形態(tài)學濾波后可以有效地消除圖像中的噪聲和空洞現(xiàn)象，常用形態(tài)學有開和閉運算，本文采用閉運算即先采用膨脹后進行腐蝕操作，實驗表明能夠有效消除噪聲和空洞。

4 測試結(jié)果分析

本文是針對鐵路沿線環(huán)境下的系統(tǒng)研究，整個系統(tǒng)是在Linux集成開發(fā)環(huán)境下進行的，將算法移植到DM8168開發(fā)平臺上，將系統(tǒng)運用在鐵路沿線上測試效果如圖 5、6。

圖5 行人檢測

圖6 行人檢測

上圖分別是第88幀和第135幀時，在鐵路沿線場景下非法行人闖入鐵軌時檢測效果，可以看出在用傳統(tǒng)的VIBE算法檢測出的非法行人檢測效果存在很多鬼影和噪聲，而采用本文融合三幀差法和自適應(yīng)改進BE算法檢測出來的行人效果良好，鐵路沿線行人檢測效果如圖 7、8。

上述兩組圖分別是采用本文的融合三幀差法和自適應(yīng)VIBE算法檢測出來的效果，都是采用白天和晚上不同的環(huán)境背景下檢測出來的鐵路沿線非法行人入侵，從圖中可以看到在鐵路沿線實際場景下，不論白天還是晚上檢測出來效果都是很好的，從實際效果得出本文改進的融合三幀差法和自適應(yīng)VIBE算法適合鐵路智能視頻監(jiān)控。

5 結(jié)語

本文提出一種基于TMS320DM8168 DSP作為系統(tǒng)視頻圖像處理器的開發(fā)平臺，結(jié)合鐵路沿線的現(xiàn)場復雜環(huán)境進行運動目標檢測，采用一種融合三幀差法和自適應(yīng)的VIBE改進算法，并通過SUSAN邊緣檢測算子初步提取運動目標輪廓，通過中值濾波和形態(tài)學處理得到消除鬼影、空洞和噪聲的良好效果，轉(zhuǎn)化成HSV空間模型使得的圖像具有抗光照影響。最后把改進運動目標檢測算法移植到DM8168開發(fā)平臺上，使整個系統(tǒng)在鐵路智能視頻監(jiān)控中得到很好應(yīng)用。

圖7 行人檢測

圖8 行人檢測

[1]劉吉.鐵路綜合視頻監(jiān)控系統(tǒng)的應(yīng)用及發(fā)展趨勢探討.自動化與儀器儀表,2016.

[2]馬健康.鐵路綜合視頻監(jiān)控系統(tǒng)的視頻檢索應(yīng)用探討.中國鐵路.2014.

[3]王加梁.基于計算機技術(shù)的智能視頻監(jiān)控系統(tǒng)探討[J].電子測試,2013,(07)：100-101.

[4]Braga N，Ulisses G，John J．Object-based Image Analysis Using Multiscale Connectivity[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(6)：892-907．

[5]Valera M，Velastin S．Intelligent Distributed Surveillance Systems：A Review[C]．Proceedings of IEEE Conference on Vision Image and Signal Processing，2005，152(2)：192-204．

[6]James Smailes,Ron Ries,Dr.Thomas Raslear.Trespass on Railroad Rights-of-Way[J].Research results,2007.6(19)

[7]Vidal R，Avinash U．Optical Flow Estimation and Segmentation of Multiple Moving Dynamic Textures[C]．Proceedings of 2005 IEEEComputer Society Conference on Computer Vision and Pattern Recognition，2005：516-521．

[8]Ying W,Juanjuan L,Di W.A particle filter Tracking Algorithm based on SIFT Feature Matching[C].Control and Decision Conference(CCDC),2012：1450-1454.

[9]謝虎.無線通信技術(shù)在鐵路綜合視頻監(jiān)控系統(tǒng)的應(yīng)用.中國鐵路，2012.

[10]Marco P.daSilva.Automated Railroad Infrastructure Trespass Detection System Performance Guidelines,American Railway Engineering and Maintenance-of-Way Association 2008 Annual Conference,Salt Lake CIty,UT,September 21-24,2008.

[11]孔令鑫.高速鐵路高清視頻監(jiān)控系統(tǒng)解決方案.中國鐵路.2014.

[12]寧娟.鐵路綜合視頻監(jiān)控系統(tǒng)方案設(shè)計.鐵道通信信號.2010.

[13]梁磊.基于DSP的遠程視頻監(jiān)控系統(tǒng)研究.無線互聯(lián)科技.2016.

[14]陳梅.視頻監(jiān)控技術(shù)在鐵路系統(tǒng)的應(yīng)用和發(fā)展.鐵路通信信號工程技術(shù).2009.

[15]王楠.鐵路視頻監(jiān)控應(yīng)用現(xiàn)狀及發(fā)展趨勢.中國安防，2010.

[16]張衡.基于視頻的青藏鐵路災害自動預警系統(tǒng)的設(shè)計和實現(xiàn).北京：北京大學，2008.

[17]楊葉梅.基于改進光流法的運動目標檢測.計算機與數(shù)學工程，2011.

[18]楊丹，余孟澤.車輛視頻檢測及陰影去除.計算機工程與設(shè)計，2011.

Railway Intelligent Video Monitoring System Based on DSP

YANG Gui1，2,CAI Qi-zhong1,YANG Min1,XU Min-Wu1
（1.School of Electrical and Information Engineering,Guangxi University of Technology,Liuzhou 545006；2.Shenzhen Puluke Video Technology Co.,Ltd.,Shenzhen,Guangdong 518068）

For the video moving target detection in complex environment of railway is easily affected by the situation,adopts TMS320DM8168 DSP processor,presents a fusion of the three frame difference method and adaptive VIBE algorithm,uses SUSAN edge detection operator,mor?phological processing,median filtering and moving target detection,and transformed into a HSV space model,the image processing algo?rithm is transplanted to the DM8168 platform,along the railway complex scene,can accurately detect moving objects in video,effectively eliminate the empty and the phantom of the opera,to achieve good robustness.

1007-1423（2017）22-0080-05

10.3969/j.issn.1007-1423.2017.22.019

楊貴（1989-），男，湖北人，碩士研究生，研究方向為嵌入式系統(tǒng)與自動化裝置

蔡啟仲（1956-），男，教授，碩士生導師，研究方向為嵌入式系統(tǒng)與自動化裝置

2017-03-14

2017-07-15

Moving Object Detection;DM8168 Processor;DSP;VIBE Improved Algorithm;SUSAN Edge Detection;HSV Space