基于人機交互和網(wǎng)絡傳輸?shù)闹悄芤曨l監(jiān)控系統(tǒng)研究

蘇志賢,馬春飛

浙江安防職業(yè)技術學院,浙江溫州325016

基于人機交互和網(wǎng)絡傳輸?shù)闹悄芤曨l監(jiān)控系統(tǒng)研究

蘇志賢,馬春飛

浙江安防職業(yè)技術學院,浙江溫州325016

將網(wǎng)絡傳輸技術和視頻自動分析技術應用于網(wǎng)絡視頻監(jiān)控系統(tǒng)，設計出一種基于監(jiān)控終端、網(wǎng)絡傳輸、中心服務器和客戶端4個部分組成的智能視頻監(jiān)控系統(tǒng)。通過標定、TCP/RTP協(xié)議以及濾波器圖表結構，實現(xiàn)良好的擴展性和重復性。

人機交互;網(wǎng)絡傳輸;目標檢測;智能視頻監(jiān)控系統(tǒng)

隨著多媒體、網(wǎng)絡技術、人工智能以及光電圖像分析和圖像處理等技術的快速發(fā)展，視頻監(jiān)控技術朝著智能化、數(shù)字化和網(wǎng)絡化的方向發(fā)展[1]。與傳統(tǒng)的視頻監(jiān)控技術相比較，智能視頻監(jiān)控能夠根據(jù)原始視頻形成高層的語義解釋，將人工伺服變成主動識別，將事后分析變成事中分析和預警，并且能夠動態(tài)的監(jiān)控被監(jiān)控對象的行為，進行識別和跟蹤。智能視頻監(jiān)控的優(yōu)點是傳統(tǒng)視頻監(jiān)控技術所無法企及的，因此，設計一款高效、可靠的智能視頻監(jiān)控系統(tǒng)具有重要的理論和實際意義。

1 系統(tǒng)結構

1.1 人機交互

為了實現(xiàn)計算機和人之間的優(yōu)勢互補，通過將人類的良好的整體效應的定性認識能力和計算機強大的邏輯表達能力和推理能力結合起來，通過計算機和人之間的定性和定量表達，最終實現(xiàn)算法優(yōu)化的方法，叫做人機交互[2]。

1.2 設計目標

基于人機交互和網(wǎng)絡傳輸?shù)闹悄芤曨l監(jiān)控系統(tǒng)的設計目標：結合當前的模式識別技術和計算機視覺技術，對采集獲取的實時視頻數(shù)據(jù)進行分析，在不需要人為干預的情況下，實現(xiàn)被監(jiān)控對象的定位、識別和跟蹤，同時能夠在發(fā)生異常情況是進行預警或預報。在當前網(wǎng)絡數(shù)字視頻監(jiān)控技術的基礎上，構建出智能視頻監(jiān)控系統(tǒng)，并將其應用于有安全監(jiān)控需求的環(huán)境和區(qū)域，如學校、醫(yī)院、機關單位、監(jiān)獄、公共場所等等。其系統(tǒng)結構如圖1所示。

圖1 智能視頻監(jiān)控系統(tǒng)結構圖Fig.1 The structure of intelligent video surveillance system

1.3 硬件結構

該智能視頻監(jiān)控系統(tǒng)的核心控制器為TMS320F2812 DSP[3]，其硬件系統(tǒng)結構圖如圖2所示。

圖2 硬件系統(tǒng)結構圖Fig.2 The structure of hardware system

由圖2系統(tǒng)件結構圖可知，智能視頻監(jiān)控系統(tǒng)由攝像機、信號預處理、網(wǎng)絡數(shù)據(jù)通訊模塊、上位機監(jiān)測系統(tǒng)和基于TMS320F2812 DSP核心處理器的外圍電路組成。通過攝像機，可以實時采集實時視頻監(jiān)控數(shù)據(jù)，之后將預處理的數(shù)據(jù)傳送到TMS320F2812 DSP的ADC轉(zhuǎn)換接口，實現(xiàn)數(shù)據(jù)格式轉(zhuǎn)換并進行數(shù)據(jù)存儲，通過監(jiān)測器可以進行實時監(jiān)控、分析和預警。

2 智能視頻監(jiān)控系統(tǒng)設計與實現(xiàn)

由智能視頻監(jiān)控系統(tǒng)結構圖可知，該系統(tǒng)由監(jiān)控終端、傳輸網(wǎng)絡、中心服務器和客戶端等四個部分組成。監(jiān)控終端主要實現(xiàn)視頻的采集和處理；傳輸網(wǎng)絡主要實現(xiàn)采集到的視頻數(shù)據(jù)的傳輸；中心服務器主要實現(xiàn)視頻流的存儲和轉(zhuǎn)發(fā)以及相應的命令控制。客戶端主要實現(xiàn)視頻的監(jiān)控、播放、定位、識別、追蹤和預報或預警。

2.1 客戶端

客戶端的主要作用是便于用戶和中心服務器的交互，獲取智能視頻監(jiān)控系統(tǒng)監(jiān)控終端的實時視頻數(shù)據(jù)。通過DirectShow技術[4]，客戶端可以將中心服務器RTP轉(zhuǎn)發(fā)來的實時視頻數(shù)據(jù)進行解碼和播放。客戶端的預警信息則通過TCP協(xié)議進行。

圖3 客戶端和智能信息處理模塊Fig.3 The processing module of client and intelligent information

客戶端和智能信息處理相關部分包括分析設置模塊、監(jiān)控計劃模塊和實時視頻播放模塊(圖3)。

（1）分析設置模塊：其是組成智能視頻監(jiān)控系統(tǒng)的重要部分，也是體現(xiàn)監(jiān)控系統(tǒng)是否智能化的關鍵所在[5]。若不能實現(xiàn)攝像機的分析設置，則采集到的實時視頻將無法分析和處理，產(chǎn)生相應的預警信息和報告。分析設置模塊包括標定、預警設置和目標行為分析設置，目的生成分析參數(shù)通過傳輸網(wǎng)絡將數(shù)據(jù)存儲于中心服務器。

標定作用是為了提高監(jiān)控視頻分析程序的準確性。通過預警設置可以實現(xiàn)各種環(huán)境和情景的預警，其設置的參數(shù)主要有環(huán)境類型、目標類型和預警分類。其中環(huán)境類型主要分為白天、黑夜、室內(nèi)和室外4中情形的組合選擇。目標類型主要為人、汽車、動物、自行車等，在此基礎上可以擴展。預警分類根據(jù)需要設置警戒區(qū)、警戒線、偵查區(qū)、警戒方向和非警戒區(qū)等類型[6]，預警分類可以結合目標類型進行預警。

（2）監(jiān)控計劃模塊：監(jiān)控終端的攝像機我們可以設置多種視頻分析方案，根據(jù)監(jiān)控對象和場景的改變，應用合適的視頻分析方案。文中系統(tǒng)監(jiān)控計劃包括默認計劃、周期計劃和一次性計劃。

（3）實時視頻播放模塊：客戶端要實現(xiàn)實時視頻的播放，必須先構建出一個過濾器結構圖表。該結構圖表由XVID Multicast receiver filter、XVID Video decoder filter和Video rendering filter三個濾波器串聯(lián)構成。XVID Multicast receiver filter實現(xiàn)中心服務器RTP協(xié)議轉(zhuǎn)發(fā)來的視頻壓縮包進行組包還原。XVID Video decoder filter實現(xiàn)數(shù)據(jù)的解碼，Video rendering filter實現(xiàn)視頻的渲染播放[7]。由這個過程可知，智能視頻監(jiān)控系統(tǒng)從客戶端的角度來看，就是視頻采集、壓縮、解壓和播放的過程。

2.2 中心服務器

中心服務器主要作用就是實現(xiàn)監(jiān)控終端和客戶端的交流，分析單元根據(jù)采集到的不同視頻進行多方案視頻處理，將分析單元壓縮的視頻數(shù)據(jù)，通過RTP協(xié)議傳送給客戶端，客戶端實現(xiàn)組包解碼和播放并進行預警。中心服務器和分析單元和客戶端的傳輸信息網(wǎng)絡結構圖如圖4所示。

圖4 網(wǎng)絡信息傳輸結構圖Fig.4 The transmission structure of network information

2.3 分析單元

分析單元是視頻分析的關鍵部分，其包括目標檢測、目標跟蹤和分類以及預警信息。目標檢測的流程如圖5所示。

（1）目標檢測：根據(jù)視頻畫面的監(jiān)控區(qū)域?qū)D像中的目標物體提取出來的過程。目標檢測的方法主要有光流法、時間差分法和背景減除法。文中以人為研究事例，選擇背景減除法[8]，檢測結果如圖6所示。

圖5 人體姿態(tài)Fig.5 Human postures

圖6 人體姿態(tài)檢測結果Fig.6 The detection results of human posture

（2）目標跟蹤：根據(jù)目標物體的運動特征和輪廓實現(xiàn)目標物體的跟蹤，文中采用Mean-shift算法[9]進行多目標跟蹤。文中選擇車輛為跟蹤目標，跟蹤結果如圖7所示。

圖7 車輛跟蹤結果Fig.7 The tracking results for vehicles

（3）行為分析：結合目標檢測、目標跟蹤結果以及警告圖片信息[10]，對被檢測對象進行行為分析，對分析結果進行預警分析和提醒，文中選擇短信提醒預警結果為事例，結果如圖8所示。

圖8 短信報警結果圖Fig.8Results from SMS alarm

3 系統(tǒng)實驗

智能視頻監(jiān)控系統(tǒng)的性能主要受到分析單元的處理速度的影響，用處理一幀圖像耗費的時間作為系統(tǒng)的評價結果，其評價結果如表1所示。由分析結果可知，整個智能監(jiān)控系統(tǒng)所耗費的時間主要集中在目標檢測和背景更新，耗費時間占到整個系統(tǒng)耗費時間的一半以上，因此選擇優(yōu)秀的目標分割和檢測方法，對提高系統(tǒng)效率至關重要。

圖9 短信監(jiān)控終端界面Fig.9 SMS monitoring terminal interface

表1 耗費時間（ms）Table 1 Time consuming(ms)

4 結論

針對傳統(tǒng)系統(tǒng)監(jiān)控系統(tǒng)存在的缺點，將人機交互和網(wǎng)絡傳輸技術結合應用于智能視頻監(jiān)控系統(tǒng)，設計出一款滿足現(xiàn)實需求的智能視頻監(jiān)控系統(tǒng)。將網(wǎng)絡傳輸技術和視頻自動分析技術應用于網(wǎng)絡視頻監(jiān)控系統(tǒng)，設計出基于監(jiān)控終端、網(wǎng)絡傳輸、中心服務器和客戶端4個部分組成的智能視頻監(jiān)控系統(tǒng)。通過標定、TCP/RTP協(xié)議以及濾波器圖表結構，實現(xiàn)智能視頻監(jiān)控系統(tǒng)構建，實驗結果表明，該系統(tǒng)具有很好的擴展性和重復性，可以推廣。

[1]黃凱奇,陳曉棠,康運鋒,等.智能視頻監(jiān)控技術綜述[J].計算機學報,2015,20(6):1093-1118

[2]閆彬,陳耀武.基于內(nèi)容的智能視頻監(jiān)控文件系統(tǒng)[J].計算機工程,2015,41(10):250-254

[3]張謝華,趙小虎.煤礦智能視頻監(jiān)控中的運動目標檢測研究[J].工礦自動化,2016,42(4):31-36

[4]徐海剛,李朋偉.智能視頻監(jiān)控系統(tǒng)中多視角目標跟蹤研究與FPGA實現(xiàn)[J].現(xiàn)代電子技術,2016,39(17):6-11

[5]李小斌,吳宏岐,袁戰(zhàn)軍,等.智能視頻監(jiān)控系統(tǒng)關鍵技術及算法研究[J].控制工程,2016(S1):18-22

[6]楊海林,蔡啟忡,薛圣利,等.基于改進的VIBE算法在鐵路智能視頻監(jiān)控入侵檢測的研究[J].科學技術與工程,2016,16(21):80-82

[7]孫寧,陳梁,韓光,等.深度分類網(wǎng)絡研究及其在智能視頻監(jiān)控系統(tǒng)中的應用[J].電光與控制,2015(9):77-82

[8]許慧芳,許亞軍.智能視頻監(jiān)控系統(tǒng)中多攝像頭協(xié)同跟蹤算法[J].電視技術,2015,39(18):86-89

[9]屈寶鵬,張喜鳳,卜文銳.基于ATMEGA328的視頻監(jiān)控智能車的設計與實現(xiàn)[J].現(xiàn)代電子技術,2015,38(19):160-162

[10]吳祿慎,吳益根.基于ARM9的自適應背景差法智能遠程視頻監(jiān)控系統(tǒng)[J].儀表技術與傳感器,2015(11):81-84

Study on Intelligent Video Surveillance System Based on Human -Computer Interaction and Network Transmission

SU Zhi-xian,MAChun-fei
Zhejiang Institute of Security Technology,Wenzhou325016,China

The network transmission technology and automatic video analysis technology were applied to network video monitoring system to design an intelligent video monitoring system with composition of the monitoring terminal,network transmission,center server and the client.Through calibration,TCP/RTP protocol and filter graph structure,it could get the good expansibility and repeatability.

Human-computer interaction;network transmission;target detection;intelligent video surveillance system

TP391.1

:A

:1000-2324(2017)01-0108-05

2016-11-15

:2017-01-04

蘇志賢(1988-),男,碩士,講師,主要研究方向為安全防范技術，電子技術.E-mail:wlsuzhixian@163.com