遠(yuǎn)程網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的設(shè)計和實現(xiàn)

張 琳

(天津濱海職業(yè)學(xué)院，天津 300451)

引言

網(wǎng)絡(luò)視頻監(jiān)控技術(shù)是一種集通信信息技術(shù)、計算機(jī)網(wǎng)絡(luò)技術(shù)、數(shù)字視頻技術(shù)等為一體的綜合性應(yīng)用技術(shù)。視頻監(jiān)控技術(shù)是安全領(lǐng)域的研究熱點，已經(jīng)廣泛應(yīng)用于軍事、交通、銀行、遠(yuǎn)程教學(xué)等領(lǐng)域。視頻監(jiān)控系統(tǒng)的發(fā)展階段為模擬監(jiān)控系統(tǒng)和數(shù)字監(jiān)控系統(tǒng)，目前已到網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)時代。傳統(tǒng)視頻監(jiān)控系統(tǒng)的布控區(qū)域、設(shè)備擴(kuò)展和數(shù)量上的限制，使得視頻監(jiān)控只是監(jiān)視沒有控制。系統(tǒng)的網(wǎng)絡(luò)化將打破這個限制，并向智能化方向發(fā)展，系統(tǒng)不僅有監(jiān)視功能還能進(jìn)行智能控制。本文設(shè)計了一種以S3C2410嵌入式處理器和Linux操作系統(tǒng)為核心的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)。該系統(tǒng)依靠流媒體技術(shù)傳輸視頻信號和視頻數(shù)據(jù)壓縮技術(shù)壓縮數(shù)據(jù)，能夠?qū)崿F(xiàn)實時傳送視頻采集數(shù)據(jù)。該系統(tǒng)本身就是微計算機(jī)控制系統(tǒng)，可根據(jù)現(xiàn)場的實際情況做出自動控制處理，用戶也可通過網(wǎng)絡(luò)對系統(tǒng)中任何一個視頻節(jié)點進(jìn)行監(jiān)視，并根據(jù)要求通過發(fā)送控制信息來控制設(shè)備的動作。

一、總體設(shè)計方案

(一)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的工作原理

網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的工作原理為壓縮軟件將攝像頭的原始視頻信號壓縮封裝成MPEG4數(shù)據(jù)格式，然后利用流媒體服務(wù)器將此數(shù)據(jù)再轉(zhuǎn)換成流媒體格式，再傳送到計算機(jī)網(wǎng)絡(luò)上，通過以太網(wǎng)口實時傳送。客戶端從嵌入式視頻監(jiān)控模塊獲得MPEG4視頻數(shù)據(jù)并播放，而且該系統(tǒng)支持多客戶端同時監(jiān)控，并把控制信息通過網(wǎng)絡(luò)實時傳到監(jiān)控系統(tǒng)端。

(二)硬件結(jié)構(gòu)

本系統(tǒng)以S3C2410處理器為核心。S3C2410處理器是Samsung公司生產(chǎn)的32位微型處理器，擁有大量的資源，包括獨立的16KB數(shù)據(jù)緩存和指令緩存、RAM控制器、LCD控制器、NAND閃存控制器、4路DMA、3路UART、帶PWM的定時器、并行輸入輸出端口、8路10位ADC、I2C接口、Touch Screen的接口、USB接口控制器、2路SPI，主頻可達(dá)203MHz。平臺配置了16MB16位的Flash和64MB32位的SDRAM。另外外接一個攝像頭帶USB口，通過引出的HOSTUSB接口，在緩沖區(qū)中攝像頭采集的視頻數(shù)據(jù)被存放，然后圖像處理程序在系統(tǒng)平臺上對緩沖后的圖像數(shù)據(jù)進(jìn)行處理，將加工后的數(shù)據(jù)保存并進(jìn)行UDP打包。最后通過以太網(wǎng)控制器芯片DM9000E擴(kuò)展的一個網(wǎng)口將圖像發(fā)送到Internet上。系統(tǒng)可通過RS232對外部控制設(shè)備通信和控制。其硬件結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)硬件框圖

(三)應(yīng)用軟件結(jié)構(gòu)

網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)軟件是由服務(wù)器應(yīng)用軟件和客戶端應(yīng)用軟件兩部分組成。服務(wù)器應(yīng)用軟件是基于Linux在目標(biāo)板上運行的程序，客戶端是在PC機(jī)上運行程序。整個軟件系統(tǒng)結(jié)構(gòu)圖如圖2所示。

圖2 視頻監(jiān)控應(yīng)用軟件

1.服務(wù)器應(yīng)用軟件

服務(wù)器的應(yīng)用程序用于完成視頻信號的采集，然后將USB攝像頭采集的信號經(jīng)過模數(shù)轉(zhuǎn)換并壓縮，提交給系統(tǒng)中的嵌入式流媒體服務(wù)器程序，將數(shù)據(jù)轉(zhuǎn)換為用于流式傳輸?shù)母袷剑偻ㄟ^IP多播技術(shù)的傳輸協(xié)議RTP/RTCP以及SDP等一系列標(biāo)準(zhǔn)的IP實時多媒體數(shù)據(jù)傳輸協(xié)議傳送到網(wǎng)絡(luò)上。

這一部分軟件主要由四部分組成：嵌入式Linux操作系統(tǒng)、攝像頭驅(qū)動程序、數(shù)據(jù)壓縮子模塊、嵌入式流媒體服務(wù)器軟件。

選擇的嵌入式Linux操作系統(tǒng)經(jīng)過優(yōu)化以后，具有反應(yīng)能力強(qiáng)、易固化、體積小、可靠性好等特點。它也同時具備現(xiàn)代操作系統(tǒng)的存儲管理、任務(wù)調(diào)度、中斷處理、消息隊列等功能；特別是系統(tǒng)本身包含了很多和硬件有關(guān)的驅(qū)動程序以及TCP/IP協(xié)議棧，為嵌入式軟件開發(fā)人員提供了良好的開發(fā)平臺。

嵌入式流媒體服務(wù)器軟件設(shè)計流程包含三部分：

(1)系統(tǒng)的初始化過程。根據(jù)系統(tǒng)的配置信息如網(wǎng)絡(luò)傳輸設(shè)置、視頻源的類型、視頻壓縮編碼等，創(chuàng)建并開啟一個數(shù)據(jù)流。設(shè)置數(shù)據(jù)流的出口之后，產(chǎn)生SDP描述文件，并開啟文件下載功能，使得后來實時取得的流媒體數(shù)據(jù)可以傳輸。

(2)視頻流處理發(fā)送過程。接收MPEG4數(shù)據(jù)幀之后，調(diào)用網(wǎng)絡(luò)發(fā)送函數(shù)發(fā)送數(shù)據(jù)幀，清理內(nèi)存空間，并開始接受下一幀。

(3)中止視頻流過程。刪除銷毀過程中產(chǎn)生的文件及對象，中止線程，結(jié)束程序。服務(wù)器端軟件流程如圖3所示。

圖3 服務(wù)器應(yīng)用軟件流程圖

2.客戶應(yīng)用軟件

客戶端應(yīng)用程序主要完成終端視頻數(shù)據(jù)的顯示和控制。網(wǎng)絡(luò)傳輸模塊主要用于接收視頻數(shù)據(jù)流和用戶發(fā)送控制信息，存入緩沖區(qū)等待處理。視頻數(shù)據(jù)解壓模塊對壓縮后的數(shù)據(jù)流進(jìn)行解壓，并將圖像實時顯示在終端上。

二、網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

(一)嵌入式Linux平臺的搭建

1.嵌入式Linux移植

嵌入式Linux系統(tǒng)包括Bootloader(引導(dǎo)程序)、Kernel(內(nèi)核)和根文件三個部分。在運行之前，操作系統(tǒng)內(nèi)核將運行bootloader。本程序主要負(fù)責(zé)硬件設(shè)備的初始化，然后建立內(nèi)存空間圖，將系統(tǒng)軟硬件環(huán)境調(diào)整到合適的狀態(tài)。

系統(tǒng)的Linux內(nèi)核版本是2.4.18，在http://ftp.linux.org.uk/下載內(nèi)核及補(bǔ)丁，解壓縮后將補(bǔ)丁通過管道裝入內(nèi)核源代碼中。確認(rèn)Makefile中CROSS_COMPILER=arm-linux-gcc和ARCH=arm。運行make menuconfig命令，在菜單下做相應(yīng)的配置，之后運行make dep生成依賴文件，最后運行make zImage生成內(nèi)核壓縮鏡像zImage。

2.攝像頭的驅(qū)動程序

系統(tǒng)采用ANC公司生產(chǎn)的Q888型號攝像頭，內(nèi)置ZC301P芯片、CMOS感光元件，最高分辨率800*600dpi，130萬像素，最大幀速率3ofps，傳輸接口usb1.1，高清鏡頭，自動增益，自動曝光控制；內(nèi)置DSP視頻壓縮單元，2到8倍的壓縮比，支持動靜態(tài)視頻采集。因為Linux系統(tǒng)中沒有ZC301P攝像頭驅(qū)動，所以應(yīng)下載內(nèi)核補(bǔ)丁，重新編譯內(nèi)核，將對應(yīng)的攝像頭支持模塊選上。下載補(bǔ)丁和驅(qū)動后解壓、打補(bǔ)丁進(jìn)行重新編譯內(nèi)核，在內(nèi)核配置中選spca5xx文件夾就有需要的驅(qū)動程序。生成的新內(nèi)核中spca5xx..o、spcadecoder.o、spca_core.o是所需要的攝像頭驅(qū)動。通過內(nèi)核啟動insmod這三個.o文件，攝像頭就加載成功，可為應(yīng)用程序提供基本的I/O操作接口函數(shù)open、read、write、close的實現(xiàn)。

3.制作文件系統(tǒng)

文件系統(tǒng)采用的是cramfs格式，cramfs是壓縮文件系統(tǒng)(只讀)。首先，做好根文件系統(tǒng)，創(chuàng)建Linux操作的基本目錄結(jié)構(gòu)/bin，/lib，/etc，/dev，/mnt等目錄。通過各個目錄加載相關(guān)配置的文件，配置好后，可創(chuàng)建文件系統(tǒng)的壓縮鏡像通過mkcramfs命令，然后以.cramfs結(jié)尾。

(二)視頻圖像的采集

Linux中視頻設(shè)備的核心驅(qū)動程序是Video4Linux(V4L)。它為視頻設(shè)備的應(yīng)用編程提供了一系列合適的接口函數(shù)，視頻圖像采集和傳輸設(shè)計過程是對/dev/video設(shè)備的操作過程。系統(tǒng)視頻采集模塊和傳輸模塊的流程如圖2中所示。

1.打開視頻設(shè)備。利用操作系統(tǒng)提供的open函數(shù)打開視頻設(shè)備，返回操作句柄，代碼如下：

fd=open(videodevice，O_RDWR);

2.讀取設(shè)備信息。V4L使用VIDIOCGPICT指令得到視頻信息：

Ioctl(fd，VIDIOCGPICT，&videopict);

3.更改視頻當(dāng)前設(shè)置，代碼如下：

Ioctl(fd，VIDIOCSPICT，&videopict);

4.視頻的采集。操作系統(tǒng)會提供mmap函數(shù)實現(xiàn)內(nèi)存映射。

5.對采集后的視頻圖像進(jìn)行處理。

6.關(guān)閉視頻設(shè)備，具體代碼如下：Close(fd)。

(三)視頻數(shù)據(jù)流傳輸

USB攝像頭采集到的視頻信號經(jīng)過模數(shù)轉(zhuǎn)換并壓縮，提交給系統(tǒng)中的嵌入式流媒體服務(wù)器程序，將其轉(zhuǎn)換為利于流式傳輸?shù)臄?shù)據(jù)，然后通過一系列標(biāo)準(zhǔn)的IP實時多媒體數(shù)據(jù)傳輸協(xié)議如RTP/RTCP以及SDP等將數(shù)據(jù)傳送到網(wǎng)絡(luò)上。

圖4 嵌入式流媒體服務(wù)器靜態(tài)UML類圖

1.嵌入式流媒體服務(wù)器的軟件設(shè)計

軟件采用C+ + 語言編寫，靜態(tài)UML類圖設(shè)計如圖5所示。系統(tǒng)由CMediaFlow類所代表的視頻媒體數(shù)據(jù)流構(gòu)成， 數(shù)據(jù)流由一系列節(jié)點串聯(lián)而成。CMedianode類抽象地表示一系列節(jié)點。每個節(jié)點都是一個線程，一個線程有一個消息隊列(CMsqQueue類)。消息隊列用于接收相應(yīng)的消息(CMSQ類)，然后進(jìn)行處理動作。也就是說，CMediasource類派生至CMedianode類，它表示所有數(shù)據(jù)流源頭的節(jié)點，即數(shù)據(jù)流入點。類似地，CMediasink類派生至CMedianode類，它表示所有數(shù)據(jù)流的接收節(jié)點，即數(shù)據(jù)流的出口點。CMediaframe類表示數(shù)據(jù)流中的真實數(shù)據(jù)，數(shù)據(jù)流從數(shù)據(jù)源流向數(shù)據(jù)流出口。CVideosource類派生自CMediasource類，表示視頻數(shù)據(jù)入口點。

圖5 TCP網(wǎng)絡(luò)通信流程

實時視頻數(shù)據(jù)的獲得是通過調(diào)用嵌入式Linux 操作系統(tǒng)的內(nèi)核驅(qū)動來完成。代表視頻數(shù)據(jù)的出口點是CRtpTransmitter類派生至CMediaSink類，對通過它封裝網(wǎng)絡(luò)RTP/RTCP協(xié)議的操作，將視頻數(shù)據(jù)流直接發(fā)送到網(wǎng)絡(luò)。HTTP 服務(wù)器的功能是通過CHttpServer類實現(xiàn)的， SDP 文件通過HTTP協(xié)議傳送給客戶端， 然后客戶端根據(jù)SDP 文件的描述信息來獲得視頻流的IP 多播包。 SDP會話描述協(xié)議文件的操作由CSdpfile類實現(xiàn)，并根據(jù)當(dāng)前的視頻流配置信息生成SDP文件。

2. 視頻網(wǎng)絡(luò)傳輸

系統(tǒng)視頻網(wǎng)絡(luò)傳輸采用TCP協(xié)議，視頻服務(wù)器負(fù)責(zé)采集視頻圖像數(shù)據(jù)，該服務(wù)器建立好TCP服務(wù)器后等待客戶端的連接;客戶端進(jìn)行初始化，工作完成后，會主動連接TCP服務(wù)器，客戶端得到應(yīng)答后會建立連接，然后接收壓縮視頻數(shù)據(jù)并進(jìn)行實時顯示。網(wǎng)絡(luò)傳輸?shù)木幊淌抢胕nternet的流式套接字設(shè)計的。TCP網(wǎng)絡(luò)通信流程如圖5所示。用戶發(fā)送控制云臺信息給監(jiān)控系統(tǒng)來跟蹤選定目標(biāo)，它是利用socket的不同的端口號來區(qū)別控制信息還是請求視頻信息，系統(tǒng)接收到控制信號后通過RS232對云臺進(jìn)行控制。

三、網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)分析及測試

監(jiān)控系統(tǒng)搭建有一個路由器、PC電腦和兩個網(wǎng)絡(luò)視頻控制器(本系統(tǒng))控制兩個攝像頭和攝像云臺。系統(tǒng)可通過RS232對外部控制設(shè)備通信和控制，網(wǎng)絡(luò)視頻控制器可遠(yuǎn)程控制云臺的上下左右轉(zhuǎn)動，控制攝像頭的變焦、聚焦、變倍等。路由器進(jìn)行上網(wǎng)方式的選擇、信道、模式、安全選項、SSID等無線設(shè)置，為了安全性，再進(jìn)行綁定MAC地址、防火墻設(shè)置等等。PC電腦安裝網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的服務(wù)器應(yīng)用軟件和客戶端應(yīng)用軟件。服務(wù)器端應(yīng)用程序完成視頻信號的采集、轉(zhuǎn)換、壓縮和傳輸；客戶端應(yīng)用程序主要完成了終端視頻數(shù)據(jù)的顯示和控制。網(wǎng)絡(luò)視頻節(jié)點的安裝可以隨意安放，通過網(wǎng)線同網(wǎng)絡(luò)連接，打破傳統(tǒng)視頻監(jiān)控系統(tǒng)地理位置的限制。擴(kuò)展數(shù)量上只要有IP就可以擴(kuò)展，沒有任何的限制，每個設(shè)備都要分配一個IP地址。

此監(jiān)控系統(tǒng)具備視頻信號的傳輸、顯示、記錄等基本功能，系統(tǒng)本身還具有自動報警的功能，只要有人進(jìn)來系統(tǒng)就會自動報警，用戶可以識別并且響應(yīng)監(jiān)視目標(biāo)、報警信息以及確認(rèn)復(fù)查報警信息等。通過計算機(jī)視覺技術(shù)可以將監(jiān)控場所的前景和背景目標(biāo)進(jìn)行完全分離，對當(dāng)前的監(jiān)控場所進(jìn)行監(jiān)視并根據(jù)選定目標(biāo)進(jìn)行準(zhǔn)確的識別、跟蹤、提取。在監(jiān)控場景內(nèi)，用戶可以設(shè)置報警規(guī)則，當(dāng)監(jiān)控場所中有目標(biāo)出現(xiàn)，并與設(shè)定的報警規(guī)則有沖突時，系統(tǒng)可以發(fā)出自動警報，監(jiān)控中心會發(fā)出報警提示，用戶可以實時瀏覽報警信息，用戶可通過客戶端應(yīng)用軟件通過IP地址查看任何視頻節(jié)點信息，畫面可任意切換，此外系統(tǒng)還可發(fā)送控制信息來控制系統(tǒng)的其他設(shè)備，如安防系統(tǒng)的門禁，網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)與支持?jǐn)?shù)字視頻服務(wù)器功能的門禁控制器同時實現(xiàn)從設(shè)備協(xié)議層到軟件數(shù)據(jù)庫的雙重數(shù)據(jù)交換功能，從而實現(xiàn)對門禁及相關(guān)部位的圖像抓拍和監(jiān)視功能。

為了該系統(tǒng)能夠正式投入使用，進(jìn)行了網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的測試。測試包括兩部分，測試前端攝像機(jī)的基本參數(shù)及實用性；測試監(jiān)控平臺主要的應(yīng)用功能。測試的具體內(nèi)容有實時的視頻瀏覽、多畫面監(jiān)視輪巡、圖像信息存儲備份、存儲及錄制方式、云臺控制、報警聯(lián)動、設(shè)備管理、用戶設(shè)置管理等，測試結(jié)果表明該系統(tǒng)性能良好。

四、結(jié)束語

本文設(shè)計的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)打破了傳統(tǒng)監(jiān)控系統(tǒng)布控區(qū)域、設(shè)備擴(kuò)展和數(shù)量上的限制，用戶可以通過網(wǎng)絡(luò)監(jiān)視現(xiàn)場和控制現(xiàn)場設(shè)備，并能監(jiān)視多個現(xiàn)場。實驗結(jié)果表明，本系統(tǒng)的工作非常穩(wěn)定、可靠，實時性強(qiáng)并具有一定的智能化。隨著傳感器技術(shù)、人工智能的發(fā)展，各國監(jiān)控系統(tǒng)向網(wǎng)絡(luò)標(biāo)準(zhǔn)化、高清化、無線化、簡捷化、智能化發(fā)展，在構(gòu)建和諧、穩(wěn)定的社會大環(huán)境下，智能化監(jiān)控系統(tǒng)具有非常廣泛的應(yīng)用價值，該智能化監(jiān)控系統(tǒng)具有良好的應(yīng)用前景。我們要繼續(xù)對新技術(shù)進(jìn)行開發(fā)、研究與應(yīng)用，繼續(xù)優(yōu)化當(dāng)前的網(wǎng)絡(luò)視頻監(jiān)控技術(shù)，從而更全面地促進(jìn)社會的和諧、穩(wěn)定發(fā)展。