基于B/S架構實時高清音視頻監(jiān)控系統(tǒng)

劉偉杰 李博

摘 ?要： 高清視頻監(jiān)控畫面范圍廣同時產(chǎn)生巨大數(shù)據(jù)使得在網(wǎng)絡傳輸中造成時延，也存在音頻數(shù)據(jù)有限的問題。針對上述問題，文中設計一種基于B/S架構的實時高清音視頻監(jiān)控系統(tǒng)。USB攝像頭基于V4L2接口采集圖像，基于ALSA聲卡驅動采集音頻，結合H.265視頻編解碼技術和FAAC音頻編碼技術，以RTP協(xié)議打包封裝H.265視頻碼流和AAC音頻碼流經(jīng)網(wǎng)絡同步傳輸?shù)絎eb服務器，利用CGI，JavaScrict技術實現(xiàn)多種智能終端登錄瀏覽器顯示監(jiān)控畫面。經(jīng)測試該監(jiān)控系統(tǒng)畫面清晰無抖動，音視頻吻合效果明顯滿足實驗要求。

關鍵詞： B/S架構; 高清視頻; 監(jiān)控系統(tǒng); 同步傳輸; 智能終端登錄; 監(jiān)控畫面顯示

中圖分類號： TN949.197?34 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）12?0045?03

Abstract： The high?definition video monitoring images have wide application range， but can simultaneously generate huge amount of data， which may cause the problems of network transmission delay and limited audio data. Therefore， a real?time high?definition audio and video monitoring system based on the B/S architecture is designed in this paper. The USB camera is used to collect images by means of the V4L2 interface and audios by means of the ALSA sound card driver. In combination with the H.265 video encoding and decoding technology and FAAC audio encoding technology， the H.265 video code stream and AAC audio code stream are packaged and encapsulated by using the RTP protocol， and then simultaneously transmitted to the Web server via network. The CGI and JavaScript technology are used to realize various intelligent terminals′ login into browser for monitoring image display. The test results show that the monitoring system can generate clear images without any jitter， and has an obvious audio and video synchronization effect， which can meet the experimental requirements.

Keywords： B/S architecture; high?definition video; monitoring system; synchronous transmission; intelligent terminal login; monitoring image display

0 ?引 ?言

隨著社會的發(fā)展，人們安全性意識逐漸提高，安防監(jiān)控在國家安全、社會公共安全、交通安全、及個人安全等領域需求越來越廣泛，并且要求的安全質(zhì)量標準也大大提高。早期的模擬監(jiān)控已經(jīng)無法滿足大面積覆蓋重要安全領域的需求，并且不具備遠程監(jiān)控的功能;而網(wǎng)絡安防視頻監(jiān)控具備不受地域、時間限制，在允許授權的情況下可以隨時隨地按需監(jiān)控，實現(xiàn)快速反應，使用方式相當簡單快捷，已經(jīng)成為監(jiān)控未來發(fā)展的主流趨勢。目前網(wǎng)絡監(jiān)控的高清以及超清畫質(zhì)已經(jīng)成為安防監(jiān)控重要的質(zhì)量標準之一。

隨著流媒體技術的快速發(fā)展，視頻編碼已經(jīng)由應用廣泛的H.264標準發(fā)展到最新的H.265標準。H.265標準采用多種視頻編解碼的新技術，能夠更好地支持高清視頻;同時H.265標準在網(wǎng)絡方面采用并行處理的應用方法，解決高清以及超清視頻對網(wǎng)絡帶寬高需求而造成高清視頻卡頓的問題，為高清視頻實時傳輸和瀏覽提供便捷。

軟件設備的提高需要硬件的支持，并且要求安防設備具有快速處理視頻信號的能力和操作簡單方便，應用領域普及范圍廣的特點。本文針對安防設備的功能需求采用嵌入式網(wǎng)絡監(jiān)控系統(tǒng)，以提高視頻監(jiān)控的質(zhì)量，更好地滿足安防監(jiān)控的應用領域。

1 ?系統(tǒng)設計與實現(xiàn)

1.1 ?硬件系統(tǒng)設計

本文采用友善公司推出的Tiny?4412開發(fā)板。Tiny?4412開發(fā)板是三星公司生產(chǎn)的高性能微處理器，Cortex?A8內(nèi)核，主頻1.4 GHz/1.6 GHz，滿足處理復雜算法的能力[1]。由系統(tǒng)外設接口豐富，具有1 GB的運行內(nèi)存DDR3，8 GB的存儲NANDFLASH芯片，以及具有USB攝像機接口、支持高清LCD顯示器，同時在網(wǎng)絡方面支持百兆網(wǎng)卡接口，硬件系統(tǒng)外設滿足系統(tǒng)應用要求。硬件系統(tǒng)設計結構圖如圖1所示。

圖1 ?硬件系統(tǒng)設計結構圖

1.2 ?軟件系統(tǒng)設計

基于Linux?2.6.30為操作系統(tǒng)，移植ARM端X265和FAAC軟件，分別支持H.265視頻編解碼和AAC音頻編碼。應用程序部分采用多線程編程技術。

1.2.1 ?圖像采集編碼線程

V4L2[2]是Linux系統(tǒng)支持視頻設備的驅動框架，它為針對視頻設備的應用程序提供接口。

在Linux中，視頻設備是設備文件，驅動程序在/dev/video*目錄下，核心算法部分如下：

1） 打開攝像頭設備，調(diào)用函數(shù)fd=open（“/dev/video0”，O_RDWR）。

2） 設置視頻采集格式，調(diào)用函數(shù)ioctl（fd，VIDIOC_S_FMT，&fmt）設置視頻采集分辨率、顏色、采集模式等。

3） 申請幀緩沖空間，在用戶空間申請4個視頻幀緩沖采用隊列方式循環(huán)采集，并且采用mmap（）方式將內(nèi)核空間映射到用戶空間，內(nèi)存映射方式方便快捷，省去了大量內(nèi)存復制，提高效率。

4） 設備采集圖像，調(diào)用函數(shù)ioctl（fd，VIDIOC_STREAMON，&mtd）緩存圖像，啟動視頻編碼線程編碼視頻數(shù)據(jù)ret=x265_encoder_encode（pHandle，&pNals，&iNal，pPic_in，NULL），壓縮采集視頻。

5） 關閉視頻設備close（fd），釋放內(nèi)存。

1.2.2 ?音頻采集編碼線程

ALSA是在Linux系統(tǒng)進行音頻編程可供選擇的聲卡驅動體系結構，ALSA提供了支持多種聲卡設備，提供了開發(fā)函數(shù)庫（alsa?lib）以簡化應用程序開發(fā)。基于ALSA聲卡驅動音頻采集得到PCM數(shù)據(jù)量大，網(wǎng)絡傳輸需要將其轉化為AAC音頻格式，采用FAAC進行音頻編碼轉換，ALSA聲卡驅動在用戶空間使用（alsa?lib）。本模塊音頻采集編碼關鍵代碼如下：

1） 初始化PCM編碼參數(shù)設備句柄、硬件信息和PCM流配置。

2） 初始化采樣格式，設置采樣率。

3） 設置通道數(shù)量，完成硬件參數(shù)設置。

err=snd_pcm_hw_params（hangle， params）

4） PCM編碼轉換AAC格式音頻碼流緩存。

faacEncEncode（faacEncHandle hEncoder， ?int32_t * inputBuffer， unsigned int samplesInput， ?unsigned char *outputBuffer， unsigned int bufferSize）

//參數(shù)1是FAAC編碼器句柄，參數(shù)2是輸入PCM信息緩沖區(qū)，參數(shù)3是編碼后數(shù)據(jù)長度，參數(shù)4編碼后輸出信息緩沖區(qū)，參數(shù)5是實際緩沖區(qū)大小

5） 關閉PCM設備句柄和編碼器句柄。

1.2.3 ?音視頻同步網(wǎng)絡傳輸線程

基于音視頻監(jiān)控的實時性要求，網(wǎng)絡傳輸機制選實時傳輸協(xié)議RTP/RTCP。RTP協(xié)議負責傳輸具有實時特性的音視頻文件，是一個應用層程序，既可以工作在TCP協(xié)議上又可以工作在UDP協(xié)議上。UDP協(xié)議相對TCP協(xié)議，傳輸時延更短并且具有更小的網(wǎng)絡開銷，因此選擇RTP/UDP協(xié)議格式進行視頻碼流傳輸。RTCP協(xié)議是實時傳輸控制協(xié)議，用于實時監(jiān)控傳輸數(shù)據(jù)，RTCP中NTP（絕對時間戳）為SR（發(fā)送端發(fā)送的時間報告），還有協(xié)議中RTP Timestamp與NTP中的時間戳相對應，與RTP包的RTP時間戳具有相同的單位和隨機初始值，并且是單調(diào)增加的。音視頻碼流根據(jù)NTP（絕對時間戳）和RTP Timestamp（相對時間戳）映射到統(tǒng)一的時間軸上，在播放端便可實現(xiàn)音視頻同步。

音視頻同步網(wǎng)絡傳輸至關重要，如果在發(fā)送端造成音視頻不同步，那在播放端怎樣控制音視頻同步都不能達到很好的效果。同時考慮到視頻編碼的時間相比音頻編碼時間長，為此系統(tǒng)對圖像采集編碼線程和音頻采集編碼線程分別設置緩沖區(qū)，同時利用信號量機制在同一網(wǎng)絡傳輸線程音視頻碼流交替?zhèn)鬏敗榱吮ＷC在客戶端音視頻同步采用，在客戶端區(qū)設置接收緩沖區(qū)，據(jù)國外機構研究可知，高清視頻或者超高清視頻偏移必須控制在80 ms以內(nèi)，在系統(tǒng)接收端對音視頻時間戳進行比對，音視頻碼流在80 ms以內(nèi)則同步播放，以視頻軸為主，偏離80 ms則再次比對。音視頻同步控制框圖見圖2。

圖2 ?音視頻同步控制框圖

2 ?實驗結果與測試

Boa服務器為網(wǎng)上信息瀏覽提供服務，支持多端應用訪問。嵌入式Boa服務器提供公關網(wǎng)管接口（CGI），客戶端運行相應CGI程序，將數(shù)據(jù)上傳客戶端，方便信息交互。在嵌入式平臺開啟設備，運行系統(tǒng)應用程序，在互聯(lián)網(wǎng)瀏覽器上登錄嵌入式Boa服務器網(wǎng)址，可實現(xiàn)實時畫面播放，視頻畫面高清，音視頻同步效果良好，滿足實際應用需要。

3 ?結 ?語

本文設計一種基于B/S架構的實時高清音視監(jiān)控系統(tǒng)，采用開源的Linux系統(tǒng)為軟件操作平臺，重點闡述了視頻采集V4L2驅動、視頻編碼技術、音頻編碼RTP/RTCP流媒體網(wǎng)絡傳輸協(xié)議等多種技術，解決了高清網(wǎng)絡監(jiān)控傳輸帶寬的壓力和網(wǎng)絡延遲，對安防監(jiān)控起到借鑒作用，同時也可以應用到視頻直播的流媒體應用領域。

參考文獻

[1] 成敏，謝杉杉，徐強，等.基于Android的音視頻同步交互系統(tǒng)[J].吉林大學學報（信息科學版），2016，34（4）：507?514.

CHENG Min， XIE Shanshan， XU Qiang， et al. Audio and video synchronous system based on Android [J]. Journal of Jilin University， 2016， 34（4）： 507?514.

[2] 陳曉偉，孟利民.基于B/S架構的視頻監(jiān)控音視頻模塊的設計[J].電聲技術，2014，38（6）：77?80.

CHEN Xiaowei， MENG Limin. Design of client software of the video monitor based on B/S structure [J]. Audio engineering， 2014， 38（6）： 77?80.

[3] 廖志川，俞子榮，陳黎娟.基于ARM的移動視頻監(jiān)控終端設計與實現(xiàn)[J].現(xiàn)代電子技術，2012，35（10）：9?11.

LIAO Zhichuan， YU Zirong， CHEN Lijuan. Design of mobile video monitoring terminal based on ARM [J]. Modern electronics technique， 2012， 35（10）： 9?11.

[4] 史凱，雒江濤，張治中.基于RTP的H.264無線視頻傳輸和QoS控制[J].微計算機信息，2009，25（6）：162?164.

SHI Kai， LUO Jiangtao， ZHANG Zhizhong. Transmission of H.264 video over wireless networks based on RTP and QoS control [J]. Microcomputer information， 2009， 25（6）： 162?164.

[5] 戎玲，游寒旭.數(shù)字視頻對講系統(tǒng)的全程唇音同步測試方法[J].電視技術，2017，41（6）：143?146.

RONG Ling， YOU Hanxu. Lip sync test method for IP video intercom system [J]. Video engineering， 2017， 41（6）： 143?146.

[6] 王開宇.基于C#的數(shù)據(jù)與視頻監(jiān)控系統(tǒng)上位機軟件設計[J].現(xiàn)代電子技術，2017，40（10）：62?64.

WANG Kaiyu. Design of C#?based PC software for data and video monitoring [J]. Modern electronics technique， 2017， 40（10）： 62?64.

[7] 陳嵐，鮑可進.基于S3C6410和3G的無線視頻傳輸系統(tǒng)的設計與實現(xiàn)[J].無線通信技術，2014，23（2）：42?46.

CHEN Lan， BAO Kejin. Design and implementation of wireless video transmission system based on S3C6410 and 3G [J]. Wireless communication technology， 2014， 23（2）： 42?46.

[8] 王莉，周偉.基于ARM的嵌入式Web服務器設計[J].計算機工程與應用，2012，48（14）：90?93.

WANG Li， ZHOU Wei. Design of embedded Web server based on ARM [J]. Computer engineering and applications， 2012， 48（14）： 90?93.

[9] 許剛.基于ARM11的嵌入式視頻采集監(jiān)控系統(tǒng)設計[J].測控技術，2013，32（12）：37?40.

XU Gang. Design of an embedded video capturing system based on ARM11 [J]. Measurement & control technology， 2013， 32（12）： 37?40.

[10] 胡江濤.安防工程中音視頻監(jiān)控系統(tǒng)的優(yōu)勢與應用[J].自動化與儀器儀表，2017（8）：131?132.

HU Jiangtao. Advantages and applications of audio video surveillance system in security engineering [J]. Automation & instrumentation， 2017（8）： 131?132.