基于嵌入式平臺(tái)的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)應(yīng)用*

蔡偉立，卿粼波，滕奇志，何小海

(四川大學(xué) 電子信息學(xué)院，四川 成都 610065)

0 引言

現(xiàn)在視頻監(jiān)控的應(yīng)用場(chǎng)景變得越來(lái)越多樣化，人們對(duì)監(jiān)控系統(tǒng)的智能化、功能化要求也越來(lái)越高。例如家居安防監(jiān)控，邊防、機(jī)場(chǎng)、重要工業(yè)場(chǎng)所周邊監(jiān)控，隱蔽刑偵等場(chǎng)景下的智能監(jiān)控，都需要自動(dòng)識(shí)別入侵目標(biāo)、智能跟蹤目標(biāo)、通過(guò)遠(yuǎn)程終端實(shí)現(xiàn)目標(biāo)監(jiān)控。國(guó)內(nèi)在智能監(jiān)控方面研究主要是本地監(jiān)控[1],而在網(wǎng)絡(luò)視頻監(jiān)控方面則是一些視頻實(shí)時(shí)傳輸[2-3]、發(fā)送異常圖像[4]等單一功能，且需要人工實(shí)時(shí)監(jiān)控操作，不能實(shí)現(xiàn)完全自動(dòng)智能處理，這些狀況很難滿足特定場(chǎng)景下的監(jiān)控需求。國(guó)內(nèi)主要的視頻監(jiān)控廠家等開(kāi)始在網(wǎng)絡(luò)監(jiān)控方面做一些智能化處理，但更偏向于智能家居或物聯(lián)網(wǎng)，系統(tǒng)不能與其他廠家產(chǎn)品兼容。本文通過(guò)綜合考察目前國(guó)內(nèi)關(guān)于視頻監(jiān)控領(lǐng)域的研究現(xiàn)狀以及市場(chǎng)針對(duì)監(jiān)控功能的需求，設(shè)計(jì)了在網(wǎng)絡(luò)監(jiān)控背景下的基于嵌入式平臺(tái)的智能監(jiān)控系統(tǒng)，該系統(tǒng)滿足特定場(chǎng)景下對(duì)目標(biāo)自動(dòng)識(shí)別與跟蹤、遠(yuǎn)程通知用戶實(shí)時(shí)查看監(jiān)控狀態(tài)等智能化功能，并且具有產(chǎn)品兼容性和功能擴(kuò)展性，在監(jiān)控系統(tǒng)的智能化和普及方面具有很重要的現(xiàn)實(shí)意義。

1 系統(tǒng)整體方案及硬件選型

本文設(shè)計(jì)的監(jiān)控系統(tǒng)具有遠(yuǎn)程網(wǎng)絡(luò)監(jiān)控功能、自動(dòng)檢測(cè)入侵目標(biāo)功能、智能跟蹤目標(biāo)運(yùn)動(dòng)軌跡功能。因此需要采用網(wǎng)絡(luò)攝像頭進(jìn)行前端視頻采集，并將采集的視頻數(shù)據(jù)送入嵌入式平臺(tái)進(jìn)行智能算法處理，最后通過(guò)遠(yuǎn)程終端設(shè)備或者本地設(shè)備監(jiān)控。整體監(jiān)控方案如圖1所示。

圖1 系統(tǒng)整體方案圖

前端采集設(shè)備選擇網(wǎng)絡(luò)PTZ攝像頭，具備云臺(tái)全方位移動(dòng)功能，能夠滿足系統(tǒng)智能跟蹤目標(biāo)運(yùn)動(dòng)軌跡的要求。嵌入式平臺(tái)選擇達(dá)芬奇系列TMS320DM8168芯片。作為高性能DMSoC，該芯片集成了一個(gè)主頻為1.2 GHz的Cotex-A8核、一個(gè)主頻為1GHz的C674x DSP核、一個(gè)控制HDVPSS子系統(tǒng)的VPSS M3核和一個(gè)控制HDVICP的Video Cortex M3核。同時(shí)該芯片還具有豐富的外設(shè)資源，支持?jǐn)U展千兆位以太網(wǎng)MAC、SATA硬盤(pán)、DDR3、NAND Flash以及HDMI接口。其中DDR3運(yùn)行Linux操作系統(tǒng)以及運(yùn)算過(guò)程的數(shù)據(jù)存儲(chǔ)，NAND Flash 存儲(chǔ)Uboot引導(dǎo)程序和文件系統(tǒng)，HDMI接口用于監(jiān)控畫(huà)面的本地顯示[5]。

2 系統(tǒng)軟件設(shè)計(jì)

2.1 軟件平臺(tái)簡(jiǎn)介

TI公司提供的軟件開(kāi)發(fā)包dvrrdk4.0, 在dvrrdk2.0基礎(chǔ)上加入了RTP等多種協(xié)議，包含開(kāi)發(fā)DVR、DVS、NVR等產(chǎn)品視頻應(yīng)用程序所需的所有組件，便于用戶開(kāi)發(fā)實(shí)時(shí)傳輸多媒體數(shù)據(jù)的功能。開(kāi)發(fā)包軟件平臺(tái)做了很好的分層，它的主體是多通道軟件框架(Multi-channel FrameWork， McFW)。McFW 在底層協(xié)調(diào)了VPSS M3、VIDEO M3、DSP以及Cortex A8多個(gè)核心進(jìn)行數(shù)據(jù)處理,通過(guò)Link API機(jī)制和chain機(jī)制，實(shí)現(xiàn)視頻數(shù)據(jù)流在各個(gè)核心之間以及核內(nèi)部不同線程之間并行處理。本文就是基于McFW API 接口進(jìn)行開(kāi)發(fā)的。

2.2 軟件設(shè)計(jì)流程

為了在嵌入式平臺(tái)上實(shí)現(xiàn)系統(tǒng)功能，本文將軟件設(shè)計(jì)部分分成三個(gè)模塊，包括獲取網(wǎng)絡(luò)視頻數(shù)據(jù)進(jìn)行相關(guān)處理、進(jìn)行智能算法運(yùn)算以及控制PTZ并發(fā)送運(yùn)算后的視頻數(shù)據(jù)到網(wǎng)絡(luò)。軟件設(shè)計(jì)流程如圖2所示。

圖2 軟件設(shè)計(jì)流程

首先在A8核中Linux系統(tǒng)調(diào)用live555內(nèi)部接口函數(shù)實(shí)現(xiàn)RTP客戶端的創(chuàng)建，接收來(lái)自網(wǎng)絡(luò)攝像頭的視頻數(shù)據(jù)流。再調(diào)用Vdec_putBitstreamBuffer接口函數(shù)將視頻數(shù)據(jù)放入共享空間，與McFW結(jié)合，供多核心調(diào)用處理。在McFW中通過(guò)Link API創(chuàng)建數(shù)據(jù)鏈,將接收到的數(shù)據(jù)進(jìn)行解包、解碼、去隔行、降噪、縮放處理。然后數(shù)據(jù)被送到DSP核內(nèi)進(jìn)行檢測(cè)跟蹤運(yùn)算。最后根據(jù)算法處理信息控制PTZ，同時(shí)將處理后的視頻數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)以及進(jìn)行本地顯示。

2.3 檢測(cè)、跟蹤算法的實(shí)現(xiàn)和優(yōu)化

考慮到監(jiān)控畫(huà)面中的靜態(tài)背景復(fù)雜性，檢測(cè)部分系統(tǒng)選用檢測(cè)效果好、處理速度快、應(yīng)對(duì)噪聲穩(wěn)定可靠的視覺(jué)背景提取(ViBE)算法[6]。跟蹤部分選擇了跟蹤精確的CT(Real-Time Compressive Tracking)算法[7]。在DSP核中通過(guò)檢測(cè)和跟蹤算法的結(jié)合，系統(tǒng)不再依賴(lài)人工干預(yù)即可智能檢測(cè)入侵目標(biāo)跟蹤運(yùn)動(dòng)軌跡。算法實(shí)現(xiàn)流程如圖3所示。

圖3 算法實(shí)現(xiàn)流程圖

單純地對(duì)兩個(gè)算法進(jìn)行移植還不能完成算法流程圖，本文根據(jù)系統(tǒng)的應(yīng)用需求對(duì)算法進(jìn)行了優(yōu)化。

(1)ViBE算法的思想是，在第一幀圖像中按平均分布隨機(jī)選取多個(gè)鄰域像素點(diǎn)樣本為每個(gè)像素點(diǎn)建立一個(gè)基于樣本的背景模型，計(jì)算當(dāng)前幀對(duì)應(yīng)像素值與背景模型中的樣本值的距離，計(jì)數(shù)距離小于設(shè)定閾值的樣本個(gè)數(shù)，若個(gè)數(shù)超過(guò)一定值，判定對(duì)應(yīng)像素點(diǎn)為背景像素點(diǎn)。當(dāng)某個(gè)像素被判定為背景像素時(shí)，該像素點(diǎn)有一定的概率去更新自己和鄰域的模型樣本集，當(dāng)像素點(diǎn)連續(xù)N次被判定為前景點(diǎn)時(shí)，將其更新為背景點(diǎn)。

ViBE算法對(duì)噪聲、光線反應(yīng)比較靈敏，監(jiān)控場(chǎng)景中的樹(shù)葉晃動(dòng)、非人類(lèi)物體運(yùn)動(dòng)都會(huì)被檢測(cè)為運(yùn)動(dòng)前景。為了避免類(lèi)似前景被錯(cuò)誤的跟蹤，系統(tǒng)設(shè)定了條件來(lái)判定檢測(cè)出的前景是否為需要跟蹤的感興趣區(qū)域(ROI)。通過(guò)多次測(cè)試，本系統(tǒng)設(shè)定前景目標(biāo)高度寬度比值大于3∶2，且根據(jù)監(jiān)控?cái)z像頭安裝高度設(shè)定前景目標(biāo)寬度占監(jiān)控畫(huà)面比值。

(2) CT算法是基于壓縮感知的跟蹤算法。第一幀先采樣若干張正負(fù)樣本圖像并提取多尺度的廣義Haar-like特征值，利用隨機(jī)感知矩陣降維特征值來(lái)訓(xùn)練樸素貝葉斯分類(lèi)器參數(shù)(式(3))，然后在下一幀的對(duì)應(yīng)位置周?chē)蓸尤舾纱翱?，同樣?duì)它們的特征矩陣降維，并利用訓(xùn)練好的樸素貝葉斯分類(lèi)器(式(1))進(jìn)行分類(lèi)，選擇概率最大的窗口判定為目標(biāo)窗口。

(1)

(2)

(3)

其中,y∈(0,1)表示樣本的正負(fù)標(biāo)簽，學(xué)習(xí)因子λ>0。

原始CT算法通過(guò)在線學(xué)習(xí)更新分類(lèi)器，無(wú)法處理drift問(wèn)題。這就導(dǎo)致目標(biāo)消失后系統(tǒng)會(huì)把消失處的背景作為跟蹤目標(biāo)，進(jìn)入跟蹤死循環(huán)。本系統(tǒng)對(duì)CT算法進(jìn)行優(yōu)化，計(jì)算并保存前兩幀目標(biāo)框特征向量的歐氏距離作為初始距離，之后每幀目標(biāo)框確定之后都計(jì)算其相對(duì)初始化目標(biāo)框特征向量的歐氏距離。如果連續(xù)幾幀的歐氏距離與初始距離比值超過(guò)一定閾值，就判定目標(biāo)消失，從而系統(tǒng)關(guān)閉跟蹤算法，重新進(jìn)入檢測(cè)部分監(jiān)控場(chǎng)景內(nèi)的變化。

3 監(jiān)控系統(tǒng)效果與分析

監(jiān)控系統(tǒng)效果如圖4所示。前兩幅圖是算法優(yōu)化前效果圖，后四幅圖是優(yōu)化后的效果。其中圖4(a)顯示了目標(biāo)進(jìn)入監(jiān)控后，系統(tǒng)檢測(cè)出ROI之后開(kāi)始跟蹤ROI坐標(biāo)。由目標(biāo)在監(jiān)控邊緣，系統(tǒng)控制PTZ轉(zhuǎn)動(dòng)。圖4(b)顯示了目標(biāo)從監(jiān)控畫(huà)面消失之后系統(tǒng)的跟蹤狀態(tài)，進(jìn)入跟蹤死循環(huán)。圖4(c)、(d)顯示了算法優(yōu)化之后跟前兩幅圖的對(duì)比。

圖4 監(jiān)控系統(tǒng)效果圖

本系統(tǒng)對(duì)網(wǎng)絡(luò)攝像頭采集的1 920像素×1 080像素的視頻幀進(jìn)行下采樣處理，在VPSS M3核中通過(guò)scalar link將圖像下采樣為640像素×360像素的圖像。之后對(duì)DSP中的算法運(yùn)行速度進(jìn)行優(yōu)化。代碼部分優(yōu)化內(nèi)容包括循環(huán)代碼優(yōu)化、移位運(yùn)算代替乘除運(yùn)算等，DSP端軟件運(yùn)行效率優(yōu)化包括編譯選項(xiàng)優(yōu)化、Cache配置優(yōu)化，最終系統(tǒng)在跟蹤目標(biāo)時(shí)的運(yùn)行速度可以穩(wěn)定達(dá)到18幀/s。表1列出了優(yōu)化效果。

表1 運(yùn)行速度優(yōu)化效果

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了是一套基于嵌入式平臺(tái)的用于檢測(cè)跟蹤的網(wǎng)絡(luò)PTZ球監(jiān)控系統(tǒng)，主要目的是在小型化智能系統(tǒng)上通過(guò)算法智能控制球機(jī)云臺(tái)，供遠(yuǎn)端監(jiān)控目標(biāo)運(yùn)動(dòng)軌跡。整個(gè)系統(tǒng)具有開(kāi)放性，根據(jù)不同用戶需求還可以添加功能，例如在擴(kuò)展的SATA硬盤(pán)存儲(chǔ)監(jiān)控視頻，檢測(cè)到目標(biāo)之后通過(guò)網(wǎng)絡(luò)發(fā)送通知到移動(dòng)終端等。本系統(tǒng)的實(shí)現(xiàn)在防止目標(biāo)入侵的隱蔽場(chǎng)所或者跟蹤移動(dòng)目標(biāo)軌跡的背景下具有現(xiàn)實(shí)意義，在網(wǎng)絡(luò)監(jiān)控智能化發(fā)展方面有重要意義。

[1] 蔣巍,張健,曾浩. 基于智能視頻監(jiān)控系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤[J].電視技術(shù),2012, 36(5): 110-114.

[2] 李江濱. 基于網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)實(shí)時(shí)傳輸研究與實(shí)現(xiàn)[D]. 鄭州：鄭州大學(xué), 2016.

[3] 陳名松, 邱曉金, 許笑. 基于 OpenCV 與 Socket 的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代電子技術(shù), 2017, 40(2): 57-59.

[4] 盛凱. 基于ARM 家居視頻安防監(jiān)控的實(shí)現(xiàn)[D]. 淮南：安徽理工大學(xué), 2017.

[5] 蘇莎莎. 基于TMS320DM8168多核處理器的嵌入式高清視音頻處理系統(tǒng)的研究與實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2014.

[6] BARNICH O, VAN DROOGENBROECK M. ViBe: a powerful random technique to estimate the background in video sequences[C]//Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE, 2009: 945-948.

[7] ZHANG K, ZHANG L, YANG M H. Real-time compressive tracking[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2012: 864-877.