適宜于高清監(jiān)控視頻的多ROI背景建模方法

汪 舟,何 軍,胡昭華

(南京信息工程大學(xué) 電子與信息工程學(xué)院 江蘇省氣象探測與信息處理重點實驗室,南京 210044)

1 引 言

現(xiàn)如今,隨著科技的進步,智能設(shè)備無處不在,計算機視覺也在越來越多的領(lǐng)域得到了應(yīng)用,其中智能視頻監(jiān)控更是在一系列領(lǐng)域得到了廣泛的應(yīng)用.而隨著攝像頭的更新?lián)Q代,高清攝像頭的出現(xiàn),對智能監(jiān)控提出了挑戰(zhàn).由于智能視頻監(jiān)控中的核心是目標檢測技術(shù),所以快速準確提取出目標得到了廣泛的重視和研究.運動目標檢測技術(shù)就是指從視頻圖像中將相對變化區(qū)域表示出來的技術(shù)手段,已有的運動目標檢測算法[1]主要可分為三類:光流法[2]、幀間差法[3]、背景差法[4].

由于背景差法簡單且易實現(xiàn),在實際中得到廣泛應(yīng)用,但是卻易受環(huán)境的影響.簡單來說,背景差法就是通過背景建模獲取的背景與當前視頻幀圖像做差,從而檢測出運動目標,所以對于背景模型的建立以及更新有了很高的要求.經(jīng)典的背景建模法,如混合高斯模型(GMM)[5]、視覺背景提取(visual background extractor,Vibe)[6]、基于像素的自適應(yīng)分割(PBAS)[7]等,由于這些方法都是基于像素點建模,而對于背景歸納過于簡單.在高清視頻(720P、1080P、4K)中,實時對上百萬的像素進行處理,不僅速度緩慢,而且難以取得理想的效果.

而近年來,一種得到廣泛應(yīng)用的矩陣分解方法被用來實現(xiàn)對運動目標的檢測.其中,最著名的是由Candes[8]提出魯棒主成分分析(RPCA),基本思想在高維度的視頻序列中,將視頻序列的數(shù)據(jù)矩陣分了兩個部分,其中背景部分是低秩的,目標部分是稀疏的,通過分離稀疏與低秩矩陣,從而實現(xiàn)背景與前景的分離.但是RPCA只能實現(xiàn)批處理,Online RPCA能夠?qū)崿F(xiàn)在線對監(jiān)控視頻的運動目標檢測,其中代表性的Online RPCA算法有GRASTA[9],pROST[10],GOSUS[11].對于高清的監(jiān)控視頻而言,整個視頻幀圖像的低秩背景建模及更新同樣會占用計算機大量的儲存空間且相當耗時,效果提升并不明顯,難以達到實時性.

據(jù)上分析,針對高清監(jiān)控視頻背景建模,本文主要有兩個工作:第一部分本文提出一種單幀視頻圖像平均網(wǎng)格化圖像切分方法,該方法同時對劃分后每個網(wǎng)格圖像單獨進行背景建模及更新,實驗結(jié)果驗證提出的方法可達到實時效果,但是運動目標的檢測偶爾會出現(xiàn)重影和網(wǎng)格化邊緣;第二部分提出一種基于魯棒主成分分析(RPCA)的多ROI區(qū)域背景建模法,由于在視頻監(jiān)控中,往往只關(guān)注幾處感興趣的目標區(qū)域(ROI).因此,該方法只需對多個ROI級聯(lián)后的塊圖像背景建模,無須對整個視頻幀圖像的背景建模,實驗結(jié)果驗證所提出方法的有效實時性.

2 傳統(tǒng)背景建模法

2.1 經(jīng)典背景建模法

混合高斯模型(GMM)[5]是建立在單高斯模型的基礎(chǔ)上,可以用多個單高斯函數(shù)表示復(fù)雜多變的場景背景.它是一種直觀的概率密度模型,反應(yīng)了某段時間內(nèi)圖像運動的統(tǒng)計特征:利用在較長時間內(nèi)像素的概率密度、均值、標準差等統(tǒng)計信息來建立背景模型.該方法對場景變化、遮擋等問題有較好的的處理效果,但是其計算量大,實時性較差.

視覺背景提取(visual background extractor,Vibe)[6]是一種高效的背景提取方法,該算法可快速對每一個像素進行檢測.為圖像中每一個像素都創(chuàng)建一個背景樣本,并且采用隨機選擇策略初始化背景樣本,通過對比當前像素和其背景樣本來確定像素屬于背景點.該方法在動態(tài)背景、緩慢光照變化場景下效果較好,但是在光線變化較快時,處理效果較差,且計算量較大,實時性能較差.

基于像素的自適應(yīng)分割(PBAS)[7]算法性能上優(yōu)于Vibe算法,且檢測過程及更新過程似于Vibe算法,但是PBAS不同于Vibe采用自適應(yīng)的更新率.該算法對每個像素點由鄰近當前視頻幀的過去系列歷史像素值進行背景建模.該算法能夠較好的適應(yīng)動態(tài)背景變化小的場景,但實際場景變化較快時誤檢率較高,產(chǎn)生“鬼影”,且參數(shù)更新,一定程度上影響實時性.

2.2 魯棒主成分分析(RPCA)

RPCA是一個子空間學(xué)習(xí)模型[12],通過引入稀疏表示,使得RPCA比PCA對觀測數(shù)據(jù)更加魯棒.RPCA從矩陣恢復(fù)的角度來研究目標檢測的方法,其基本理論是由視頻幀表示的觀測矩陣I可以由代表著背景的低秩矩陣L和前景運動目標的稀疏矩陣S兩部分組成,即I=L+S,其中I∈Rmn×k(m表示幀行數(shù),n表示幀列數(shù),k表示幀數(shù))是觀測矩陣,L和S則分別表示背景和運動前景目標.文獻[13-16]中,觀測矩陣I中的每一幀背景圖像之間具有線性相關(guān)性,所以主成分矩陣L是低秩的,且用L0范數(shù)表征前景稀疏矩陣S,因此,為了恢復(fù)(L,S),得到RPCA模型表示為:

(1)

式中,λ代表折中權(quán)重,平衡背景與前景目標的比重.但是(1)式嚴格非凸優(yōu)化,是一個NP-Hard問題.研究表明,對(1)式做松弛變化,用L1范數(shù)代替L0范數(shù),用L的核范數(shù)‖L‖*(即矩陣L的特征值之和)代替秩函數(shù),因此(1)式經(jīng)過凸松弛可得到:

min‖L‖*+λ‖S‖l
s.t.I=L+S

(2)

式中,‖L‖*表示背景矩陣L的核范數(shù),‖S‖l表示前景稀疏矩陣S的L1范數(shù).而這個凸優(yōu)化問題,可求解并恢復(fù)出(L,S).以此模型,將RPCA方法應(yīng)用于對高維視頻觀測數(shù)據(jù)的目標檢測.

3 高清監(jiān)控視頻的背景建模法

本節(jié)內(nèi)容主要介紹了針對高清監(jiān)控視頻背景建模,本文所提出的兩種方法的實現(xiàn)過程.第一部分詳述提出的一種單幀視頻圖像平均網(wǎng)格化圖像切分方法;第二部分詳述提出的一種基于魯棒主成分分析(RPCA)的多ROI區(qū)域背景建模法.

3.1 平均網(wǎng)格化背景建模

對于高清監(jiān)控視頻而言,對于普通計算機來說,實現(xiàn)實時目標檢測往往非常困難.平均網(wǎng)格化目標檢測過程的實質(zhì)就是對視頻幀圖像網(wǎng)格均切分,同時并行在每一個網(wǎng)格化圖像分別實現(xiàn)建模及檢測.原始視頻幀圖像It,其中t∈k(It表示k幀圖像中的一幀圖像)由前景目標和背景組成,可表示為:

It=l+s

(3)

式中,s表示目標前景,l表示背景.通過RPCA 求解進行相應(yīng)的背景圖像和目標圖像分離,進行目標檢測.視頻幀圖像I可表示為:

It=U·ω+s

(4)

式中,U表示低秩的子空間矩陣,ω表示權(quán)重向量,s表示稀疏向量.平均網(wǎng)格化視頻幀圖像It,可表示為:

(5)

式中,n表示網(wǎng)格化數(shù)量,其中n∈Z+.據(jù)上分析,圖1描述了平均網(wǎng)格化背景建模的具體實現(xiàn)過程.首先,對視頻幀圖像網(wǎng)格切分成各個網(wǎng)格化圖像In,接著各個網(wǎng)格化圖像向量化圖像矩陣;同時,對各個圖像矩陣建模,獲取背景圖像IL和前景目標圖像IS;最后將背景圖像IL和前景目標圖像IS進行重構(gòu),獲取背景和前景目標.

圖1 平均網(wǎng)格化背景建模過程Fig.1 Average grid background modeling process

3.2 ROI級聯(lián)塊圖像背景建模

對于高清監(jiān)控視頻,往往只關(guān)注幾處ROI,針對高清視頻中多ROI區(qū)域的背景建模問題,本文擬采用多ROI區(qū)域級聯(lián),進而應(yīng)用RPCA方法進行背景建模.

3.2.1 整體流程

圖2 ROI級聯(lián)塊圖像背景建模流程圖Fig.2 ROI cascade block image background modeling flow chart

3.2.2 預(yù)處理

針對多ROI觀測視頻而言,原始視頻幀圖像IΩ只關(guān)注所觀測的ROI,則視頻幀圖像IΩ可表示為:

IΩROI=UΩROI·ω+SΩROI

(6)

3.2.3 基于RPCA多ROI背景建模

簡單來說,RPCA的原理就是將矩陣分解成一個稀疏矩陣和一個低秩矩陣.由上述分析可知,ROI圖像塊是由稀疏目標塊圖像S和低秩背景塊圖像L組成.采用RPCA對多ROI的視頻進行目標檢測,即單幅視頻幀圖像經(jīng)過預(yù)處理后,得到按索引所拉伸的列向量圖像矩陣,通過RPCA 進行分解獲得目標塊圖像矩陣S,前景目標即可按索引進行圖像重構(gòu)獲得.具體的實現(xiàn)過程如圖4所示,通過預(yù)處理變換后獲取ROI圖像塊的圖像矩陣采用RPCA矩陣恢復(fù)獲得稀疏目標塊矩陣圖像S,需要注意的是RPCA矩陣恢復(fù)算法中只進行部分SVD求解;然后按索引分割成各個ROI前景目標圖像;最后按索引重構(gòu)ROI前景目標.

圖3 構(gòu)建ROI塊圖像預(yù)處理過程Fig.3 Construction of ROI block image preprocessing process

4 實驗結(jié)果與分析

4.1 測試環(huán)境和視頻來源

為了驗證可行性及高效性,本文采取了三組網(wǎng)絡(luò)視頻分辨率分別是480P(720×480 像素),720P(1280×720像素)及1080P(1920×1080像素)的高清監(jiān)控測試視頻進行檢測.針對以上問題,本文視頻實驗數(shù)據(jù)取自真實社區(qū)街道監(jiān)控攝像頭.本文測試的實驗平臺為Ubuntu14.04,處理器為Intel?CoreTMi7-4790,主頻為3.60GHz,內(nèi)存為4G.分別測試了Online RPCA背景建模GRASTA方法、平均網(wǎng)格化背景建模法及基于RPCA多ROI背景建模法在目標識別上檢測效果和檢測的實時性.

圖4 ROI塊圖像建模過程Fig.4 ROI block image modeling process

4.2 測試對比和分析

本文設(shè)置了多組對比實驗.在相同的測試環(huán)境下,利用上述三種不同的檢測算法分別對三種不同分辨率的監(jiān)控視頻進行了目標檢測的九組對比實驗.如圖5所示,由于實驗視頻數(shù)據(jù)取自真實社區(qū)街道監(jiān)控場景,實驗監(jiān)控畫面往往只關(guān)心街道行人部分(圖中虛線框區(qū)域).GRASTA對每一幀視頻實驗數(shù)據(jù)進行背景建模;平均網(wǎng)格化背景建模法將實驗視頻數(shù)據(jù)平均網(wǎng)格化N等份,分別對每一塊網(wǎng)格進行背景建模;基于RPCA多ROI背景建模法對實驗視頻數(shù)據(jù)的街道行人部分設(shè)置N塊ROI,對ROI級聯(lián)進行背景建模.如圖6所示,實驗數(shù)據(jù)分別取源視頻第100幀、150幀和200幀的圖像.由于九組對比實驗的實驗效果過多且類似,本文抽取三組對比實驗結(jié)果數(shù)據(jù).實驗結(jié)果數(shù)據(jù)如圖7所示,其中(I)圖取自圖6的第100幀,分辨率為480P的檢測結(jié)果;(II)圖取自圖6的第150幀,分辨率為720P的檢測結(jié)果;(III)圖取自圖6的第200幀,分辨率為1080P的檢測結(jié)果.圖7中的(a)圖、(b)圖、(c)圖分別代表著GRASTA的檢測結(jié)果、平均網(wǎng)格化背景建模法的檢測結(jié)果和基于RPCA多ROI背景建模法的檢測結(jié)果.其中圖7a(1)、b(1)、c(1)分別代表當前幀三種檢測的動態(tài)前景目標畫面;圖7a(2)、b(2)、c(2)分別代表當前幀三種檢測算法背景畫面.

圖5 監(jiān)控視頻幀圖像Fig.5 Monitoring video frame image

圖6 監(jiān)控視頻中三幀圖像Fig.6 Three frame images in the surveillance video

圖7 三種檢測方法檢測結(jié)果Fig.7 Three detection methods to detect the results

實驗結(jié)果表明,本文所提出的平均網(wǎng)格化背景建模法可以檢測出前景運動目標.該方法設(shè)置為四網(wǎng)格,前景目標部分和背景部分都出現(xiàn)明顯的網(wǎng)格分割線,并且可看出前景目標部分與背景部分都被硬性的切分為四等份的網(wǎng)格區(qū)域.而網(wǎng)格內(nèi)部偶爾會出現(xiàn)一些目標的重影和網(wǎng)格之間的目標偶爾會出現(xiàn)一些錯位.與GRASTA背景建模法的檢測效果相比,該方法的檢測效果相對差些.本文所提出的基于RPCA多ROI背景建模法可以準確的檢測出前景運動目標.該方法設(shè)置四塊ROI,四塊ROI以階梯狀最大化目標區(qū)域分布,前景運動目標運動區(qū)域全部劃分在四塊ROI中,而背景部分只保留四塊ROI區(qū)域內(nèi)的背景.與GRASTA背景建模法的檢測效果相比,該方法的檢測效果相對較好.所以,本文中的基于RPCA多ROI背景建模法保證了輸出數(shù)據(jù)的精確度.

在相同的環(huán)境下,3種方法對3種不同的分辨率的監(jiān)控視頻每幀平均所需的檢測時間的實驗數(shù)據(jù)如表1和表2所示,其中,方法3指GRASTA背景建模法;方法2指平均網(wǎng)格化背景建模法,表1中所劃分的網(wǎng)格數(shù)量為四,表2中所劃分的網(wǎng)格數(shù)量為六;方法3指基于RPCA多ROI背景建模法,表1中設(shè)置4個ROI(480P每個ROI設(shè)置為200×120,720P每個ROI設(shè)置為400×180,1080P每個ROI設(shè)置為600×270),表2中設(shè)置6個ROI(480P每個ROI設(shè)置為180 ×80,720P每個ROI設(shè)置為350×120,1080P每個ROI設(shè)置為500×180).時間比(1)是方法1與方法2的每幀所運行的時間比,時間比(2)是方法1與方法3的每幀所運行的時間比.

表1和表2的數(shù)據(jù)顯示,對于720×480 像素,1280×720像素,1920×1080 像素分辨率的視頻而言,針對方法2設(shè)置不同網(wǎng)格數(shù)量,對實驗視頻數(shù)據(jù)每幀平均檢測用時也是不同,表1中方法1的每幀平均檢測用時將近是方法2的4倍,表2中方法1的每幀平均檢測用時將近是方法2的5到6倍;針對方法3保證輸出數(shù)據(jù)精確度的前提下,設(shè)置不同ROI大小及數(shù)量, 對實驗視頻數(shù)據(jù)每幀平均檢測用時也是不同,整體ROI面積越大,耗時越多,且實驗視頻數(shù)據(jù)的分辨率越高,方法1與方法3的每幀平均檢測用時時間比越高.由此,本文提出的平均網(wǎng)格背景建模法和基于RPCA多ROI背景建模法對目標檢測的時間大大減少,可以實現(xiàn)在480P、720P視頻實時性.

表1 不同背景建模法目標檢測所需時間對比(1)Table 1 Comparison of time required for different background modeling method object detection(1)

表2 不同背景建模法目標檢測所需時間對比(2)Table 2 Comparison of time required for different background modeling method object detection(2)

5 結(jié)束語

本文提出的兩種背景建模的方法,旨在高清監(jiān)控視頻環(huán)境中實現(xiàn)實時的運動目標檢測.兩種方法分別是平均網(wǎng)格化背景建模法和基于RPCA多ROI背景建模法.實驗表明,在時間上相較與Online RPCA背景建模的方法,本文算法對目標檢測時間所使用的時間大大減少,可很好的滿足于480P,720P的高清視頻的檢測.在目標檢測的準確度上,基于RPCA多ROI背景建模法與傳統(tǒng)的RPCA背景建模法相差無幾,平均網(wǎng)格化背景建模法實現(xiàn)的準確度則稍差.由此,本文所提出的兩種背景建模法可很好滿足對高清監(jiān)控視頻的實時目標檢測.但是,本文所提出的算法對于1080P的監(jiān)控視頻的目標檢測的實時性相對較差,因此,作者將關(guān)注于本文算法在GPU上的實現(xiàn),提高實時處理能力,達到1080P監(jiān)控視頻的實時目標檢測.

：

[1] Yin Hong-peng,Chen Bo,Chai Yi,et al.A survey of visualbased target detection and tracking[J].Acta Automatica Sinica,2016,42(10):1466-1489.

[2] Bao L,Yang Q,Jin H.Fast edge-preserving patchmatch for large displacement optical flow[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2014:3534-3541.

[3] Migliore D A,Matteucci M,Naccari M.A revaluation of frame difference in fast and robust motion detection[C].Proceedings of the 4th ACM International Workshop on Video Surveillance and Sensor Networks,ACM,2006:215-218.

[4] Huerta I,Amato A,Roca X,et al.Exploiting multi-plecues in motion segmentation based on background subtraction[J].Neurocomputing,2013,100(2):183-196.

[5] Greggio N,Bernardino A,Laschi C,et al.Fast estimation of Gaussian mixture models for image segmentation[J].Machine Vision and Applications,2012,23(4):773-789.

[6] Van Droogenbroeck M,Paquot O.Background subtraction:experiments and improvements for ViBe[C].Computer Vision and Pattern Recognition Workshops(CVPRW),2012 IEEE Computer Society Conference on.IEEE,2012:32-37.

[7] Hofmann M,Tiefenbacher P,Rigoll G.Background segmentation with feedback:The pixel-based adaptive segmenter[C].Computer Vision and Pattern Recognition Workshops (CVPRW),2012 IEEE Computer Society Conference on.IEEE,2012:38-43.

[8] Candès E J,Li X,Ma Y,et al.Robust principal coponent analysis[J].Journal of the ACM (JACM),2011,58(3):1-37.

[9] He J,Balzano L,Szlam A.Incremental gradient on the grassmannian for online foreground and background separation in subsampled video[C].Computer Vision and Pattern Recognition (CVPR),2012 IEEE Conference on.IEEE,2012:1568-1575.

[10] Seidel F,Hage C,Kleinsteuber M.pROST:a smoothed lp-norm robust online subspace tracking method for background subtraction in video[J].Machine Vision and Applications,2014,25(5):1227-1240.

[11] Xu J,Ithapu V K,Mukherjee L,et al.GOSUS:Grassmannian online subspace updates with structured sparsity[C].Proceedings of the IEEE International Conference on Computer Vision,2013:3376-3383.

[12] Shi Jia-rong,Zhou Shui-sheng,Zheng Xiu-yun.Multi-linear robu-st principal component analysis[J].Chinese Journal of Electronics,2013,42(8):1480-1486.

[13] Bouwmans T,Zahzah E H.Robust PCA via principal component pursuit:a review for a comparative evaluation in video surveillance[J].Computer Vision and Image Understanding,2014,122(4):22-34.

[14] Wright J,Ganesh A,Rao S,et al.Robust principal component analysis:exact recovery of corrupted low-rank matrices[J].Journal of the Acm,2009,58(3):2080-2088.

[15] De La Torre F,Black M J.A framework for robust subspace learning[J].International Journal of Computer Vision,2003,54(1):117-142.

[16] Zhou Wei,Sun Yu-bao,Liu Qing-shan,et al.Sparse RPCA model of l_0 group and its algorithm for motion target detection[J].Chinese Journal of Electronics,2016,44(3):627-632.

附中文參考文獻：

[1] 尹宏鵬,陳 波,柴 毅,等.基于視覺的目標檢測與跟蹤綜述[J].自動化學(xué)報,2016,42(10):1466-1489.

[12] 史加榮,周水生,鄭秀云.多線性魯棒主成分分析[J].電子學(xué)報,2013,42(8):1480-1486.

[16] 周 偉,孫玉寶,劉青山,等.運動目標檢測的l_0群稀疏RPCA模型及其算法[J].電子學(xué)報,2016,44(3):627-632.