基于協(xié)方差矩陣的復(fù)雜背景中目標(biāo)檢測(cè)

段松傳，韓彥芳，徐伯慶

(上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海200093)

0 引言

運(yùn)動(dòng)目標(biāo)的檢測(cè)和分割［1，2］是計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的課題，是進(jìn)一步對(duì)目標(biāo)進(jìn)行分類、跟蹤、定位、識(shí)別等技術(shù)研究的關(guān)鍵和基礎(chǔ)［3］。

背景差分法［4］是解決這一問題的有效方法，是當(dāng)前用的比較多的方法。可以用單高斯模型［5］來描述像素亮度值的不斷變化，高斯混合模型［6］是利用混合高斯的方法對(duì)背景建模，但是每個(gè)像素的高斯分布假設(shè)都要受到參數(shù)的限制，所以后面提出了非參數(shù)的模型［4］。

在復(fù)雜背景中，基于像素的方法將不能有效地檢測(cè)出運(yùn)動(dòng)目標(biāo)，因?yàn)樗麄儧]有考慮像素間的相關(guān)性。基于區(qū)域的方法通常將一幅圖像分成許多小塊，計(jì)算特定塊的特征。文獻(xiàn)［7］中，對(duì)特征向量距離的進(jìn)行歸一化處理。在文獻(xiàn)［8］中，計(jì)算一個(gè)塊的邊緣直方圖作為其特征向量。所以僅僅能夠粗略的檢測(cè)出運(yùn)動(dòng)目標(biāo)。

為了克服現(xiàn)有方法在復(fù)雜背景中的不足之處，提出了一種協(xié)方差矩陣描述子［9］。因?yàn)檩^大的旋轉(zhuǎn)和光照的變化也會(huì)被協(xié)方差矩陣吸收，所以能夠在復(fù)雜背景中有效的檢測(cè)出運(yùn)動(dòng)目標(biāo)。

1 協(xié)方差矩陣的構(gòu)建

在文獻(xiàn)［6］中，介紹了協(xié)方差矩陣描述子，主要應(yīng)用在目標(biāo)檢測(cè)和分割中。由于受到文獻(xiàn)［9］的影響，在背景差分中，把協(xié)方差描述子用來描述區(qū)域。為了使協(xié)方差矩陣描述子能夠適合于復(fù)雜背景中的運(yùn)動(dòng)目標(biāo)檢測(cè)，構(gòu)建的協(xié)方差矩陣不同于文獻(xiàn)［9］中的方法。

設(shè)I是一維的灰度圖像或三維的彩色圖像，F(xiàn)是從I中提取的W×H×d矩形特征圖像。

式中，函數(shù)φ可能是亮度、紋理、梯度等的映射。已知矩形區(qū)域R?F，設(shè) {fk}k=1，2……n是矩形區(qū)域 R 中的d維特征向量。與文獻(xiàn)［6］中方法不同，特征向量fk是通過兩類屬性構(gòu)建的:空間屬性，通過像素的坐標(biāo)值表示;表面屬性，通過亮度、局部二進(jìn)制模型(LBP)、亮度在x和y方向的一階導(dǎo)數(shù):

式中，x和y是像素的坐標(biāo)，I(x，y)是像素的亮度，LBP(x，y)是局部二進(jìn)制模型(它是通過每一個(gè)像素與其周圍領(lǐng)域的像素做差值得到的一個(gè)二進(jìn)制)，Ix(x，y)和Iy(x，y)是亮度在 x和 y方向的一階導(dǎo)數(shù)。用d×d維的協(xié)方差矩陣代替矩形區(qū)域R:

式中，μR是區(qū)域R的特征向量的平均向量。在復(fù)雜背景中，協(xié)方差矩陣作為描述子有很多優(yōu)點(diǎn)。首先，在協(xié)方差計(jì)算的過程中，噪聲在一定程度得到濾除，因此協(xié)方差矩陣建模對(duì)噪聲具有一定的魯棒性。其次，對(duì)于特征的均勻變化，協(xié)方差具有不變性。例如:色度的均勻變化。再次，協(xié)方差矩陣的對(duì)角線項(xiàng)描述的是每一維特征的變化(方差)，其他項(xiàng)描述的是每一維特征之間的相關(guān)性(協(xié)方差)，這個(gè)性質(zhì)對(duì)于復(fù)雜背景建模很重要。最后，可以通過一種快速的積分圖像方法［9］來計(jì)算特征圖像的協(xié)方差矩陣。

2 運(yùn)動(dòng)目標(biāo)檢測(cè)

2.1 背景建模

設(shè)R是以像素P(x，y)為中心的M×N矩形區(qū)域，在這個(gè)區(qū)域上構(gòu)建一個(gè)協(xié)方差矩陣C作為像素P(x，y)的特征向量，用K個(gè)自適應(yīng)的協(xié)方差矩陣{C1，C2… …Ck}構(gòu)建像素P(x，y)的背景模型，每一個(gè)模型矩陣都有一個(gè)0～1之間的權(quán)值，以至于K個(gè)協(xié)方差矩陣模型的權(quán)重之和為1。其中第k矩陣模型的權(quán)重標(biāo)記為ωk，

式中K的選取一般由計(jì)算能力和內(nèi)存決定，通常選3或5，雖然更大的K的能體現(xiàn)更復(fù)雜的場(chǎng)景，但同時(shí)消耗更多的時(shí)間。

圖1 背景模型的初始化過程

對(duì)于第1幀圖像，把它作為背景模型，通過第1幀圖像建立5個(gè)協(xié)方差矩陣(K=5)。其中，F(xiàn)是第1幀圖像，C1是第1幀圖像的協(xié)方差矩陣，C2是第1幀左半圖像的協(xié)方差矩陣，C3是第1幀右半圖像的協(xié)方差矩陣，C4是第1幀上半圖像的協(xié)方差矩陣，C5是第1幀下半圖像的協(xié)方差矩陣。其中，

2.2 背景更新

式中，ρ(A，B)是 A和 B之間匹配的衡量標(biāo)準(zhǔn)。{λi(A，B)}i=1，…，d是 A 和 B 之間的廣義特征值。

如果C'與所有的K個(gè)模型矩陣的距離大于閾值Tp，則用替換權(quán)值最小的那個(gè)模型矩陣，賦予一個(gè)權(quán)值低的權(quán)重;如果與部分模型矩陣的距離小于閾值Tp，則把這部分模型矩陣作為匹配矩陣。t時(shí)刻的匹配矩陣通過新的數(shù)據(jù)進(jìn)行如下更新:

式中，i和j是矩陣行和列的指標(biāo)，ab是用戶可設(shè)置的學(xué)習(xí)速率。而且模型矩陣的權(quán)重更新如下:

式中，αω是另一用戶可設(shè)置的學(xué)習(xí)速率，Mk，t對(duì)于匹配矩陣值為1，其他矩陣值為0。背景模型的自適應(yīng)速率是由ab和aω控制的。學(xué)習(xí)速率越高，背景更新的速度越快。

2.3 前景檢測(cè)

為了能夠準(zhǔn)確有效地檢測(cè)出前景目標(biāo)，把K個(gè)模型矩陣進(jìn)行重新排列，因?yàn)闄?quán)值大的矩陣，越可能成為背景模型，所以按照權(quán)值ωk從大到小順序進(jìn)行排列。結(jié)果最有可能成為背景模型的矩陣在第1位。前B個(gè)矩陣被選作為背景矩陣如下:

式中，1≤B≤K，TB是用戶可以選擇性的設(shè)置的，在單模態(tài)的情況下TB可以選擇較小的值，在多模態(tài)的情況下TB選擇較大的值。

圖2 基于協(xié)方差矩陣的目標(biāo)檢測(cè)的過程

3 實(shí)驗(yàn)結(jié)果及分析

協(xié)方差矩陣算法在英特爾酷睿2四核Q6600@2.40 GHz處理器、4 GB內(nèi)存、操作系統(tǒng)為Windows XP的條件下，以VC++6.0和OpenCV1.0為軟件開發(fā)工具進(jìn)行試驗(yàn)，測(cè)試視頻的分辨率為320×240像素。用2個(gè)復(fù)雜背景的場(chǎng)景做實(shí)驗(yàn)。如圖3所示，第1個(gè)場(chǎng)景是樹枝背景，特征是樹枝搖擺;如圖4所示，第2個(gè)場(chǎng)景是湖面背景，特征為起伏的波浪和漂浮的物體等。第1行是第1場(chǎng)景的69幀，第2行是第2場(chǎng)景的422幀。

圖3 樹枝運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

圖4 湖面運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

從圖3和圖4中可以發(fā)現(xiàn)，當(dāng)背景中出現(xiàn)諸如搖擺的樹枝、起伏的水波、流動(dòng)的噴泉、飄揚(yáng)的紅旗和陰影等動(dòng)態(tài)背景中的一些時(shí)，由于這些復(fù)雜的背景對(duì)目標(biāo)提取的影響非常大，單純的混合高斯模型或者LBP紋理模型處理結(jié)果都不理想，出現(xiàn)了很多的誤判斷。實(shí)驗(yàn)結(jié)果說明，使用的算法能夠較好地消除了原本運(yùn)動(dòng)物體產(chǎn)生的陰影，有效地消除一些周期性變化的動(dòng)態(tài)背景的干擾信息，并且能很好地檢測(cè)出運(yùn)動(dòng)物體。

4 結(jié)束語

提出的復(fù)雜背景中目標(biāo)檢測(cè)方法是通過一組協(xié)方差矩陣為一個(gè)像素周圍的矩形區(qū)域建模，集成了像素級(jí)和區(qū)域級(jí)的特征以及特征的相關(guān)性，所以能夠有效地為復(fù)雜的動(dòng)態(tài)背景建模，實(shí)驗(yàn)結(jié)果表明該方法滿足視頻圖像序列中運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)時(shí)性和準(zhǔn)確性要求，適用于廣泛的場(chǎng)景模式，具有一定的實(shí)用價(jià)值。

［1］ 林海涵，唐慧明.基于視頻的車輛檢測(cè)和分析算法［J］.江南 大學(xué)學(xué) 報(bào) (自 然科學(xué) 版)，2007(3):323-326.

［2］ 季白楊，陳純，錢英.視頻分割技術(shù)的發(fā)展［J］.計(jì)算機(jī)研究與發(fā)展，2001(1):36-42.

［3］ 劉翔，吳謹(jǐn)，祝愿博，等.基于視頻序列的目標(biāo)檢測(cè)與跟蹤技術(shù)研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2009，19(11):179-182.

［4］ ELGAMMAL A，HARWOODD，DAVISLS.Nonparametric Model for Background Subtraction［C］∥Copenhagen:Proceedings the 6th European Conference Computer Vision，2000:751-767.

［5］ WREN C R，AZARBAYEJANI A，DARRELL T，et al.Pfinder:Real-time Tracking of the Human Body ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19(7):780-785.

［6］ STAUFFER C，GRIMSON W E L.Learning Pattern of Active Using Real-Time Tracking ［J］.IEEE Trans.Pattern Analysis and Intelligence，2000，22(8):747-757.

［7］ OJALA T，PIETIKANINEN M，HARWOOD D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions［J］.Pattern Recognition，1996，29(1):51-59.

［8］ MASON M，DURIC Z.Using Histograms to Detect and Track Objects in Color Video［R］.Washington:Applied Imagery Pattern Recognition Workshop，2001.

［9］ TUZEL O，PORIKLI F，MEER P.Region Covariance:A Fast Descriptor for Detection and Classification［C］∥.Graz:Proceedinds the 9th European Conference.Computer Vison，2006:589-600.