基于改進(jìn)高斯混合模型的自適應(yīng)前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學(xué)信息工程系 陜西 西安 710086)

?

基于改進(jìn)高斯混合模型的自適應(yīng)前景提取

趙亞欣 蔡華杰 趙懷勛 謝躍輝

(武警工程大學(xué)信息工程系 陜西 西安 710086)

在復(fù)雜場(chǎng)景下的運(yùn)動(dòng)前景提取是智能視頻監(jiān)控的基礎(chǔ)部分。高斯混合模型是常用的背景建模方法，針對(duì)高斯混合模型中模型個(gè)數(shù)固化導(dǎo)致的無謂的系統(tǒng)開銷，提出基于單高斯模型成長的動(dòng)態(tài)個(gè)數(shù)調(diào)整形成的高斯混合模型。對(duì)模型的更新率根據(jù)場(chǎng)景變化的劇烈程度進(jìn)行實(shí)時(shí)改變，能較好適應(yīng)突發(fā)場(chǎng)景、光照的變化。對(duì)提取的運(yùn)動(dòng)前景進(jìn)行形態(tài)學(xué)處理，得到最后的提取目標(biāo)。實(shí)驗(yàn)結(jié)果表明，該方法背景建模適應(yīng)性強(qiáng)，提取前景精度有所提升。

高斯混合模型 自適應(yīng)背景更新 更新率

0 引 言

視頻監(jiān)控已滲透到當(dāng)今社會(huì)的方方面面，對(duì)個(gè)人與公眾安全產(chǎn)生了深刻影響。隨著計(jì)算機(jī)視覺及圖像處理技術(shù)的進(jìn)步，視頻監(jiān)控正逐步向智能化發(fā)展。運(yùn)動(dòng)目標(biāo)檢測(cè)是智能視頻監(jiān)控的基礎(chǔ)部分，對(duì)提高監(jiān)控系統(tǒng)的準(zhǔn)確性有著重要影響。

主流的運(yùn)動(dòng)前景提取算法有：背景減除法、幀間差分法、光流法。背景減除法是通過視頻幀與背景模型作差分提取出運(yùn)動(dòng)的前景目標(biāo)。該方法原理簡單，計(jì)算量小，適用范圍廣。但在現(xiàn)實(shí)環(huán)境中，監(jiān)控場(chǎng)景雖然固定，但非絕對(duì)不變，比如光照的變化，背景的干擾(搖晃的樹葉、粼粼的水波)。因此，如何建立一個(gè)動(dòng)態(tài)更新的背景，以適應(yīng)各種因素的干擾，是研究的重點(diǎn)。

高斯混合模型[1]的實(shí)質(zhì)是對(duì)每一像素點(diǎn)設(shè)立多個(gè)高斯分布，聯(lián)合多個(gè)分布進(jìn)行背景建模。但基于高斯混合模型的目標(biāo)檢測(cè)算法復(fù)雜度較高，分布個(gè)數(shù)的選擇對(duì)前景提取效果影響明顯。此外，采集視頻圖像中存在的噪聲也易對(duì)前景的提取造成干擾[2]。針對(duì)混合高斯模型存在的不足，許多研究者提出了改進(jìn)算法。王永忠等[3]利用GMM學(xué)習(xí)每個(gè)像素的時(shí)間域與非參數(shù)密度估計(jì)構(gòu)造的空間域融合，改進(jìn)了檢測(cè)效果。Zhao等[4]將高斯混合模型擴(kuò)展到了鄰域，并用馬爾可夫隨機(jī)場(chǎng)分割前景，同時(shí)算法的復(fù)雜度也急劇增加。文獻(xiàn)[5,6]通過幀間差分與高斯背景相結(jié)合分割前景目標(biāo)，同時(shí)也增加了時(shí)間開銷；Fradi[7]將選擇流融入混合高斯模型提高了前景分割的精確性；范文超等[8]對(duì)視頻圖像進(jìn)行分塊以實(shí)現(xiàn)濾波效果，采取自適應(yīng)的高斯分布個(gè)數(shù)提高了檢測(cè)速度。Zhang等[9]用統(tǒng)計(jì)學(xué)方法建立自適應(yīng)的2-D學(xué)習(xí)率查找表，針對(duì)每個(gè)像素設(shè)定不同學(xué)習(xí)率，較好地進(jìn)行了GMM的更新。劉萬軍等[10]在此基礎(chǔ)上融合了圖像熵與更新率查找表，對(duì)光照突變時(shí)的背景更新調(diào)節(jié)有較好效果。

本文利用單高斯模型進(jìn)行初始化的背景建模，根據(jù)背景的復(fù)雜度動(dòng)態(tài)增減高斯模型個(gè)數(shù)，同時(shí)對(duì)參數(shù)更新策略加以調(diào)整，在監(jiān)控場(chǎng)景變化或受到擾動(dòng)時(shí)的前景提取效果有所提升。最后，對(duì)提取出的前景目標(biāo)進(jìn)行形態(tài)學(xué)處理，以較小的開銷優(yōu)化檢測(cè)結(jié)果。實(shí)驗(yàn)表明，本文的算法較傳統(tǒng)的高斯建模方法檢測(cè)算法效果更好，能實(shí)時(shí)提取運(yùn)動(dòng)目標(biāo)。

1 混合高斯模型

1.1 混合高斯模型介紹

混合高斯模型由Stauffer等[1]等提出,核心思想是對(duì)背景圖像中的每一像素點(diǎn)用K個(gè)高斯分布來表示。一般來說K取3～5之間。K太小不足以充分表示背景的變化；K增大時(shí)，背景模型的抗干擾能力會(huì)增強(qiáng)，同時(shí)運(yùn)算開銷也相應(yīng)增加。對(duì)某一個(gè)像素點(diǎn){x,y},其時(shí)間序列{X1,X2,…,Xt}可以用K個(gè)高斯分布疊加表示，Xt為t時(shí)刻點(diǎn){x,y}的觀察值。Xt的概率密度函數(shù)可表示為：

(1)

(2)

式中，K為高斯分布的個(gè)數(shù)；ωi,t為在t時(shí)刻第i個(gè)高斯分布的權(quán)值；μi,t為在t時(shí)刻第i個(gè)高斯分布的均值；∑i,t為在t時(shí)刻第i個(gè)高斯分布的協(xié)方差矩陣。Xt為n維的向量，n=1時(shí)Xt代表像素點(diǎn)的灰度值，n=3時(shí)Xt代表像素點(diǎn)的RGB數(shù)值。

1.2 運(yùn)動(dòng)目標(biāo)提取

傳統(tǒng)高斯混合模型設(shè)定固定的高斯模型個(gè)數(shù)，將像素點(diǎn)的觀察值Xt與K個(gè)分布中的前M個(gè)一一對(duì)比，直至與某分布相匹配。匹配規(guī)則為：|Xt-μi,t-1|<2.5δi,t-1。若能匹配，則需對(duì)各高斯分布的權(quán)值、均值及方差進(jìn)行更新；若不匹配，則該像素點(diǎn)此時(shí)被判定為前景點(diǎn)，提取出運(yùn)動(dòng)目標(biāo)。

1.3 模型參數(shù)更新

在進(jìn)行像素點(diǎn)的匹配后，需根據(jù)匹配情況調(diào)整各分布的權(quán)重，均值及方差，構(gòu)建新的背景模型，以適應(yīng)新一幀的前景目標(biāo)提取。當(dāng)像素點(diǎn)觀察值與某一高斯分布相匹配時(shí)，對(duì)參數(shù)進(jìn)行更新：

ωi,t=(1-α)ωi,t-1+α(Ti,t)

(3)

μi,t=(1-ρ)μi,t-1+ρXt

(4)

(5)

ρ=αη(Xt,μi,t,∑i,t)

(6)

其中，α為權(quán)值更新率；ρ是參數(shù)更新率。匹配時(shí)Ti,t為1，否則為0。由式(3)可知，匹配的模型權(quán)重會(huì)增加，反之，則會(huì)下降。均值和方差也會(huì)隨像素點(diǎn)的當(dāng)前值而更新。在高斯模型的參數(shù)調(diào)整后需歸一化各分布的權(quán)重。

在權(quán)值歸一化后，對(duì)像素點(diǎn)的高斯模型按ωi,t/δi,t從小到大的順序進(jìn)行排序。若排序的前M個(gè)模型的權(quán)重之和滿足式(7)，則認(rèn)為這前M個(gè)高斯模型描述背景，其余的高斯模型描述運(yùn)動(dòng)物體。

(7)

式中，T為權(quán)值閾值，T∈(0.5,1)。

2 改進(jìn)的混合高斯模型

2.1 初始高斯模型設(shè)定

混合高斯模型設(shè)定一個(gè)固定的模型個(gè)數(shù)后便不再改變，本文起初用單高斯模型來進(jìn)行背景建模，即取K為1，μ取像素點(diǎn)的初始值μ0，其權(quán)重為1。

2.2 高斯模型動(dòng)態(tài)調(diào)整

單個(gè)高斯模型并不能滿足場(chǎng)景的動(dòng)態(tài)變化，容易引起誤檢。對(duì)高斯模型的個(gè)數(shù)進(jìn)行動(dòng)態(tài)的增減，以適應(yīng)監(jiān)控場(chǎng)景的變化。當(dāng)然，為避免運(yùn)算量過大，不能滿足實(shí)時(shí)檢測(cè)，對(duì)高斯模型個(gè)數(shù)設(shè)定最大值，本文取K最大為4。具體流程如下：

將像素點(diǎn)數(shù)值與當(dāng)前分布匹配，若能匹配，則判定為背景點(diǎn)，同時(shí)更新權(quán)值、參數(shù)。若未能匹配，則增加一個(gè)新的高斯模型，μk,t=Xt(像素點(diǎn)的當(dāng)前數(shù)值即為新增加的第K個(gè)高斯模型均值)，δi,t=36，ωk取一個(gè)較小值。如此，直至模型個(gè)數(shù)達(dá)到上限。在背景趨于平靜時(shí)，無需維持較高的模型數(shù)目，可對(duì)模型進(jìn)行刪除或合并，剔除無效分布、合并冗余分布[11]。以下是精簡高斯模型個(gè)數(shù)的兩種策略：

1) 分布刪除 對(duì)像素點(diǎn)的每個(gè)高斯分布的連續(xù)未匹配次數(shù)進(jìn)行統(tǒng)計(jì)，記為Fk，并設(shè)定一個(gè)閾值Fmax,Fk=Fmax時(shí)，表示此模型長時(shí)間未被匹配，將其刪除。另外，若某一高斯模型的分布權(quán)值不斷降低，則說明其不適應(yīng)背景的變化，不能很好的描述，同時(shí)，還會(huì)繼續(xù)學(xué)習(xí)更新，影響模型的收斂速度，需將其刪除。

2) 分布合并 當(dāng)某一像素點(diǎn)的兩個(gè)高斯分布a、b均值比較接近時(shí)，合并這兩個(gè)分布，合并后高斯分布為c,參數(shù)轉(zhuǎn)換為：

ωi,t=ωa,t+ωb,t

(8)

μc,t=(ωa,t×μa,t+ωb,t×μb,t)/ωc,t

(9)

(10)

2.3 高斯模型動(dòng)態(tài)更新

在混合高斯模型進(jìn)行建模時(shí)，不僅要考慮高斯模型的個(gè)數(shù)，適應(yīng)背景復(fù)雜度的變化，而且要根據(jù)背景變化的快慢，調(diào)整背景模型的更新速率。若背景變換太快，或有突然的光照變化，更新率過小時(shí)檢測(cè)效果不理想。在上文進(jìn)行目標(biāo)檢測(cè)時(shí)進(jìn)行了圖像序列的灰度化，在監(jiān)控場(chǎng)景發(fā)生轉(zhuǎn)換或光照突變時(shí)，一般灰度值都會(huì)有明顯的改變。利用此原理，將背景的更新率與灰度值的變化率相匹配，實(shí)現(xiàn)更新率的動(dòng)態(tài)改變。

首先，對(duì)圖像進(jìn)行灰度化變換，即Xt→ht,(ht,代表當(dāng)前幀所有像素點(diǎn)灰度值的平均值)，再根據(jù)灰度值ht的變化調(diào)整式(3)-式(6)中的更新率α。定義場(chǎng)景變化率γ，反應(yīng)場(chǎng)景變化的速率。設(shè)定一個(gè)固定閾值γ0，如果參數(shù)γ過大，即γ>γ0，則證明場(chǎng)景變化劇烈，沒有在原有背景基礎(chǔ)上進(jìn)行更新的必要，選擇新的幀作為背景進(jìn)行建模。若γ≤γ0，對(duì)更新率進(jìn)行調(diào)整：

γ=(ht-ht-1)/ht-1

(11)

α=αγ

(12)

實(shí)現(xiàn)更新率隨灰度值變化的動(dòng)態(tài)改變。

2.4 形態(tài)學(xué)處理

在改進(jìn)高斯混合模型提取到運(yùn)動(dòng)前景后，不可避免會(huì)存在一些噪聲點(diǎn)、檢測(cè)目標(biāo)內(nèi)部有空洞等現(xiàn)象。為此，通過簡單的形態(tài)學(xué)處理可有所改觀。

改進(jìn)后的高斯混合模型的流程如圖1所示。

圖1 改進(jìn)高斯混合模型流程圖

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文算法對(duì)前景提取的有效性，對(duì)其進(jìn)行實(shí)驗(yàn)驗(yàn)證，并與傳統(tǒng)單高斯及高斯混合模型的檢測(cè)效果進(jìn)行對(duì)比。本次實(shí)驗(yàn)是基于個(gè)人計(jì)算機(jī)實(shí)現(xiàn)的，配置為：CPU為Intel(R)Core(TM)i5-3210M 2.5 GHz,內(nèi)存4 GB，仿真軟件為Matlab2014a。在具體實(shí)驗(yàn)時(shí)，本文先將輸入的彩色圖像進(jìn)行灰度化的處理，減少了計(jì)算量。

本文采用Wallflower視頻集中的五個(gè)視頻作為測(cè)試集，分別為WavingTrees(WT),LightSwitch(LS),TimeOfDay(TD),Camouflage(CF),Foregrou-ndAperture(FA)。為對(duì)本文提出算法的前景提取效果客觀衡量，分別用單高斯模型(方法1)、高斯混合模型(方法2)、基于Parzen窗的非參數(shù)概率密度估計(jì)的混合高斯背景建模[11](方法3)、基于EM的自適應(yīng)混合高斯模型[12](方法4)與本文提出的改進(jìn)高斯混合模型進(jìn)行對(duì)比。對(duì)五種方法的運(yùn)行時(shí)間及檢測(cè)效果進(jìn)行比較。表1給出了這5種算法對(duì)以上5個(gè)視頻段平均每秒鐘處理的幀數(shù)。

表1 各模型處理速度(fps/s)

從實(shí)驗(yàn)效果來看，本文的改進(jìn)算法相比高斯混合模型及基于Parzen窗的非參數(shù)概率密度估計(jì)的混合高斯背景建模處理速度有所提升，主要得益于實(shí)時(shí)調(diào)整模型的個(gè)數(shù)，在背景穩(wěn)定的情況下，以較少的模型對(duì)背景建模，總體減少了程序的開銷。但與單高斯模型相比，處理速度處于劣勢(shì)，原因是單高斯模型以固定單一高斯模型背景建模，處理速度快，但其檢測(cè)效果不及本文提出的改進(jìn)算法。本文與基于EM的自適應(yīng)混合高斯模型的處理速度相比略有下降，主要是因?yàn)橐肓吮尘爸亟ú呗裕O(jiān)控場(chǎng)景突變時(shí)進(jìn)行了背景重建，增加了運(yùn)算開銷。可以說，改進(jìn)后的高斯模型用處理速度上的損耗獲得了更好的前景提取效果。

圖2從上至下分別為原圖像、理想前景、單高斯模型、高斯混合模型、基于Parzen窗的非參數(shù)概率密度估計(jì)的混合高斯背景建模、基于EM的自適應(yīng)混合高斯模型、本文改進(jìn)高斯混合模型。

圖2 前景提取比較圖

引入以下參數(shù)對(duì)本文算法性能定量評(píng)價(jià)：查全率(Recall) Recall=tp/(tp+fn)；查準(zhǔn)率(Precision) Precision=tp/(tp+fp) tp：判斷正確的前景點(diǎn)，fp：判斷錯(cuò)誤的前景點(diǎn)，fn：判斷錯(cuò)誤的背景點(diǎn)。

表2 各模型查全率與查準(zhǔn)率比較(%)

從圖2和表2可以看出，本文方法在查準(zhǔn)率上有所提高，主要得益于自適應(yīng)的動(dòng)態(tài)背景建模，根據(jù)監(jiān)控場(chǎng)景變化的快慢實(shí)時(shí)調(diào)整模型個(gè)數(shù)及更新率，此外加入形態(tài)學(xué)處理，濾除了部分噪聲點(diǎn)。

本文方法相比傳統(tǒng)單高斯和高斯混合模型在查準(zhǔn)率和查全率上皆有較大提高，得益于改進(jìn)的模型個(gè)數(shù)動(dòng)態(tài)調(diào)整，與更新率的實(shí)時(shí)變化。與方法3(非參數(shù)密度估計(jì)法)相比在查全率上處于劣勢(shì)，源于本文方法提取前景內(nèi)部存在空洞。與方法4相比本文效果也更好，查全、查準(zhǔn)率都有提升，在LightSwitch場(chǎng)景中都能適應(yīng)光照的突變，相較方法3，在查準(zhǔn)率上更勝一籌。在WavingTrees場(chǎng)景中，方法1、方法3在人的周圍由于樹葉的晃動(dòng)，有諸多干擾點(diǎn)，拉低了檢測(cè)的查準(zhǔn)率，而本文的背景建模策略有效地減少了此類干擾。

本文方法在查全率及查準(zhǔn)率上總體效果有所提升，提取出良好的前景目標(biāo)。同時(shí)也需認(rèn)識(shí)到，提出的背景建模策略雖能更好地適應(yīng)各種監(jiān)控場(chǎng)景的變化，但也使處理速度有所降低。

4 結(jié) 語

本文針對(duì)高斯混合模型耗時(shí)長，前景提取精確度不高等問題，提出了模型個(gè)數(shù)動(dòng)態(tài)調(diào)整的高斯模型，開始用單個(gè)高斯模型背景建模，根據(jù)背景的復(fù)雜程度動(dòng)態(tài)增減模型個(gè)數(shù)，并設(shè)定模型個(gè)數(shù)上限以控制目標(biāo)檢測(cè)的時(shí)間。其次，根據(jù)場(chǎng)景中背景變化引起的灰度變化來控制背景模型的更新速率，對(duì)光照的變化表現(xiàn)出良好的適應(yīng)效果。實(shí)驗(yàn)證明，本文算法實(shí)時(shí)性適中，查全率和查準(zhǔn)率都有所提升，總體檢測(cè)效果良好。下一步需著重提高前景提取的實(shí)時(shí)性。

[1] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Fort Collins:IEEE,1999:2246-2252.

[2] Blanding W R,Willett P K,Bar-Shalom Y.Multiple targets tracking using maximum likelihood probabilistic data association[C]//2007 IEEE Aerospace Conference.IEEE,2007:1-12.

[3] 王永忠,梁彥,潘泉,等.基于自適應(yīng)混合高斯模型的時(shí)空背景建模[J].自動(dòng)化學(xué)報(bào),2009,35(4):371-378.

[4] Zhao Z,Bouwmans T,Zhang X,et al.A fuzzy background modeling approach for motion detection in dynamic backgrounds[C]//Proceedings of the Second Conference on Multimedia and Signal Processing.Springer,2012:177-185.

[5] 於正強(qiáng),潘赟,宦若虹.一種結(jié)合幀差法和混合高斯的運(yùn)動(dòng)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(4):129-132,270.

[6] 連曉峰,張弢,劉載文,等.一種改進(jìn)的運(yùn)動(dòng)人體目標(biāo)檢測(cè)方法研究[J].計(jì)算機(jī)仿真,2011,28(2):308-311.

[7] Fradi H,Dugelay J L.Robust Foreground Segmentation Using improved Gaussion Mixture Model and Optical Flow[C]//2012 International Conference on Informatics,Electronics & Vision (ICIEV),2012:248-253.

[8] 范文超,李曉宇,魏凱,等.基于改進(jìn)的高斯混合模型的運(yùn)動(dòng)目標(biāo)檢測(cè)[J].計(jì)算機(jī)科學(xué),2015,42(5):286-288,319.

[9] Zhang R,Gong W,Grzeda V,et al.An adaptive learning rate method for improving adaptability of background models[J].IEEE Signal Processing Letters,2013,20(12):1266-1269.

[10] 劉萬軍,李琳.基于熵理論改進(jìn)混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究,2015,32(7):2226-2229,2233.

[11] Tanaka T,Shimada A,Arita D,et al.Non-parametric background and shadow modeling for object detection[C]//Proceedings of the 8th Asian Conference on Computer Vision,Tokyo,2007:159-168.

[12] 李百惠,楊庚.混合高斯模型的自適應(yīng)前景提取[J].中國圖象圖形學(xué)報(bào),2013,18(12):1620-1627.

SELF-ADAPTIVE FOREGROUND EXTRACTION BASED ON IMPROVED GAUSSIAN MIXTURE MODEL

Zhao Yaxin Cai Huajie Zhao Huaixun Xie Yuehui

(DepartmentofInformationEngineering,UniversityofCAPF,Xi’an710086,Shaanxi,China)

Motion foreground extraction under complicated scene is the basic part of intelligent video surveillance. Gaussian mixture, as a common background modeling method, in view of the unnecessary overhead caused by fixed number of Gaussian mixture model, a method based on the single Gaussian model as well as dynamic adjustment of Gaussian mixture model is proposed. The update rate is in real-time change according to how strongly the scene changes, which adapts well to the mutation scenario and the change of illumination. Then, the extraction of motion foreground is processed by morphological processing and the final goal is got. The experimental results show that the method is highly adaptive to background modeling, and the extracting prospects precision is improved.

Gaussian mixture model Self-adaptive background update Replacement rate

2016-03-24。趙亞欣，碩士生，主研領(lǐng)域：人體行為識(shí)別。蔡華杰，碩士生。趙懷勛，教授。謝躍輝，碩士生。

TP391

A

10.3969/j.issn.1000-386x.2016.11.038