一種提取抖動(dòng)視頻中前景目標(biāo)的新方法

顧 揚(yáng)，曾凡意，應(yīng)昊然，王麗平

(1.南京航空航天大學(xué) 理學(xué)院，江蘇 南京 211106；2.南京航空航天大學(xué) 自動(dòng)化學(xué)院，江蘇 南京 211106)

0 引 言

隨著圖像傳感器的普及和廣泛使用以及大數(shù)據(jù)時(shí)代的降臨，計(jì)算視覺(jué)與模式識(shí)別領(lǐng)域快速發(fā)展，監(jiān)控視頻的智能化成為相關(guān)領(lǐng)域的前沿?zé)狳c(diǎn)[1-4]。在大部分情況下，所有需處理的視頻在錄制過(guò)程中難免會(huì)受到各種外界因素尤其是自然因素的干擾，導(dǎo)致視頻背景連續(xù)幀之間的不連續(xù)變化，視頻往往具有復(fù)雜、多變、動(dòng)態(tài)的背景，如抖動(dòng)、陰影等多種非前景目標(biāo)的噪聲干擾[5-6]。如何剔除各種因其他誤入的噪聲干擾及虛假目標(biāo)，并快速、高質(zhì)量、精準(zhǔn)有效地從大量視頻中提取出所需的全部真實(shí)運(yùn)動(dòng)目標(biāo)是當(dāng)前國(guó)內(nèi)外民用及軍用視覺(jué)監(jiān)控領(lǐng)域研究的熱點(diǎn)和難點(diǎn)之一。近年來(lái),高斯混合模型(Gaussian mixture model，GMM)與小波變換(wavelet transform，WT)是處理抖動(dòng)視頻前景提取的十分有效的方法。前者能很好地?cái)M合背景顏色信息的變化，后者又能較好地提取圖像的紋理特征，二者的結(jié)合互補(bǔ)對(duì)抖動(dòng)視頻的前景提取具有極佳的效果。

針對(duì)抖動(dòng)視頻前景提取所帶來(lái)的挑戰(zhàn)，2010年張宗彬[7]研究了一種基于混合高斯模型的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，并針對(duì)“鬼影”問(wèn)題和光線突變?cè)斐傻拇竺娣e誤檢問(wèn)題提出了一種改進(jìn)算法。2011年蔡念等[1]提出了融合高斯混合模型和小波變換的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，利用小波變換提取的圖像紋理信息和高斯混合模型擬合的背景信息，對(duì)提取算法進(jìn)行完善。2016年葛鶴銀等[2]針對(duì)抖動(dòng)視頻提出了一種融合小波變換及自適應(yīng)SIFT(scale invariant feature transform)算法的運(yùn)動(dòng)補(bǔ)償方案，應(yīng)用Mallat小波提取圖像紋理信息，將亮度信息與紋理信息進(jìn)行線性組合來(lái)檢測(cè)和提取運(yùn)動(dòng)目標(biāo)。2018年吳玉香等[8]公開(kāi)了一種融合高斯混合模型和H-S光流法的視頻前景目標(biāo)提取方法，對(duì)原始圖像先進(jìn)行混合高斯模型和H-S光流法處理再進(jìn)行小波變換與濾波去噪。

考慮到小波變換和高斯混合模型的穩(wěn)定的提取效果，該文進(jìn)一步探索研究更快速、更高效地提取抖動(dòng)視頻前景的方法。對(duì)于抖動(dòng)視頻的移動(dòng)性，該文采用在線仿射變換[9]進(jìn)行去抖動(dòng)，糾正圖片的姿態(tài)，將抖動(dòng)的背景變?yōu)橄鄬?duì)固定的背景。但仿射變換會(huì)帶來(lái)隨機(jī)噪聲點(diǎn)問(wèn)題，為去除隨機(jī)噪聲點(diǎn)，對(duì)在線混合高斯模型(OMoGMF)提取后的前景圖像采用傳統(tǒng)方法和小波變換方法進(jìn)行去噪，發(fā)現(xiàn)小波變換相關(guān)性去噪法[10]在去噪的同時(shí)可以有效提取并保留圖片紋理信息(如圖1所示)，進(jìn)而提出了融入小波變換的在線校準(zhǔn)混合高斯模型。但該模型會(huì)遇到在線校準(zhǔn)“學(xué)習(xí)準(zhǔn)確度”不高和小波去噪不徹底的問(wèn)題，因此進(jìn)一步改進(jìn)，建立了一個(gè)前景提取的自適應(yīng)校準(zhǔn)模型。

在每完成一次校準(zhǔn)和去噪的迭代后，計(jì)算圖像的F值，當(dāng)下一次迭代得到的F值比本次更小時(shí)，將停止迭代。處理之后，采用在線混合高斯模型來(lái)提取前景得到最終結(jié)果。

圖1 不同方法去噪效果對(duì)比

該文的主要貢獻(xiàn)在于綜合地運(yùn)用仿射變換、小波變換、在線混合高斯模型，設(shè)計(jì)出一套針對(duì)抖動(dòng)視頻能夠合理、顯著地提取前景的自適應(yīng)循環(huán)算法體系，獲得了較為理想的實(shí)驗(yàn)結(jié)果。

1 在線混合高斯模型

1.1 混合高斯模型

對(duì)智能視頻監(jiān)控來(lái)說(shuō)，攝像機(jī)處于靜止情況。假設(shè)視頻圖像中背景像素點(diǎn)的特征在一段時(shí)間內(nèi)變化不大，則可以認(rèn)為在這一段時(shí)間內(nèi)，背景像素點(diǎn)服從高斯分布。但是在實(shí)際情況中，存在樹(shù)枝晃動(dòng)、水波等干擾，背景像素點(diǎn)會(huì)呈現(xiàn)出雙峰或者多峰的現(xiàn)象，因此必須采用多個(gè)高斯分布的混合方式來(lái)描述背景像素點(diǎn)的特征，以降低干擾[11]。

對(duì)于輸入視頻流，可理解為一個(gè)3維數(shù)據(jù)X∈Rw×h×t，其中w，h代表視頻幀的長(zhǎng)，寬，t代表視頻幀的幀數(shù)。為方便處理，采取如下方法將視頻流轉(zhuǎn)化為一個(gè)矩陣：對(duì)于視頻的每一幀，將它的每一列首尾相連，組成一個(gè)列向量，然后把每一個(gè)列向量按行排列組成一個(gè)矩陣，即視頻流X∈R(w×h)×t。

在低秩矩陣分解(LRMF)中，對(duì)輸入陣X每一個(gè)元素xij(i=1,2,…,w×h,j=1,2,…,t)可以建立如下模型：

xij=(ui)Tvj+εij

(1)

其中，UTV是低秩子空間，ui和vi分別為U和V的第i列向量，εij表示xij中的噪聲。已知足夠多的高斯分布之和可以以任意精度擬合任意連續(xù)分布。因此對(duì)于分布未知的噪聲εij，可以通過(guò)多個(gè)高斯分布的混合來(lái)擬合它。假設(shè)噪聲εij采樣于一個(gè)混合高斯模型p(ε)：

(2)

(3)

觀測(cè)到X的概率為觀測(cè)到X的每個(gè)元素概率之積：

p(X|U,V,Π,Σ)=Πp(xij|(ui)Tvj,Π,Σ)=

(4)

這樣一來(lái)就得到了觀測(cè)X的概率表達(dá)式，然后選擇最優(yōu)的參數(shù)U,V,Π,Σ使得X出現(xiàn)的概率最大，即如下的極大似然估計(jì)法。

(5)

1.2 在線混合高斯模型

假設(shè)式(1)中每一幀xt上都有一個(gè)獨(dú)立的MoG噪聲分布，可以由MAP(最大后驗(yàn))估計(jì)推導(dǎo)出OMoGMF的模型。于是得到：

(6)

(7)

對(duì)于背景子空間，可以很容易地為其每一行向量設(shè)置高斯分布的先驗(yàn)如下：

(8)

maxLt(Π,Σ,v,U)=-lnp(xt|Π,Σ,v,U)+

(9)

2 融入小波變換的在線校準(zhǔn)混合高斯模型

在現(xiàn)實(shí)生活中，監(jiān)控?cái)z像頭由于設(shè)備老化、外在干擾等因素不可避免地會(huì)發(fā)生晃動(dòng)或偏移，此時(shí)視頻也會(huì)發(fā)生短暫的抖動(dòng)現(xiàn)象，一些旋轉(zhuǎn)平移可能導(dǎo)致像素點(diǎn)的位置發(fā)生較大的移動(dòng)。由于在很多情況下視頻的抖動(dòng)是隨機(jī)的，無(wú)法通過(guò)將一個(gè)統(tǒng)一的仿射變換算子作用在視頻流X上來(lái)完成對(duì)整個(gè)視頻的校準(zhǔn)，因此該文選用了在線更新的算法來(lái)對(duì)視頻進(jìn)行逐幀校準(zhǔn)。

2.1 在線校準(zhǔn)的混合高斯模型

2.1.1 嵌入變換算子

假設(shè)選用的變換算子為τ，在視頻的第一幀xt將τ設(shè)定為一個(gè)初始值，隨后對(duì)于視頻的每一幀觀測(cè)到當(dāng)前幀xt的對(duì)數(shù)似然，利用變換算子來(lái)對(duì)當(dāng)前幀進(jìn)行校準(zhǔn)，與此同時(shí)，還要根據(jù)當(dāng)前幀的偏移情況來(lái)更新變換算子τ，即要在整個(gè)視頻流中動(dòng)態(tài)地學(xué)習(xí)變換算子，而不是對(duì)于每一幀都選用一個(gè)恒定的算子。這種處理方式不需要借助太多的先驗(yàn)知識(shí)來(lái)建模攝像機(jī)的抖動(dòng)軌跡，而是能夠自適應(yīng)地學(xué)習(xí)到一系列用于校準(zhǔn)的變換算子。

對(duì)于視頻分解的每一幀新圖像xt，在當(dāng)前子空間U的基礎(chǔ)上得到相應(yīng)的變換算子τ。定義MoG的噪聲為：

(10)

其中，ε'=xt°τ-Uv，xt°τ表示對(duì)當(dāng)前幀的校準(zhǔn)。對(duì)此，可以構(gòu)建最優(yōu)化目標(biāo)函數(shù)：

maxL(Π,Σ,v,U,τ)=-lnp(xt°τ|Π,Σ,v,U)+

(11)

解決此問(wèn)題的關(guān)鍵在于得到更新τ的方程，由于xt°τ是一個(gè)非線性的幾何變換，所以重新定義了最優(yōu)化目標(biāo)函數(shù)，如式(12)所示，J是反映變換算子τ的雅可比矩陣。

maxL(Π,Σ,v,U,Δτ)=-lnp(xt°τ+JΔτ|Π,Σ,

(12)

該方法采用局部線性逼近法對(duì)原始非線性變換進(jìn)行迭代逼近。利用以下公式更新v,τ。

(13)

(14)

其中,T=[U,-J]。在得到Δτ后，更新變換算子τ，最后使用與混合高斯模型相同的方法更新子空間U。

2.1.2 在線EM算法求解

初始化：{Π,Σ}={Πt-1,Σt-1},v,τ。

1.執(zhí)行以下步驟直至目標(biāo)函數(shù)收斂。

3.執(zhí)行以下步驟直至收斂：

5.在線M-step：

(2)通過(guò)式(14)計(jì)算參數(shù){v,Δτ}。

6.執(zhí)行結(jié)束后更新變換算子τ=τ+Δτ。

10.結(jié)束。

2.2 融入小波去噪的自適應(yīng)提取

由于視頻成像的顆粒性質(zhì)，圖像的噪聲是客觀存在的。尤其針對(duì)來(lái)源于生活的監(jiān)控視頻，由于攝像頭的抖動(dòng)、背景的變化等都不可避免地會(huì)污染視頻、帶來(lái)噪聲，因此在對(duì)信號(hào)做進(jìn)一步分析之前，需要進(jìn)行去噪處理，將有效的信號(hào)提取出來(lái)。

傳統(tǒng)的去噪方法主要包括線性濾波方法或平均方法，而具有“數(shù)字顯微鏡”之稱的小波變換具有良好的時(shí)頻特性，從而為其在信號(hào)降噪中的應(yīng)用提供了廣闊的前景，開(kāi)辟了用非線性方法除噪的先河[14]。小波去噪的方法大致可以分為三大類：模極大值去噪法[15]、相關(guān)性去噪法、閾值去噪法[16]。小波系數(shù)相關(guān)性去噪方法效果穩(wěn)定，且在分析邊緣方面有優(yōu)勢(shì)，計(jì)算量在三種方法中位于中等，因此針對(duì)隨機(jī)抖動(dòng)的監(jiān)控視頻所帶來(lái)的隨機(jī)噪聲，該文采取相關(guān)性去噪法進(jìn)行噪聲消除。

根據(jù)上面的分析，采用在線校準(zhǔn)的混合高斯模型可以提取出抖動(dòng)視頻中的前景目標(biāo)，但是實(shí)驗(yàn)結(jié)果表明仿射變換雖然能糾正圖片的姿態(tài)，但同時(shí)會(huì)產(chǎn)生很多隨機(jī)的噪聲點(diǎn)，導(dǎo)致提取效果并不理想。一幀圖片的信息大致可分為亮度信息和紋理信息，在線混合高斯模型能很好地?cái)M合背景顏色信息的變化，小波變換能較好地提取圖像的紋理特征，而紋理特征反映了圖像的區(qū)域局部信息，通常區(qū)域空間結(jié)構(gòu)信息可以消除噪聲及亮度變化影響[2]。并且小波變換對(duì)隨機(jī)噪聲具有較強(qiáng)的適應(yīng)性，因而該文在上述模型的基礎(chǔ)上加以改進(jìn)，融入相關(guān)性小波去噪，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)提取效果得到明顯改進(jìn)，如圖2所示。

圖2 不同提取方法對(duì)比

該文進(jìn)一步分析，由于仿射變換是一個(gè)在線學(xué)習(xí)的過(guò)程，不可避免地會(huì)遇到“學(xué)習(xí)準(zhǔn)確度”不高的問(wèn)題，同時(shí)一次小波去噪也基本無(wú)法將噪聲全部去除，因此將算法進(jìn)一步改進(jìn)，提出自適應(yīng)提取的迭代模型，對(duì)每一幀圖像在線校準(zhǔn)和小波去噪后引入評(píng)價(jià)指標(biāo)，定量判斷提取的效果。算法流程如圖3所示。

圖3 算法流程

該文對(duì)仿射變換后的每幀圖片都運(yùn)用小波相關(guān)性去噪法進(jìn)行去噪，這樣既能保存原來(lái)圖片的紋理，又能有效地去除噪聲點(diǎn)。實(shí)驗(yàn)結(jié)果表明，小波去噪之后前景得到了明顯的改善。同時(shí)考慮到在線校準(zhǔn)和小波去噪的次數(shù)不同結(jié)果可能會(huì)產(chǎn)生較大的差異，建立了一個(gè)前景提取的自適應(yīng)模型。

在每完成一次校準(zhǔn)和去噪的迭代后，判斷圖像的F值，理論上來(lái)說(shuō)在線校準(zhǔn)會(huì)引入新的隨機(jī)噪聲，而當(dāng)噪聲去除到一定程度時(shí)，圖像的紋理信息也會(huì)遭到破壞，因此迭代次數(shù)不是越多越好。當(dāng)?shù)趇+1次迭代得到的F值比第i次更小時(shí)，停止對(duì)圖片的校準(zhǔn)和去噪。根據(jù)實(shí)驗(yàn)結(jié)果，該文得到的迭代次數(shù)一般以兩到三次為優(yōu)。接著再運(yùn)用在線混合高斯模型提取得到最終的前景結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證文中算法，采用Matlab R2016a編寫(xiě)相關(guān)算法，采用標(biāo)準(zhǔn)視頻監(jiān)控?cái)?shù)據(jù)庫(kù)里的兩段視頻(http:

//cvlab.epfl.ch)對(duì)算法進(jìn)行了驗(yàn)證，運(yùn)行環(huán)境為Win10，Intel(R)Core(TM)i7-6500U CPU @2.50 GHz，8 GB內(nèi)存。這兩段視頻分別含有單目標(biāo)和多目標(biāo)的前景，且都出現(xiàn)了攝像頭抖動(dòng)的情況。

3.1 實(shí)驗(yàn)參數(shù)設(shè)置

圖4 σ對(duì)結(jié)果的影響

表1 σ對(duì)結(jié)果的影響

從圖4中可以看出當(dāng)σ過(guò)小時(shí)會(huì)導(dǎo)致算法錯(cuò)誤地將一些噪聲點(diǎn)識(shí)別為前景，而當(dāng)σ過(guò)大時(shí)則會(huì)使提取的前景產(chǎn)生較大的失真。從表1中可以得到，σ取6時(shí)各項(xiàng)評(píng)價(jià)指標(biāo)均達(dá)到最優(yōu)。在實(shí)際應(yīng)用中，綜合考慮噪聲的抑制和前景提取的品質(zhì)，σ取5～10為宜。

3.2 實(shí)驗(yàn)結(jié)果

綜合以上實(shí)驗(yàn)參數(shù)的分析，采用混合高斯模型和文中算法對(duì)單目標(biāo)和多目標(biāo)的抖動(dòng)視頻進(jìn)行前景提取的實(shí)驗(yàn)，結(jié)果如圖5所示。

圖5 實(shí)驗(yàn)結(jié)果

從圖5可以看出，針對(duì)單目標(biāo)視頻雖然混合高斯模型可以提取一定前景，但輪廓不明顯。而文中算法經(jīng)過(guò)三次自適應(yīng)迭代之后所提取出的前景與之相比有了較為明顯的改善，輪廓清晰、無(wú)多余噪聲點(diǎn)。由于視頻發(fā)生抖動(dòng)時(shí)背景變化較大，通過(guò)仿射變換將圖片“校正”會(huì)帶來(lái)一定誤差，顯然在線高斯混合模型更能適應(yīng)這種誤差。同時(shí)由于小波變換能夠有效地提取圖片的紋理信息，并且對(duì)隨機(jī)噪聲具有較強(qiáng)的適應(yīng)性，這樣在消除噪聲的同時(shí)能盡量保存圖片的輪廓，最終獲得比較完整的前景目標(biāo)。

針對(duì)多目標(biāo)視頻，混合高斯模型已無(wú)法正確地分辨噪聲點(diǎn)和前景點(diǎn)，該算法顯然效果更好。同時(shí)觀察結(jié)果可知二次迭代的效果明顯優(yōu)于三次迭代，原因是去噪次數(shù)過(guò)多會(huì)在一定程度上破壞前景目標(biāo)的紋理信息，因此該文提出的前景提取自適應(yīng)模型是有必要的。

最后，采用IEEE change detection workshop(CDW)評(píng)價(jià)檢測(cè)標(biāo)準(zhǔn)來(lái)定量地進(jìn)行客觀評(píng)價(jià)分析，定義TP為提取到的正確目標(biāo)點(diǎn)數(shù)，F(xiàn)P為錯(cuò)誤目標(biāo)點(diǎn)數(shù)，TN為正確背景點(diǎn)數(shù)，F(xiàn)N為錯(cuò)誤背景點(diǎn)數(shù)。評(píng)價(jià)內(nèi)容包括：

Precision=TP/(TP+FP)

Re(Recall)=TP/(TP+FN)

FPR(False Positive Rate)=FP/(FP+TN)

FNR(False Negative Rate)=FN/(TP+FN)

PWC(Percentage of Wrong Classifications)=100×(FN+FP)/(TP+FN+FP+TN)

F-Measure=(2×Precision×Recall)/(Precision+Recall)

對(duì)實(shí)驗(yàn)采用的兩段視頻分別統(tǒng)計(jì)上述參數(shù)，結(jié)果如表2所示。

表2 評(píng)價(jià)參數(shù)比較

針對(duì)第一段視頻(單目標(biāo)提取)，在進(jìn)行三次迭代之后，文中算法的六個(gè)統(tǒng)計(jì)參數(shù)除了FPR系數(shù)比混合高斯得到的結(jié)果稍大，其余參數(shù)如錯(cuò)誤率、正確檢測(cè)率和精度等都要優(yōu)于經(jīng)典算法。針對(duì)第二段視頻(多目標(biāo)提取)，在經(jīng)過(guò)兩次迭代之后得到的六個(gè)參數(shù)都明顯優(yōu)于經(jīng)典算法。由此可見(jiàn)，該模型具有較強(qiáng)的先進(jìn)性，故采用文中算法對(duì)抖動(dòng)視頻的前景提取具有良好的效果。

4 結(jié)束語(yǔ)

針對(duì)抖動(dòng)視頻的前景提取問(wèn)題，提出了一種基于小波變換和在線混合高斯模型的提取方案。采用文中算法體系對(duì)抖動(dòng)視頻進(jìn)行校正，利用在線學(xué)習(xí)的混合高斯模型進(jìn)行目標(biāo)提取。同時(shí)，融入自適應(yīng)的在線校準(zhǔn)和小波變換去噪，可以有效去除抖動(dòng)和校正過(guò)程產(chǎn)生的隨機(jī)噪聲并減少計(jì)算量，在小波變換和在線混合高斯模型處理方法的基礎(chǔ)上進(jìn)一步提高了前景提取目標(biāo)的精度與算法的魯棒性。