一種基于多屬性單值中智集相關度量測的視頻運動目標檢測方法*

胡珂立,范 恩,葉 軍,樊長興,沈士根,谷宇章

(1.紹興文理學院計算機科學與工程系,浙江 紹興 312000;2.紹興文理學院電子與信息工程系,浙江 紹興 312000;3.中國科學院上海微系統與信息技術研究所,上海 200050)

伴隨著平安城市、平安社區的進一步建設以及視覺傳感器件的不斷發展,視覺分析仍是當前最為重要的環境感知手段之一。視頻運動目標檢測[1,2]是進行后續高級視覺分析任務的重要基礎,其效果很大程度上決定著后續分析的優劣。視頻運動目標檢測的任務即為將運動目標(前景)從靜態信息(背景)中分離出來,因此,運動目標檢測也稱前景檢測。

背景差方法經常被用于前景分離,近年來眾多研究者針對該類方法進行了深化研究。文獻[3]將混合高斯模型用于運動目標檢測,算法為圖像中的每個像素點都建立相應的混合高斯模型,并進行在線更新。鑒于混合高斯前景檢測方法的有效性,多項旨在提升傳統混合高斯模型檢測方法的眾多方法被相繼提出[2,4-7]。文獻[6]結合目標幀間相關性和隨機噪聲幀間無關的特性對混合高斯模型結果進行了優化,文獻[7]采用增量式主成分分析來建立特征基背景模型。對于視頻監控,一些不準確或不確定的信息通常會在背景差分的過程中被帶入。模糊理論被引入到動目標檢測中[8]。在文獻[9]中,模糊模型被用來解決前景檢測過程中的決策問題。在文獻[10]中,作者基于Type-2模糊高斯混合模型和馬爾科夫隨機場提出了一種針對動態場景的背景建模方法。這種方法能較好的應對畫面中搖晃的樹葉和水面的波紋。文獻[8]給出了模糊理論用于背景差動目標檢測的綜述。

相較于傳統的模糊理論,中智集理論[11]除了對真(Truth)、假(Falsity)分量進行表述外,還專門對不確定(Indeterminacy)分量進行了處理。中智集理論在處理不確定信息方面展現出了很好的表現,因此被廣泛用于計算機視覺[12-18]、汽輪機故障診斷[19]、治療方案選擇[20,21]、聚類理論等[12,13,22,23]。文獻[12]提出了中智相似聚類方法,并將該方法成功用于圖像分割。文獻[13]將中智集和模糊C均值聚類用于改進肝臟CT圖像分割。這之后,為了改進C均值聚類,文獻[22,23]將不確定因素考慮進來,提出了基于中智集的C均值聚類方法。除此以外,文獻[14]將不確定濾波器引入圖像分割。在文獻[15]中,單值中智交叉熵被用來融合顏色域和深度域信息。在文獻[18]中,單值中智集余弦相似度量測被用來融合目標區域和背景區域信息。文獻[21]首次提出多時段單值中智集相關度量測,并成功用于醫療診斷。對于中智集理論在圖像分割上的應用[12-17],研究者通常會在分割之前建立一張特定的中智圖像,用以對抗圖像噪聲的干擾。在文獻[17]中,多個中智特征屬性被提出來并用于計算靜態圖像分割閾值。在目標圖像中存在較嚴重的噪聲干擾時,該方法表現出了較好的穩定性。盡管目前已提出了較多的基于中智集的圖像分割方法,但已有方法均是針對靜態圖像的分割。對于運動目標檢測而言,除了幀內信息外,幀間關聯信息對目標提取及抗噪尤為重要。因此,鑒于中智集在處理不確定信息時表現出的優越性,將中智集理論引入運動目標檢測中以解決外部挑戰帶來的噪聲干擾問題是非常有意義的。

本文首次將多時段單值中智集應用于視頻運動目標檢測,并有效提升了基于基礎背景差方法的運動目標檢測效果,主要貢獻包括:①針對前景檢測問題,提出了四種中智屬性,并提出了相應屬性下的真(Truth)、不確定(Indeterminacy)、假(Falsity)量測計算方法;②綜合利用一般單值中智集和多時段單值中智集相關度量測強化背景差圖像序列中的運動目標區域,并基于此中智圖像求解最優分割閾值。

1 相關中智集理論

1.1 單值中智集

假定X是一個全集,那么在X中的單值中智集A可以表示為:

A={[x,TA(x),IA(x),FA(x)]|x∈X}

(1)

式中:T(x),I(x)和F(x)分別表示對應元素的真、不確定和假分量量測函數,且TA(x),IA(x),FA(x)∈[0,1],0≤TA(x)+IA(x)+FA(x)≤3。

假定A={A1,A2,…,Am}是一個可供選擇的集合,C={C1,C2,…,Cn}是一個條件屬性集合,依照式(1),Ai可以被表示為:

Ai={〈Cj,TCj(Ai),ICj(Ai),FCj(Ai)〉|Cj∈C}i=1,2,…,m,j=1,2,…,n

(2)

式中:TCj(Ai),ICj(Ai)和FCj(Ai)是針對Ai,在條件屬性Cj下的真、不確定和假分量量測函數,且TCj(Ai),ICj(Ai),FCj(Ai)∈[0,1],0≤TCj(Ai)+ICj(Ai)+FCj(Ai)≤3。A被稱為多屬性單值中智集。

1.2 相關度量測

文獻[24]中提出了一種面向多屬性單值中智集的相關度量測方法,Ai與Aj在屬性Ck下的相關度(相似度)可以表示為:

(3)

若A*代表中智集范疇內理想情況下的選擇,則任一選擇Ai同A*的加權相關度可以表示為:

(4)

已有的單值中智集相關度量測主要針對某一時刻,為了解決這一問題,文獻[21]針對多時段醫療診斷提出了分時的相似度量測方法。類似的,針對式(4),相應的多時段加權相關度量測可表示為:

(5)

2 背景差基本模型

背景模型是指在視頻圖像獲取過程中逐步建立的監控場景中長時間處于靜止狀態事物的圖像表示。假定Bt-1是t-1時刻的背景圖像,則t時刻的背景圖像可通過如下方式獲取:

Bt=(1-α)Bt-1+αIt

(6)

式中:It是指t時刻獲取的圖像,α是背景更新速率,α∈[0,1)。α越大,背景更新速度也越快,視頻圖像中的信息(包括運動區域)也更容易融入到背景圖像中去,可能為背景圖像帶來較大干擾。當α為0時,表明背景圖像不隨時間變化。視頻圖像第一幀通常被作為B0。獲取背景模型圖像Bt后,運動目標區域可通過以下方法確定:

(7)

式中:It(x)和Bt(x)分別表示t時刻位于圖像坐標x處的視頻圖像灰度值和背景圖像灰度值,當二者差值超過閾值T時,認為圖像中x坐標點屬于運動目標區域,否則認為是靜態背景區域。在本文中,St=|It-Bt|被稱為背景差圖像,該圖像中對應像素點的值越大,則該像素點屬于運動目標區域的可能性就越大。

3 中智運動區域檢測

基本背景差模型提取前景區域的性能很大程度上依賴于閾值T的選取,在本文中,我們將背景差圖像轉換到中智集域,并將其稱為中智背景差圖像。我們通過多屬性相關度量測生成中智背景差圖像,強化運動目標區域,提升前景背景區分度,以此提升閾值T的選取準確性,最終提升運動區域檢測性能。

3.1 中智背景差圖像

假定U是一個全集,FP是集合U中的前景(運動目標區域)像素點集合,SNSt為t時刻的中智背景差圖像。我們將SNSt中的某個像素點表示為:

PNSt(x)=(Tt(x),It(x),Ft(x))

(8)

式中:Tt(x),It(x),Ft(x)分別表示位于圖像坐標x處的像素點屬于FP、不確定是否屬于FP、不屬于FP的關系分量,Tt(x),It(x),Ft(x)∈[0,1],0≤Tt(x)+It(x)+Ft(x)≤3。若考慮到多條件屬性,則SNSt中的某一像素點可以表示為:

(9)

式中:Cj表示某一條件屬性。

經分析,在背景差圖像St中,屬于運動目標區域的像素點主要包含以下幾方面特征:對應像素點的灰度值較高;對應像素點的較小鄰域范圍內灰度分布較均勻;對應像素點在連續數幀內灰度值較高;對應像素點在連續數幀內灰度值分布較均勻?；诖?我們提出了四種條件屬性,并提出了相應條件屬性下的真、不確定、假量測分量的計算方法。

對于灰度值強度條件屬性Cg,與其對應的Tt(x),It(x),Ft(x)被定義如下:

(10)

SRt(x)={St(x+m,y+n)|m,n∈(-w/2,w/2)}

SRdt(x)=max{SRt(x)}-min{SRt(x)} >

(11)

(12)

均值濾波是圖像增強中一種簡單有效的圖像平滑和降噪方法。因此我們將均值灰度強度作為第二個條件屬性Cm,類似的,與之對應的Tt(x),It(x),Ft(x)被定義為:

(13)

(14)

(15)

考慮到穩定的運動目標區域具有一定的時域穩定性,即背景差圖像中某一像素點的灰度值在一定時間序列上變化平緩甚至幾乎不變。基于此種條件屬性Cgv,與之對應的Tt(x),It(x),Ft(x)被定義為:

(16)

(17)

(18)

式中:Smet(x)表示在t時刻之前連續N幀背景差圖像中位于坐標x處像素點所有時刻對應灰度值的中位數,即:

Smet(x)=median{St-N+1(x),St-N+2(x),…,St(x)}

(19)

SDvt(x)表示在t時刻之前連續N幀背景差圖像中位于坐標x處像素點所有時刻對應灰度值所構成集合的標準方差,即:

SDv(x)=stddev{St-N+1(x),St-N+2(x),…,St(x)}

(20)

從式(16)～式(18)中可以看出,條件屬性Cgv下的三類量測均已歸一化處理。

最后,對于連續多幀的條件屬性,我們將均值濾波也考慮進來,對于此類條件屬性Cmv,與其對應的Tt(x),It(x),Ft(x)被定義為:

(21)

(22)

(23)

式中:Smmet(x)表示在t時刻之前連續N幀背景差圖像中位于坐標x處像素點所有時刻對應鄰域均值灰度值的中位數,即:

Smmet(x)=median{Smt-N+1(x),Smt-N+2(x),…,Smt(x)}

(24)

SmDvt(x)表示在t時刻之前連續N幀背景差圖像中位于坐標x處像素點所有時刻對應鄰域均值灰度值所構成集合的標準方差,即:

SmDv(x)=stddev{Smt-N+1(x),Smt-N+2(x),…,Smt(x)}

(25)

從以上分析可知,前兩個條件屬性主要針對靜態幀內的運動區域像素點特征(空間域特征)提出,后兩個條件屬性主要針對連續動態幀內的運動區域像素點特征(時間域特征)提出。鑒于連續多幀分析可增強前景區域提取的魯棒性,我們以t時刻之前連續N幀作為基本評價區間,聯合面向單值中智集的多時段加權相關度量測和一般加權相關度量測,聯合確定中智背景差圖像各坐標處的灰度值。此處,我們假定四種條件屬性下的理想選擇均為A*=[1,0,0|,根據式(4)和式(5),中智背景差圖像x坐標處的灰度值可表示為:

(26)

3.2 分割閾值自適應選取

在本文中,閾值分割主要針對中智背景差圖像。在獲取了t時刻中智背景差圖像SNSt之后,最大類間方差(Otsu)方法被用來解決此問題,具體流程如下:

①選取某一灰度值作為初始閾值TNS;

②利用TNS將圖像SNSt中所有的像素點分為兩類,一類作為前景像素點集合,一類作為背景像素點集合,之后計算類間方差g=w0w1(u0-u1)2,其中u0、u1分別為兩類像素點集合的灰度值均值,w0、w1分別為對應類別像素點數量占圖像中總像素數量的比值;

③嘗試其他灰度值作為分割閾值并計算相應的類間方差g,使得類間方差g最大的TNS被作為當前的最優分割閾值。

獲取最優分割閾值TNS后,中智背景差圖像SNSt中大于TNS的像素點被認為是運動區域像素點,否則為靜止背景區域像素點。

圖1 行人行走序列檢測結果

4 實驗結果

我們選取了幾段有挑戰性的視頻用于測試,并將我們提出的中智前景提取算法與固定閾值前景提取算法(直接在傳統背景差圖像中采用固定閾值進行分割,此處簡稱FTFD)和Otsu自適應閾值提取方法(直接在傳統背景差圖像中采用Otsu方法進行閾值分割,此處簡稱OTFD)分別進行了比較,此外,我們也將算法結果與文獻[25]提出的歐式距離前景提取算法(簡稱EDFD)進行了比較。

4.1 參數設置

對于FTFD、OTFD和我們提出的算法,式(6)中的背景更新速率α均被設置為0.01。式(11)和式(13)中的w被設置為5,式(19)、式(20)、式(24)～式(26)中的N均被設置為5。為了在一定程度上強化連續多幀的條件屬性,式(26)中的wg、wm、wgv、wmv分別被設置為0.2、0.2、0.3、0.3。

4.2 運動目標檢測結果

圖1到圖3給出了四種檢測算法在三種不同場景下的檢測結果。三個圖中每一行對應某一幀的處理結果,從左至右各列分別為該幀時刻原圖像、背景差圖像,FTFD、OTFD、EDFD以及我們提出的算法的檢測結果。圖中白色區域代表被判定為運動目標的像素區域,黑色則代表背景區域。

圖1為行人行走序列的檢測結果,該序列的主要挑戰因素是光照和影子。從圖1第862幀和888幀中可以看出,在行人剛進入畫面時,FTFD算法的檢測結果存在一些離散噪點,其余三種算法表現較好。在第926幀,當行人的影子出現在畫面中,且影子與路面顏色相差較大時,可以發現,OTFD和EDFD兩種算法均受到了影響,由于FTFD自始至終都是采用一個固定分割閾值,它受到的影響最大。在第1 001幀,當行人逐步遠離畫面時,由于影子逐步落入草坪區域,而草坪在畫面上的顏色與影子近似,相應背景差圖像中對應像素點的灰度值也較小,因此OTFD獲得了較好的檢測效果,然而,由FTFD算法得到的結果仍包含了較多的影子區域?？傮w而言,我們的算法表現最好,即便在行人行進過程中仍會一定程度上受到影子問題的干擾,但多數情況能較好的將影子濾除。

圖2為背景擾動序列的檢測結果。該序列包含的主要挑戰因素是背景擾動劇烈、運動目標小。從圖2 可以看出,FTFD算法采用固定閾值,從運動目標進入畫面到離開畫面的整個過程中,所提取的運動區域均包含了大量的背景擾動噪聲。由于背景擾動劇烈,運動目標區域以外的像素點灰度與背景差圖像的差異較大,這是導致FTFD、EDFD算法被大量擾動背景干擾的主要原因。對于OTFD算法,它的表現存在極端現象。當目標剛進入畫面時,由于目標區域很小,OTFD的前景提取效果很差,可見圖2中第322幀的處理結果。對于第505幀,OTFD失敗的原因主要是目標區域在背景差圖像中與背景區域差別不夠大。相反,我們提出的算法能夠較好的克服背景擾動,其原因主要是我們將連續多幀的背景差圖像像素點灰度時域分布做了特定限制,強化了在時域上表現較穩定且在當前幀鄰域范圍內分布較均勻的像素點。

圖2 背景擾動序列檢測結果

圖3 惡劣天氣序列檢測結果

圖3為惡劣天氣序列的檢測結果。該序列包含的主要挑戰因素是對比度低、運動目標小、光照變化。從圖3中可以發現,畫面內主要包含兩個單向車道,上方車道的車輛在畫面中的成像區域較小,下方車道車輛成像區域較大。EDFD算法僅在第1 098幀和 1 143 幀檢測到了上方車道上鄰近攝像機的車輛,且僅有若干數量像素點,幾乎無法判定是否存在運動目標。對于下方車道上成像較大的運動目標,EDFD成功捕獲,然而相比其他三種算法,提取的運動區域存在較大空洞。在第822幀,FTFD的檢測結果上僅較微弱的將車燈部分檢測為運動區域,而我們的算法則較好的分離出了運動目標;對于OTFD,同樣由于目標區域過小,其閾值選取失敗。在第1 098幀,可以發現OTFD算法的表現要略優于我們的算法,我們的算法對由上至下第二個目標的檢測效果較差。觀察第 1 143 幀和1 774幀可以發現,當上方車道上車輛逐漸靠近攝像機時,車燈照射導致原本暗色區域變亮,OTFD將其誤檢測為運動目標區域;相較而言,我們的算法能較好的應對低對比度、小運動目標、光照變化等挑戰。

4.3 理論模型與實驗分析

綜合以上分析,可以發現,我們的算法在應對光照變化、背景擾動、低對比度、小目標等挑戰時的檢測效果較好。對于運動目標檢測問題,在由基本背景差模型獲取的背景差圖像中,運動目標對應的像素點具有灰度值較高的特點,且小鄰域范圍內像素灰度分布均勻的像素點屬于運動目標像素點的可能性更高。基于此,算法在原背景差圖像和經均值濾波后的背景差圖像中,將像素點強度值作為真量測、將區域最大最小值之差作為不確定量測引入中智背景差圖像。在時間域上,背景差圖像中運動目標像素點應在短時間內保持一定強度的灰度值,且在此時間段內灰度值分布較均勻的像素點更有可能為運動目標像素點。鑒于此,算法以原背景差圖像和經均值濾波后的背景差圖像為基礎,將像素點灰度時域中值作為真量測,將像素點時域灰度方差作為不確定量測引入。最終,結合中智加權相關度量測,將四種條件屬性下的中智量測融合。光照變化、背景擾動、低對比度、小目標等條件下的動目標區域特點與我們所設定的運動目標像素點特征吻合,在著重考慮背景差圖像中各像素點灰度值強度的同時,算法著重將時域穩定性和空域穩定性以多時段單值中智集和一般單值中智集相關度量測的方式融入到中智背景圖像中,較好的強化了運動區域,提升了閾值選取的魯棒性,最終表現出較好的運動目標檢測性能。

5 結束語

本文在基本背景差模型的基礎上,提出了一種基于多屬性單值中智集相關度量測的視頻運動目標檢測方法。為了強化運動目標區域,本文將不確定性量測引入,提出了基于單值中智集的四種真、不確定和假量測。最終綜合利用多周期單值中智集相關度量測和一般單值中智集相關度量測生成中智背景差圖像,充分融合了像素點空間域和時間域上的約束信息。最后,基于中智背景差圖像,借助最大類間方差方法獲取最優分割閾值,完成前景區域提取。實驗結果表明,在應對惡劣天氣、背景擾動等挑戰時,本文提出的算法體現出了較高的魯棒性。

參考文獻:

[1] Bouwmans T. Traditional and Recent Approaches in Background Modeling for Foreground Detection:An Overview[J]. Computer Science Review,2014,11-12(0):31-66.

[2] Thierry B,Fida El B,Bertrand V. Background Modeling Using Mixture of Gaussians for Foreground Detection—A Survey[J]. Recent Patents on Computer Science,2008,1(3):219-237.

[3] Stauffer C,Grimson W E L. Adaptive Background Mixture Models for Real-Time Tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Collins,Colorado;IEEE Press. 1999:22-29.

[4] Elgammal A,Duraiswami R,Harwood D,et al. Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance[J]. Proceedings of The IEEE,2002,90(7):1151-1163.

[5] Gutchess D,Trajkovic M,Cohen-Solal E,et al. A Background Model Initialization Algorithm for Video Surveillance[C]//IEEE International Conference on Computer Vision.733-740.

[6] 張顯亭,陳樹越,陳穎鳴. 一種改進的復雜場景運動目標檢測算法[J]. 傳感技術學報,2009,22(8):1146-1149.

[7] 李喜來,李艾華,白向峰,等. 基于增量式特征基背景模型的運動目標檢測[J]. 傳感技術學報,2010,23(9):1293-1297.

[8] Bouwmans T. Background Subtraction for Visual Surveillance:A Fuzzy Approach[J]. Handbook on Soft Computing for Video Surveillance,2012:103-134.

[9] Maddalena L,Petrosino A. A Fuzzy Spatial Coherence-Based Approach to Background/Foreground Separation for Moving Object Detection[J]. Neural Computing and Applications,2010,19(2):179-186.

[10] Zhao Z,Bouwmans T,Zhang X,et al. A Fuzzy Background Modeling Approach for Motion Detection in Dynamic Backgrounds[J]. Multimedia and Signal Processing,2012:177-185.

[11] Smarandache F. Neutrosophy:Neutrosophic Probability,Set and Logic[M]. Rehoboth:American Research Press,1998:105.

[13] Anter A M,Hassanien A E,ElSoud M A A,et al. Neutrosophic Sets and FuzzyC-Means Clustering for Improving CT Liver Image Segmentation[J]. Advances in Intelligent Systems and Computing,2014,303:193-203.

[14] RehobothGuo Y,Xia R,engür A,et al. A Novel Image Segmentation Approach Based on Neutrosophicc-Means Clustering and Indeterminacy Filtering[J]. Neural Computing and Applications,2016:1-11.Rehoboh

[15] Hu K,Ye J,Fan E,et al. A Novel Object Tracking Algorithm by Fusing Color and Depth Information Based on Single Valued Neutrosophic Cross-Entropy[J]. Journal of Intelligent and Fuzzy Systems,2017,32(3):1775-1786.

[16] Guo Y,Sengur A. A novel 3D Skeleton Algorithm Based on Neutrosophic Cost Function[J]. Applied Soft Computing Journal,2015,36:210-217.

[18] 崔西希,吳成茂. 核空間中智模糊聚類及圖像分割應用[J]. 中國圖象圖形學報,2016,21(10):1316-1327.

[19] Ye J. Single-Valued Neutrosophic Similarity Measures Based on Cotangent Function and Their Application in the Fault Diagnosis of Steam Turbine[J]. Soft Computing,2015,21(3):817-825.

[20] Ma Y X,Wang J Q,Wang J,et al. An Interval Neutrosophic Linguistic Multi-Criteria Group Decision-Making Method and its Application in Selecting Medical Treatment Options[J]. Neural Computing and Applications,2016:1-21.

[21] Ye J,Fu J. Multi-Period Medical Diagnosis Method Using a Single Valued Neutrosophic Similarity Measure Based on Tangent Function[J]. Computer Methods & Programs in Biomedicine,2016,123:142-149.

[22] Guo Y,Sengur A. NECM:Neutrosophic Evidentialc-Means Clustering Algorithm[J]. Neural Computing and Applications,2015,26(3):561-571.

[23] Guo Y,Sengur A. NCM:Neutrosophicc-Means Clustering Algorithm[J]. Pattern Recognition,2015,48(8):2710-2724.

[24] Ye J. Multicriteria Decision-Making Method Using the Correlation Coefficient under Single-Valued Neutrosophic Environment[J]. International Journal of General Systems,2013,42(4):386-394.

[25] Benezeth Y,Jodoin P M,Emile B,et al. Comparative Study of Background Subtraction Algorithms[J]. Journal of Electronic Imaging,2010,19(3):033003-033003-033012.