高振華,黃 山,,張洪斌,于艷飛
(1.四川大學 電氣信息學院,四川 成都610065;2.四川大學 計算機學院,四川 成都610065;3.中國北車集團大連機車研究所有限公司 技術中心,遼寧 大連116021)
對不依賴先驗知識的目標跟蹤而言,運動目標檢測是實現目標跟蹤的第一步,是整個后繼處理的基礎,它的的精確檢測關系到整個視頻監控系統檢測精度和可靠性。目前常用的運動檢測方法大致有3種:光流法、幀差法和背景差分法。光流法[1]通過對目標光流場的估算來分割運動目標,雖能檢測事先未知信息的運動目標,但是計算過程復雜、計算量大,難以滿足現實中的實時要求;幀差法[2]將不同時刻兩幀圖像的對應像素值相減,原理簡單、運算量小,但無法檢測靜止的前景目標,且最佳幀間間隙隨目標運動快慢而變化;背景差分法[3]通過當前幀與場景背景之差提取前景物體,是目前在運動目標檢測中運用最多也是最有效的方法。背景差分法的關鍵在于如何提取可靠的背景以及進行魯棒的實時的更新。
我們針對自適應背景圖像提取和前景運動目標檢測進行了深入研究。首先用改進的Mode[4]算法提取出了可靠的初始背景,然后結合背景匹配更新機制對背景進行自適應的更新。對于運動目標檢測這一模塊,我們采用Cauchy[5]模型針對視頻序列進行目標檢測。最后針對行人和交通場景進行了多組實驗對比和分析,最終驗證了算法的有效性同時也提高了算法的實用性。
目前主要的背景圖像獲取方法[6]大致有4種:背景統計法、Surendra背景更新算法、卡爾曼濾波法以及背景模型法。這些方法各具特點,在實際應用中取得了一定的成效。在現實中,視頻監控大多動態場景的變化對背景的影響比較大,在監控過程中不僅需要可靠的背景,而且還要求能及時的更新背景,以適應環境的突變和漸變。采用取前幾十幀的平均灰度值作為初始背景,引入了大量的噪聲,會影響運動目標的準確檢測;而單一的混合高斯模型法[7,8]計算量較大并且會出現運動物體長期靜止時失效。因此在深入分析和研究各類運動目檢測和背景提取方法后,本文在初始背景提取部分,采用了Mode算法,并且對算法進行了有效的改進;在背景更新階段使用魯棒性和自適應能力強的背景更新算法以期達到提高運動目標檢測結果的準確性的目的。
1.1.1 算法
在提取背景圖像的過程中有一個合理的假設,即在幾十幀圖像的時間段內,實際背景的灰度值基本上在很小的范圍內波動,而不同的前景目標遮擋背景引入的灰度值干擾則隨運動目標的反光特性差異和移動而表現為出隨機分布在整個灰度值的范圍內[9]。Mode算法基于這個假設,并且在此基礎上,延時間軸統計每個像素點的灰度分布直方圖,取得分布值最大的峰值點,即Mode值點,以它作為相應像素點的背景灰度值。
Mode算法在二維視頻序列中的具體應用步驟如下:統計圖片幀的每個像素點 (x,y)前N幀圖像對應某點的灰度直方圖為hist(x,y,0),hist(x,y,1)…,hist(x,y,255),將該序列的最大灰度值作為該對應像素點的當前背景灰度值,計算公式如下

在Mode算法中,先求出每個像素點 (x,y)的前N(N<100)幀圖像的灰度Mode值。目的就是讓實驗所得結果更接近真實背景的灰度值。實驗中發現N取100的時候就完全可以得到可靠的初始背景圖,且提取的初始背景圖像優于取前N幀均值提取的初始背景圖像、計算算法復雜度也低于混合高斯模型法。
1.1.2 Mode算法的改進
在實際中,由于像素灰度值取值的連續性和實際中擾動的存在,且視頻采集受到光流、天氣、水面波動等的干擾,某點的背景灰度值不是某一確定的數值,而是圍繞某個值分布在一個小的區域中,為了在使用Mode算法時求出更好的代表各點的背景灰度值,我們在計算灰度值直方圖時,將灰度值分布軸劃分成若干的小區間并進行二次分段累加統計。文獻 [4]中的Mode算法實現時,固定選取灰度分布值最大的區間的中值作為Mode值,也即為背景的灰度值。這樣的取值存在一定的缺陷。于是文獻 [4]中對其進行了改進,把灰度區間的中值改取成灰度區間的平均值。這樣的取值方法,沒考慮區間內數值的權重問題,權重小的數值對背景灰度值的影響比較小。同時,對于分區段存在一個不可避免的問題,即若Mode值恰好處于相臨兩個區段的邊界上。基于此,我們中對該算法做了進一步改進:我們采用了兩個跨度單位一起排序然后取前幾個最大值,有效地回避了跨區段的問題;對于相鄰兩區間內的數值,按權重從大到小的排序,保留排在前面的幾個數值,舍去其余,然后取這幾個數的均值。
我們在實驗中采取的區間長度以4為跨度單位,在256個灰度級上取了64個區間。在實驗中發現,一般需要取到兩個相鄰區間內前5個最大的數,就可以得到準確的Mode值,同時考慮到位圖數據的類型,我們對計算出來的Mode值進行了四舍五入處理。為了驗證改進的Mode算法較文獻 [4]有效,在實驗過程中特別針對位圖中 (30,60)點進行了對Mode算法改進前后的對比。
表1為像素點 (30,60)采用Mode算法在前100幀所取到的灰度值出現的頻數最大的兩個區間0-3、4-7以及各個灰度值出現的頻數。

表1 頻數最大的兩個區間及頻數
表2為經過Mode算法計算出 (30,60)點的背景灰度值,考慮到像素點的數據類型,對計算結果進行四舍五入的處理,可以看出改進前的算法計算出的結果四舍五入后所得的數值為3,而改進后的算法四舍五入后所數值為2,與實際值是吻合的。

表2 改進前后Mode算法對比
通過Mode算法獲取了可靠的初始背景。但是Mode算法的缺點是需要較大的存儲空間,更主要是的考慮到背景更新的自適應性與魯棒性的問題。因此針對背景進行自適應的更新這個問題,我們采用了背景匹配更新機制。在通過Mode算法得到初始背景后,分別賦給參考幀R0(x,y)和當前背景模型B0(x,y),然后采用背景匹配更新機制,這種機制不僅可以消除很大一部分噪聲的影響,也可以自適應地更新背景。在通過每一輸入幀提供的信息來實時調整背景圖像,使所得到的背景圖像更加接近真實背景。
背景匹配更新機制具體內容包括3大部分:參考幀的更新、匹配過程、背景的修正更新。背景匹配更新流程圖,如圖1所示。

圖1 背景匹配更新流程
(1)參考幀Rt(x,y)是當前背景模型的一個屏蔽過濾機制,這樣通過參考幀的緩沖,可以大幅的濾除實際中的由運動目標引入的對背景的干擾和噪聲,過濾并提取出穩定的信息以更新背景。參考幀根據每一幀所提供的的像素值逐幀迭代計算參考幀每個像素點,其計算公式如下
Rt(x,y)= Rt-1(x,y)+sgn[It(x,y)-Rt-1(x,y)](2)式2中Rt(x,y)和Rt-1(x,y)分別是某一像素點 (x,y)的當前參考幀和前一時刻參考幀的灰度值,It(x,y)是當前輸入幀像素點 (x,y)的灰度值。最初的R0(x,y)即由Mode算法采用了前100幀計算出的初始背景。
(2)匹配過程:每當有視頻序列的一幀輸入,針對其上的每一個像素點進行匹配標記。匹配過程偽代碼如下:

It(x,y)為非匹配點,不予以考慮。
(3)背景模型的修正更新:在通過對輸入幀的篩選得到匹配點之后,就可以對這些點更新當前背景模型,具體更新公式如下

式 (3)中Bt(x,y)和Bt-1(x,y)分別是當前時刻和前一時刻的背景模型,Rt(x,y)是匹配點的參考灰度值。
根據上述匹配和背景的修正更新過程,可以看到參考幀起到的作用主要有兩點:①它是作為當前背景模型的一種屏蔽作用。對于前景運動目標經過時對背景的遮擋不會即可影響背景質量;②過濾機制。通過輸入幀提供的穩定信息會逐漸逼近真實背景。參考幀會在逐漸逼近真實背景的過程中,通過匹配和背景修正的影響得到逐漸的修正。同時,基于參考幀的漸變作用,可以大幅降低和減小噪聲對分割前景目標的影響。但是由于漸變作用,長時間停留的目標還是會逐漸刷新到背景圖中,針對這種影響,對背景更新機制引入了長時間逗留物體的倒計時機制進行背景保持和刷新[6]。
本文采用基于自適應的背景和前景與背景的Cauchy分布模型來進行運動目標的檢測。在運動目標檢測的過程中,利用了當前幀圖像和背景圖像的絕對差分和Cauchy分布這兩個數學模型。
絕對差分是由所得到的背景模型Bt(x,y)與視頻序列當前幀之間It(x,y)的差分絕對值得到。具體計算公式如下

為了對每一幀圖像,通過差分圖像檢測到運動目標所屬像素,引用了Cauchy分布模型。模型描述如下

式中:a——Cauchy模型的位置參數,γ——Cauchy模型的尺度參數。
通過圖像上各像素點提供的信息,得到各像素點絕對差分圖像后,針對每一個像素點分別計算其前景和背景的Cauchy分布模型,然后加入可變系數對兩Cauchy分布模型進行大小的比較,從而在絕對差分圖像上得到準確的前景目標,實現對運動目標的檢測。
在計算Cauchy模型前,需要統計絕對差分圖像的灰度直方圖。在一幀絕對差分圖像上灰度值為i的點的個數用式 (6)表示

對背景區域的Cauchy分布模型c1定義為

式中:α——c1模型的位置參數,且由如下公式計算

式中:i——在絕對差分圖像中的任意灰度級,gΔ(x,y,i)——對應i灰度級的像素數。
另外又定義了對運動目標分類的Cauchy分布模型c2

式中:β——c2模型的位置參數,且由如下公式計算

式中:i——絕對差分圖像上的任意灰度級,imax——絕對差分圖像上的最大灰度級,gΔ(x,y,i)——對應i灰度級的像素數。之后對一幀圖像上的像素點進行背景點與前景點采用比對c1、c2的大小來判別,在實驗中測試所得,當γ=30的時候實驗結果最優。
我們對兩個Cauchy分布模型c1、c2大小的判別增加了一個可變系數ε。同時由于是c1、c2之間的大小比對,取消了它們共同的公因子1/π,減少計算冗余。改進后的算法對某一像素點的兩Cauchy分布模型c1、c2對該點的歸宿判定如下:若c1>εc2像素點 (x,y)為背景點;否則像素點 (x,y)為前景運動目標點。我們針對不同的對象進行了大量的跟蹤實驗,實驗結果顯示不同的場景,ε取值不同。在行人場景中ε=1.1,在交通車輛場景中ε=1.2的情況下獲得置信度高的實驗結果。
在實際運行過程中,會出現某一幀圖像沒有前景目標。這時公式 (10)出現了分母為零的情況,以至前景Cauchy模型無法計算。這種情況下,在實驗中,先計算β的值,若是其分母值為零,則直接跳過這一幀圖像,不予處理,繼續計算下一幀圖像中的運動目標。
在此處對像素點的歸宿判定采用了兩個擁有動態參數α、β的Cauchy分布模型c1、c2,針對每一幀實時圖像,都計算了α、β,實現了二者的動態更新,而非直接用傳統的單閾值來判定,避免了采用經驗值的弊端。
我們主要針對交通車輛監控和校園行人場景監控進行了多組初始背景提取、背景更新和前景點分類實驗。整個監控系統程序在VS2010環境下編寫,硬件采用安裝了天敏SDK4000采 集 卡 的 PC 機 (Inter (R)Core (TM)i3-2330M,2.2GHz,4G內存),對PAL制灰度視頻進行25fps的采集分析。視頻圖像的大小為320×240。
圖2為100幀時所獲得的背景。其中左圖中為取前100幀圖像的平均值所得初始背景;右圖為采用Mode算法在100時初始背景。從圖2中可看出在幀數同為100時,取多幀平均所獲得初始背景模糊且有噪聲,而Mode算法所獲得的背景比較準確。

圖3為1000幀的時候,提取的背景圖像。其中左圖為取多幀平均初始背景采用本文的背景更新機制實時更新所得背景,右圖為采用Mode初始背景采用本文的背景更新機制實時更新所得背景;通過實驗可以得出Mode法無噪聲,而取多幀平均法雖然采用了本文的背景匹配更新機制,其實驗結果質量較差,背景仍然模糊,伴有有大量噪聲。
圖4為行人檢測實驗抽取的圖像。其中左圖對應為第350幀圖像,右圖對應為第378幀圖像。圖像第一行為原始行人圖像;第二行為采用混合高斯法檢測到的運動目標圖;第三行為采用取多幀平均法提取初始背景之后檢測到的運動目標圖;第四行為采用Mode法提取初始背景之后檢測到的運動目標圖。通過實驗可以得出混合高斯法有大量噪聲,取多幀平均法初始化背景也有大量噪聲,Mode算法無噪聲。

圖4 行人檢測
圖5為成都市黃石橋路段的交通場景,該場景中左側初始有一行人停留。其中左圖對應為第1500幀圖像,右圖對應為第2940幀圖像。圖像第一行為原始交通場景圖像;第二行為采用混合高斯法檢測到的運動目標圖;第三行為采用取多幀平均法提取初始背景之后檢測到的運動目標圖;第四行為采用Mode法提取初始背景之后檢測到的運動目標圖。根據實驗可以看出混合高斯模型需要根據環境進行人為的調整設計閾值,該閾值對實驗結果影響比較大且噪聲較大,但初始背景中有停留目標時,比本文的背景匹配更新機制更新速度快;取多幀平均獲得的初始背景會引入大量噪聲;而改進Mode算法提取的初始背景較為精確,對初始停留目標的處理較慢,但實驗證明在檢測過程中的慢目標也有很好的實時性和噪聲抑制效果。

圖5 車輛檢測
在攝像機靜止且在檢測過程中有慢目標出現的情況下,在初始背景提取階段,我們采用改進的Mode算法提取初始背景較文獻 [5]中的取多幀平均提取初始背景,噪聲小、魯棒性好、后續更新背景使用時間短;在目標檢測階段,與混合高斯模型法比較,我們采用的Cauchy條件分布模型具有計算復雜度低,目標檢測準確的優點。改進后的算法能同時滿足各種場景的應用要求,實現了對行人的精確檢測與交通的準確監控,實用價值明顯。接下來,將在對具體應用場景的深入分析基礎上,進一步提升目標檢測算法的適應性和高效性,結合場景特點和目標狀態等信息,并且把去除陰影、目標跟蹤和遮擋下的監控和動態閾值的優化作為下一步研究的重點。
[1]ZHANG Jieyu,John L Barron.Optical flow at occlusion[C]//Toronto,Canada:Ninth Conference on Computer and Robot Vision,2012:198-205.
[2]WAN Ying,HAN Yi,LU Hanqing.The methods for moving object detection [J].Computer Simulation,2006,23 (10):221-226(in Chinese).[萬纓,韓毅,盧漢清.運動目標檢測算法的探討 [J].計算機仿真,2006,23 (10):221-226.]
[3]ZHANG Juan,MAO Xiaobo,CHEN Tiejun.Survey of moving object tracking algorithm [J].Application Research of Computers,2009,26 (12):4407-4410 (in Chinese). [張娟,毛曉波,陳鐵軍.運動目標算法研究綜述 [J].計算機應用研究,2009,26 (12):4407-4410.]
[4]ZENG Yan,YU Lian.A new background subtraction method for on-road traffic [J].Journal of Image and Graphics,2008,13 (3):593-599 (in Chinese).[曾艷,于濂.一種新的道路交通背景提取算法及研究 [J].中國圖形圖像學報,2008,13 (3):593-599.]
[5]Cheng Fan-chieh,RUAN Shang Jang.Accurate motion detection using a self-adaptive background matching framework [J].IEEE Transations on Intelligent Transportation Systems,2012,13 (2):671-679.
[6]ZHANG Hongbin,HUANG Shan.Comprehensive dynamic background updating method for real-time traffic visual surveillance [J].Journal of Computer Applications,2007,27 (9):2134-2136 (in Chinese).[張洪斌,黃山.面向實時交通視覺監控的綜合動態背景更新方法 [J].計算機應用,2007,27(9):2134-2136.]
[7]JIAO Bo,YAN Liaoliao,LI Wei.Fast convergent gaussian mixture model in moving objects detection [C]//Shanghai,China:IEEE International Conference on Computer Science and Automation Engineering,2011:422-425.
[8]LIU Xin,LIU Hui,QIANG Zhenping,et al.Adaptive background modeling based on mixture gaussian model and frame subtraction [J].Journal of Image and Graphics,2008,13(4):729-734 (in Chinese). [劉鑫,劉輝,強振平,等.混合高斯模型和幀間差分相融合的自適應背景模型 [J].中國圖形圖像學報,2008,13 (4):729-734.]
[9]QI Meibin,WANG Qian,JIANG Jianguo,et al.A background reconstruction algorithm based on the hypothesis of background pixel with maximum probability [J].Journal of Image and Graphics,2008,13 (4):723-728 (in Chinese). [齊美彬,王倩,蔣建國.基于背景像素值頻次最高假設的背景重構算法 [J].中國圖象圖形學報,2008,13 (4):723-728.]
[10]XIE Fengying,ZHAO Danpei.Digital image processing [M].Beijing:Publishing House of Electronics Industry,2008 (in Chinese). [謝鳳英,趙丹培.Visual C++數字圖像處理[M].北京:電子工業出版社,2008.]
[11]Chen Y T,Chen C S,Hang C R,et al.Efficient hierarchical method for background subtraction [J].Pattern Recognition,2007,40 (10):2706-2715.