基于幀間差分的彩色視頻背景提取

蘇禮坤, 黃繼紅

(1.成都信息工程學院光電技術學院,四川成都610225;2.西華大學物理與化學學院,四川成都610039)

1 引言

運動目標檢測技術廣泛地應用在軍事目標探測跟蹤、智能視頻監控、智能交通、計算機視覺、運動分析等領域[1,2],運動目標檢測按背景變化不同主要劃分為攝像機運動和攝像機靜止兩種模式,運動目標檢測按技術劃分則主要有光流法、幀間差分法和減背景法[3]。

光流法[4]是利用運動估計進行分割和跟蹤運動目標的一種方法。采用運動目標隨時間變化的光流特性,通過計算位移向量光流場來初始化基于輪廓的跟蹤算法,從而有效地提取和跟蹤運動目標。雖然光流法在攝像機運動和靜止的情況下都檢測出獨立的運動目標,但是由于光流場的計算相當復雜,對噪聲比較敏感且對硬件要求較高。

幀間差分法[5]是在連續的圖像序列中兩個或三個相鄰幀間采用基于像素的時間差分并且閾值化來提取圖像中的運動區域。連續幀差法對動態環境有很好的適應性,但位置不準確,分割出的運動目標不完整,不能完全提取出目標的所有相關點,容易在運動實體內部產生空洞現象,幀間差分法只能應用在攝像機靜止情況下的動態目標檢測。

減背景法[6]通過當前圖像與背景圖像之間的差分來檢測運動區域,這種方法是目前運動檢測中最常用的一種方法。其優點是位置準確,速度快,只需要獲取當前的一幅圖像,運算量低,可以做到實時檢測與分割,不足之處是受環境光線變化的影響,在非受控環境下,需要加入背景圖像更新機制,減背景法也只能應用在攝像機靜止情況下的動態目標檢測。

減背景法動態目標檢測主要包括初始背景提取、背景更新、背景差和后處理4個步驟。初始背景的提取,一種方法是建立背景模型,假定初始背景中不含運動目標;另一種方法是選擇像素灰度,即通過包含運動目標的序列幀提取初始背景。由于光照、天氣等變化直接影響著背景模型的質量,需要及時更新背景。最常用的更新方法是多幀平均法和選擇更新法[7]。多幀平均法直接將輸入圖像序列的強度平均值作為當前背景,其缺點在于對場景改變過于敏感。選擇更新法指將沒有檢測到運動的區域即真正的背景進行更新,在背景更新前先逐像素判斷相鄰兩幅圖像的差值,若小于一個閾值,則說明在這個像素位置沒有檢測到目標,可進行背景更新。這種方法依賴于閾值的選取,如果閾值選擇不合理,背景圖像將很快變得不可用。

對于智能視頻監控及動態目標檢測,背景提取和更新問題一直是一個研究的重點和難點[8],文中重點針對攝像機靜止時,存在動態目標的彩色視頻場景背景的實時提取進行了詳細分析和研究。

在攝像機靜止時,背景提取和更新的理想情況是在視頻場景里,隔一段時間就拍1幀不含運動目標物的場景圖像以避免因為光照、陰影等變化對背景的影響,但在實際應用中是不可能的,一方面很難保證在視頻監控場景里隔一個固定時間就會出現沒有目標物的背景圖像,另一方面即使出現了沒有目標物的背景圖像,要實現攝像機對實時背景的自動識別和抓拍也是一個技術難點。

研究和實驗證明,基于選擇更新法的彩色視頻背景提取的效果好于多幀平均法,通過選取合理的紅綠藍三分量權重和圖像序列時間段,可以較好地提取出實時背景。

2 視頻背景選擇更新法的基本原理

選擇更新法提取視頻背景的原理是：對于視頻流中一個場景的前后兩幀圖像,如果兩幀圖像的對應區域灰度變化不大(小于某一個閾值T),則認為此區域是背景區,如果兩幀圖像的對應區域灰度變化較大(大于某一個閾值T),則認為此區域是目標區,則此區域的數據不能作為背景來提取。

閾值 T的選擇有一定的隨意性,主要靠經驗或者大量試驗總結,即使是前后兩幀圖像的背景區域,在假定外部光照環境不變的情況下,考慮到成像系統的隨機誤差,閾值T也不能為零。

譬如圖1(a)、(b)兩幀灰度圖像,可以看出有目標或陰影區域灰度變化大,而共同的背景區域灰度變化不大。

圖1 兩幀灰度圖像背景區域提取

將圖1(a)、(b)兩幀灰度圖像對應像素進行比較,如果灰度變化小于閾值 T(此處取 T=10),則認為此區域是背景區并保留數據,如果灰度變化大于閾值 T,則認為此區域是目標區,并將數據置為零得到圖1(c),可以看出圖1(c)只提取出部分背景區域。

如果要提取出完整的背景圖像,取一個時間段視頻的n幀(n≥3)圖像序列 Mi(i=1,2,…,n),通過前后兩幀的比較(取閾值 T),可以得到背景序列Bj(j=1,2,…,n-1)：

式(1)中(x,y)為像素坐標。

最后提取出的背景圖像為：

式(2)中 m(x,y)為(x,y)處 Bj(x,y)值不為零的次數,要求 m(x,y)＞1。

3 彩色視頻背景選擇更新法的算法設計

對于彩色視頻和圖像,因為具有紅綠藍3個分量,處理方法和灰度圖像有一定區別,主要體現在：

(1)如果對紅綠藍3個分量單獨運用灰度圖像的處理方法然后再組合成彩色背景,則因為三分量的誤差有可能不同,獲得的三分量背景圖不一定重合得很好;

(2)如果先將彩色圖像轉化為灰度強度圖像,再運用灰度圖像的處理方法,則有可能紅綠藍分量分別差值很大的像素點,其轉化后的灰度強度差別不大,也引起較大誤差,并且這樣獲得的背景圖像無法再轉回彩色圖像。

基于以上兩個因素,在背景提取的時候,既要保持彩色背景的完整性,又要考慮到紅綠藍三分量的比重,提出以下提取方法：將前后兩幀彩色圖像對應像素的紅綠藍分量分別相減,得到3個差值,如果這3個差值的平均值小于閾值 T,則認為是背景區域,如果這3個差值的平均值大于閾值 T,則認為是目標區域。

則對于彩色視頻,定義紅綠藍三分量差值權重為取平均：

則應用式(3)將視頻差分計算的式(1)修改為：

式(4)中,c為色彩坐標,即c=R,G,B。

在獲得彩色背景序列圖像后,再運用式(5),就可以得到完整的彩色背景圖像：

式(5)中 m(x,y,c)為(x,y)處 Bj(x,y,c)值不為零的次數,要求 m(x,y,c)＞1。

4 計算結果和比較

4.1 彩色視頻背景選擇更新法的計算

首先選取圖2中的1秒時間段的6幀彩色圖像序列運用選擇更新法提取背景。

圖2 彩色視頻用來提取背景的1秒時間段的6幀序列圖像

對于圖2中的6幀序列圖像運用式(4)、(5)計算得到背景圖像顯示在圖3中,門限閾值 T太大,則目標區域不能剔除,閾值 T太小,則背景的隨機誤差也被誤認為是目標區域,閾值T=10是一個比較合理的選擇。

由圖3的背景結果可以看出,圖像區域出現空洞,其產生的原因是：相對選取的1秒時間段的6幀序列圖像,運動目標的移動位移不足,使在計算過程中有些區域的數據得不到恢復。

從上述的計算可以看出,在選取圖像序列時間段的時候,還必須考慮合理的視頻場景區域的動態目標密集程度因素,也就是說時間段要足夠長,使得視頻場景的所有區域都有曾經顯示背景的機會,另一方面時間段又不能太長,如果時間段太長,有可能背景本身因為光照、環境變化等因素使得提取的背景缺乏準確性和實時性。時間段的合理選擇主要取決于場景中目標的線度大小和運動速度,在本文的問題中,3秒是一個合理的時間段選擇。

圖3 由圖2的6幀序列圖像選擇更新提取的背景

再選取圖4中的3秒時間段的6幀彩色圖像序列運用選擇更新法提取背景。

對于圖4中的6幀序列圖像運用式(4)、(5)計算得到背景圖像顯示在圖5中,可以看出背景得到了較好的恢復和提取,效果好于1秒時間段的背景圖即圖3。

4.2 選擇更新法與多幀平均法的比較

和選擇更新法相比,存在運動目標區域的實時背景提取還有中值濾波法和多幀平均法,多幀平均法的計算為：

式(6)中,c為色彩坐標,即c=R,G,B。

圖6中給出了由圖4的6幀序列圖像運用式(6)多幀平均提取的背景,可以看出效果遠遠差于選擇更新法獲得的圖5。

圖5 由圖3的6幀序列圖像選擇更新提取的背景

圖6 由圖3的6幀序列圖像多幀平均提取的背景

針對選取的視頻序列的各種提取方法效果分析,通過實際計算證明中值濾波法最好,但中值濾波法要求圖像序列中一個像素點背景出現的概率大于被目標覆蓋的概率,要求的條件更苛刻,而多幀平均法是原理和算法最簡單的一種,在目標出現非常稀疏的情況下效果比較好,相對而言,這各種方法在不同條件下有各自的優勢,一般來講,選擇更新法是可以兼顧中值濾波法和多幀平均法的條件,并不要求像素點背景出現的概率大于被目標覆蓋的概率。

5 結論

介紹了視頻背景提取選擇更新法的算法原理,并在彩色視頻背景提取時選擇更新法的算法進行了拓展和改進,對彩色視頻紅綠藍三分量進行權重綜合判斷,具體計算表明,選擇更新法背景提取的效果還與選取圖像序列的時間段的長短有關,也就是與場景中目標的線度大小和平均運動速度相關,根據場景中目標的線度大小和平均運動速度適當選擇時間段,就可以較好地兼顧提取背景的實時性和背景中目標陰影的消除。

研究內容屬于動態目標檢測中具有重要意義的實時背景恢復和提取問題,研究目的是為了證明算法的有效性和適用范圍,以期指導實際應用,在實時背景恢復和提取方面,截至目前還沒有哪一種方法可以完全代替所有其他的方法,只是在不同的條件下某一種方法好一些。

感謝成都信息工程學院引進人才科研啟動項目(KYTZ20060603)

[1]任臣,張覃平.基于Kalman濾波理論的運動目標檢測新方法[J].光電工程,2007,34(4)：7-11.

[2]何衛華,李平,文玉海,葉波.復雜背景下基于圖像融合的運動目標輪廓提取[J].計算機應用,2006,26(1)：123-126.

[3]王亮,胡衛明,譚鐵牛.人運動的視覺分析綜述[J].計算機學報,2002,25(3)：225-237.

[4]Barron J,Fleet D,Beauchemin S.Performance of Optical Flow Techniques[J].International Journal of Computer Vision,1994,12(1)：42-77.

[5]Lipton A,Fujiyoshi H and Patil R.Moving Target Classification and Tracking from Real-time Video[C].In：Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[6]方帥,薛方正,徐心和.基于背景建模的動態目標檢測算法的研究與仿真[J].系統仿真學報,2005,17(1)：159-165.

[7]Cucchiara R,Grana C,Piccardi M,et al.Detecting Moving Objects,Ghosts and Shadows in Video Streams[J].IEEE Trans.on Pattern Analysis&Machine Intelligence,2003,25(10)：1337-1342.

[8]高輝,杜慶靈.視頻監控系統中動目標檢測算法研究[J].計算機與數字工程,2008,36(9)：34-37.