基于圖像融合的運動前景檢測方法

摘 要： 提出了一種有效的運動前景檢測方法。該方法根據圖像融合思想，將背景幀與監控視頻的當前幀在R，G和B顏色通道分別進行融合，形成包含背景幀和當前幀視覺信息的單一融合圖像。之后根據背景區域與前景運動目標在飽和度上存在較大差異的現象，使用大津算法分割融合圖像的飽和度分量圖，形成運動前景二值圖。經形態學處理后，形成了目標區域較完整、背景干凈的運動前景檢測圖。實驗結果顯示，該算法具有較好的前景檢測性能，解決了背景減法過分依賴背景幀的缺陷。

關鍵詞： 前景檢測； 圖像融合； 背景減法； 智能交通

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2013）24?0067?03

Method for moving foreground detection based on image fusion

ZHANG Yu?hui， SHEN Yang

（Suqian College， Suqian 223800， China）

Abstract： An efficient moving foreground detection method presents in this paper. The background frame and current frame in monitoring vedio are fuzed in the R， G， and B color channels according to the image fusion idea to form a single frame including visual information of the background frame and current frame. The Otsu segmentation algorithm is used to get a moving foreground binary image by segmenting the saturation component of the fused image to eliminate the phenomenon that the background region and foreground moving target have a big difference on the saturation. The moving foreground detection diagram with a more complete target area and more clean background can be formed by morphological processing. The experimental results show that the algorithm has better foreground detection performance and can eliminate the defect caused by background subtraction algorithm which relies on background frame too much.

Keywords： foreground detection； image fusion； background subtraction； intelligent transportation

0 引 言

視頻監控是智能交通ITS（Intelligent Transportation System）中的一項重要應用，一般將攝像機固定安放在道路上方，獲取遠距離交通視頻。其中，車輛檢測與跟蹤需要在視頻序列中實時提取車輛目標，再進行跟蹤處理。運動目標投射到背景上的陰影通常與目標具有相似的運動特性，陰影可以分為自身陰影和投射陰影[1]。在運動目標檢測中，自身陰影屬于目標的一部分，它是由于物體自身沒有被光源照射到而產生的，投射陰影是由于目標遮擋住光源從而在另一目標表面產生的陰影[2]。本文將運動目標投射陰影與運動目標的整體作為運動前景。

前景檢測的常用方法有，幀間差分法、光流法、以及背景減法等。幀間差分法對光線和場景變化不敏感，但是不能完整地分割目標區域，分離出的運動目標容易出現空洞和沿著運動方向拉伸的現象，而且處理時間較長。光流法的優點是在不需要預先知道場景信息的情況下，能夠檢測出獨立運動對象，但其對光線和噪聲敏感，且計算復雜難以滿足實時處理的要求。背景減法檢測的結果直接依賴于背景模型提取的準確與否。針對以上不足，本文提出一種結合圖像融合技術的運動前景檢測方法，該方法對光線和噪聲不敏感，且處理時間短，具有較好的檢測效果。

1 背景建模

背景圖像是沒有車輛運行的道路圖像。目前國內外的研究文獻提出多種背景模型的構建方法，主要有多幀圖像平均法、統計直方圖法、統計中值法和連續幀差法等，文獻[3]介紹了幾種常用背景提取方法，其中連續幀差法是一類有效的方法。Surendra等人提出一種以幀差分為基礎，在固定場景下自動提取背景的連續幀差法[4]。通過相鄰兩幀的差值確定運動前景區域，對前景區域保持不變，非運動區域則用當前幀進行更新，經過反復迭代形成背景。其具體步驟如下：

（1）把第一幀圖像I0作為原始背景BI0：

（2）令迭代參數i值為1；

（3）求當前幀與前一幀幀差分的二值圖像BWi；

[BWi=1，ifIi-Ii-1T0，ifIi-Ii-1

式中：Ii，Ii?1分別為當前幀與前一幀圖像；T為閾值，定義為幀差分圖像灰度直方圖中最大峰值右邊0.1最大峰值處對應的灰度值；

（4）由二值圖像BWi更新背景BIi：[BIi（x，y）=BIi-1（x，y），ifBWi（x，y）=1aIi（x，y）+（1-a）BIi-1（x，y），ifBWi（x，y）=0] （2）

式中，BIi（x，y），BWi（x，y）分別是i時刻背景圖像和二值圖像在坐標（x，y）處的灰度值，背景更新系數a影響背景更新的速度，一般取值為0～1；

（5）i=i+1，返回至步驟（3）進行迭代，當迭代一定步數，便可結束迭代，BIi即為提取的背景圖像。

Surendra 算法能較快地適應背景圖像的實時變化，特別是對光照的變化適應能力很強，并且該算法不需要初始化背景，可以通過對前景圖像的反復迭代，較快地提取背景圖像[5]。圖1是分別對highwayⅠ與highwayⅡ迭代30次，提取的背景圖像，由圖可以看出該算法能夠經過較少次迭代形成較好的背景，滿足后繼處理的要求。

圖1 背景圖像

2 基于圖像融合技術的前景檢測

圖像融合的方式從低級到高級可以分成3種類別，像素級融合、特征級融合和決策級融合。其中像素級融合是指在低層數據層對兩幅或多幅圖像進行圖像處理，綜合成高質量的單一融合圖像，以提高圖像信息的利用率，它具有可以保留盡可能多的原始圖像信息的優點。本文創新性地將視頻流中的圖像幀與背景幀融合，并從融合后的圖像中提取運動前景。一般由攝像機采集的視頻采用的是RGB顏色空間模型，其幀圖像由R（紅色）、G（綠色）和B（藍色）3個通道的圖像組成彩色圖像。為了提取運動前景圖像，算法將當前幀Ii與背景圖像BI按式（3）在3個顏色通道上進行融合：

[F=（FR，FG，FB）] （3）

式中：F是融合圖像；FR，FG和FB分別是融合圖像在R、G和B通道的分量，具體取值為：

[FR=Ii， FG=BI， FB=BI] （4）

融合后的圖像在各個像素上同時包含了背景信息與當前幀信息。圖2（a）為highway Ⅰ第2幀圖像，圖2（b）是在3個顏色通道融合當前幀與背景后的圖像。從圖像可以看出運動前景區域與背景區域在RGB空間中不易分割，這是由于在 RGB彩色空間中，人對顏色的感知差別和計算差別的一致性很差。研究表明HSV彩色空間模型更加符合人眼的視覺感知一致性，其中，H色調由可見光的波長決定；S飽和度與一定色調的純度有關，純光譜色完全飽和，隨著白光的加入，飽和度逐漸降低；V為亮度，反映光的能量。HSV可從圖像攜帶的顏色信息中消減強度分量的影響。因而，為了有效地從背景區域中分離運動前景，本文將融合圖像從RGB轉換到HSV彩色空間。

圖2 highwayⅠ第2幀及相關處理圖像

實際自然場景由水泥或瀝青材料、塵土等構成的路面和由草類、樹叢等構成的非路面組成，具有較低的飽和度[6]，而運動前景區域具有較高的飽和度，因而可以在S分量上實現運動前景與背景的分離。式（5）是S與R，G，B分量之間的運算關系：

[S=max（R，G，B）-min（R，G，B）max（R，G，B）] （5）

圖2（c）是融合圖像的S分量，圖中，前景區域的飽和度較高，背景區域的飽和度很低。這為前景與背景的分離提供了條件。

為了將目標從背景區域分割，本文采用大津算法自適應確定分割閾值，算法原理是：按圖像的灰度特性，將圖像分成背景和前景兩部分。背景和前景之間的類間方差越大，說明構成圖像的兩部分的差別越大，當部分前景錯分為背景或部分背景錯分為前景，都會導致兩部分差別變小。因此，使類間方差最大的分割意味著錯分概率最小，這樣能有效的進行前景和背景的分割。

圖2（d）是使用大津算法進行二值分割的結果示例圖，其中，白色部分是檢測到的前景區域，黑色部分是背景區域。圖中前景區域雖然存在一些空洞，但背景區域噪聲很少。針對二值化后目標區域產生的空洞以及背景區域存在孤立噪聲的現象，本文結合形態學進行處理。首先采用較小的結構元素對圖像進行開運算，以此消除孤立噪聲，之后再用較大尺寸的結構元素進行閉合操作，填補目標空洞，結果如圖2（e）所示，從示例結果可以看出目標前景中一些小的空洞被填充了，目標區域比較完整。在此基礎上獲取了前景圖2（f），原始圖像中的路面等背景區域被有效分割，剩下由目標車輛和其投射陰影組成的運動前景。

總結以上運動前景檢測的步驟如下：

（1）在R，G和B顏色通道融合背景和當前幀，形成融合圖像；

（2）將融合圖像從RGB彩色空間轉換到HSV空間；

（3）提取HSV空間融合圖像的飽和度S分量；

（4）對S分量進行大津分割，形成二值圖像；

（5）形態學處理運動前景區域的空洞與背景孤立的噪聲，獲取運動前景圖。

3 實驗結果與分析

為了檢驗本文所提算法的有效性，對highwayⅠ與highwayⅡ兩個交通視頻進行了測試。這兩個視頻是由Modena and Reggio Emilia大學圖像處理實驗室提供的，廣泛用于智能交通領域的視頻資料，其分辨率為320×240，幀率15，其中highwayⅠ 440幀，highwayⅡ 500幀。

實驗對比了背景減法[7]與本文所提算法的運動前景檢測效果，如圖3所示。背景減法是一種經典的用于提取運動前景區域的算法，其基本思想是將當前幀與背景相減，若像素差值大于閾值，則判定此像素出現在運動前景上，否則判定為背景像素。為公平起見，兩種算法獲取的運動前景圖均未進行形態學后處理。其中第一行是highwayⅠ 第142幀圖像，及兩種算法提取的運動前景二值圖像，第二行是highwayⅡ第16幀圖像及兩種算法的結果圖。圖中第一列是原始圖像，第二列是采用背景減法獲得的運動二值圖，第三列是由本文算法提取的前景二值圖。對比分析可以看出，兩種算法在前景目標區域都存在空洞現象。但本文算法相比于背景減法，在背景區域存在較大優勢。背景減法的背景區域存在較多噪聲干擾，究其原因應是背景減法過分依賴背景幀，一旦當前幀背景出現細微變化，都會出現較大誤差。顯然，本文所提算法優于背景減法。

圖3 兩種算法比較

4 結 語

運動前景檢測是視頻監控的重要部分，受圖像融合技術的啟發，本文將提取的背景幀和視頻流中的當前幀，在不同的顏色通道進行融合，形成單一融合圖像。該圖像同時包含了背景幀和當前幀的視覺信息。轉換到HSV空間之后，通過分析處理融合圖像的S分量，實現了運動前景與背景區域的分離。在與背景減法的對比實驗顯示，本文所提算法具有較好的前景提取效果。

參考文獻

[1] RAO B， ZHENG G， CHEN T M， et al. An ef?cient hierarchical method for image shadow detection [C]// 2nd International Workshop on Knowledge Discovery and Data Mining. Piscataway， NJ， USA： IEEE， 2009： 622?627.

[2] 彭祺，仲思東，屠禮芬，等.基于空間位置特征的運動陰影檢測方法[J].機器人，2012（5）：614?619.

[3] 郭永濤，宋煥生，賀昱曜.視頻交通監控系統中背景提取算法[J].電視技術，2006（5）：91?93.

[4] GUPTE S， MASOUD O， MARTIN R， et al. Detection and classification of vehicles [J]. IEEE Transactions on Intelligent Transportation Systems， 2002（3）： 37?47.

[5] 王正勤，劉富強.自適應背景提取算法的比較[J].計算機工程，2008（23）：220?223.

[6] 管業鵬，顧偉康. 二維場景陰影區域的自動魯棒分割[J].電子學報， 2006（4）：624?627.

[7] HARITAOGLU I， HARWOOD D， DAVIS L. Real time surveillance of people and their acticities [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（8）： 809?830.