視頻監(jiān)控中運動目標檢測和陰影消除

張起貴，杜永峰，張光偉

（太原理工大學 信息工程學院，山西 太原 030024）

在視頻監(jiān)控技術(shù)中，運動目標的有效檢測和提取已成為關(guān)鍵技術(shù)，并且是進行目標跟蹤和識別等后續(xù)處理工作的基礎(chǔ)[1]。

常用的方法有:幀間差分法、背景差分法、光流法。幀間差分法是基于時間序列上圖像的差分來檢測運動目標，對光照等外界干擾不敏感，但一般難以獲取運動目標的完整輪廓[2]，對于非整體運動的對象，如非剛體，僅用3幀信息不能對其少量運動的部分進行有效地分割[3]，本文采用五幀差分法，以獲得較好的效果；背景差分法將前景目標從背景中分離出來，從而獲得運動目標的位置、大小、形狀等比較完整的信息，但該方法對外界環(huán)境變化，如光照、外來事件等較為敏感[4]。

由于視頻監(jiān)控環(huán)境的復(fù)雜性，獲取的圖像序列難免受到噪聲以及其他外來因素影響，直接使用圖像差分難以有效提取運動目標。如果在計算圖像梯度信息后，利用圖像梯度不受亮度、噪聲影響等特點來提取運動目標，可大大減少這方面的影響。該方法將五幀差分法和背景差法相結(jié)合取得了較好效果。

1 基于梯度圖像五幀差分和背景差分的運動目標檢測

1.1 基本思路

如圖1所示，該算法的特點是基于梯度圖像信息，將五幀差分法與背景差分法相結(jié)合。預(yù)先選取第2幀作為背景差分法中的背景幀，將第3幀與第2幀差分，得到運動目標在第3幀的二值化圖像。然后對輸入的5幀圖像求梯度，再將對應(yīng)求過梯度的圖像幀進行差分，得到運動目標在中間幀（第3幀）的二值化圖像。接著將2種方法獲得的二值化結(jié)果相或，改善輪廓中的斷裂和空洞。最后，進行數(shù)學形態(tài)學濾波消除噪聲點。

1.2 背景差分法

對當前幀之前采集到的圖像幀進行處理，取得背景圖像。背景需要適時刷新，刷新速度過慢會降低反應(yīng)的靈敏度；刷新速度過快則增加不必要的運算量，根據(jù)刷新率α來控制背景刷新的快慢。 用 ft（x，y）表示當前采集的圖像上點（x，y）的灰度值，mt（x，y）表示背景圖像上（x，y）的灰度值，t為采集到的圖像幀序列號。

圖1算法基本流程Fig.1 Basis flow chart for algorithm

將背景模型的更新與后面的分割結(jié)果相結(jié)合，這實際上是用運動目標跟蹤的結(jié)果來指導(dǎo)更新。經(jīng)過這種改進可以在保護背景模型不受運動目標影響的同時迅速響應(yīng)背景的變化[5]。先以第1幀當作背景，等得到第3幀目標圖像分割結(jié)果的時候，再開始與5幀梯度差分法第3幀的目標分割結(jié)果相或，以后的圖像序列依次進行對應(yīng)幀的或操作。

1.3 梯度圖像的生成

采用背景差分法提取運動目標的關(guān)鍵在于準確地定位目標和噪聲之間的差別，從而準確提取分割閾值。不同環(huán)境條件下，視頻序列的圖像信/噪比（噪聲污染情況）不同，對其幀差圖像使用的分割閾值也應(yīng)不同，基于固定閾值的視頻圖像分割方法不具備自適應(yīng)性。由于監(jiān)控系統(tǒng)所處環(huán)境的復(fù)雜性，受圖像采集中必然引入的量化噪聲以及可能的攝像頭光圈自動調(diào)節(jié)等因素的影響，直接使用差分圖像難以有效地提取出運動目標。如果在提取圖像的梯度信息之后，利用圖像的梯度不受亮度、量化噪聲影響的特點來提取運動目標，則可大大減少這方面的影響[6]。

利用邊緣檢測性能較好、計算復(fù)雜度較低的Sobel算子[7]提取梯度圖像:

fE（x，y，t）是像素點（x，y）在 t時刻的近似梯度幅值；Hx、Hy分別是水平、垂直方向上的 Sobel算子。 f（x，y，t）為灰度圖像；對于彩色圖像 f（x，y）G、f（x，y）B、f（x，y）R分別代表（x，y）點的RGB顏色分量，可先按式（3）將其轉(zhuǎn)換為灰度圖像。

1.4 梯度圖像的五幀差法算法描述

1）序列圖像處理是確定有無運動物體，解決低信噪比條件下小運動目標檢測等問題的較好方法。通過采集設(shè)備實時從外界環(huán)境獲取運動彩色圖像，其顏色種類較多，不利于圖像處理，因此要把彩色圖轉(zhuǎn)換為灰度圖，其灰度值和RGB顏色對應(yīng)關(guān)系如下:gray=0.299R+0.587G+0.114B。根據(jù)對應(yīng)關(guān)系求出每一幀灰度圖像的梯度。

2）假設(shè)在時間（1，2，3，…，m）內(nèi)， 成像傳感器獲取的 m幀梯度圖像表示為:{f1，f2，f3，…，fm}。 取連續(xù) 5 幀原始梯度圖像f1，f2，f3，f4，f5。 取中間幀 f3，對 f1，f3，f5與 f2，f3，f4分別計算幀間不同位移量的中間幀 f3的運動對象邊緣，即將 f1，f3，f5和 f2，f3，f4分別進行三幀差分運算，對得到的二值圖像進行或操作，得到5幀的中間幀的運動信息。

3）對得到的二值圖像結(jié)果進行后期處理，去除從背景中分割出的孤立噪聲。填充目標區(qū)域的孤立背景空缺，得到原始圖像f3的運動目標分割圖像。

4）對{f1，f2，f3，… ，fm}表示的下一個連續(xù)5幀 f2，f3，f4，f5，f6序列圖像重復(fù)步驟 2），3），可以得到{f1，f2，f3，…，fm}式中除第 1幀和第2幀外，其余m-2幀圖像的運動目標分割像。

從圖2可以看到，目標檢測方法在外界環(huán)境條件不復(fù)雜的情況下，可以正確地檢測出運動目標，并且比單一采用背景差分法或單一采用三幀差分法的效果好。但是這種方法也有不足之處，在復(fù)雜場景中很難檢測出的運動目標的陰影，所以后續(xù)需要進行陰影消除。

圖2幾種常用算法實驗效果的比較Fig.2 Experimental results and comparison of common algorithms

2 陰影消除和去噪

2.1 陰影消除

視頻監(jiān)控中檢測運動目標的時候，經(jīng)常會把目標產(chǎn)生的陰影也包括在前景當中，導(dǎo)致檢測質(zhì)量的降低，如一個運動目標的陰影會和相鄰的目標連接在一起，造成正確分割運動目標個數(shù)的困難。對以后的目標區(qū)分、跟蹤、識別、分類等都造成影響，使后續(xù)步驟變得困難，正確率也會下降很大，所以必須消除陰影。但是陰影的消除有很大的困難，一是因為陰影跟背景區(qū)別很大而被理解為前景，二是陰影依附著運動目標，它們有相同的運動屬性。

目前，陰影消除的方法很多，在RGB顏色空間中，可以用矢量來表征像素點，并以當前圖像中的像素點矢量與對應(yīng)的背景點矢量相減得到能表征亮度和色彩的彩色模型，然后建立背景模型；在HSV顏色空間中，利用色度、飽和度和亮度3要素建立背景模型，對陰影進行檢測和識別．

在HSV顏色空間中，各分量的定義如下：H參數(shù)表示色調(diào)（Hue），即顏色本色，該參數(shù)用角度量表示，從 0°到 360°。（“色調(diào)”也叫作“色彩”，RGB 顏色是“原色”。 ）；S 參數(shù)表示飽和度（Saturation），它表示所選顏色的純度和該顏色最大純度之間的比率；V參數(shù)表示色彩的明亮程度（Value）。

陰影有個特性，當運動目標和陰影同時出現(xiàn)的時候，陰

其中，mt（x，y）為運動區(qū)域的檢測結(jié)果，陰影點為 1，非陰影點為 0；BHt（x，y）和 BSt（x，y）為 t時刻背景點（x，y）的色調(diào)分類和飽和度分量； IHt（x，y）和 ISt（x，y）代表 t時刻前景點（x，y）的色調(diào)分類和飽和度分量。

圖3為一個路口監(jiān)控場景中，對汽車陰影的消除，對低亮度汽車和高亮度汽車的陰影消除的都達到了預(yù)期效果。影和運動目標的灰度相對于背景灰度的改變可能差不多，但是色度上陰影幾乎相對背景沒有改變。算法應(yīng)用在HSV空間更加符合人的主觀認識。所以，可以利用色度信息去除陰影。并且陰影的去除是在區(qū)別出運動目標后進行的，只需處理有運動目標的地方，所以運算量很低。采用下面的算法檢測運動區(qū)域里的陰影：

圖3陰影消除Fig．3 Shadow elimination

2.2 運動目標的分割

在運動目標識別之后，需要進行分割。采用經(jīng)驗值作為結(jié)構(gòu)元素參數(shù)對運動塊進行膨脹，如圖4所示，圖中有6個運動塊，在水平方向和豎直方向上將每個運動塊進行膨脹，膨脹參數(shù)是由經(jīng)驗決定的一個距離H，當豎直方向上若2個運動目標塊之間距離 ，如目標塊d＜H，如目標塊a，b，則認為它們屬于同一運動目標塊，將其連通起來。而目標塊c，d之間的距離d＞H，則認為它們不是同一運動目標塊。

圖4運動目標的分割Fig．4 Segmentation of moving object

2.3 噪聲處理

在消除陰影并進行分割后，可以看到運動目標一般都是大塊的區(qū)域，而噪聲基本都是分散在圖像中的零散小塊，由于噪聲的無規(guī)律性，運用一般方法去噪效果不是很理想。但是噪聲一般呈高斯分布，噪聲能量絕大部分分布在以均值為中心的3倍方差范圍內(nèi)，而運動區(qū)域的分布比較分散，能量不集中，但面積有限，對噪聲分布的影響很微弱。整個幀差的分布依然呈高斯分布。

根據(jù)噪聲信號分析結(jié)果，在存在運動目標的區(qū)域，由于物體運動的干擾，使該區(qū)域的灰度值的變化幅度加大，所以幀差對應(yīng)區(qū)域的灰度值的方差增大，無運動區(qū)域只有噪聲，它的方差比運動區(qū)域的方差要小的多，圖像的總體方差會落在二者之間。如果det Total表示圖像總體方差，det Noise表示噪聲區(qū)域方差，det Motion表示運動區(qū)域方差，則有

一般的噪聲區(qū)域與運動區(qū)域有著明顯的差別，det Noise＜＜det Motion，所以可以采用單一閾值來劃分噪聲區(qū)域和運動區(qū)域。

由圖5可見，在光線變化比較大的情況下，特別容易產(chǎn)生噪聲，經(jīng)過噪聲消除，可以區(qū)分出運動區(qū)域。

3 結(jié) 論

利用上述算法，針對實際視頻序列進行了多場景實驗。在識別出運動目標后，能達到有效消除目標陰影并去除噪聲的效果。在1 GB內(nèi)存的P4計算機上處理速度為25 ms/幀，能達到實時要求。把基于梯度的五幀差分法與背景差分法進行有效的結(jié)合，處理效果比任何一種方法單獨使用時都好，在復(fù)雜的場景下也可以得到較為準確的檢測結(jié)果。并且本文的陰影消除算法不但能消除各個方向的陰影，還能有效地修正運動目標的檢測結(jié)果。這樣也降低了后續(xù)陰影消除和噪聲去除的復(fù)雜性。但是也存在不足之處，在對較小的運動目標消除陰影時會損失一些運動目標的信息，所以需要在實踐中采用其他輔助方法進行改進。

圖5噪聲處理Fig.5 De-noising

[1]Bors A G，Pitas I.Prediction and tracking of moving objects in image sequences [J].IEEE Trans.on Image Pro-cessing，2000，9（8）:1441-1445.

[2]Lipton A，F(xiàn)ujiyoshi H，Patil R.Moving target classification and tracking from real-time video[C]//IEEE Press.IEEE Workshop on Applications of Computer Vision.1998:8-14.

[3]楊莉，張弘，李玉山．視頻運動對象的自動分割[J]．計算機輔助設(shè)計與圖形學學報，2004，16（3）：301-306.YAND Li， ZHANG Hong， LI Yu-shan.Automatic segmentation for moving objects in video sequences[J]．Journal of Computeraided Design&Computer Graphics， 2004，16（3）：301-306.

[4]Libor Masek.Recognition of human iris patterns for biometric identification[EB/OL].（2003）[2009].http:∥www.csse.uwa.edu.au/pk/studentprojects/libor/.

[5]童念念，段曉輝，王道憲，等.車輛自動監(jiān)控系統(tǒng)的捕捉算法研究[C]∥中國科學院自動化研究所.第一屆全國智能視覺監(jiān)控學術(shù)會議論文集，2002：121-124.

[6]呂國亮，趙曙光，趙俊.基于三幀差分和連通性檢驗的圖像運動目標檢測新方法[J].液晶與顯示，2007（2）:87-92.LV Guo-liang， ZHAO Shu-guang ，ZHAO Jun.Novel method of moving object detection based on three frame differencing and connectivity checking [J].Chinese Journal of Liquid Crystals and Displays，2007（2）:87-92.

[7]徐梅宜.虹膜圖像處理技術(shù)研究[D].重慶:重慶大學，2004.

[8]汪德洋.智能視頻監(jiān)控關(guān)鍵技術(shù)研究[D].西安：西安電子科技大學，2005.