復雜場景下有效的遺棄物檢測方法

葉芳芳，許力

1.浙江大學電氣工程學院，杭州 310027

2江蘇大學電氣信息工程學院，江蘇鎮(zhèn)江 210023

復雜場景下有效的遺棄物檢測方法

葉芳芳1，2，許力1

1.浙江大學電氣工程學院，杭州 310027

2江蘇大學電氣信息工程學院，江蘇鎮(zhèn)江 210023

為了解決遺棄物檢測過程中的遮擋以及其他靜止目標干擾問題，提出了一種有效的遺棄物檢測方法。采用選擇性更新策略更新混合高斯背景模型，從而得到包含運動目標以及靜止目標的前景；采用雙閾值的方法提取靜止目標，并通過目標靜止后累積的證據(jù)及允許遮擋時間參數(shù)處理虛警和遮擋問題。通過對靜止目標區(qū)塊的特征提取，排除靜止行人及車輛的干擾以實現(xiàn)遺棄物的檢測。多場景下的實驗分析表明，該方法在復雜背景條件下達到了良好的檢測性能。

混合高斯模型；遮擋；靜止目標；遺棄物檢測；選擇性更新策略

1 引言

遺棄物的檢測是智能視頻監(jiān)控中的重要功能之一，在安防領域具有很強的實用價值。另外，在城市管理領域，亂倒垃圾以及占道停放物體等引起的市容違章問題也逐漸受到關(guān)注。遺棄物通常是指進入場景后由運動狀態(tài)轉(zhuǎn)變?yōu)殪o止狀態(tài)，長時間停留超過一定時間的物體。因此，基于智能視頻監(jiān)控的遺棄物檢測方法在城市市容管理領域也有一定的實用價值。

目前，對遺棄物的檢測，常用的方法有基于跟蹤的

方法[1-3]和基于背景減除[4-11]的方法，跟蹤的方法在目標被遮擋時，容易丟失目標，文獻[1-2]結(jié)合跟蹤算法和多相機模型，可解決復雜場景下目標遮擋問題，但是，多相機模型造成計算量過大，阻礙了該方法的實際應用。背景減除的方法中，基于混合高斯模型（GMM）[12]的檢測方法對復雜場景的適應性好，被廣泛應用于靜止目標的檢測。文獻[4]在混合高斯背景建模的基礎上通過觀測各高斯分布的狀態(tài)遷移來檢測進入視場后靜止的目標，當某像素點的第二個高斯分布的權(quán)值大于某個閾值時，認為該像素屬于靜止目標。Porikli[6-7]等人提出一種基于背景消除的遺留物檢測方法，通過建立兩個不同更新率的混合高斯背景模型檢測靜止目標，Li等人[8]對雙混合高斯模型加以改進，主要降低了光線變化對檢測到的靜止目標的影響，但是，該方法對不同的應用場景很難設定適當?shù)膮?shù)，另外兩個混合高斯模型的建立，加大了算法的復雜度，降低了實時性能。文獻[10-11]提出基于雙層背景的方法來進行遺留物檢測，該方法實時性好，但是對復雜的多模態(tài)背景環(huán)境適應性不如GMM。

為了實現(xiàn)動態(tài)場景中遺棄物的檢測，本文主要解決以下四個問題：（1）檢出進入場景后靜止的目標；（2）降低虛警，去除場景內(nèi)部結(jié)構(gòu)變化引起的干擾（如光線變化）；（3）處理遮擋問題；（4）排除進入場景后靜止的行人和車輛。具體做法為：在高斯背景模型更新部分，當模型匹配條件滿足時更新模型，匹配失敗時采用選擇更新策略更新背景模型，從而得到包含運動目標以及靜止目標的前景并通過雙閾值的方法提取靜止目標，提出允許遮擋時間參數(shù)，保證目標被短時遮擋時仍然被檢測。提取靜止目標區(qū)塊的縱橫比及面積特征，并通過支持向量機分類以排除靜止的行人及車輛的干擾，實現(xiàn)遺棄物的檢測。此外，本文還進行了與文獻[10]中的檢測算法的比較實驗。

2 傳統(tǒng)GMM的更新方法

Stauffer和Grim son在文獻[9]中提出的混合高斯模型（GMM），由于對背景比較復雜的情況有較強的適應性，因此，是目前比較常用的一種運動目標檢測方法。每個GMM由K個高斯分布組成，這些高斯成分線性加權(quán)和就組成了GMM的概率密度函數(shù)：

其中，K為高斯成分的個數(shù)，ωi，t，μi，t，Σi，t分別為每個高斯成分對應的權(quán)值、均值和方差參數(shù)，η(Xt，μi，t，Σi，t) 為t時刻的第i個高斯分布。

背景模型要實時更新以適應環(huán)境的變化，其具體更新策略為：

（1）如果當前像素與第i個高斯成分匹配，則更新背景模型：

其中，ρ=α/wi，t，ρ表示模型的學習率。

（2）如果當前像素與第i個高斯成分不匹配，則減小這個高斯成分的權(quán)值，均值與方差不變。

（3）如果當前像素與所有高斯成分都不匹配，以當前像素點新建一個模型，代替權(quán)值最小的即最不可能的高斯成分。

建模完成后，計算每個模型對應的wi，tσi，t，然后按照降序排列，選定滿足的前B個模型作為背景模型，其中T為權(quán)值累加閾值。

3 靜止目標檢測

GMM在一定程度上解決了亮度變化、運動干擾等條件下的背景灰度多峰分布問題，但與大多數(shù)背景模型一樣，這種算法會將靜止不變的像素更新到背景，從而無法檢測靜止目標。本文提出在模型更新時采用選擇性更新策略，以實現(xiàn)靜止目標的檢測。

3.1 選擇性更新策略

記Ft(x，y)為t時刻模型匹配失敗后得到的前景點，則

如果模型匹配失敗后對模型參數(shù)不更新，靜止目標不會被更新到背景中，令Mt(x，y)為t時刻某位置前景靜止累積的證據(jù)。

其中，參數(shù)Mmin是像素被確定為靜止目標的最短時間，ΔT為允許遮擋時間。如圖1所示，當目標靜止時，Mt(x，y)隨靜止時間不斷增加，當目標移走或被遮擋時，Mt(x，y)逐漸減小。只要靜止目標被路過目標遮擋的時間低于ΔT，則Mt(x，y)始終大于Mmin，靜止目標依然能被檢測出來。參數(shù)Mmin取較大值，可以抑制短暫靜止的目標，降低虛警率。

圖1 某像素靜止累積的時間

但是，如果對模型匹配失敗后得到的所有前景點不更新參數(shù)，GMM消除運動干擾的能力下降，為了克服這個問題，本文只對長時靜止的前景點的參數(shù)不更新，對運動前景及短時靜止的前景點以及背景點按照第1章傳統(tǒng)GMM方法更新參數(shù)。因此，本文提出的選擇性更新策略為：

3.2 基于雙閾值的靜止目標檢測

運動目標和靜止目標的區(qū)別主要表現(xiàn)在兩點：（1）對于已經(jīng)獲得的前景灰度圖像f，靜止目標的相鄰幀像素灰度值的變化非常小；（2）靜止目標在相同位置停留的時間長。基于以上兩點，本文提出雙閾值法檢測靜止目標，設置時間閾值Mmin和鄰幀差閾值Tdiff，通過式（7）可判斷當前前景點為：

4 干擾排除

在復雜的環(huán)境中，通常會檢測到多個靜止目標區(qū)塊，除了遺棄物，還有可能是長時靜止的行人或車輛，為了降低虛警率，需要進一步排除這些干擾目標的影響。同一個場景中，要區(qū)別遺棄物，行人及車輛，關(guān)鍵在于特征的提取。從視覺角度看，距離攝像頭相同位置的同一水平線上，站立行人的縱橫比最大，車輛的面積最大。因此，本文分別根據(jù)這兩個關(guān)鍵特征排除長時站立的行人及靜止的車輛。圖2為一個典型的目標區(qū)塊，點(i，j)為區(qū)塊的質(zhì)心，hei和wid為目標的高度和寬度。

圖2 典型的目標區(qū)塊

4.1 排除靜止車輛

對于同一場景中初次檢測到的靜止目標，同一視角位置，車輛的面積要大于遺棄物以及行人的面積，另外，面積的大小受目標與攝像頭之間的位置影響，對于質(zhì)心為(i，j)的目標區(qū)塊，i越大，表示其離攝像頭越近，其面積越大，反之，i越小，表示其離攝像頭越遠，其面積越小，因此本文對所有區(qū)塊以場景的中心點(hei/2,wid/2)為基準進行歸一化。

其中，Sm為歸一化后的目標區(qū)塊的面積，m=1，2，…，M為區(qū)塊的個數(shù)。wm(i，j)為歸一化權(quán)值，其大小與i成反比，用式（9）表示：

當Sm滿足Smin＜Sm＜Smax，其值作為特征向量并通過線性支持向量機對區(qū)塊內(nèi)的目標分類。

4.2 排除靜止行人

對于行人的檢測，目前較好的方法是hog描述器[13]。首先計算各個區(qū)塊的縱橫比，當其值滿足式（10）時，計算這個區(qū)塊的方向梯度直方圖，并采用L1-sqrt方式歸一化，歸一化的結(jié)果作為特征向量并通過線性支持向量機對區(qū)塊內(nèi)的目標分類。

5 實驗結(jié)果及分析

圖3 目標檢測結(jié)果對比

在M atlab7.1環(huán)境下，分別對室內(nèi)、AVSS2007數(shù)據(jù)庫[14]的監(jiān)控視頻進行目標檢測，參數(shù)設定如下：K=3，D=2.5，ρ=0.01，Tdiff=1，ΔT=100，Mmin=400。

室內(nèi)環(huán)境采用CAVIAR場景檢測數(shù)據(jù)庫[15]的一段視頻，為單人扔垃圾箱的行為，雖然是室內(nèi)，但有大面積玻璃窗，有強烈的玻璃反光以及陰影的干擾。圖3（a）為原始圖像及（d）反饋的報警標志，圖3（b）為傳統(tǒng)GMM的前景檢測結(jié)果，只能檢測運動目標，圖3（c）為本文方法的前景檢測結(jié)果，除了運動目標，靜止目標被檢出。圖3（d）為本文遺棄物檢測結(jié)果。圖3（e）為文獻[10]雙背景方法的遺棄物檢測結(jié)果，從圖中可以看出，雙背景方法對光線變化無法做出及時調(diào)整，并且初始背景幀中的靜止目標移動后仍然被檢測出來，并經(jīng)過一段時間才消除。可以看出，本文方法基本不受前景噪聲影響，而且檢測到的目標邊緣更加完整。

圖4為AVSSS2007數(shù)據(jù)庫在不同時段的同一個場景，根據(jù)目標檢測難度，圖中從左到右表示目標檢測復雜性為簡單（AB-easy）、中等（AB-m id）、復雜（AB-hard），進出干擾的行人由少到多，目標的位置由近到遠，由大到小。站臺的光線隨著地鐵的進出不規(guī)則變化，以及乘客的進出遮擋也給目標檢測提升了難度。由圖中可以看中，離攝像頭距離較遠的小目標也能被檢測。

圖4 AVSSS2007數(shù)據(jù)庫中遺棄物檢測結(jié)果

圖5給出目標被遮擋過程的檢測結(jié)果，可以看出，目標在第4 030幀未被遮擋，在第4 059幀被遮擋時以及4 098幀遮擋結(jié)束后，目標仍然被檢測出來。圖5（d）表示這三幀的檢測結(jié)果。

圖5 目標被遮擋時的檢測結(jié)果

圖6所示第一行為視頻幀序列，第二行為靜止前景檢測結(jié)果。第二列為靜止目標檢測結(jié)果，該幀檢測到遺棄的箱子、靜止站立的行人以及經(jīng)過的列車，第三列為排除行人和車輛后的遺棄物檢測結(jié)果。從圖中可以看出，非遺棄物的干擾目標在檢測出后很快被排除。

圖6 靜止的行人及車輛排除

為了對本文算法、文獻[6]以及文獻[10]中的雙背景算法進行量化比較，使用檢出率（DR）和虛警率（FAR）兩個指標對兩個實驗結(jié)果予以分析，

其中TP為檢測出來的屬于遺棄物的區(qū)域，F(xiàn)P為檢測出來的不屬于遺棄物的區(qū)域，F(xiàn)N為未被檢測出來的屬于遺棄物的區(qū)域。對比的結(jié)果見表1，可見，在簡單的場景中，三種方法的檢出率都較高，但是在復雜場景中，本文方法檢出率平均在94%左右，較為穩(wěn)定，同時虛警率較低。另外，從計算復雜度上比較，文獻[10]＜本文方法＜文獻[6]，雖然本文方法的實時性不如文獻[10]，但是檢出率遠高于文獻[10]，且虛警率較低，總體性能優(yōu)于文獻[10]。

表1 兩個實驗中三種方法的檢出率和誤檢率對比

6 結(jié)論

本文提出了一種有效的遺棄物檢測方法，通過對混合高斯模型的更新方式的改進，在保留GMM模型原有優(yōu)點的同時，還能對動態(tài)場景中的靜止目標（如遺棄物，長時滯留的行人、車輛）進行檢測，并且能很好地解決遮擋問題。另外，本文有效地排除了進入場景后靜止的行人以及車輛，降低了虛警率。實驗結(jié)果表明，本文方法能適應復雜的背景環(huán)境，達到良好的檢測效果。

[1]Hassan W，Mitra B，Chatw in C，et al.Illumination invariant method to detect and track left luggage in public areas[J]. SPIE 7696，2010.

[2]Ferryman K，Hogg J，Sochman D，et al.Robust abandoned object detection integrating wide area visual surveillance and social context[J].Pattern Recognition Letters，2013，34（7）：789-798.

[3]Auvinet E，Grossmann E，Rougier C，et al.Left luggage detection using homographies and simple heuristics[C]// IEEE International Workshop on PETS，New York，June 18，2006：51-58.

[4]Tian Y L，F(xiàn)eris R S，Liu H，et al.Robust detection of abandoned and removed objects in complex surveillance videos[J].IEEE Systems，Man，and Cybernetics，2011：565-576.

[5]Bird N，A tev S.Real time online detection of abandoned objects in public areas[C]//Proc IEEE Int Conf Robot Automation，Orlando，2006：3775-3780.

[6]Porikli F，Ivanov Y，Haga T.Robust abandoned object detection Using dual foregrounds[J].EURASIP J Adv Signal Process，2008.

[7]Porikli F.Detection of temporarily static regions by processing video at different frame rates[C]//IEEE International Conference on Advanced Video and Signal Based Surveillance，London，UK，September 2007.

[8]Li Xuli，Zhang Chao，Zhang Duo.Abandoned objects detection using double illumination invariant foreground masks[C]//Istanbul，Turkey，Pattern Recognition（ICPR），2010：436-439.

[9]Tian Yingli，Senior A，Lu Max.Robust and efficient foreground analysis in complex surveillance videos[J].Machine Vision and Applications，2012，23（5）：967-983.

[10]Li Q，Mao Y，Wang Z，et al.Robust real-time detection of abandoned and removed objects[C]//Proc of ICIG，2009：156-161.

[11]Liu Xiya，Wang Jingling，Zhang Qin.An abandoned object detection system based on dual background and motion analysis[C]//2012 International Conference on Computer Science Service System（CSSS），2012：2293-2296.

[12]Chris S，Grimson W.Adaptive background mixture models for real-time tracking[C]//Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA，June 23-25，1999.Washington D C：IEEE，1999，2：245-252.

[13]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]//Proceeding of the conference on Computer Vision and Pattern Recognition，San Diego，CA，USA，2005.

[14]PETS 2006 Benchmark Data[EB/OL].[2013-10-21].http：// www.cvg.rdg.ac.uk/PETS2006/data.htm l.

[15]CAVIAR Test Case Scenarios[EB/OL].[2013-10-21].http：// www.dai.ed.ac.uk/homes/rbf/CAVIAR/.

YE Fangfang1，2,XU Li1

1.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China
2.College of Electronic and Information Engineering,Jiangsu University,Zhenjiang,Jiangsu 210023,China

An effective abandoned objects detection method is proposed for the purpose to solve occlusion and other static targets interference in the detection of abandoned objects.Gaussian Mixture Model（GMM）is updated by selectively update strategy,thus the foreground including the moving targets and the stationary targets are detected.A dual-threshold method is used to obtain static objects,then aggregate evidence and an allow ed occlusion time parameter are introduced with the purpose to reduce the false alarms and handle occlusions necessarily occurred.The interference of the pedestrians and vehicles are excluded by extracting the feature of stationary target blocks,and thus the abandoned objects are detected.The experimental results under different conditions demonstrate that the proposed method achieves a better performance under complex background condition.

Gaussian Mixture Model;occlusion;static object;abandoned objects detection;selectively update strategy

A

TP391

10.3778/j.issn.1002-8331.1312-0248

YE Fangfang,XU Li.Effective abandoned object detection method in complex scene.Computer Engineering and Applications,2014,50（16）：12-15.

國家自然科學基金（No.61004032）；江蘇省自然科學基金（No.BK 201240801）。

葉芳芳（1980—），女，講師，在讀博士生，從事智能控制、模式識別的研究；許力，男，教授，博導，從事智能控制，智能機器人，工業(yè)自動化等方面的研究。E-mail：cliney@zju.edu.cn

2013-12-17

2014-02-24

1002-8331（2014）16-0012-04

CNKI網(wǎng)絡優(yōu)先出版：2014-03-03,http://www.cnki.net/kcms/doi/10.3778/j.issn.1002-8331.1312-0248.htm l