基于行為減法的視頻異常檢測研究

袁麗雁

（南京郵電大學 自動化學院 江蘇南京）

0 引言

當今社會，視頻攝像網絡無處不在。攝像視頻能提供良好的時空分辨率、長捕捉范圍、寬視場、低延遲。因此，大規模的攝像網絡可以提供普遍、寬領域的檢測。目前，面對海量的視頻監控數據，智能地處理視頻序列是非常必要的。例如在視頻監控、安全防護領域，銀行、商店、停車場等處廣泛應用的攝像機，通常只是在異常情況發生后，通過視頻回放查找可疑人員，無法實時報警。若能對視頻中人體行為自動進行識別，則可以在事件發生時就給出提示，避免損失產生。

如圖1所示[1]，傳統的異常檢測研究的算法，需要先進行目標提取、目標跟蹤等，然后在檢測階段，通過行為建模和異常檢測，那些不符合已建模型的事件即被認為是異常的。該類方法的不足之處是當背景環境條件很復雜時，目標提取和跟蹤變得異常困難，且要對每個物體進行跟蹤，相應的計算機內存量也大。因此，本文的方法就先進行行為建模和異常檢測，在后續處理階段，需要的話，再進行目標識別和跟蹤等。這樣一來，不但減少了所需要的計算機內存量，對目標的識別和跟蹤的準確性也增大了。

圖1 異常檢測傳統方法與改進方法比較

所列，一些方法采用了該種新的思路形式[2-3]。 但是這些方法都將每個像素點作為獨立的單位進行處理，忽視了各像素點之間的時空相關性。而這些時空相關性在消除檢測誤差、提高檢測精確度方面有著相當重要的作用。本文提出的方法，就很好地利用了視頻幀中各像素點的時空相關性。取定每個像素點的時空共生矩陣，經選取的函數計算該矩陣中像素的共生值。通過與初始化階段獲取的每一個像素點的閾值進行比較，判斷該點是否為異常。雖然該方法思路簡單，但是其實驗性能表現良好。

1 動態檢測

我們采用的動態檢測的方法是建立在灰度值視頻幀序列基礎上的，當為彩色視頻時，在程序中首先將它轉換為黑白圖像。令為視頻序列當中的一幀，每一幀的大小為k代表離散時間，。對于異常檢測，需要進行的第一步便是視頻動態特征提取。許多方法可以用來提取視頻動態特征[4-5]，本文中采取的方法是簡單的背景減除法。該方法當背景變換不頻繁，前景不復雜時效果良好。當然，也可以采用文獻[4-5]中的動態特征提取的方法，但是這些方法都增加了計算復雜度。

背景減除法將視頻中的當前圖像與背景圖像相減。背景圖像的獲取方式有許多種，我們采用直方圖統計方法直接從檢測視頻中提取背景圖片。圖2(b)所示，就是高速公路監視視頻上運用直方圖統計方法獲得的背景圖片。

圖2 基于直方圖統計法提取的背景

當然，為消除不同時間段光線強度對背景的影響，可以采取以下方法簡單地進行背景更新：

通常，ρ的取值范圍在 0.001～0.01 之間。

經過二值化操作后，動態特征提取結果是對應每一幀，產生了動態標簽，1代表該像素點是前景，0代表該像素點是背景,如圖2(c)所示。相較于靜態事件，異常事件的發生往往是動態的，因此，我們往往忽略靜態像素點，而更加關注于動態像素點，后續的動態監測正是建立在該動態標簽基礎上的。

2 異常檢測

異常檢測方法先用訓練視頻建立正常事件模型[6]，訓練視頻被認為不包含異常事件，然后在檢測階段建立檢測視頻的事件模型，計算這些模型與正常事件模型的偏差值，當偏差值的絕對值大于閾值時，即認為該事件是異常的。正常事件建模時所采用的特征值，既可以有物體位置、速度等獨立特征，又可以有與其他物體的相對位置、與背景環境的相互關系等。基于這種分類方法，視頻異常事件的檢測方法就可以分為3個等級了[7]：點異常檢測，序列異常檢測，共生異常檢測。我們提出的方法就是建在第3種分類方法上的。

2.1 共生模型

設想如下情景：在高速公路上有一輛汽車在行駛，當汽車在地點A出現之后，過了一段時間，該汽車也一定會在B地點出現。這時，可以說，A、B兩處發生的事件是相關的，只是經過了一段時間的延遲。通過觀察現實世界，不難發現，物理世界中發生的事件在一定程度上都是彼此相關的[8]，這就啟發我們在進行視頻異常事件檢測時提供了一個很好的設計思路。

如圖3所示，我們規定時刻t的幀中像素點的時空關系模型是以s＝ (→,t)為矩形底面中心點的Ms，該模型中Q＜Q0，R＜R0，T＜＜T0，T0代表的是視頻長度。假設有個像素點，τ(t-T,t)，要是r和s兩者都是活躍的，即運動標簽Xs=1并且Xr=1，我們就說這兩個像素點是共生的。這樣一來，對于Ms中的每一個像素點r≠s，都可以判定該像素點與s是不是共生的。

圖3 三維像素點時空模型

2.2 事件模型

共生模型是基于兩個像素點的，我們的事件模型就是建立在該共生模型上的。事件模型：我們感興趣的是為每個像素點建立正常事件概率模型PN(Os) ：

N代表Ms中像素點的個數，這樣就能保證我們的事件概率PN(Os)取值范圍在[0, 1]之間。參數αrs代表系數，可以簡單地令它為常數，也可以是s點和r點之間的歐式距離，或是其他形式。采用何種方式對于我們的事件模型來說并無不同，只是提高了事件異常檢測的性能。δ(Xr,Xs)當且僅當Xs=1，Xr=1。分析該模型，可以得出當Xs=0，PN(Os)，這樣就簡化了我們建立的事件模型，當視頻幀中存在大量靜態像素點時，可以大大加快運算速度。

2.3 閾值比較

我們的閾值建立在正常事件概率模型基礎上，每個像素點的閾值并不是常量，而是可以根據具體的檢測環境的不同而自動改變。簡單的說，就是在系統訓練階段，利用被認為是不包含任何異常事件的訓練視頻，計算各像素點閾值：

T1是訓練視頻長度。

確認了閾值之后，在檢測階段，若：

則我們認為該點異常，動態標簽保持不變，否則令動態標簽Xs=0。

3 實驗結果

在實驗仿真環節，選定T為10個視頻幀長度，R,Q為30個像素點。采用Forward-backward MHI[9]方法，對檢測到的異常物體進行簡單定位與確認。介于檢測視頻只包含車輛，預先可以知道車輛大小的平均體積，所以當異常團塊體積大小不足平均體積一半時，則認為該異常不成立。實驗結果如圖3所示。

圖3 異常檢測和結果確認

比較圖3(b)和圖3(c)可以發現。對應于3(c)中右上角處異常檢測階段產生的噪聲，通過物體定位，應用簡單的原理，即可以進行很好的確認，排除干擾。

4 結論

提出了一種直接在像素點級別上進行視頻異常檢測的無監督機器學習方法。與傳統的視頻異常檢測方法相比，該方法不需要先對目標進行標簽、識別、歸類和跟蹤，因此，需要的計算量和內存消耗較少，實時性良好。該算法充分考慮到了物理世界中事件發生的時空相關性，不是針對某一種場景，而是可以根據訓練階段的不同視頻，應用到不同的環境和異常事件檢測當中。

在以后的研究工作中，我們可以在物體定位的基礎上，只對有異常行為的物體進行跟蹤分析。現階段，采用的視頻是單攝像頭視頻，下一階段，對多攝像頭視頻的研究也是一個重點方向。

參考文獻

[1]Venkatesh Saligrama,Janusz Konrad,Pierre-Marc Jodoin.Video Anomaly Identification-A statistical approach[J].IEEE Signal Processing magzine, SEP.2010.

[2]A. Adam, E. Rivlin, I. Shimshoni,D. Reinitz.Robust realtimeunusual event detection using multiple fixed-location monitors[J].IEEE PAMI,2008,30(3):555-560.

[3]P.-M. Jodoin, J.Konrad,V. Saligrama.Modeling backgroundactivity for behavior subtraction[J].In proc. of IEEE ICDSC, 2008.

[4]J.McHugh,J.Konrad,V.Saligrama,P.-M.Jodoin.Foreground-adaptivebackground subtraction[J]. IEEE Signal Process.Lett.,2009,16(5):390-393.

[5]A.Elgammal,R.Duraiswami,D.Harwood,L.Davis.Background and foreground modeling using nonparametric kernel density for visual surveillance[J].Proc IEEE, 2002,90(7):1151-1163.

[6]Christoffer Brax,Lars Niklasson,Martin Smedberg.Finding behavioural anomalies in public areas using video surveillance data[R].Information Fusion,2008 11th International Conference on June 30 2008-July 3 2008:1-8.

[7]Fan Jiang, Junsong Yuan, Sotirios A. Tsaftaris,Aggelos K. Katsaggelos. Anomaly video event detection using spatiotemporal context[J].Computer Vision and Image Understanding115 (2011) :323-333.

[8]Y.Benezeth,P.-M.Jodoin,V.Saligrama,and C.Rosenberger.Abnormal events detection based on spatio-temporal co-occurrences[J].in Proc.IEEE Conf.Computer Vision Pattern Recognition,2009:2458-2465.

[9]Zhanzheng Yin,Robert Collins.Moving Object Localization in Thermal Imagery by Forwardbackward MHI[J].in Computer Vision and Pattern Recognition Workshop, 17-22 June 2006:133-133.

E-mail:yuanliyan123@163.com