基于光流的ATM機異常行為實時檢測①

周 智,張偉峰,趙 斌,黃 露,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230022)

基于光流的ATM機異常行為實時檢測①

周 智,張偉峰,趙 斌,黃 露,朱 明

(中國科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230022)

異常行為檢測在自助銀行智能監(jiān)控系統(tǒng)領(lǐng)域中有廣泛的應(yīng)用前景.本文針對此應(yīng)用領(lǐng)域,提出了基于區(qū)域光流特征的異常行為檢測方法.首先利用混合高斯模型來表示背景像素的變化并自適應(yīng)更新背景模型,用背景差法從視頻序列中提取運動前景;采用lucas-kanade光流法計算出運動區(qū)域內(nèi)的光流信息.采用基于幅值的加權(quán)方向直方圖描述行為,計算區(qū)域內(nèi)直方圖的運動熵發(fā)現(xiàn)候選異常區(qū)域,再利用支持向量機進行分類.從實驗結(jié)果可以看出,能夠較好的識別出異常事件,并且實時性較好,能夠滿足實際應(yīng)用需求.

異常行為檢測;動作識別;背景建模;區(qū)域光流特征;支持向量機

隨著ATM機日益廣泛的使用,其使用安全性也受到了廣泛的關(guān)注,近些年,有許多ATM機搶劫,打架等危害人身安全的事件發(fā)生.傳統(tǒng)的視頻監(jiān)控主要是人工視頻監(jiān)控,隨著視頻數(shù)據(jù)的迅速增加,這種方式存在著效率低,耗費大量人力物力,且易發(fā)生漏報和誤報的情況.為了更好的解決這類問題,智能視頻監(jiān)控系統(tǒng)的研究變得尤為重要,其中針對于人的異常行為的檢測識別是其中一項重要的研究方向.

近年來,針對監(jiān)控視頻中的人體異常行為檢測和識別領(lǐng)域,已有一些方法識別某些特定場景下人體的行為,主要有 2 類:①基于運動軌跡的分析[1-3].首先是跟蹤運動目標,得到運動目標的運動軌跡;對目標的正常軌跡進行分析和建模;最后對新軌跡的模型與原來的正常軌跡模型進行對比,從而判斷是否存在異常行為.此類方法要求能夠準確的對運動目標進行提取和跟蹤,一旦出現(xiàn)遮擋或丟失情況,則對檢測結(jié)果有影響,有較大的局限性.② 基于人體特征的分析[4-7].此類方法關(guān)鍵在于提取人體的特征如人體輪廓結(jié)構(gòu)、運動方向等.這些特征能夠代表人體的不同行為,但是比較容易受噪聲的影響,特征不易提取.

針對于此,本文提出了一種基于區(qū)域光流特征的異常行為檢測方法.該方法首先用混合高斯模型從視頻中提取有效的運動目標,并且進行運動區(qū)域標記;然后運動LK光流法計算運動區(qū)域的光流,采用基于幅值大小的光流方向直方圖描述光流特征,利用運動熵發(fā)現(xiàn)候選異常區(qū)域,最后利用SVM進行分類.

1 運動目標檢測

運動目標檢測是智能視頻分析技術(shù)的一個重要內(nèi)容.其后的是從監(jiān)控視頻中的每一幀中提取運動目標區(qū)域,然后根據(jù)需要進行目標分類,提取出所需要的運動人體目標.這幾乎是所有進行人體目標檢測所需要的處理步驟,其提取結(jié)果的好壞對后續(xù)處理有著極大的影響,如目標跟蹤、特征提取、行為檢測等.后前,在運動目標檢測的過程中,主要有三種方法:幀間差分法、光流法、背景減除法.本文采取了背景減除法進行運動目標檢測,下面主要簡述一下其基本原理.

背景減除法[8]是一種有效的運動對象檢測算法,基本思想是利用背景的參數(shù)模型來近似背景圖像的像素值,將當前幀與背景圖像進行差分比較實現(xiàn)度運動區(qū)域的檢測.其中區(qū)別較大的像素區(qū)域被認為是運動區(qū)域,而區(qū)別較小的像素區(qū)域被認為是背景區(qū)域.背景減除法必須要有背景圖像,并且背景圖像必須是隨著光照或者外部環(huán)境的變化而實時更新的,因此背景減除法的關(guān)鍵是背景建模及其更新.在背景建模方法中,最著名的就是高斯背景建模方法,使用高斯概率分布進行像素概率分布的描述,是最常見的概率分布模型.本文就是采用這種方法進行背景建模.

混合高斯背景建模法建立在單高斯模型方法的基礎(chǔ)上,也就是采用K個高斯模型進行混合,通常K取3～5.在某時刻某一個點的像素值為的概率密度為:

混合高斯背景建模的具體實現(xiàn)過程分為兩步:第一步,背景訓(xùn)練:首先對視頻序列進行一段時間的訓(xùn)練,訓(xùn)練時間過短會影響K個高斯模型的建模效果,但是訓(xùn)練時間過長有會對整個系統(tǒng)的啟動時間造成拖延,通常取30～70幀的時間進行訓(xùn)練.初始背景通常都是相對靜止的,故該高斯模型的初始權(quán)值較大,而其他高斯模型的初始權(quán)值較小,方差取值較大.第二步,模型匹配:采用第一步訓(xùn)練得到的K個高斯模型,通常使用模板匹配的方法來對前景和背景做出區(qū)分.對于圖像的每個像素點,利用公式:

進行匹配,如果小于閾值則判斷為背景點,否則為前景運動目標.如果某像素點始終是靜態(tài)的背景,該點就會與某一高斯模型匹配,其方差的波動范圍就會比較小;但是如果某像素點是運動目標,其與高斯模型匹配不能完全匹配,那么其方差會有較大的波動.

現(xiàn)實的監(jiān)控場景中,外部環(huán)境時刻變化著,所以要想保持背景與實際所處的環(huán)境保持一致,必須要對背景模型進行自適應(yīng)實時更新.更新率α是用來決定背景模型更新速率的,如果,那么當前幀對新背景決策較大,背景模型更新較快、變化較大;如果則是前一時刻的背景對新背景的貢獻較大,背景模型更新較慢、變化不大.α不能去太大,否則會增大將當前幀的運動目標判定為背景的模型,進而影響運動目標提取的準確性,所以對于更新率取值的選擇要非常謹慎.本文經(jīng)過實驗比對,選擇α=0.001,保證了前景目標提取的準確性.

在提取出前景后,如圖1所示,使用形態(tài)學(xué)處理,可以得到比較完整的運動前景區(qū)域,從而可以得到感興趣的人體運動區(qū)域.

2 特征選擇及分類器

2.1 區(qū)域光流的計算

光流是很好的的運動特征,主要有3個部分構(gòu)成:水平偏移量x,垂直偏移量y和像素的速率val,分別表示了像素的方向和速度.異常行為的特征可以用光流特性較好地表示.人的異常行為只發(fā)生在運動目標區(qū)域,所以只需要計算對前景提取的區(qū)域計算光流即可.

圖1 高斯建模法前景提取

2.2 光流特征直方圖

運動區(qū)域中的每個像素的速度為:

直方圖就是對數(shù)據(jù)進行統(tǒng)計,將統(tǒng)計值組織到一系列事先定義好的bin中.bin中的數(shù)值是從數(shù)據(jù)中計算出的特征的統(tǒng)計量,這些數(shù)據(jù)可以是速度、方向、色彩或其他任何特征.

在本文中,我們對方向直方圖做一些改進,一般的方向直方圖是將方向范圍劃分為不同的角度區(qū)間,然后將計算的方向特征歸類到不同的區(qū)間上,雖然方向直方圖能比較好地體現(xiàn)運動區(qū)域內(nèi)光流矢量的方向變化,但是只考慮方向的變化,卻忽視了幅值大小所帶來的影響,幅值大小在客觀上體現(xiàn)了人體動作行為的劇烈程度.因此,我們考慮采用基于幅值權(quán)值的方向直方圖,幅值大的光流矢量的權(quán)重也增大.首先對光流矢量的幅值進行歸一化處理,將其作為光流矢量的方向的權(quán)值;接著累計求和做方向直方圖的大小,假設(shè)運動區(qū)域R的方向直方圖為是方向直方圖區(qū)間的個數(shù),在本文中,區(qū)間按照30°劃分,n=12.

圖2 正常行為和異常行為的光流直方圖比較

2.3 SVM分類器

對于異常行為來說,高維的特征很難通過簡單的模板匹配或者歐式距離來進行分類.為了解決這個問題,這里我們采用 SVM[9]做為分類器.通常,在樣本數(shù)量不多的情況下,SVM只需要較少的支持向量個數(shù)就能決定最終結(jié)果,是一種很好的分類器,具有較好的魯棒性.但是標準的SVM對于小樣本數(shù)據(jù)容易造成過擬合的現(xiàn)象,在數(shù)據(jù)樣本多的時候會出現(xiàn)運行速度很慢,泛化能力低等缺點.因此出現(xiàn)了許多雙目標函數(shù)的支持向量機,如TWSVM[10],基本思想是找出兩對非平行的分類超平面,本文采用了TWSVM分類方法.

對于非線性分類器,定義如下:

圖3 正常行為和異常行為的熵變化曲線圖

在本文中,我們采用2.2節(jié)提出的區(qū)域光流直方圖作為特征向量,運動區(qū)域的直方圖進行熵的計算進行異常行為的初篩之后,選定了候選的運動區(qū)域,為了考慮上下文信息,異常行為的過程是連續(xù)的,單幀圖片可能不太適用于描述特征,所以我們采用連續(xù)的8幀做為特征描述,因此,總共的特征有12*8維特征.

3 實驗結(jié)果與分析

本文方法的框架如圖4所示,在我們的實驗中,采用了三種數(shù)據(jù)集做為測試,BEHAVE數(shù)據(jù)集、CAVIAR數(shù)據(jù)集以及我們自己模擬的ATM數(shù)據(jù)集.實驗配置為 win10 系統(tǒng),4G 內(nèi)存,Intel core i5 處理器.

圖4 本文算法流程圖

BEHAVE數(shù)據(jù)集:我們采用20個片段做為訓(xùn)練樣本.同時,我們與 HOG,HOF,HNF[11],MoSIFT[12]和ViF[13]算法進行了對比.對于這些時空特征,字典大小選擇為500.表1可以看出在60個視頻片段上的實驗效果,我們的方法在檢測打斗事件中,表現(xiàn)很好,如圖5 所示.在出現(xiàn)人體嚴重遮擋的情況下,很難檢測,光流信息因為遮擋,無法有效提取.另外,我們將所有人群行走、站立、討論以及其他正常動作都視為一類,即正常行為.總的來說,我們的方法能夠很好的區(qū)分正常和異常事件,在遮擋和人群之間做一些夸張動作的情況下,會出現(xiàn)誤報.

圖5 BEHAVE 數(shù)據(jù)集異常檢測結(jié)果

表1 BEHAVE 數(shù)據(jù)集的分類結(jié)果

我們可以看到,在比較的六種方法中,我們的方法有最好的表現(xiàn),其次為ViF、MoSIFT、HOG和HNF,HOF的檢測效果最差.因為BEHAVE數(shù)據(jù)集包括許多行走,奔跑及騎車等行為,基于 MoSIFT、HOG、HNF和HOF特征的分類方法很難區(qū)分.

CAVIAR數(shù)據(jù)集:我們選擇了4個打斗片段和19個正常片段當做測試集,我們的分類模型由BEHAVE數(shù)據(jù)集訓(xùn)練.同樣的,我們與 HOG,HOF,HNF,MoSIFT和ViF算法進行了對比.表2可以看出在23個視頻片段上的實驗結(jié)果,我們的方法能夠較好的檢測出異常事件,如圖6所示,漏檢的情況多發(fā)生在距離攝像頭較遠處,光流信息提取偏少;有些誤檢的情況是由于攝像頭的抖動導(dǎo)致的光流計算錯誤.另外,盡管我們的訓(xùn)練集使用的是BEHAVE數(shù)據(jù)集,但是可以看出,訓(xùn)練出的模型同樣能夠有效的檢測CAVIAR數(shù)據(jù)集中的行為.

圖6 CAVIAR 數(shù)據(jù)集異常檢測結(jié)果

表2 CAVIAR 數(shù)據(jù)集的分類結(jié)果

模擬的ATM數(shù)據(jù)集:模擬的ATM機取款監(jiān)控視頻,攝像頭高度為 3m 左右.視頻內(nèi)包括:單人取款,單人徘徊;雙人排隊取款,雙人靠攏交談,多人取款等正常行為;雙人打架,搶劫;多人打架,搶劫等異常行為.視頻大小為640*480,幀率為30fps.每段視頻長度大約100s.為了驗證在實際場景下算法的有效性,實驗選擇了六種行為類型,如圖7所示,本文的算法能夠很好的檢測出搶劫以及打架等異常行為,漏檢發(fā)生在人體嚴重遮擋的情況下;另外,在正常的單人及雙人交談情況下誤報率較低,出現(xiàn)誤報的情況是因為我們模擬了動作幅度較大的正常行為.在此,我們選取了ViF作為對比算法,從表3可以看出,我們的算法在誤檢率和檢測率方面,表現(xiàn)的都要比ViF算法要好.

圖7 模擬ATM 數(shù)據(jù)集異常檢測結(jié)果

表3 ATM 數(shù)據(jù)集的對比檢測結(jié)果

另外,我們選取ViF算法,來進行實時性的對比,文中提及的其他時空特征算法無法保證實時性.表4可以看出對比的結(jié)果,我們的算法在實時性方面也要好于ViF算法.

表4 與 ViF 算法的實時性比較

4 結(jié)語

本文提出了一種基于區(qū)域光流的異常事件實時檢測方法,相對于基于時空特征的檢測方法,本文提出的算法有著較高的準確率,同時有較好的實時性.不僅如此,我們還針對于具體的ATM機場景進行模擬實驗,也有較好的表現(xiàn).本文提出的方法后前也存在一些問題,對于人體遮擋及光線昏暗處,檢測效果不是很好.

本文下一步將優(yōu)化檢測算法,提高人體遮擋及光線昏暗處的檢測準確率,能更好地檢測出異常事件.

1 Bouttefroy PLM,Bouzerdoum A,Phung SL,et al.Abnormal behavior detection using a multi-modal stochastic learning approach.International Conference on Intelligent Sensors,Sensor Networks and Information Processing.Sydney,Australia.2008.121–126.

2 Tehrani MA,Kleihorst R,Meijer P,et al.Abnormal motion detection in a real-time smart camera system.3rd ACM/IEEE International Conference on Distributed Smart Cameras.Como,Italy.2009.1–7.

3 王曉龍.基于軌跡分析的暴力行為識別算法研究[碩士學(xué)位論文].上海:上海交通大學(xué),2015.

4 Xiang T,Gong SG.Incremental and adaptive abnormal behaviour detection.Computer Vision and Image Understanding,2008,111(1):59–73.[doi:10.1016/j.cviu.2007.06.004]

5 Fathi A,Mori G.Action recognition by learning mid-level motion features.IEEE Conference on Computer Vision and Pattern Recognition.Anchorage,USA.2008.1–8.

6 Adam A,Rivlin E,Shimshoni I,et al.Robust real-time unusual event detection using multiple fixed-location monitors.IEEE Trans.on Pattern Analysis and Machine Intelligence,2008,30(3):555–560.[doi:10.1109/TPAMI.2007.70825]

7 謝錦生,郭立,陳運必,等.基于時空驚奇計算的視頻異常檢測方法.中國科學(xué)院研究生院學(xué)報,2013,30(1):83–89.

8 Piccardi M.Background subtraction techniques:A review.2014 IEEE International Conference on Systems,Man and Cybernetics.The Hague,Netherlands.2004.3099–3104.

9 Cortes C,Vapnik V.Support-vector networks.Machine Learning,1995,20(3):273–297.

10 Jayadeva,Khemchandani R,Chandra S.Twin support vector machines for pattern classification.IEEE Trans.on Pattern Analysis and Machine Intelligence,2007,29(5):905–910.[doi:10.1109/TPAMI.2007.1068]

11 de Souza FDM,Chavez GC,do Valle Jr EA,et al.Violence detection in video using spatio-temporal features.2010 23rd SIBGRAPI Conference on Graphics,Patterns and Images.Gramado,Brazil.2010.224–230.

12 Bertini M,Del Bimbo A,Seidenari L.Multi-scale and realtime non-parametric approach for anomaly detection and localization.Computer Vision and Image Understanding,2012,116(3):320–329.[doi:10.1016/j.cviu.2011.09.009]

13 Hassner T,Itcher Y,Kliper-Gross O.Violent flows:Realtime detection of violent crowd behavior.2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.Providence,RI,USA.2012.1–6.

Real-Time Detection of ATM Abnormal Events Based on Optical Flow

ZHOU Zhi,ZHANG Wei-Feng,ZHAO Bin,HUANG Lu,ZHU Ming
(School of Information Science and Technology,University of Science and Technology of China,Hefei 230022,china)

Abnormal behavior detection has a wide application prospect in the field of self-service banking intelligent monitoring system.In this paper,an anomaly detection method based on regional optical flow feature is proposed.Firstly,the mixed Gaussian model is used to represent the change of the background pixels and the background model is updated.The motion foreground is extracted from the video sequence with the background difference method.The optical flow information in the moving region is calculated with the lucas-kanade optical flow method.The weight-oriented histogram is used to describe the behavior,and the motion anomaly region of the histogram is calculated by using the motion entropy of the histogram.Then the SVM is used to classify the anomaly regions.From the experimental results,it can be seen that the abnormal events can be identified better and the real-time performance is better,which can meet the practical application requirements.

anomaly detection;action recognition;background modeling;regional optical flow feature;support vector machine

周智,張偉峰,趙斌,黃露,朱明.基于光流的ATM 機異常行為實時檢測.計算機系統(tǒng)應(yīng)用,2017,26(9):232–237.http://www.c-sa.org.cn/1003-3254/5929.html

①基金項后:中科院先導(dǎo)項后課題(XDA06011203)

2016-12-14;采用時間:2017-01-12