基于圖像熵的密集人群異常事件實時檢測方法*

潘　磊

1.中國民用航空飛行學院 計算機學院，四川 廣漢 618307 2.四川大學 計算機學院，成都 610065

基于圖像熵的密集人群異常事件實時檢測方法*

潘磊1,2+

1.中國民用航空飛行學院 計算機學院，四川 廣漢 618307 2.四川大學 計算機學院，成都 610065

PAN Lei.Real-time detection method of abnormal event in crowds based on image entropy.Journal of Frontiers of Computer Science and Technology,2016,10(7)：1044-1050.

在智能視頻監(jiān)控領域，為了提高密集人群中異常事件的檢測效率，改善已有算法在實時性和適用性方面的不足，提出了一種實時高效的檢測方法。該方法首先提取圖像的全局光流強度作為運動特征，并構造全局光流強度的圖像化表達；然后利用圖像熵進行分析，獲取正常狀態(tài)下圖像熵的統(tǒng)計參數(shù)；最后確定正常狀態(tài)的可信區(qū)間和自適應的異常判定公式，從而判斷異常事件是否發(fā)生。實驗結果表明，該算法對尺寸為320×240像素的視頻，平均每幀的檢測時間低至0.031 s，且準確率可達96%以上，具有較高的檢測效率，且實時性較好。

智能視頻監(jiān)控；密集人群；異常事件檢測；全局光流圖；圖像熵

1　引言

近年來，各類重大群體性異常事件的可能性顯著增加，公共安全問題日益受到國家重視。智能視頻監(jiān)控（intelligent video surveillance，IVS）[1]作為公共安防領域的關鍵技術，被廣泛研究和普遍推廣。該技術融合了圖像處理、模式識別及人工智能等多個學術領域，是計算機領域的研究熱點之一。

群體性異常事件（如恐怖襲擊、擁擠踩踏等）通常發(fā)生在人員高度密集的場所。所謂密集人群場景，指的是人員密集、流量較大的公共場所。從視頻處理的角度來看，群體中的個體運動存在隨機性和無序性，無法提取出有序、規(guī)律的運動模式；場景中的復雜背景動態(tài)變化，且遮擋嚴重，背景差分和顯著點檢測等經(jīng)典算法都不適用，故很難對個體進行有效的運動檢測；此外，由于異常事件的發(fā)生率極低，樣本少，且形式迥異，不能窮舉，無法利用異常樣本來訓練出異常事件的表達。因此，密集人群場景下的異常事件檢測充滿著挑戰(zhàn)。

雖然各類異常事件的形式迥異，難以用統(tǒng)一的標準來衡量，但是人都具有趨利避害的本能，當異常事件產(chǎn)生時，人會本能地做出一些反應。這表現(xiàn)為：異常狀態(tài)下，人群的運動要比正常情況更為劇烈。因此，通過分析人群的運動特征來檢測異常事件是可行的。

異常事件檢測的算法主要包含4個步驟。

（1）視頻預處理：減少視頻圖像中的干擾信息或冗余，如模糊、噪聲等，提高圖像質(zhì)量。

（2）特征提取：從視頻流中提取恰當?shù)奶卣鱽肀碚魇录绻饬鱗2]、輪廓[3]、時空軌跡[4]等。大多數(shù)學者采用光流法來描述運動特征，也有學者將多類特征加以組合，包括目標尺寸[3]、速度[5]、混合動態(tài)紋理[6]等。

（3）模型的建立：從提取的特征中建立描述人群和基本事件的模型。主流的描述模型有3類，粒子模型（particle model）[7]、流體動力學模型（fluid dynamical model）[8]和代理人模型（agent-based model）[9]。

（4）異常檢測：設置特定的判定標準來衡量是否發(fā)生了異常事件。典型的推斷算法包括隱馬爾科夫模型（hidden Markov model，HMM）[10]、條件隨機場模型（conditional random field，CRF）[11]以及動態(tài)貝葉斯網(wǎng)絡（dynamic Bayesian network，DBN）[4]等。也有學者采用SVM（support vector machine）[12]和神經(jīng)網(wǎng)絡[13]進行模式分類。

目前，現(xiàn)有的檢測方法還存在適用性和實時性兩方面不足：一方面，由于異常事件的多樣性和場景的復雜性，描述人群和異常事件的數(shù)學模型具有一定的局限性。例如，流體動力學模型[8]和混合動態(tài)紋理模型[6]在某些場景下會失效，因此建模與場景相關，缺乏廣泛的適用性。另一方面，由于異常事件在較短時間內(nèi)可能會造成較高的危害，這要求算法應具備實時在線處理能力，而現(xiàn)有的各類方法，均未考慮到實時性要求，特別是SVM[12]、神經(jīng)網(wǎng)絡[13]等算法的復雜度較高，實時性較差。

因此，針對現(xiàn)有檢測方法在實時性和適用性方面的不足，本文提出了一種基于光流特征和圖像熵的實時檢測算法。考慮到算法的實時性要求，采用光流來表示場景的運動特征。由于光流算法既不需要分離前景，也不需要背景建模，很適合背景復雜、遮擋嚴重的密集場景，對各類場景都具有良好的適用性。同時，基于全局光流的圖像熵計算復雜度較低，計算特征的時間代價較小，且異常事件發(fā)生前后，全局光流的圖像熵變化較為明顯，故本文算法在保證實時性的同時，還具備良好的檢測性能。

本文算法具有以下幾方面的優(yōu)點：首先，算法具有較高的實時性，對異常事件的反應時間可達幾十毫秒級別；其次，算法與場景無關，不需要對特定場景建模，具備較廣泛的適用性；另外，算法具有較低的復雜度，容易移植和部署到現(xiàn)有的監(jiān)控系統(tǒng)中；最后，算法的準確率可以達到其他經(jīng)典算法的平均水平。

本文的貢獻主要有兩個方面：第一，將圖像熵引入到人群異常事件檢測。第二，提出了一種全局光流的圖像化表達方法。

2　基本思路和步驟

本文算法的基本思路是：首先將每一幀輸入圖像的光流場作為運動特征，利用階躍函數(shù)去除靜態(tài)噪聲，獲取光流場的二值分布，構造全局光流圖；其次逐幀求圖像熵，從而得到每一幀的信息量；然后統(tǒng)計正常狀態(tài)下圖像熵的期望值和標準差，進而設定正常狀態(tài)下的異常判定公式；最后設定合適的滑動檢測塊，當檢測塊的均值超出可信區(qū)間范圍，則判定異常事件發(fā)生。

2.1光流的計算

雖然光流算法很適用于人群密集場景的表示，然而光流法容易受噪聲干擾，因此在后續(xù)處理中，將采取措施，消除靜態(tài)噪聲的影響。考慮到算法的實時性要求，本文結合Harris角點和金字塔Lucas-Kanade光流方法[14]來計算場景的稀疏光流場。

輸入的視頻圖像尺寸為X×Y；檢測當前圖像的所有Harris角點作為特征點；然后運用金字塔Lucas-Kanade光流方法，取5×5的特征窗口，根據(jù)光流約束條件Ixu+Iyv+It=0求解特征點的光流(u,v)：

其中，Ix、Iy是圖像的空間梯度；It是圖像的時間梯度。

式（1）可求解如下：

在t時刻，圖像中的每個特征點pi,t，其光流值強度hi,t為：

利用階躍函數(shù)，獲取光流場的二值分布。同時，設定合理的閾值ΘTH消除靜態(tài)噪聲干擾。則處理后的二值光流強度bi,t為：

2.2光流的圖像化表達

光流強度變化越大，說明人群運動越劇烈，則發(fā)生異常事件的可能性就越大。從宏觀的角度，為了準確度量整個場景的光流強度變化，本文提出了“全局光流圖（global optical flow image，GOFI）”的概念，將式（4）處理后的光流，以圓點的形式加以描述，如圖1所示。

Fig.1　Global optical flow image(r=3)圖1　全局光流圖(r=3)

GOFI的相關定義如下。

定義1 GOFI為8位的灰度圖像，其尺寸與輸入視頻圖像相同。

定義2 GOFI中，每個光流特征點px,y以圓點來表示，通過4個屬性特征加以描述。其中，x、y表示光流點位置；r表示光流圓點的半徑；h∈[0,255]表示歸一化的光流強度。

定義3 GOFI中，若px,y的二值光流強度bx,y=0，則其r=0，h=255。

定義4 GOFI中，若px,y的二值光流強度bx,y≠0，則進行離差標準化：

其中，bx,y表示當前點的二值光流強度；bmax表示二值光流強度的極大值。

2.3圖像熵的計算

熵（entropy）表示一個系統(tǒng)的無序程度。1948年Shannon將熵的概念引入到信息論中，表示系統(tǒng)（信源）的不確定性，用于衡量信息量的多少，稱為“信息熵”。圖像的信息熵度量稱為圖像熵，表示圖像中信息量的多少。

由于GOFI包含了場景的大量運動信息，通過計算其熵值，可以準確量化人群的運動變化情況。當異常事件產(chǎn)生時，劇烈變化的場景，必然表現(xiàn)為GOFI熵值的急速上升，因此利用圖像熵來檢測異常事件是可行的。

對于灰度值為8位的圖像，其一維熵的計算公式[15]為：

其中，pi表示圖像中灰度值為i的像素點所占比例。

2.4異常事件的判定

本文的檢測算法分為3個階段：算法初始化階段、正常檢測階段和異常事件檢測階段。

在算法初始化階段，首先從監(jiān)控視頻的前w幀中確定最大的光流強度bmax，并以此作為歸一化操作的樣本極大值。然后根據(jù)式（5），對每一個光流點進行離差標準化。接下來根據(jù)式（6），計算每一幀的圖像熵。

在正常檢測階段，考慮到異常事件具有極小的發(fā)生概率，而絕大多數(shù)時間都屬于正常狀態(tài)。因此，假設監(jiān)控視頻的前T幀圖像都屬于正常狀態(tài)。根據(jù)式（6），計算并統(tǒng)計這T幀圖像熵的均值μ和標準差σ。

在異常檢測階段，將每一幀的圖像熵作為檢測樣本。考慮到在正常狀態(tài)下，圖像熵在一定的可信區(qū)間內(nèi)波動，因此根據(jù)已知正常狀態(tài)下的均值μ和標準差σ，確定正常狀態(tài)的可信區(qū)間。當檢測樣本超出了可信區(qū)間范圍，則認為異常事件發(fā)生。判定公式如式（7）：

其中，ε為松弛系數(shù)，決定了異常事件檢測的敏感程度，ε越小，檢測的敏感程度越高。因此，ε的取值與場景在正常狀態(tài)下的人群運動劇烈程度相關。例如，在圖書館、咖啡廳等人群運動相對平穩(wěn)的場景，通常取2≤ε<3；在廣場、公園等人群運動不太劇烈的場景，通常取ε=3；在十字路口、地鐵口等人群運動較為劇烈的場景，通常取ε>3。

式（7）中的各項參數(shù)都取決于場景中的正常狀態(tài)，因此該異常判定條件具有自適應的特性。

為了減少噪聲樣本的影響，降低虛警率，可設定寬度為m的滑動檢測塊。檢測樣本被定義為連續(xù)幀的殘差均值，即：

3　算法描述

步驟1檢測算法的初始化。

輸入：監(jiān)控視頻SV，初始化的終止幀數(shù)w，閾值ΘTH。

輸出：圖像熵H。

begin

1.for each frame inw

2.{計算每一幀圖像的Harris角點，共N個；

3.for each point inN

4.{由式（2），計算每個特征點的光流(u,v)；

5.由式（3），計算每個光流點的強度h；

6.由式（4），計算二值光流強度b；}}

7.計算最大二值光流強度bmax；

8.for each frame

9.{for each point

10.{由式（5），計算標準化的光流強度h；}

11.由式（6），計算圖像熵H；}

end

步驟2正常狀態(tài)的檢測。

輸入：監(jiān)控視頻SV，終止幀數(shù)T，閾值ΘTH，最大二值光流強度bmax。

輸出：圖像熵的均值μ和標準差σ。

begin

1.for each frame inT

2.{計算每一幀圖像的Harris角點，共N個；

3.for each point inN

4.{由式（2），計算每個特征點的光流(u,v)；

5.由式（3），計算每個光流點的強度h；

6.由式（4），計算二值光流強度b；

7.由式（5），計算標準化的光流強度h；}

8.由式（6），計算圖像熵H；}

9.計算圖像熵的均值μ和標準差σ；

end

步驟3異常事件的檢測。

輸入：監(jiān)控視頻SV，閾值ΘTH，滑動檢測塊寬度m，均值μ和標準差σ，松弛系數(shù)ε。

輸出：異常事件的判定true。

begin

1.for each frame

2.{計算每一幀圖像的Harris角點，共N個；

3.for each point inN

4.{由式（2），計算每個特征點的光流(u,v)；

5.由式（3），計算每個光流點的強度h；

6.由式（4），計算二值光流強度b；

7.由式（5），計算標準化的光流強度h；}

8.由式（6），計算圖像熵H；

10.由式（7），判斷異常事件；

11.if state==abnormal return true；}

end

4　實驗與分析

本實驗的硬件平臺采用Intel i5 3.3 GHz+4 GB內(nèi)存，軟件平臺為VS2010+OpenCV，選取了UMN Dataset[16]中的場景1、場景3和場景10以及PETS-2009 Dataset[17]中的場景1，總共4段視頻作為測試對象，分別命名為UMN1、UMN3、UMN10和PETS1。本實驗的內(nèi)容包括：（1）異常事件的檢測；（2）實驗結果的分析。

4.1異常事件的檢測

根據(jù)算法1、算法2和算法3，對4段視頻分別進行異常事件的檢測。設定初始化的終止幀數(shù)w=5，正常狀態(tài)檢測的終止幀數(shù)T=50，閾值ΘTH=1.5，滑動檢測塊寬度m=10，松弛系數(shù)ε=3.0。實驗結果如圖2～圖5所示。

Fig.2　Abnormal detection for UMN1圖2　UMN1的異常事件檢測結果

Fig.3　Abnormal detection for UMN3圖3　UMN3的異常事件檢測結果

Fig.4　Abnormal detection for UMN10圖4　UMN10的異常事件檢測結果

Fig.5　Abnormal detection for PETS1圖5　PETS1的異常事件檢測結果

從圖2～圖5的實驗結果可以看到，本文算法的準確率較高，在異常事件剛剛發(fā)生時，都檢測到異常，并產(chǎn)生了報警，且均未出現(xiàn)漏檢和虛警。

4.2實驗結果的分析

UMN的圖像尺寸為320×240像素，平均每幀的處理時間為0.031 s；PETS的圖像尺寸為768×576像素，平均每幀的處理時間為0.078 s。由此可見，本文算法具有良好的實時性。

如表1所示，本文算法在4個場景下的準確率均達到了96%以上。如表2所示，本文算法與幾種經(jīng)典算法（貝葉斯模型算法BM[18]、混沌不變算法CI[19]、社會力算法SF[7]、稀疏重構算法SRC[20]）相比較，其準確率都處于前列。如表3所示，基于UMN Dataset[16]和UCSD Dataset[21]，本文算法與幾種經(jīng)典算法（貝葉斯模型算法BM[18]、混合動態(tài)紋理算法MDT[6]、稀疏重構算法SRC[20]）相比，實時性的優(yōu)勢明顯。

Table 1　Accuracy of this paper method表1　本文算法的準確率

Table 2　Accuracy comparison of several methods表2　幾種算法的準確率比較　%

Table 3　Real-time performance comparison of several methods表3　幾種算法的實時性比較

5　結束語

本文提出了一種異常事件的實時檢測算法，其核心思想是：構造全局光流強度的圖像化表達，即全局光流圖，并將其圖像熵作為特征進行檢測；分析正常狀態(tài)下的統(tǒng)計參數(shù)；將異常事件看作是超出了可信區(qū)間的檢測樣本。經(jīng)實驗證明，本文算法既有良好的檢測效果和較高的檢測率，又具備較低的算法復雜度，實時性較好。

下一步的工作，將繼續(xù)改進本文算法，使其能適用于多視點的異常事件檢測。

[1]Ekpar F.A framework for intelligent video surveillance[C]// Proceedings of the 2008 IEEE 8th International Conference on Computer and Information Technology Workshops,Sydney,Australia,Jul 8-11,2008.Piscataway,USA:IEEE,2008: 421-426.

[2]Benezeth Y,Jodoin P M,Saligrama V,et al.Abnormal events detection based on spatio-temporal co-occurences[C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition,Miami,USA,Jun 20-25, 2009.Piscataway,USA:IEEE,2009:2458-2465.

[3]Reddy V,Sanderson C,Lovell B C.Improved anomaly detection in crowded scenes via cell-based analysis of foreground speed,size and texture[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recogni-tion,Colorado Springs,USA,Jun 20-25,2011.Piscataway, USA:IEEE,2011:55-61.

[4]Zhao Beibei,Monekosso D N,Remagnino P,et al.Crowd analysis:a survey[J].Machine Vision and Applications, 2008,19(5/6):345-357.

[5]Wang Lijun,Dong Ming.Real-time detection of abnormal crowd behavior using a matrix approximation-based approach [C]//Proceedings of the 2012 IEEE International Conference on Image Processing,Orlando,USA,Sep 30-Oct 3, 2012.Piscataway,USA:IEEE,2012:2701-2704.

[6]Mahadevan V,Li Weixin,Bhalodia V,et al.Anomaly detection in crowded scenes[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition, San Francisco,USA,Jun 13-18,2010.Piscataway,USA: IEEE,2010:1975-1981.

[7]Mehran R,Oyama A,Shah M.Abnormal crowd behavior detection using social force model[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition,Miami,USA,Jun 20-25,2009.Piscataway, USA:IEEE,2009:935-942.

[8]Helbing D.A fluid dynamic model for the movement of pedestrians[J].Complex Systems,1992,6:391-415.

[9]Heli?vaara S,Korhonen T,Hostikka S,et al.Counterflow model for agent-based simulation of crowd dynamics[J]. Building and Environment,2012,48:89-100.

[10]Andrade E L,Blunsden S,Fisher R B.Hidden Markov models for optical flow analysis in crowds[C]//Proceedings of the 18th International Conference on Pattern Recognition,Hong Kong,China,Aug 20-24,2006.Piscataway,USA:IEEE, 2006:460-463.

[11]Pathan S S,Al-Hamadi A,Michaelis B.Using conditional random field for crowd behavior analysis[C]//LNCS 6468: Proceedings of the 10th Asian Conference on Computer Vision,Queenstown,New Zealand,Nov 8-9,2010.Berlin, Heidelberg:Springer,2011:370-379.

[12]Wu Xinyu,Ou Yongsheng,Qian Huihuan,et al.A detection system for human abnormal behavior[C]//Proceedings of the 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems,Edmonton,Canada,Aug 2-6,2005. Piscataway,USA:IEEE,2005:1204-1208.

[13]Hou Beiping,Zhu Wen,Ma Lianwei,et al.Moving target classification based on shape features from real-time video[J]. Chinese Journal of Scientific Instrument,2010,31(8):1819-1825.

[14]Jean B.Pyramidal implementation of the Lucas Kanade feature tracker description of the algorithm[R].Intel Corporation,Microprocessor Research Labs,2000.

[15]Entropy Wikipedia.Entropy[EB/OL].(2015-08-08)[2015-08-29].http://en.wikipedia.org/wiki/Entropy.

[16]University of Minnesota.Unusual crowd activity dataset of University of Minnesota[EB/OL].(2006-10-25)[2015-08-29].http://mha.cs.umn.edu/proj_events.shtml.

[17]Ferryman J,Shahrokni A.PETS2009:dataset and challenge [C]//Proceedings of the 2009 IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, Snowbird,USA,Dec 7-9,2009.Piscataway,USA:IEEE, 2009:1-6.

[18]Wu Si,Wong H S,Yu Zhiwei.A Bayesian model for crowd Escape behavior detection[J].IEEE Transactions on Circuits and Systems for Video Technology,2014,24(1):85-98.

[19]Wu Shandong,Moore B,Shah M.Chaotic invariants of lagrangian particle trajectories for anomaly detection in crowded scenes[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition,San Francisco,Jun 13-18,2010.Piscataway,USA:IEEE,2010: 2054-2060.

[20]Yang Cong,Yuan Junsong,Liu Ji.Sparse reconstruction cost for abnormal event detection[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition,Providence,USA,Jun 20-25,2011.Piscataway,USA:IEEE,2011:3449-3456.

[21]University of California.Crowd anomaly detection dataset [EB/OL].(2013-06-06)[2015-08-29].http://www.svcl.ucsd. edu/projects/anomaly.

附中文參考文獻：

[13]侯北平,朱文,馬連偉,等.基于形狀特征的移動目標實施分類研究[J].儀器儀表學報,2010,31(8):1819-1825.

PAN Lei was born in 1982.He received the M.S.degree in computer science from Chongqing University in 2009. Now he is a Ph.D.candidate at College of Computer Science,Sichuan University,a lecturer at Civil Aviation Flight University of China,and the student member of CCF.His research interests include image processing and pattern recognition,etc.

潘磊（1982—），男，四川彭州人，2009年于重慶大學獲得碩士學位，現(xiàn)為四川大學計算機學院博士研究生，中國民用航空飛行學院講師，CCF學生會員，主要研究領域為圖像處理，模式識別等。

Real-Time Detection Method ofAbnormal Event in Crowds Based on Image Entropy?

PAN Lei1,2+
1.College of Computer Science,CivilAviation Flight University of China,Guanghan,Sichuan 618307,China 2.College of Computer Science,Sichuan University,Chengdu 610065,China +Corresponding author:E-mail:L_PAN@126.com

In the field of intelligent video surveillance,in order to improve the efficiency of abnormal event detection and the defects of present methods in poor real-time performance and applicability,this paper proposes a real-time and high efficiency method.This method firstly extracts the global optical flow value as the movement characters,and constructs the visualizing expression of global optical flow.Then the image entropy analysis is used to obtain the statistical parameter in normal conditions.Finally,the confidence interval in normal condition and the anomaly judgment formula are given,which can be used to detect the abnormal event.The experimental results show that,for the video size of 320×240,the average detection time can be as low as 0.031 s in each frame and the accuracy can reach above 96%. As a result,the method has high efficiency and good real-time.

intelligent video surveillance;dense crowd;abnormal event detection;global optical flow image;image entropy

2015-09,Accepted 2015-12.

10.3778/j.issn.1673-9418.1509006

A

TP391.4

*The National Natural Science Foundation of China under Grant No.61071162(國家自然科學基金);the Scientific Research Program of Education Department of Sichuan Province under Grant No.16ZB0032(四川省教育廳科研項目);the Science and Technology Program of Civil Aviation Administration of China under Grant No.MHRD20140212(中國民用航空局民航科技項目);the General Foundation of CivilAviation Flight University of China under Grant No.J2012-40(中國民用航空飛行學院面上基金項目).

CNKI網(wǎng)絡優(yōu)先出版:2015-12-08,http://www.cnki.net/kcms/detail/11.5602.TP.20151208.0856.002.html