基于運動矢量的異常擁擠行為檢測算法

鄒錚 閆瑋 謝劍斌 劉通 李沛秦

摘要：面向人群場景中異常擁擠行為檢測，本文提出基于運動矢量的檢測方法。該方法首先采用運動矢量場提取人群運動特征；然后基于社會力模型計算運動矢量微粒之間的相互作用力；最后對相互作用力采用詞袋法實現行為判別。仿真實驗表明，本算法可以區分人群場景中異常區域內相互作用力的大小，對異常擁擠行為進行判別和定位。

關鍵詞：運動矢量 擁擠行為 社會力模型 詞袋法

中圖分類號：TP301 文獻標識碼：A 文章編號：1007-9416（2016）05-0000-00

Abstract：In this paper，the detection method based on motion vector is proposed to detect the abnormal crowded behabior in a crowd scene.In this method，the motion characteristics of the crowd are extracted by using the motion vector field；Then the interaction force between the particales is calculated based on the social force model；Finally，the interaction force is used to realize the behavior by the bag of words method.The simulation results show that the algorithm can distinguish the size of the interaction force between the abnormal regions in the crowd scene，identify and locate the abnormal congestion.

Key words： motion vector，crowd behavior，social-force model，bag of words

1 引言

擁擠人群行為分析在計算機視覺中是個新的研究方向，相關研究技術和視頻算法不斷更新，面向人群運動狀態的研究成為熱門應用領域，譬如人群騷亂的快速預警、混亂行為的自動識別、擁擠場景中異常行為區域的定位等。

擁擠場景中人群行為分析主要有三種方法：（1）對于行人個體行為判別的微觀方法，將群體視為由相互獨立的個體組成，群體行為是各個個體行為的集合表現[6]。為了分析群體目標的行為，必須要對單個目標進行分割和提取[7]。該方法在分辨物體、追蹤軌跡、識別大密度群體行為等方面復雜性較高，效果較差。（2）基于人群群體運動的宏觀方法，將人群整體作為研究對象，提取人群整體的運動特征，建立模型，分析人群運動狀態，但是無法對單獨個體的運動行為進行判定。在Avidan[11]、Vasconcelos和Chan[8]等人的相關研究中，采用場景模擬技術取代個體追蹤技術，分別用來獲取人群行為和交通車輛的特征。這是與微觀法截然不同的對密集人群的檢測方法。（3）基于微觀和宏觀的混合方法，對個體目標和群體目標同時進行研究，如Ali和Shahs[3]提出的擁擠場景下行人的追蹤方法。Helbing等人提出基于社會心理學的社會力模型模擬行人行為[2]，社會力能夠表現出行人與行人、行人與周圍環境的交互作用，屬于微觀方法。Helbing在著作中，結合社會恐慌群體模型和社會力模型，提出一種廣泛應用模型[10]，心理學和周圍環境的作用都被考慮用于群體行為分析，能夠較好的對人群行為進行仿真。

文本首先對視頻幀進行運動矢量提取處理，采用運動矢量場提取人群運動特征；然后基于社會力模型計算運動矢量微粒之間的相互作用力；最后對相互作用力采用詞袋法實現行為判別，圖1為本文算法流程圖。

2 社會力模型

通過分析行人的個人動機和周圍環境約束條件，對社會力模型中的行人運動特性進行研究[13]。假設在該模型中，有N個行人，第i人的質量為，其速度的變化為：

實際作用力和個人動機、環境約束有關，包括兩部分：個人動機產生的力，與周圍行人和環境相互作用產生的力。

人群中的行人總是追求環境中的某個目標和目的地，每個行人都有一個希望的方向和速率。擁擠人群限制行人的實際運動，實際運動速率將不同于希望速率。基于個人動機的作用力，行人傾向于達到其希望的速率。是松弛參數。

基于心理學的傾向考慮，相互作用力包括排斥和吸引力，在人與人之間保持一個合適的社會距離；相互作用力還包括環境作用力，避免撞到墻壁、建筑物和其它障礙。因此，可以定義為

在人群之中，行人之間由于存在關系或者具有好感而保持較小距離，由于對別人或者環境感到不舒服而保持較遠距離。

通用的社會力模型針對恐慌事件的影響展開分析，譬如在某個危險的事故之中，出現的集體逃離行為。此時，行人的希望速率可以為：

其中，是恐慌權重參數，是相鄰行人的平均速率。對于行人i，若突出個人行為，則；若突出群體行為，則。通用的社會力模型可以概括為：

通用的社會力模型是擁擠行為仿真研究的基礎，不僅通過計算機圖形學[5]，可以模擬出真實的擁擠場景；而且該模型的參數分析可以為有效控制群體運動提供有價值的動態信息。

3 基于運動矢量計算的相互作用力估算

在原社會力模型中，主要光流法對運動人群的運動特征進行提取，導致運算數據大，運算速度慢的情況，本文針對這個問題，提出了采用運動矢量提取人群運動特征的方法。運動矢量是儲存于高清壓縮視頻碼流中，通過直接提取運動矢量，可以提高運動特征的提取速度。

在H264壓縮視頻幀中，幀間預測宏塊模式包含7種，分別為（16×16）、（16×8）、（8×16）、（8×8）、（8×4）、（4×8）和（4×4），為了兼顧計算量與計算的準確性，統一將其歸一化為（4×4）宏塊，我們稱為計算宏塊，以避免多宏塊帶來的影響。將每個計算宏塊視為一個微粒，采用計算宏塊的運動矢量表示微粒的運動狀態。（如圖2所示）

設為微粒i計算宏塊的運動矢量，也就是微粒i的實際運動速度。為計算宏塊周圍的有效時空平均值，采用相鄰計算宏塊的運動矢量的雙線性插值進行計算，可以視為計算宏塊之間的平均速度。

4 異常擁擠行為判別

計算相互作用力決定了平流輸送微粒之間的協同配合，然而非連續的作用力并不能用來表明異常現象。但是一段持續時間的持續力能夠做到。因此對于一個有m像素的連續移動圖像幀，將其疊加，創建一個關于力流的特征矩陣。圖3表明四組不同運動人群視頻的相互作用力流，紅色區域表示高相互作用力，藍色區域表示低相互作用力。

對于力流的模擬是一個特殊的情景模擬過程，需要在計算機視覺中進行學習。詞袋方法是一種典型的分析方法[12]。使用詞袋方法對可能性力流進行估算，需要使用正常行為視頻進行LDA訓練。

首先采用LDA將連續T幀視頻幀的力流分割為塊，每塊成為單元處理模塊；然后從每個單元處理模塊中提取視覺單詞，從運動矢量非零區域隨機提取大小為的視覺單元；最后采用平均K值聚類方法集合成大小為C的編碼集合。

對于給定場景或相似場景組群的正常力流，設立集合，采用LDA判別人群行為的狀態分布。使用改進的最大期望值（EM）算法[12]，可以達到詞語包模型的最大可能性集合：

和是學習模型參數。通過使用這個模型，估算來自視頻組的每個單元處理模塊的可能值。通過基于估算可能值的相對應閾值，判定視頻是否異常。

5 實驗與討論

在UMN和WEB數據庫上對本文方法進行驗證[1]，UMN數據庫包含3種不同的室內和室外場景，由11個不同逃散事件情節組成。每個視頻包含最初的正常行為和最后的異常行為。WEB數據庫包含如行人步行、馬拉松長跑等12個正常人群場景序列和恐慌逃散、游行抗議和群體斗毆等8組異常行為場景。

圖4表明UMN視頻庫中三個不同場景中對于視頻幀中異常行為的判別定位，左圖為原始視頻幀，右圖為對應的相互作用力判別幀，其中顏色較亮區域為異常行為區域。通過對照比較原始幀與判別幀，本方法能夠有效判定和定位人群場景中的異常區域。

表1為本文方法與光流法對視頻幀處理的時間對比，表明圖片分辨率越高，處理速度越快。表2為在UMN視頻庫上不同算法的ROC曲線（receiver operating characteristic curve，受試者工作特征曲線）下的面積AUC值的對比，實驗表明，本文方法對于異常行為的檢測高于Optical Flow算法[14]和1-NN算法[15]。

6 結語

本文提出了采用運動矢量和社會力模型判定人群異常行為的方法，本方法不需要對行人個體進行提取、分割和追蹤。實驗結果表明，本文方法區分和定位人群場景中的異常行為效果顯著，并且與原社會力模型相比，判別速度有明顯提升。

參考文獻

[1]J.Kim and K.Grauman.Observe locally，infer globally：A space—time MRF for detecting abnormal activities with incremental updates.In CVPR，2009.

[2] D. Helbing and P. Molnar. Social force model for pedestrian dynamics. Physical Review E， 51：4282， 1995.

[3] S. Ali and M. Shah. Floor fields for tracking in high density crowd scenes. ECCV， 2008.

[4] D. H. Anders Johansson and P. K. Shukla. Specification of the social force pedestrian model by evolutionary adjustment to video tracking data. Advances in Complex Systems，10（2）：271–288， December 2007.

[5] E. A. S. G. M. L. Avneesh Sud， Russell Gayle and D. Manocha. Real-time navigation of independent agents using adaptive roadmaps. VRST 07：Proceedings of the 2007 ACM symposium on Virtual reality software and technology，pages 99–106， 2007.

[6] A. J. A. Jorge S. Marques， Pedro M. Jorge and J. M. Lemos. Tracking groups of pedestrians in video sequences. Computer Vision and Pattern Recognition Workshop， 9：101，2003.

[7] G. Brostow and R. Cipolla. Unsupervised bayesian detection of independent motion in crowds. Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on， 1：594–601， June 2006.

[8] A. B. Chan and N. Vasconcelos. Mixtures of dynamic textures. In ICCV 05： Proceedings of the Tenth IEEE International Conference on Computer Vision Volume 1， pages 641–647， Washington， DC， USA， 2005. IEEE Computer Society.

[9] N. Courty and T. Corpetti. Crowd motion capture. Comput. Animat. Virtual Worlds， 18（4-5）：361–370， 2007.

[10] I. F. D. Helbing and T. Vicsek. Simulating dynamical features of escape panic. Nature， pages 487–490， 2000.

[11] P. Reisman， S. A. O. Mano， and A. Shashua. Crowd detection in video sequences. Intelligent Vehicles Symposium， 2004 IEEE， pages 66–71， June 2004.

[12] A. Y. N. David M. Blei and M. I. Jordan. Latent dirichlet allocation. Journal of Machine Learning Research， 3：993–1022， 2003.

[13] Mehran， R.； Oyama， A.； Shah， M.， Abnormal crowd behavior detection using social force model[A].Computer Vision and Pattern Recognition， 2009， pp.935-942

[14] 杜鑒豪，許力.基于區域光流特征的異常行為檢測[J].浙江大學學報（工業版），2011，45（7）：1161-1166.

[15] Cong Y，Yuan J，Liu J.Abnormal Event Detection in Crowded Scenes Using Sparse Representation[J].Pattern Recognition，2013，46（7）：1851-1864.