關于異常行為檢測技術的綜述

張卓君

摘要：近年來，異常行為檢測已經成為計算機視覺和圖像處理中活躍的研究領域，備受研究人員關注。隨著越來越多的研究人員加入這項技術研究中，提出了很多具有一定突破的方法。該文將對相關檢測技術進行總結，主要就其過程中異常行為表示方法的發展現狀展開詳細介紹，此外，針對不同公共數據集的現狀及研究方向進行介紹和展望。

關鍵詞：異常行為;異常檢測;特征提取;光流法;計算機視覺

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2020）06-0199-03

異常檢測技術是采用計算機視覺分析監控錄像。目前，異常活動一直是公共安全領域的一個重要問題，對其進行準確檢測具有廣泛的應用空間，可在第一時間發現異常，并采取相應的行動和措施以確保相關對象的安全性。

由于異常活動的種類眾多，很難一概而論，因此對異常行為的定義也需要兼顧周圍環境才能確定，例如：公共場合發生打架事件、行人踐踏草坪、呈一定規律性運動的人群中出現打破規律運動的人等等。通常異常活動會伴隨著正常活動一起進行，因此對正常和異常活動進行分類就顯得很重要，也逐漸成了計算機視覺領域的研究熱點。隨著計算機視覺技術的發展，許多研究者提出不同的模型來進行異常事件檢測，以獲得更準確的檢測。

1異常檢測技術的原理分析

異常行為檢測可看作是一個高層次的圖像理解操作，從輸入的圖像序列中提取邏輯信息并進行行為建模。通常建模的思路有兩種：一種是首先學習正常行為的模型并以此為基礎檢測異常;另一種是通過批量或在線觀察數據的統計特性自動學習正常和異常模型。

異常行為檢測技術（如圖1所示）可被分為四個階段：

1）視頻幀序列化階段：負責將視頻轉化成幀或片段。

2）預處理階段：完成數據的清理工作。

3）特征提取階段：從視頻中提取對象的運動特征。

4）檢測分類階段：使用分類器對數據進行異常檢測。

2特征提取方法

異常檢測技術的性能直接與兩個方面有關，分別是行為特征表示方法和異常識別模型，其中異常識別實質為一個二分類問題，而行為特征表示用于表示時間和構建行為模型的抽象，一直是計算機視覺中一個活躍的研究領域，同時由于特殊特征的上下文繁多，因此需要尋找更為健壯的特征描述性方法，以提取具有高度描述性和區別性的特征。因此，本文重點對國內外常用的行為特征表示方法進行概述。

行為特征表示分為兩種：（1）基于對象的方法。這種方法主要關注造成異常事件的單個對象的運動特征，例如對象的大小、形狀、軌跡和運動速度等。（2）基于整體的方法，此方法將運動的所有對象看作一個完整的部分，基于像素級對物體和人的運動和方向進行描述，例如梯度、顏色、紋理、運動歷史圖像等。

Klaser等嘲基于此提出擴展到時間域的思路，得到3DHOG特征（Histogram of Oriented 3D Spatio-temporal Gradients，三維時空方向梯度直方圖）。Laptev等、將HOF和HOG算子進行級聯，以達到對場景信息和運動信息同時表述的目的。Yang等人將具有不同尺度的兩個8箱HOF描述子進行級聯，從而構成多尺度光流直方圖MHOF （Multi-scale Histogram of Optical Flowl。等人則基于MHOF進一步探索提出了最大光流映射直方圖HMOFP（Histogram of Maximal Optical Flow Projectionsl。

光流法（Optical Flow）因其良好的時空特性，以及其可在未知的先驗信息場中檢測到人群中的運動對象，同時對其運動速度進行計算，因此被作為一種運動描述方法備受歡迎。其中，Wang等人提出稀疏光流（Lucas-Kanade，LKl只對指定的某些顯著特性的特征點進行跟蹤計算。He等人提出全局光流（Horn-Schunck，HS）對圖像指定區域逐個點進行匹配，通過對所有像素點的偏移量進行計算從而形成稠密光流場。Mahmoodi等人嘲提出一種光學直方圖流量和方向（HOMO），該方法計算兩個幀之間的光流，然后分別比較各幀中各像素的光流強度和方向，從而獲取有意義的幅度和方向變化信息，然后將不同的閾值應用于大小和方向的變化信息上，獲得六個二元指標，對這些二元指標進行分析，得到HOMO描述符。熊饒饒等人基于此提出將光流方向、大小和加速度三種直方圖融合獲取綜合光流直方圖。Direkoglu等人提出使用幀間光流向量的角度差和當前幀光流量的乘積作為運動特征描述子，從而修正當前幀光流的強度。Febin等人主要針對以往研究中在考慮局部時空特征時，缺乏對運動過程中復雜光流信息的統計，因此提出將SIFT、光流特征直方圖和MBH三種方法進行融合，形成MoB-SIFT描述符。

3數據集

異常檢測算法中常用的公共數據集以及各數據集目前在準確率和AUC兩個評價指標中的最優檢測效果。

3.1 UCSD數據集

UCSD（University of California，San Diego）數據集是由加州大學圣地亞哥分校創建，通過采集攝像機俯視人行道得到的自然狀態下發生的異常行為（如圖2所示）。數據集中的異常行為主要分為2種：人行為異常、非人實體闖入，包括騎自行車、小推車、行人侵入草地、穿行人行道、和滑冰等異常種類。

數據由98個視頻組成，分為2個不同的場景，每一個場景的視頻又分為200幀左右的視頻片段。目前此數據集的AUC已達到較好的效果（如表1所示）。

3.2UMN數據集

UMN（University of Minnesotal數據集，是明尼蘇達州大學創建的一個數據集。此數據集由11個視頻段組成，分別分為三個場景：草坪、室內和廣場，共有7700幀。

每個視頻都包含正常行為和異常行為，異常行為主要表現為人群向單方向跑動、人群向四周散開等。如圖3所示，第一行為草坪場景中的正常行為和異常行為，第二行為室內場景中的正常行為和異常行為，第三行為廣場場景中的正常行為和異常行為。

目前此數據集的準確率已達到96.46，AUC線下面積已達到96。

3.3VIF數據集

VIF（violent fow）數據集，是由以色列開放大學創建的人群數據庫。由從YouTube上下載的246個現實事件視頻組成，其中有暴力事件視頻和非暴力事件視頻，每個視頻的長度有所不同，分別為1.04秒到6.52秒不等，平均長度為3.60秒。

如圖4所示，第一行為UMN數據集中非暴力行為，第二行為暴力行為。目前此數據集的檢測準確率已達到93.09%。

4結束語

本文對視頻監控中用于異常行為、暴力行為檢測的技術和數據集進行了調查和綜述。目前一些方法對于公共數據集的檢測效果雖已有成效，然而仍不盡完美，且現實生活中存在更為復雜的異常場景，因此我們還面臨著一個很大的挑戰。希望本文的研究工作可以給您帶來一些思路上的創新。