視頻監控中人體異常行為識別

趙仁鳳

安徽理工大學經濟與管理學院，淮南，232001

1 相關研究和問題的提出

隨著計算機軟件和硬件處理能力的快速提高，計算機視覺系統已經可以代替人分析和處理部分圖片和視頻序列。然而，目前大多數的視頻監控系統還處于傳統模式，即只記錄不判斷。主要依靠安保工作者人為的不間斷地監控隨機的突發事件和可疑事件，需要大量的人力，而由于人體感官疲勞，不能持續地注意力集中，很容易出現漏檢的情況，失去了實時監控的意義。人體異常行為識別即在此基礎上出現，用于自動分析視頻中的人體行為，檢測和識別視頻中異常行為，目前已成為一個具有挑戰性的熱點研究課題。

異常事件檢測問題已經研究了數年，Chandola等人對離散序列中的異常行為檢測問題進行了調查，給出了合適的模型[1]。Zitouni等人對人群分析中與異常檢測有關的進展和趨勢在人群建模研究中進行了調查[2]。文獻[3]綜述了視頻監控應用中的情境異常人類行為檢測問題，指出了基于異常事件檢測的視頻的復雜性。噪聲數據的影響和低層特征的表示明顯地影響了分類器的判別力。文獻[4]分析了從前端數據采集到信息處理方法的自動監測異常檢測技術的系統評估，將所提出的技術分為監測目標、異常定義和假設，所使用的傳感器類型以及特征提取過程、學習方法和建模算法。國內胡芝蘭等人采用塊運動方向描述視頻中不同動作，然后利用支持向量機(Support vector machine，SVM)對正常行為和異常行為進行分類[5]。在文獻[6]中，介紹了概率圖模型背景下的變分貝葉斯(VB)方法，并討論了它們在多媒體相關問題中的應用。Tasoulis等人介紹并評估了利用分類和統計數據挖掘方法的人類活動檢測方法[7]。以上文獻研究了運動表示和事件模型算法。本文采用光流方向的直方圖作為基本模型，因為它描述了感興趣區域的運動。

概率模型被用于視頻分析中的各種應用，包括異常檢測。Loy等人使用行為模式，根據其時間特征進行分解，然后使用動態貝葉斯網絡進行建模[8]。Gu等人提出人群分布信息由粒子熵表示，GMM(高斯混合模型)在正常人群行為上被用來預測異常[9]。在文獻[10]中，提出了一個概率Petri網來識別機場、停車場和銀行等限制性環境中的人類活動，給定活動中的最小子視頻以高于某個閾值的概率進行識別，檢測到具有最高概率的給定集合。在文獻[11]中，提出了一種2.5D圖形，將通過匹配方法測量的3D視圖無關姿態特征和2D外觀特征集成為動作圖像表示。Tavassolipour等人提出了一種基于貝葉斯網絡的方法，用于足球視頻中的自動事件檢測和總結，然后檢測到足球視頻中的7個不同事件，即進球、吃牌、射門、角球、犯規、越位和點球[12]。隱馬爾可夫模型(HMM)是一種能夠處理時間序列數據的統計分析模型，對現有的異常事件檢測研究進行了綜述。朱旭東等人將主題隱馬爾科夫模型(topic Hidden markov mode，THMM)用于可疑行為識別中[13]。在文獻[14]中，HMM被選擇作為視頻事件中活動概念轉換的基礎模型。此外，視頻剪輯被視為對應于HMM中的潛在活動概念變量的觀察值。在文獻[15]中，引入了多流融合HMM模型來識別由攝像機網絡監控的倉庫中的真實視覺行為。Utasi等人提取交通區域的光流，然后用HMM檢測異常事件[16]。Jiménez等人利用HMM來識別基于運動編碼的非常見運動事件，其編碼內在動力學信息[17]。由于HMM具有強大的行為建模能力，因此本文選擇該方法分析視頻事件。

本文提出了一種基于視頻分析的異常事件檢測算法(包括運動特征描述符和分類方法)和基于分析感興趣區域的光流來編碼運動信息的特征描述符。通過對特征描述符進行概率屬性分析，導出隱馬爾可夫模型以區分隱藏狀態。分析了基于直方圖的特征描述符的概率特性，得出HMM模型適合異常分類應用。選擇UMN[18]作為基準數據集，UMN數據集模擬恐慌驅動的場景，如圖1所示。

圖1 UMN數據集場景

2 基于光流方向直方圖的隱馬爾可夫模型

本節提出了異常檢測方法，首先介紹了計算光流方向直方圖(HOFO)的特征描述符，由于HOFO特征的概率性質，提出了基于隱馬爾可夫模型(HMM)的分類方法來區分正常事件和異常事件。

2.1 光流方向的直方圖

(1)

圖2 計算光流場上圖像上的HOFO特征描述符

2.2 隱馬爾可夫模型

假設在訓練步驟中存在正常和異常視頻幀的HOFO特征描述符。在對訓練樣本進行學習的基礎上，提出了基于HMM的異常事件檢測方法。

2.2.1 隱馬爾可夫模型

那么所有可觀測狀態的轉移概率矩陣應該是：

(2)

(3)

2.2.2 正常和異常事件建模

視頻幀的HOFO特征由于其概率特性而適用于應用HMM，由于HOFO已經是觀察記錄的直方圖，因此不需要額外的統計處理。對于視頻中的異常事件檢測問題，有m=2個隱藏狀態：狀態1表示正常幀，狀態2表示異常幀。可觀察狀態n是特征描述符的維度，所提出的HOFO描述符的維度是n=36。

(4)

(5)

(6)

平穩概率表示為正常幀為α，對于異常幀相應地為1-α。對于視頻幀事件檢測問題，更新轉換矩陣(2)：

(7)

(8)

2.3 來自兩級分類的異常檢測

(9)

其中

0≤α≤1

(10)

用(8)代入(9)有：

(11)

由于(11)中的目標函數是α的二次函數，所以考慮其對稱軸

(12)

然后解決最優化問題(11)由下式給出

(13)

(14)

警報級別l根據基于歷史視頻幀的誤差函數的最小化問題設置：

(15)

總而言之，在算法1中給出了使用HMM進行異常事件識別的算法。

算法1：用于異常事件檢測的HMM分類器：

3 異常事件檢測結果及分析

采用UMN數據集顯示結果，UMN數據集是草坪和室內場景中的擁擠逃逸事件。正常樣本被定義為個人行走，異常樣本被定義為個體在不同方向運行，這意味著人們正在逃離危險的地方。草坪場景的檢測結果如圖3所示，正常和異常樣本是從草坪場景中選擇的。結果表明，使用HMM分類方法的直方圖描述符可以區分正常事件和異常事件。從圖3可以看出，一些正常幀的值大于α閾值，然后這些幀被分類為異常幀。但是，這些假陽性樣本以突變模型出現。換句話說，這些孤立的樣品處于沒有任何前面或后面連續樣品的狀態以構成連續狀態。因此，這些幀的預測結果可以在一定程度上被認為是噪聲，然后被修改為正常狀態。圖中標注的準確率根據原始預測結果計算。但是，如果在噪音過濾后結果被修改，則可以提高預測的準確率。

圖3 草坪場景檢測結果

圖3中走路的人被認為是正常的事件，而跑步的人被認為是異常的事件。(a)由所提出的方法檢測到的一個正常幀。(b)由所提出的方法檢測到一個異常幀。(c)草坪序列的檢測結果，其中正三角形、倒三角形、圓圈和正方形表示分別代表訓練正常幀、訓練異常幀、檢測正常幀和檢測異常幀。標記關鍵幀編號，檢測準確率為97.24%。(d)為草坪場景分類策略的接收器工作特征(ROC)曲線，檢測結果的ROC曲線下面積(AUC)為0.977 9。

室內場景的檢測結果如圖4所示，準確率略低于草坪場景，假陰性幀位于每個異常序列的開始或最后部分。在開始的幾幀異常序列中，幀處于模糊狀態。此外，這些幀可以分為正常或異常，在異常序列結尾的幀中，幀中沒有人。由于HOFO特征描述符基于幀的移動狀態，因此HOFO的索引處于低電平。因此，這些幀會造成假陰性，導致分類器的性能下降。而通過檢測幀中的人物可以將這些幀分類為異常。換句話說，如果框架內不存在任何人員，框架可以被直接分類為異常。雖然草坪場景和室內場景照明強度不同，但是所提出的異常事件檢測方法可以處理照明強度的變化。

圖4 室內場景檢測結果

圖4(a)由所提出的方法檢測到的一個正常幀。(b)由所提出的方法檢測到一個異常幀。(c)為室內序列的檢測結果，其中正三角形、倒三角形、圓圈和正方形分別表示訓練正常幀、訓練異常幀、檢測正常幀和檢測異常幀。標記關鍵幀編號，檢測準確率為91.39%。(d)為室內場景分類策略的接收器工作特征(ROC)曲線，檢測結果的ROC曲線的AUC為0.922 3。

4 結 論

本文提出了一種異常事件檢測方法，利用HOFO直方圖提取幀運動信息。由于HOFO特征描述符的概率特性，從隱馬爾可夫模型中導出了一種分類方法來區分異常事件與正常事件，實驗結果表明了該方法的有效性。