聯合加權重構軌跡與直方圖熵的異常行為檢測

徐志通，駱炎民，柳培忠

近年來，社會存在諸多潛在的安全問題，一旦發生必會引起嚴重的社會后果。而在安全問題發生之前，運動目標在行為上會表現出不同程度的異常，因此，及時識別異常行為對防止潛在危險的發生具有重要的現實意義[1-2]。隨著公眾對社會安全要求的日益增加，異常行為檢測技術成為了計算機視覺的新興研究方向，廣泛應用于智能監控[3-4]、醫學診斷、運動分析等領域，并受到國內外研究學者的廣泛關注。Jiang等[5]采用上下文感知方法來檢測異常，通過跟蹤獲取行人運動軌跡，并與正常行為軌跡進行比較，將偏離較大的軌跡視為異常，該方法依賴于獲取目標軌跡的跟蹤算法，因此無法長時間適應視覺上下文的變化；Bouttefroy等[6]對運動軌跡的相關特征進行提取，并通過估計概率分布模型來識別異常行為，該方法需要準確獲取行人運動軌跡，若發生遮擋便容易丟失目標，應用具有較大的局限性；Zhao等[7]提出一種完全無監督的動態稀疏編碼方法來檢測異常事件，由于正異常行為樣本分布的不平衡，導致對行人異常行為的識別效果較差；Lu等[8]提出稀疏組合學習框架，提取視頻底層特征，通過學習正常行為的表示方式來區分異常，該方法需大量正常行為作為正樣本進行訓練，無法達到實時性檢測；Li等[9]通過采用軌跡稀疏重構分析方法對行人異常行為進行檢測，該方法對不同尺寸樣本均能達到良好的檢測性能，但受控制點參數的影響，也無法滿足實時性要求。

本文提出一種聯合加權稀疏重構軌跡與直方圖熵的異常行為檢測算法。該算法對運動軌跡進行訓練，構造正常行為字典，同時對測試行人軌跡進行稀疏重構作為軌跡特征，并計算幅值方向直方圖熵作為熵特征。通過對異常行為多特征進行聯合加權，實現對異常行為的檢測。雖然本文算法在時間上也無法達到實時性要求，但在復雜場景中可以實現更加精確的異常行為檢測率。

1 行人檢測

1.1 運動目標檢測

本文采用背景相減法對運動目標進行檢測，其關鍵在于對背景的建模，考慮到存在天氣、光照及樹葉擺動等引起的前景像素變化，需要對背景進行實時動態更新，圖1為運動前景提取流程圖。

1.1.1 背景建模

常用背景建模方法[10]包括混合高斯建模[11]、碼本建模[12]、雙背景建模[13]及均值建模[14-15]等。均值建模法是將當前遍歷到的所有幀像素值取平均作為背景的估計，由式(1)表示：

該建模方法在監控設備固定的情況下，能較完整地從視頻中獲取背景模型。因此，本文通過融合均值背景結合雙邊濾波法對背景進行建模。

圖1 運動前景提取流程圖Fig. 1 The flow chart of moving foreground extraction

1.1.2 背景更新

為了降低光照、天氣等對運動像素變化的影響，需對背景進行動態更新，本文采用分塊分類[16]的背景更新算法，具體的更新過程如式(2)所示：

算法通過計算當前幀與前一幀背景對應點像素值的絕對差，若小于給定的閾值，認為是由光照、天氣等因素帶來的細微變化，便將當前像素點設置成當前背景像素點，提供給下一幀考慮；若絕對差超出給定閾值，則認為當前幀中存在運動的物體，便結合前一幀背景，前一幀圖像和當前幀圖像來對當前幀背景進行更新。

1.1.3 運動前景提取

獲得更新的背景模型之后，對當前幀與當前背景模型進行差分操作，提取當前存在運動的像素點形成二值圖像，通過選取適當的閾值去除由非運動目標帶來的像素值的細微變化，并進行相應的形態學處理，從而提取感興趣的運動前景，提取過程可表示為式(3)：

圖2 運動前景檢測圖Fig. 2 Moving foreground detection results

1.2 行人識別

由于本文研究的異常行為檢測是基于室外環境的，為保證運動前景只含行人，需要從復雜運動前景中區分行人與其他運動目標，并對行人進行跟蹤獲取運動軌跡，實現進一步的異常行為識別。

在監控設備固定的情況下，若只考慮直立行走的行人，而剛性車輛不易發生形變，因此選擇外接矩形高寬比作為主要特征以區分行人與車輛，圖3中(a)、(b)分別表示車輛和行人的外接矩形框。

圖3 外接矩形框Fig. 3 External rectangle box

表 1 和的數值分布Table 1 Numerical distribution of and

表 1 和的數值分布Table 1 Numerical distribution of and

幀數 27 2.67 0.71 64 1.92 0.86 97 2.41 0.62 138 3.24 0.49 182 2.53 0.83 251 2.99 0.57

圖4 行人識別效果圖Fig. 4 Pedestrian recognition results

2 行人跟蹤

時空上下文(STC)算法通過對行人目標及相應場景中局部上下文區域的時空關系進行建模，并統計相應的低階特征，通過結合時空上下文信息，實現對行人目標的跟蹤，行人跟蹤可視為對目標置信度圖的求解過程。

對式(8)進行快速傅里葉變換，再進行傅里葉反變換，便可得到目標與局部上下文之間的時空關系，即空間上下文模型，如式(9)所示：

基于STC算法在處理目標部分遮擋時的優越性，為了進一步解決跟蹤過程中目標被短時完全遮擋及目標旋轉的問題，本文在STC算法基礎上融入卡爾曼濾波器及HOG特征。

圖5為當行人存在完全遮擋時，采用4種算法進行行人跟蹤的結果對比圖。從圖中可以看出，當目標未發生完全遮擋時，本文算法與文獻[17]算法，文獻[18]算法和文獻[19]算法在跟蹤效果方面相差不多；一旦被跟蹤的行人目標被完全遮擋，即從(a)中的#154和(b)中的#183開始，本文算法的跟蹤效果比其他3種算法更加準確，而且更加魯棒。

這是因為在通過STC算法預測下一幀目標質心位置之前，本文算法將當前幀的質心位置作為卡爾曼濾波算法起始位置，并結合目標HOG特征，對目標下一幀的質心位置進行最佳預測，有效地提高行人跟蹤精度，具體跟蹤精度對比如圖6所示。

圖5 視頻序列跟蹤結果圖Fig. 5 Video sequence tracking results

圖6 視頻序列跟蹤精度圖Fig. 6 Video sequence tracking precision results

3 行人異常行為檢測

在實際監控場景中，對行人異常行為的檢測主要是通過對行人運動軌跡進行分析，或采用運動幅值方向直方圖熵進行判別。文獻[20]通過引入軌跡稀疏重構分析，提出最小二乘三次樣條曲線逼近方法檢測異常行為，該方法檢測性能受控制點參數的影響；文獻[21]提出基于幅值的加權方向直方圖描述行為，計算運動區域內直方圖熵來判斷行為的異常，該方法可較好地反映異常行為的發生，但單一特征無法滿足高精度的異常行為表達。

為了解決最小二乘三次樣條曲線逼近方法受控制點參數的影響，本文提出一種控制點參數自適應的方法對行人運動軌跡進行表示。并通過加權考慮行人運動軌跡的稀疏重構殘差和幅值方向直方圖熵等多種特征，對人體行為進行多種表達，從而有效提升行人異常行為的檢測率。

3.1 控制點參數自適應的運動軌跡表示

根據本文跟蹤算法獲取一組行人運動軌跡，由于視頻中行人出現的幀數不同，因此運動軌跡可視為由不同長度的坐標序列組成。對于時空軌跡序列{，本文采用自適應曲線}控制點以參數化的方式來表示軌跡的形狀和時空特征，以提取定長參數向量對軌跡進行表示。其中為控制點個數，與分別為第個控制點的歸一化橫縱坐標，t為軌跡長度。

并通過式計算自適應的控制點參數，使原始軌跡與其近似軌跡之間的誤差平方和達到最小，從而對行人運動軌跡進行有效表示

圖7顯示了正/異常行為運動軌跡樣本及特征表示，其中左側為運動軌跡樣本圖，右側為相應的特征表示圖。

圖7 正常/異常軌跡表示Fig. 7 Trajectory representation of normal/abnormal

3.2 基于幅值方向直方圖的異常行為表示

本文將行人異常行為定義為運動幅度變化大、運動方向不一致的一些不規則行為，如打斗、搶劫等，這些行為都具有運動速度快、方向紊亂等特征。由于行人運動幅值方向直方圖[23]具有旋轉平移不變性，能夠很好地反映出行人動作的幅度大小，直方圖熵能夠反映運動方向的混亂程度，因此可采用幅值方向直方圖熵對異常行為進行表示。

首先將運動軌跡分成8個子區域，以每45°作為一個區域邊界，對于行人運動軌跡上的每一個點，分別根據式(17)計算每個軌跡點的切線方向屬于哪個子區域中，若某個運動軌跡的所有點的切線方向均穩定處于少量幾個子區域，則該運動軌跡為正常行為的概率更大，而如果某運動軌跡的所有切線方向占了絕大部分的子區域，說明該運動軌跡更加紊亂，更有可能為異常行為所產生的運動軌跡。

對于打架、搶劫等劇烈運動，通過計算基于幅值的加權方向直方圖可有效抑制由噪聲造成的小范圍方向混亂，實現更好的異常行為識別，假設第幀的直方圖模型如式(18)所示，

針對實驗選取了部分視頻序列進行幅值方向直方圖的計算，與正常行為相比，異常行為往往具有運動幅度較大的特點，因此當某區域存在異常行為時，該區域的運動幅值偏大，而且方向比較混亂，而正常行為則運動幅度小，方向比較一致。其中正常行為與異常行為的加權幅值方向直方圖的實驗結果如圖8所示。

圖8 加權幅值方向直方圖Fig. 8 Weighted amplitude direction histogram

3.3 加權重構軌跡與直方圖熵的異常行為檢測

基于室外監控場景，對于行人異常行為的檢測，本文通過計算待檢測運動軌跡與正常行為軌跡字典的稀疏重構殘差，同時考慮加權幅值方向直方圖熵值，結合行人運動的多種特征，實現對行人異常行為的高精度識別。

3.3.1 正常行為字典建立

在真實監視場景中，正常運動軌跡的訓練樣本集合非常大，因為絕大多數人的行為都是正常的，而異常運動軌跡的訓練樣本卻很小，因此學習正常行為字典具有高計算復雜度。以文獻[24]為基礎，采用式(19)定義一種分層框架學習字典的數學模型。

對于某層任一數據點，通過與上層字典原子的關系預先規劃下層可預選編碼路徑及激活原子，隨著分層學習字典層數的增加，由于相似數據點選擇的原子具有多樣性，因此在定義下層字典時，原子數目選擇為上一層的2倍。

具體正常行為字典訓練過程如算法1所示。

算法1 行為字典樹結構學習算法

輸入 跟蹤獲取的行人時空運動軌跡序列T；

2) 學習第1層字典。基于文獻[25]，學習作為第1層訓練字典，構建數據點與原子之間的稀疏矩陣并更新，滿足條件時停止迭代優化；

5) 迭代條件判斷。若行為字典訓練的樹結構層數未達到，則重復步驟3)與4)。

通過充分考慮相鄰層之間原子的父子節點關系，為每層建立一個子字典，將下層原子與上層相互關聯。隨著層數的增加，正常行為軌跡的特征可實現由模糊特征到細節特征的變化，該訓練算法能有效解決傳統字典學習中原子關聯缺失的問題。

3.3.2 稀疏重構運動軌跡

通過激活與給定輸入軌跡相似度高的少量樣本，使整個系數向量保持稀疏。稀疏重構[26]是將待檢測的行人軌跡通過正常行為字典中的行人軌跡以一個稀疏向量進行表示，具體表示如式(20)所示：

由于正常行為字典中的行人運動軌跡幀數與待檢測運動軌跡幀數可能不一致，因此在對運動軌跡進行稀疏重構之前，需要對幀數較多的運動軌跡進行截取，保證正常行為字典中選擇的運動軌跡與待檢測的行人運動軌跡具有相同的幀數。若待檢測的運動軌跡能夠在正常行為字典中找到少量相似度高的軌跡進行表示，此時稀疏向量中存在少量接近數值1的向量值，而當待檢測的運動軌跡在正常行為字典中找不到相似度高的軌跡進行表示，此時稀疏向量中存在大量接近數值0的向量值。所以無論待檢測的行人軌跡為正常行為或是異常行為，都滿足稀疏重構時的稀疏性。

L1范數不僅可以盡可能地近似表示待檢測軌跡，而且能夠在正常字典中樣本較少的情況下對稀疏系數進行高效求解。當然，對于稀疏系數而言，與數值0的差值越大，表明待檢測運動軌跡與正常行為字典中的軌跡越不相似，因此，為了充分表現出相似值大小對最優的影響，采用迭代加權L1范數計算稀疏系數，計算公式如式(21)所示：

3.3.3 直方圖熵

運動信息熵[27]可用來描述行為方向的紊亂程度，因此通過計算區域內直方圖熵可以更準確地對異常行為進行描述，首先計算每個區域直方圖的熵值，計算過程如式(22)所示。

圖9為不同視頻段直方圖熵的變化曲線，其中細實線表示檢測結果為正常行為，粗實線表示檢測結果為異常行為。從圖中可與看出，視頻1共272幀，第122～150幀之間發生異常；視頻2共275幀，第107～209幀之間發生異常。

圖9 直方圖熵的變化曲線Fig. 9 Curves of histogram entropy variation

3.3.4 聯合加權重構軌跡與直方圖熵

表 2 權重與 的選取值Table 2 The selected values of weight and

表 2 權重與 的選取值Table 2 The selected values of weight and

精度/%0.05 0.95 76.7 0.10 0.90 78.9 0.15 0.85 81.8 0.20 0.80 83.4 0.25 0.75 85.0 0.30 0.70 86.7 0.35 0.65 88.3 0.40 0.60 87.6 0.45 0.55 85.2 0.50 0.50 81.0 0.55 0.45 82.1 0.60 0.40 83.5 0.65 0.35 81.6 0.70 0.30 82.2 0.75 0.25 80.5 0.80 0.20 82.7 0.85 0.15 84.3 0.90 0.10 81.1 0.95 0.05 79.3

圖10 權重選取不同值時的異常行為檢測精度圖Fig. 10 Abnormal behavior detection accuracy graph when weight select different values

4 實驗與結果分析

實驗所用機器為Microsoft Windows 10 Professional操作系統；3.30 GHz, Intel Core i5-6600處理器；4 GB內存；Intel HD Graphics 530顯卡；使用Matlab R2014a和Microsoft Visual Studio 2013開發平臺對算法進行實現。

4.1 實驗數據集

采用中國科學院自動化研究所模式識別實驗室(http://www.cbsr.ia.ac.cn/china/Action%20Database 20CH.asp)提供的CASIA行為分析數據集進行實驗，該視頻集由室外環境下3個不同視角的攝像機拍攝而成，CASIA共有1 446段視頻數據，每段視頻含有200～300幀不等，幀大小為320×240，其中多人交互行為包括搶劫、打斗、尾隨等。

假設一般情況下，拍攝到的行人行為是正常的，異常行為設定為出現打斗、搶劫畫面的情況，如圖11所示。

圖11 CASIA數據集的異常行為Fig. 11 Abnormal behavior of CASIA dataset

4.2 評價標準

考慮到正異常行為分布的不平衡性，若僅采用單一評價標準無法較好的分析模型檢測性能。實驗通過檢測精度、錯誤率和曲線3個評價指標對結果進行衡量。假設某時刻發生異常，若被檢測為異常稱為，未被檢測為異常稱為；假設某時刻未發生異常，若被檢測為異常稱為，未被檢測為異常稱為。

4.3 實驗結果分析

對監控視頻中的行人打斗、搶劫兩種異常行為進行檢測，本實驗分別在打斗視頻和搶劫視頻中進行測試，以打斗異常為例，檢測結果如圖12所示。

圖12 異常行為檢測結果圖Fig. 12 Abnormal behavior detection results

此處采用混淆矩陣對本文算法在打斗視頻及搶劫視頻中的結果進行統計，統計結果如表3～4。

表 3 打斗視頻中行為統計結果Table 3 Results of the behavioral statistics in the fight video

表 4 搶劫視頻中行為統計結果Table 4 Results of the behavioral statistics in the rob video

表3為本文算法在打斗視頻中的行為統計結果，當出現行為發起者雙方位置順序發生調換且運動熵很大時，打斗行為被誤認為是搶劫行為，共錯檢9幀；在打斗過程中，出現兩者無交互行為的瞬間，被誤認為是正常行為，該情況共出現17幀。當兩者均在跑動時，此時運動熵很大，且軌跡也是交錯的，該種正常行為被誤檢為打斗異常，共8幀。

表4為本文算法在搶劫視頻中的行為統計結果，當搶劫者加速奪過物品，但未超過被奪者的位置，被誤檢為打斗行為，共4幀；在搶劫者加速跑向被奪者，但尚未抓住行李時的正常行為，被誤認為搶劫行為，共4幀。

為驗證本文算法對行人異常行為檢測的優越性，通過與基于軌跡稀疏重構分析[20]，基于幅值加權方向直方圖熵[21]，基于角點歷史信息[28]、基于矩陣近似[29]及基于加權樣本選擇與主動學習[30]的異常行為檢測算法進行對比，此處將算法[20-21,28-30]分別表示成SRA算法、E-AWOH算法、CHI算法、MA算法和MCLU算法，將本文算法記為WSRTWHE算法，實驗對打斗和搶劫視頻中的異常行為進行檢測，檢測精度對比圖如13(a)、13(b)所示，具體檢測精度和錯誤率數據見表5和表6。

圖13 異常行為檢測精度圖Fig. 13 Abnormal behavior detection precision results

通過分析檢測精度圖可得，CHI算法充分利用了圖像的時空信息，并且克服了場景光照影響，但對于存在遮擋時，跟蹤獲得的運動軌跡不清晰,對異常行為的判斷影響較大，因此檢測精度較低，對于搶劫異常更為明顯，僅達51.72%；SRA算法通過對跟蹤軌跡進行線性重構，并根據其與正常行為字典集的稀疏重構系數及重構殘差來判斷行為是否異常，該方法可用于較小行為字典集，但檢測性能受控制點參數的影響，固定個數控制點導致檢測性能無法達到最佳，在搶劫異常中，僅76.71%；MCLU算法在選取不確定樣本時考慮到樣本的多樣性，并通過一個權重值解決數據不平衡問題，該方法在視頻監控異常行為檢測中取得較好的效果，達79.17%，但權值的選擇問題仍然有待解決；MA算法使用低秩矩陣近似對行為模式進行建模，根據與模型子空間的運動偏差來識別異常的行人行為，但該方法的檢測效果依賴于運動偏差閾值的定義；E-AWOH算法通過計算區域內運動幅值直方圖熵來描述行為混亂程度，無需精確軌跡便可較準確的檢測出行人異常，對于搶劫異常，可達到81.26%。

本文算法對于跟蹤過程中存在遮擋時，跟蹤丟失導致軌跡紊亂的情況，通過結合卡爾曼濾波器和HOG特征，可精確獲取受短時遮擋目標的運動軌跡，有效解決CHI算法跟蹤軌跡不清晰的問題；在對軌跡進行表示時，提出自適應的控制點參數選擇，有效解決SRA算法中受控制點個數的影響。本文算法的聯合加權思想來自于MCLU算法，通過考慮目標運動的多種特征對人體行為進行描述。相比MA算法、E-AWOH算法，本文方法可有效提升行人異常行為的檢測精度，在打斗異常及搶劫異常中分別實現了92.79%和84.62%的檢測精度。

分析表5和表6可知，對于異常打斗和異常搶劫行為的檢測，本文算法在檢測精度方面達到最佳，尤其對于打斗行為的檢測，高達92.79%；在檢測錯誤率方面，本文算法略低于其他方法2%～5%，說明本文算法在檢測行人交互中出現的行人打斗和搶劫等異常行為時具有較好的魯棒性。

表 5 打斗視頻實驗對比結果Table 5 Comparison experiment results in the fight video %

表 6 搶劫視頻實驗對比結果Table 6 Comparison experiment results in the rob video%

針對打斗與搶劫視頻中的異常行為檢測，ROC曲線圖如圖14所示，分析ROC曲線圖可得出，本文算法相比于5種對比算法，在兩組異常行為的檢測過程中，檢測精度與錯誤率之間可以達到更好的平衡。

圖14 異常行為ROC曲線圖Fig. 14 Abnormal behavior ROC curve

基于學習的方法對特征要求很高，針對視頻中行人發生異常時存在遮擋的問題，該類方法檢測效果不佳。本文通過時空上下文算法結合卡爾曼濾波器和HOG特征，有效解決了異常發生時目標被遮擋的問題。在目標存在遮擋的監控場景中，實現有效的檢測和跟蹤，可獲取更加清晰的運動軌跡，采用自適應控制點參數對運動軌跡進行表示，同時結合運動幅值直方圖熵，實現對目標運動的詳細描述，從而滿足于進一步對異常行為的研究。

5 結束語

本文針對存在完全遮擋時，運動目標跟蹤易產生漂移的問題，在時空上下文的基礎上，融入卡爾曼濾波器及HOG特征，對于短時間內完全遮擋的行人具有較好的跟蹤效果。通過自適應選擇控制點參數對運動軌跡進行表示，同時考慮到目標運動直方圖熵，本文提出一種聯合加權稀疏重構軌跡與幅值方向直方圖熵的行人異常行為檢測方法，在識別行人交互中存在的打斗和搶劫異常時，檢測率可達92%以上。但本文方法仍存在一些不足，比如在獲得幅值方向直方圖時，需計算軌跡上每個點所在子區域范圍，計算過程復雜，且無法達到實時性要求，對于時間性能的提升將是下一步研究的重點。