基于深度學習的視頻目標異常行為分析

徐飛

摘要：為了使視頻監控系統達到較高的智能化水平，提高工作效率，實現自動檢測并反饋異常情況，該文提出了一種基于深度學習的視頻目標異常行為分析算法，針對考場和網上評卷監控視頻，判斷目標是否存在異常行為，基于目標及骨架模型檢測、目標跟蹤和目標行為分析多端結合的方法在此方面更有效，在考場和網上評卷監控視頻中的考生和老師異常行為分析具有明顯的效果，能夠解決考場和網上評卷監控視頻中人工查找異常，工作效率低及視頻存儲冗余大，無法過濾無關緊要的視頻等問題。

關鍵詞：深度學習;骨架模型;考場監控

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）20-0230-03

開放科學（資源服務）標識碼（OSID）：

1概述

考場和網上評卷監控視頻系統大多處于傳統模式，其主要功能和應用還是停留在攝像和存儲上，即“只記錄不判斷”，一旦發現異常情況，只能通過人工回看存儲的視頻查找異常，因此目前的視頻監控主要存在以下問題：需人工回看查找異常，工作效率低;視頻存儲冗余大，無法過濾無關緊要的視頻。

近年來，隨著計算機視覺領域的飛速發展，以及機器學習技術、深度學習技術等深度應用，基于監控視頻的拓展研究領域越來越廣泛，應用相關技術對視頻中的人體行為進行分析，將現有的簡單行為識別和語義描述推廣到更為復雜的未知場景下的行為分析與自然語言描述變得越來越重要。目前視頻行為分析方法主要通過深度學習實現，其中主要分為基于端到端的深度神經網絡架構的方法和基于目標及骨架模型檢測、目標跟蹤和目標行為分析多端結合的方法。這兩種方法在行為識別方面都取得了不錯的效果。

但針對考場和網上評卷監控視頻，由于視頻中存在多個目標且間隔較小，基于端到端的深度神經網絡架構方法對目標行為分析效果不明顯，為了實現更加智能化的目標行為分析方法，判斷目標是否存在異常行為，基于目標及骨架模型檢測、目標跟蹤和目標行為分析多端結合的方法在此方面更有效，基于此，本文提出一種新穎的基于深度學習的視頻目標異常行為分析算法。

2基于深度學習的視頻目標異常行為分析

綜合考慮監控環境和目標行為的檢測與分析，實現基于深度學習的人體姿態估計動態行為分析算法，其主要分為四個關鍵的處理階段：第一階段是基于深度學習的人體姿態估計核跟蹤算法，實現了多個目標檢測及目標骨架模型檢測和使用非極大值抑制算法確定目標在不同相鄰圖像序列之間所處的位置，實現跟蹤目標的目的;第二階段是選取目標關鍵坐標信息，目的是去掉目標姿態中多余的坐標點和非規則的目標圖像有利于對目標行為分析，降低行為識別錯誤率;第三階段是界定目標行為，提取目標正常行為和異常行為時的特征向量，經過SVM分類器進行動作分類，其中SVM分類器由大量目標行為動作特征訓練得到;第四階段是結合SVM分類器的學習算法和特征向量相似度匹配算法修正行為界定參數，實現了動態行為分析算法對識別錯誤的目標行為進行再學習和即時屏蔽相似識別錯誤的行為的功能?；谏疃葘W習的目標考場異常行為分析主要原理如圖1。

2.1基于深度學習的人體姿態估計和跟蹤

基于深度學習的視頻目標異常行為分析算法，首先實現的是目標檢測，目的是從視頻序列的場景圖像中準確檢測、提取出目標。目標檢測是數字圖像處理技術的一個主要組成部分，也是計算機視覺、模式識別、目標跟蹤與識別、安全監控等眾多領域的重點和難點，在許多領域都有廣泛的應用背景。智能監控系統中的后續處理與目標檢測效果的優劣直接相關，比如后續的行為理解和分析等。因此，目標檢測效果的優劣關系到整個系統的優劣性和實用性。

基于深度學習的人體姿態估計算法實現了對目標及其抽象姿態的檢測，即通過人體結構關系優化算法連接每個目標的關鍵關節坐標點實現對目標抽象姿態的檢測，主要原理步驟如下：

1）利用卷積神經網絡CNN_1（VGG網絡模型）對圖像進行特征提取生成特征圖，目的是過濾無關背景;

2）分別利用兩個卷積神經網絡（CNN_2_1和CNN_2_2分別為全連接網絡模型）對圖像特征圖進行分布式處理，CNN_2_1實現檢測人體關節坐標區域并通過非極大值抑制算法進行優化得到最優的人體關節坐標點，CNN_2_2實現檢測人體結構關系區域并通過人體結構關系向量優化算法得到單一人體結構區域，聯合人體關節坐標點和單一人體結構區域得到人體目標抽象姿態。

3）優化神經網絡模型循環迭代至損失函數值最小得到最優的單一目標人體抽象姿態（包含人體關節坐標點）。

算法中卷積神經網絡CNN_1是為了滿足提取圖像特征的需要由大量目標圖像訓練得到，卷積神經網絡CNN_2_1是為了滿足檢測關節坐標區域的需要由大量目標圖像通過標定關節位置的高斯響應訓練得到，卷積神經網絡CNN_2_2是為了滿足檢測結構關系區域的需要由大量目標圖像通過標定和計算人體部件位置訓練得到。另外對得到的每個目標骨骼模型在圖像序列之間建立目標相關骨骼模型流，由于考場中有多個目標且移動幅度較小，所以使用非極大值抑制算法確定目標在不同相鄰圖像序列之間所處的位置，實現跟蹤目標的目的，便于對連續圖像序列中的每個目標進行行為分析?；谏疃葘W習的人體姿態估計原理圖如圖2：

2.2選取目標關鍵部位坐標信息

根據視頻監控下的場景，目標在考試或網上評卷過程中的行為主要集中體現在目標的頭部、肩部、胳膊等上半身部位，對目標進行行為分析主要是對目標上半身部位的分析。因此，需要對人體姿態估計算法得到的目標抽象姿態做進一步處理，去掉上半身以外的部位。

首先，根據人體姿態估計算法，找出需要去掉的身體部位的坐標點的操作實際上就是把去掉部位對應的坐標點置為0，得到所需部位關鍵坐標點，然后對所需的人體關鍵坐標點進行連接。另外，為了避免對拍攝不當或存在遮擋的目標產生錯誤的行為分析，算法中把是否拍攝到目標上半身關鍵部位將目標圖像定義為規則圖像和非規則圖像，規則圖像是包含目標頭部、肩部、胳膊或者頭部、肩部或者肩部、胳膊的圖像，其他的圖像為非規則圖像。系統中采用丟棄非規則圖像，只處理規則圖像的策略實現行為分析，示意圖如圖3：

2.3目標行為特征提取與分析

目標行為界定就是目標異常行為識別的過程，異常行為識別是指對人體行為通過機器語言和算法進行分析和描述，并采用自然語言對其進行理解，這個過程為行為-視頻-分析-描述-行為，即測試序列通過預先建立的異常行為分類器進行行為分類，可以簡單地認為是時空變化的數據分類。因此，人體異常行為識別的關鍵技術是如何依靠樣本建立人體行為分類器，并且該分類器能夠適應在相似背景下的空間和時間尺度上的變化特征來更新和學習。

目標行為界定的原理是在基于深度學習的人體姿態估計算法的基礎上，對目標關鍵部位的變化進行特征表示，然后通過SVM分類器進行行為識別。

特征表示的原理流程是在通過人體姿態估計算法檢測到目標圖像中建立統一坐標系，計算連續兩張圖像中目標的關鍵點坐標變化幅度值、方向和胳膊連接線、兩肩連接線、頭部連接線相互之間的角度變化并組成特征向量，特征向量提取示意圖如圖4所示。

行為識別的原理流程是把行為特征向量通過SVM分類器進行分類，得到行為類型，判斷目標行為是否為異常行為，其中SVM分類器是經過標注和提取大量目標行為特征向量訓練學習得到。

目標行為界定原理圖如圖5：

2.4相似度匹配和反饋學習

目標行為分析在實際應用中，不可避免地會出現對某些行為發生了錯誤的識別，即把正常的行為識別為錯誤的行為。系統會產生誤報，影響正?？荚?，為了達到即時屏蔽類似錯誤識別的行為的目的，并后期可以對SVM分類器進行反饋學習，設計了基于特征向量相似度匹配的行為識別修正算法和錯誤識別的行為特征向量反饋學習算法。

基于特征向量相似度匹配的行為識別修正算法的原理是把錯誤識別的行為的特征向量保存到修正庫中，并根據實際行為類型記錄到修正庫中，將修正庫中的特征向量與每次提取的行為特征向量進行余弦相似度匹配，并設定相似度閾值，當通過SVM分類器界定結果與相似度匹配結果一致時，得到最終行為界定結果。反饋學習算法的原理是利用了分類器模型能夠再學習的優點，當目標行為界定算法對于一些行為發生錯誤識別時，反饋學習算法通過人工標記錯誤識別的行為類型反饋給SVM分類器，SVM分類器經多次訓練后可以自動修正行為分類中的參數并提高行為識別準確率。

3實驗

在應用中，因為考場和網上評卷視頻中存在大量冗余，所以我們采取在視頻中采樣圖像的方式進行目標動態行為分析，我們算法中所使用的卷積網絡模型和SVM分類器都是經過長時間積累的考場和網上評卷監控視頻中的圖像數據進行標注和訓練得到。在應用測試中，我們把異常行為分類準確率作為衡量算法優劣的標準。

在某省一場考試中，實時處理近3000小時監控視頻，視頻分辨率為720p，對三個目標異常動作（轉身，伸手，起身）測試結果如下：

4總結

智能視頻動態行為分析作為視頻監控的一個發展方向，已經得到越來越多的關注，可以預見的是，考場和網上評卷現場監控視頻環境下的目標行為分析將對考場和網上評卷現場秩序考試中的突發狀況發揮著越來越重要的監控作用。

本文在研究和分析了基于視頻序列的動態行為分析關鍵技術的基礎上，圍繞考場和網上評卷現場中對目標的異常行為分析識別要求，設計了基于深度學習的人體姿態估計動態行為分析算法，雖然目前這種應用技術受到監控視頻質量、目標行為樣本數量和計算能力的影響，還不夠成熟，但它能夠檢測和識別考場和網上評卷現場中部分異常動作（轉身，伸手，起身）。

參考文獻：

[1] Cho S H， Kang H B. Abnormal behavior detection using hybrid agents in crowded scenes[J]. Pattern Recognition Letters， 2014， 44： 64-70.

[2] 李婧. 電子監考異常行為的檢測與研究[D]. 太原： 太原理工大學， 2013.

[3] 李慧. 基于視頻的考場異常行為識別研究[D]. 天津：天津財經大學， 2012.

[4] 楊帆. 智能化考場中考生考勤的關鍵技術研究[D]. 昆明：昆明理工大學， 2014.

[5] 張銀霞， 馬小川， 楊季彪， 等. 基于卡爾曼濾波的考生異常行為檢測與識別[J]. 齊齊哈爾大學學報 ：自然科學版， 2017（6）：16-19.

[6] Arifoglu D， Bouchachia A. Activity recognition and abnormal behaviour detection with recurrent neural networks[J]. Procedia Computer Science， 2017， 110： 86-93.

[7] 韓貴金， 趙勇. 基于樹形圖結構模型的人體姿態估計[D]. 西安：西安郵電大學學報，2013.

[8] 李少波， 趙毅夫， 趙群飛， 等. 機器人的人體姿態動作識別與模仿算法[J]. 計算機工程，2013（8）：181-186.

[9] Chong Y S， Tay Y H. Modeling representation of videos for anomaly detection using deep learning： A review[J]. Computer Science， 2015.

[10] Castro D， Hickson S， Bettadapura V， et al. Predicting daily activities from egocentric images using deep learning[C]//proceedings of the 2015 ACM International symposium on Wearable Computers. ACM， 2015： 75-82.