面向刑偵視頻的異常行為檢測系統的設計與實現

吳松偉 劉軍 范長軍 陳久紅 程球 柳明

摘要：在刑偵過程中通過基于視覺的行為分析與理解技術，及時地發現和識別潛在作案者的異常行為，對犯罪預警具有極為重要的現實意義。文章分析了視頻監控系統在異常行為檢測方面存在的問題，對異常行為檢測系統的實現形式、系統架構以及異常行為檢測方法進行研究。設計了視頻監控異常行為檢測系統的軟硬件系統框架;研究了基于視頻的行人檢測方法與異常行為檢測識別方法;完成了相關算法在上述系統上的實現與開發.系統測試表明，該系統可以準確、高效地檢測異常行為，能夠滿足當前刑偵中視頻監控產品的需要。

關鍵詞：視頻監控;異常行為檢測;行人檢測;刑偵

中圖分類號：TP391.4

文獻標識碼：A

文章編號：1006-8228（2020）09-67-05

Design and implementation of video-based abnormal behavior detection system for criminal investigation

Wu Songwei'， Liu Jun2. Fan Changjun3， Chen Jiuhong3， Cheng Qiu3， Liu Ming3

（I. Investigation Technology Division of Air Force Political Worle Department， Beijing 100843， China： 2. Chine.se People's Liberation Army /Vo.63650; 3. No. 52 Re.search Institute of China Electronic Technology Corporation）

Abstract： In the process of criminal investigation， it has great practical significance to detect and identify abnormal behaviors ofpotential perpetrators by visual-based behavior analysis and recognition technology. In this paper， the problems of abnormal behaviordetection in current video surveillance systems are analyzed. and implementation forms， system architectures and related methods ofabnormal behavior detection system are studied. After designing the overall hardware and software framework of the system.studying the methods of pedestrian detection and abnormal behavior detection， and realizing the related algorithms for the system， avideo-based abnormal behavior detection system is implemented. The experimental results show that the system can detect abnormalbehavior accurately and efficiently， and can meet the needs of current video monitoring products in criminal investigation.

Key words： video monitoring; abnormal behavior detection; pedestrian detection; criminal investigation

0引言

安防監控產品日益普及，覆蓋銀行、地鐵、停車場、超市、學校、主干道等公共場所，在刑偵、安保等領域發揮了重要作用。現有的視頻監控數據量龐大，依賴人力已無法及時有效地處理，而大多數監測系統只是對監控范圍內發生的情況進行簡單記錄和存儲，并不進行檢測處理。即使有人值守，由于各種復雜場景等原因，監控的實時性也不高[1]。為了解決上述問題，出現了無人值守的智能視頻監控系統。

目前，一些最新的智能視頻監控產品開始具備視頻分析的功能，能對簡單的人體行為進行檢測并報警，可以輔助刑偵人員提高工作效率。國內的部分智能監控產品實現了對預先定義的簡單異常事件進行檢測，包括入侵檢測，移動物體檢測，移走物體檢測等[2]。比如，華為公司研發出了eSpace IVT智能監控平臺，利用網絡攝像機實現多點部署，提供物體移走檢測，突然出現檢測，周界入侵檢測、速度檢測等簡單功能[3]。對行人行為的理解與異常行為的檢測是刑偵、安保領域研究的重點和難點之一，也是智能視頻監控系統的一個重要組成部分。可以看到當前智能視頻監控系統人體行為檢測部分的功能依舊很弱，在智能化、模塊化的方向上仍有很大改進空間，目前還缺少一套完善的方法和系統框架能夠對監控視頻中行人的異常行為進行有效檢測和識別。

針對上述現象，本文設計并開發了一套行人異常行為檢測與安全預警系統，對該領域的技術發展與進步進行積極的探索。首先，設計了異常行為檢測系統軟、硬件系統框架，通過分層的方法，支持硬件設備的自由拓展，比如：增加監控點、增加處理器，以支撐多種算法的高效調度和運行;其次，研究了現有的行人檢測算法與人體行為動作識別算法，選擇穩定高效的對應算法進行組合研發，以實現所需的功能;最后，在上述框架和算法的基礎上，實現了一套行人異常行為檢測系統，完成算法在平臺框架上的調試，并實際運行和測試。

1系統功能分析與總體設計

1.1系統功能分析

針對銀行、醫院、廣場、主干道等公共場所，為異常行為檢測視頻監控與預警安全系統設計了以下主要功能，如圖1所示。

（1）提供視頻圖像分析引擎功能，支持普通單路視頻單人、多人行為動作識別，支持多路視頻并行處理。其中，單人異常行為主要包括攀爬、發狂、打砸物品等;多人異常行為主要包括搶奪財物、襲擊他人等;

（2）行人主動求助。行人在面對危急情況時可以通過面向攝像頭做特定動作（比如，雙臂交叉揮舞）啟動求助功能。在這樣的情況下，攝像頭能夠識別求救信號，啟動救助程序;

（3）遠程查看。刑偵人員可以在網上遠程查看攝像頭的實時錄像。

1.2系統總體架構設計

本系統由多路行人卡口IPC網絡攝像機、前端Web服務器、后端算法服務器、大數據服務器等硬件以及運行在這些服務器平臺上的算法及軟件組成。總體的系統架構如圖2所示。

異常行為識別系統總體采用層次化、模塊化設計，不同類型的服務器上部署有不同功能的軟件服務。后臺算法服務器提供可供調用的智能算法庫，包括對異常行為進行檢測的神經網絡的訓練和推理算法等，并保證算法運行的實時穩定;算法調度模塊通過下層算法庫提供的接口調用算法，并保證調度的效率和有序性;拉推流模塊負責拉取邊緣節點IPC的視頻流，以及將處理完成的視頻流推送至中心調度模塊;中心調度模塊負責數據的傳輸與調度工作，Web頁面模塊負責產品前端展示部分，此兩者均可運行在Web服務器上。同時，在大數據服務器上加入分布式計算與分布式存儲的內容.分布式計算模塊負責對歷史視頻數據和檢測結果做進一步的分析與挖掘，分布式存儲模塊負責行人視頻數據庫與歷史信息數據庫的維護。

在以上的系統框架下，數據在各模塊之間流動，實現了整個異常行為檢測系統的功能。總體的數據流向如下：多路邊緣感知節點IPC采集各路視頻流，智能算法服務器拉取視頻流并進行行人檢測算法和異常行為檢測算法處理，算法處理后原始視頻流加處理結果傳送至Web及調度服務器中的中心調度模塊進行調度;最后，中心調度模塊對Web展示和大數據計算及存儲進行調度，完成算法處理結果的存儲、展示，或者進一步的挖掘。

1.3管理配置流程設計

對多路視頻的支持要求異常行為檢測系統有強大的計算能力以及良好的可擴展性，設計的原則是盡量保證各模塊的低耦合。為此，該系統的計算服務器均以集群的形式來提供，在此基礎上本文設計了對應的集群配置管理體系及流程。具體如圖3所示。

總的配置管理流程分為五個步驟：

Step1用戶通過Web可視化管理平臺發起服務管理配置請求，如所需的智能處理服務選取（行人檢測、異常行為檢測），視頻/圖像選取，服務參數設定（類別、閾值）等，或者通過業務系統發起服務管理配置請求，并發給視頻圖像分析引擎;

Step2視頻圖像分析引擎通過解析服務管理配置，對集群管理提出資源請求;

Step3集群管理根據獲得的服務請求進行資源配置，并返回請求結果給視頻圖像分析引擎;

Step4視頻圖像分析引擎根據服務配置解析得到的結果以及分配到的資源，調度圖像視頻智能處理服務;

Step5視頻圖像智能處理服務反饋服務啟用情況給Web可視化管理平臺。

1.4算法總體流程設計

異常行為檢測與其他生物特征識別技術相似，應用過程的基本流程包括先對要識別的行人目標進行檢測和分割，然后針對這些行人目標，開展人體行為動作的分析和異常與否的判定。

總得來說，系統開始運行時，管理員首先需要接入實時視頻流，同時設置異常行為事件上報接口。然后啟動人員分析服務，對實時流中的行人進行檢測，進而針對行人進行行為動作的識別和分析，如果分析結果中包含攀爬、發狂、打砸物品等異常行為和搶奪財物、襲擊他人等危險行為，則將異常的行為動作上報給用戶。具體如圖4所示。

本系統算法總體流程如圖5所示，異常行為檢測的流程主要包括了行人檢測以及人體行為動作識別兩個部分。異常行為檢測服務在收到視頻圖像時，首先進行多目標行人檢測。其中，行人檢測分為三個步驟：①通過運動建模來區分背景和運動的物體;②通過人體檢測從前景中篩選出圖像中的所有行人;③針對檢測出的行人做優化篩選處理。其次，在這些多人檢測結果的基礎上，結合3D CNN（3-Dimension ConvolutionalNeural Networks）與LSTM（Long Short-Term Memory）深度神經網絡來進行人體行為動作的識別。最終，根據閾值將算法的輸出結果進行篩選，判定是否為異常動作或者危險動作，通過上報接口對動作進行上報。

其中，人體行為動作識別由三維卷積神經網絡3DCNN與循環神經網絡LSTM相配合來實現，神經網絡的實現總體包括兩個步驟，分別是離線模型訓練與在線實時推理。由于基于神經網絡的方法需要大量的數據，并且訓練過程需要耗費大量的算力和很長的時間，因此，需要在系統搭建之初即完成數據收集以及模型訓練的工作，在系統的實施階段將模型導入服務器以作為后續在線實時推理的基礎組件。

算法總體的業務邏輯如下：當程序啟動后，根據相機ID創建進程，然后初始化四個主要功能模塊：視頻拉推流功能模塊，行人檢測模塊，人體行為動作識別模塊，邏輯判定模塊。算法框架中這四個模塊可并發執行，初始化完成后，根據到來的實時視頻流依次執行上述功能。

2異常行為檢測算法原理與設計

在現實環境中，可疑目標行為在不同場景下存在著背景雜亂、視線阻擋和視角變化等情況。過去大量人體行為識別方法的應用場景苛刻，例如目標小尺度變化和小視覺改變等，但現實中難以滿足。而且傳統的檢測方法因判別因素單一，且缺乏多因素之間的關聯性分析，而難以取得令人滿意的檢測效果。本文針對上述的缺點與不足，分兩個階段進行異常行為的檢測：①對運動視頻采用基于混合高斯模型的方法進行背景建模以得到運動前景，對這些運動前景提取HOG特征并采用支持向量機進行行人檢測與識別以得到每幀圖像中的行人前景;②弱化視頻中每幀圖像背景區域的影響，將處理后的視頻通過結合3D CNN及LSTM深度神經網絡的方法來進行行人人體行為動作的識別。將識別出的行為類別及其置信度與預設的閾值做比較，最后得到異常行為檢測的結果。

下面針對異常行為檢測系統中最重要的兩個算法，行人檢測與人體行為動作識別，分別進行分析與闡述，并針對本文系統進行了針對性的設計。

2.1行人檢測算法

行人檢測采用混合高期模型（Gaussian Mixed Model，GMM）加支持向量機（Support Vector Machine，SVM）的方式來實現。主要有兩個步驟：①使用混合高斯模型對視頻中的每幀圖像進行背景建模，提取出運動前景圖像區域;②對前景圖像區域進行行人檢測，判斷前景圖像中是否含有行人以及行人的位置。

具體地，先利用混合高斯模型[4]建立視頻中每幀圖像的背景模型，從而實現視頻圖像前景目標的發現，算法代碼如下：

輸入：高斯模型的數量K

輸出：前景目標外接矩形集合SF

for 在視頻中的每一幀圖像/

P←圖像/標準化

If P為第一幀圖像then

GMM←初始化K個高斯模型

Pb←初始化背景

else

GMM←更新高斯模型

Pb←更新背景

PJ←P←Pb

BRs←對PJ進行二值化

BR←縮放BRs至視頻大小

Pf'←對BR進行形態學處理

Pf''←計算p'的輪廓

SR←計算Pf''中各個目標的外界矩形

SF←精簡輪廓

end if end for

基于方向梯度直方圖與支持向量機[5]的行人檢測算法如下：

Step1創建SVM行人檢測分類器，分類器類型為epsilon類支持向量回歸機，使用徑向基核函數;

Step2將SR設置為當前幀Pcur的感興趣區域，并裁剪得到Pdst;

Step3將感興趣區域提取出來保存至新的圖像中，并放縮至固定大小，比如64×128，以提高算法運行速度，并防止輸入圖像過小以至小于檢測窗口的最小限制;

Step4使用直方圖均衡化增強Pdst的亮度和對比度，并對其進行多維度檢測，并將結果保存到集合SPR中;

Step5遍歷集合SPR，處理得到的行人矩形框，將不嵌套的矩形框加入新集合SPF中，而嵌套的矩形框則取大的矩形框加入SPF;

Step6求出矩形框在原圖像Pcur中的坐標，得到行人檢測結果;

Step7重置Pcur的感興趣局域，重復步驟2-7，知道SR遍歷完成。

2.2人體行為動作識別算法

通過行人檢測過程，獲得了視頻中每幀圖像中的行人前景圖像區域和環境背景圖像區域;隨后將背景圖像區域的RGB值進行減半處理，以弱化背景部分，來突出運動行人前景部分，我們把經過上述處理的視頻序列記為V。

假設視頻序列V有N幀圖像，可表示為V=（v1，v2，…，vN）。首先，將V分割成T個短視頻序列（或稱視頻剪輯），則V= （v1s，v2s，…，vts，…，VTs），其中vts表示第t個視頻剪輯，其中T= N/K，其中K是每個視頻剪輯的長度;接著，通過3D CNN網絡編碼每一個視頻剪輯，生成X=（x1，x2，…，xT）;最后，將上述數據輸入時序模型LSTM來進行分類和識別。

首先，進行3D信號編碼。采用C3D對視頻V進行編碼，提取時空特征X=（x1，x2，…，xT）。針對V中的每個視頻剪輯，采用3D CNN對其進行卷積操作，以構建每個視頻剪輯的動作特征的表征[6]。具體的卷積神經網絡的結構如圖6所示。

其次，生成序列轉換模型。對于包含多個視頻剪輯的單個視頻V，使用LSTM提取多個視頻剪輯之間的時序關系[7]。本文中單個視頻V包含10個剪輯視頻，每個視頻剪輯包含16幀，即T=10，K=16。LSTM模型使用序列轉換模型，輸入序列為經過3D CNN編碼后的X=（x1，x2，…，Xt，…，xT），輸出序列為最后的隱藏層的值（h1，h2，…，hL）。在LSTM網絡層的后面加上基于時間序列的池化層，輸出記為Z。

最后一層為Softmax層，用來輸出該視頻中對應各異常行為類別的概率分布Pu，w（y），以進行人體行為動作的識別與分類，最終即可預測出該人體行為動作的類別以及對應的置信度。具體如下面的公式所示。其中，U為3D CNN網絡的參數，c為備選的行為類別集合。最后，將置信度與預設的閾值進行比較，即可判定得到該檢測到的行為是否為異常行為。

其中，Szc，Szc、，bc，bc、都是Softmax層的參數。

3實驗與分析

為方便對本文方法進行評估，收集并標注了大量的視頻數據集。重點收集的行為類型包括：攀爬、發狂、打砸物品、搶奪財物、襲擊他人等，并擴充了包括走路、上樓、下樓、跑步、騎自行車、開車等20多種日常活動類別。

在此數據集的基礎上。進行模型的訓練，驗證與測試。將訓練集、驗證集與測試集的比例劃分為8：1：1，每次測試通過隨機抽取其中的80%數據進行訓練，在剩余的數據中，隨機抽取50%作為驗證集，另外50%作為測試集，然后循環往復測試10次，取其準確率（Accuracy）的平均值為最終結果，如表1所示。本文方法可以達到平均84.0%的準確率。從D.Tran等人的工作[8]可知，當前較好的深度3D CNN方法在UCF101數據集上的平均準確率為82.3%，與之相比，本文方法達到了較好準確率。

4結束語

本文設計并實現了一整套面向刑偵視頻的異常行為檢測系統，應用于刑偵、安保等領域。首先，設計了異常行為檢測系統的總體框架和算法流程，主要由運行在三類服務器上的六個功能模塊實現;然后，分析了系統核心算法——行人檢測和人體行為動作識別，設計了由混合高斯與支持向量機實現的行人檢測算法，以及由3D CNN與LSTM構成的人體行為動作識別神經網絡，并基于Softmax層來進行人體行為動作的分類;最后，根據分類的結果及其置信度與對應的閾值相比較，實現了對異常行為的準確檢測。基于上述設計進行了廣泛的實驗，實驗結果表明了本文系統的有效性。

參考文獻（References）：

[1]王娟.基于視頻的異常行為檢測系統的設計與實現[D].西南交通大學碩士學位論文，2015.

[2]雷玉堂，安防&智能化視頻監控系統智能化實現方案[M].電子工業出版社，2013.

[3]尚進.監控視頻中行人異常行為檢測系統的設計與實現[D].東南大學碩士學位論文，2015.

[4]徐志通，駱炎民，柳培忠，歐陽怡，趙亮.一種基于時空HOG與級聯SVM的行人檢測算法[J].海峽科學，2016.7.

[5]黃鑫娟，周潔敏，劉伯揚，自適應混合高斯背景模型的運動目標檢測方法[J].計算機應用，2010.30（1）：71-74

[6]劉嘉瑩，張孫杰.融合視頻時空域運動信息的3D CNN人體行為識別[J].電子測量技術，2018.7.

[7]劉景巍，基于擴展數據集的LSTM行為識別方法研究[D].遼寧大學碩士學位論文，2018.

[8] D. Tran，L Bourdev， R. Fergus， L. Torresani， and M.Paluri. Learning spatiotemporal features with 3dconvolutional networks. Proc. 2015 IEEE Int. Conf.Comput. Vis.， Dec，2015：4489-4497

收稿日期：2020-04-02

作者簡介：吳松偉（1982-），男，山東濰坊人，碩士，工程師，主要研究方向：偵查工程，智能安防。

通訊作者：劉軍（1974-），男，河南洛陽人，碩士，高級工程師，主要研究方向：計算機網絡技術，大數據技術。