管控區域人員異常行為檢測系統與方法研究

周曉芳 吳松洋 韓 瑋 丁 昊 孫偉華 邱 瑾

(公安部第三研究所 上海 201204)

0 引 言

對于監獄、限制進入區域、高密級區域等管控區域和特殊場所，安全問題至關重要。全面、實時、準確地進行人員異常行為檢測，能夠有效輔助管理人員獲取準確信息，提前阻止危險活動的發生，保障區域安全，并實現管理資源的合理分配。

對管控區域范圍的異常行為檢測本質上是行為識別的問題。隨著人工智能、物聯網、大數據等技術的發展，行為識別在智能家居[1-2]、老人監護[3-4]、病人康復[5-6]等領域得到了廣泛應用。

從分析數據類型角度，目前的行為識別方法主要分為基于圖像信號的方法和基于傳感器信號的方法。

基于圖像信號的方法利用計算機視覺和圖像處理等技術，分析所采集的視頻或圖像進行行為識別。例如，文獻[7]基于深度視頻中的關節運動信息，提取相對位置信息和角度信息并進行特征融合，進行人體行為識別。文獻[8]提出了一種Improved FSSD方法來檢測跌倒行為。文獻[9]結合卷積神經網絡和循環神經網絡，提取視頻中的時域信息和空間信息，以識別視頻中的人體行為。文獻[10]針對中小人群異常行為檢測問題，提出了自適應閾值的Vibe算法檢測運動目標，結合基于加速分割的自適應通用角點檢測算法，采用極限學習機算法對群體行為進行學習和分類。

基于傳感器信號的方法通過各類型場景傳感器采集數據，經算法分析實現行為識別。例如，文獻[11]提出基于無線體域網的囚犯異常行為識別方法，采用分類算法檢測管控區域內打架斗毆等異常行為。文獻[12]基于多傳感器時域特征，實現了對8種人體日常行為模式和4種摔倒模式的實時識別。

總體上，基于視頻分析的方法可獲取的信息更豐富，但是難度相對較大，對于環境、設備和用戶的適應較為困難。基于傳感器信號獲取的信息相對不豐富，但受到的影響小，處理難度相對小，準確性較高，對于實際用于環境的適應性強。本文采用基于傳感器信號設計進行人員異常行為檢測研究應用。針對管控區域監控應用場景，目前的行為分析方法存在實時性差、目標動作單一、準確率低等問題，本文從位置和動作兩個方面提出了全面的行為分析方法。前者判斷目標人物位置是否在合理管控范圍內，主要基于位置特征實現，后者判斷目標人物具體的動作行為，主要基于傳感器加速度特征實現。本文實現的監控區域人員異常行為檢測系統是綜合位置和行為等多種因素的智能分析系統，其優點有：一方面，與現有的以位置管理功能為主的監控系統相比，該系統具有更高的安全性，可對合理位置內的目標行為進行監控；另一方面，與視頻分析監控相比，基于動作傳感器的行為監測所需計算能力要求低、實時性好、虛警率低，在受控區域內安裝方便，是目前技術條件下較好的解決方案。

1 管控區域人員異常行為檢測系統

1.1 監控內容及范圍

總體上，管控區域內的異常行為分為兩種情況：個人異常行為和多人(群體)異常行為。個人異常行為包括闖入、脫管、滯留、暴力動作，而多人異常行為主要指異常接觸。異常行為檢測系統需能夠實時讀取被管控人員的位置和動作信息，對相應行為進行分析識別并做出準確判斷。該系統由計算機、傳感器、基站等硬件設備和數據庫、數據處理算法和異常行為識別算法等軟件部分組成。本文研究的內容架構見表1。

表1 監控內容及范圍

1.2 系統核心硬件

本文所搭建的監控系統的核心硬件有動作感知模塊、動作采集基站、位置感知模塊和位置采集基站等。

動作感知模塊采用多傳感器融合方案，包括三軸加速度計、三軸磁力計、三軸陀螺儀。九軸數據融合后，通過2.4 GHz無線頻段實時傳輸至動作采集基站。

動作采集基站無線數據傳輸頻段為2.4 GHz、無線數據傳輸速率支持48/96 Hz，數據輸出接口采用USB2.0，可選配外置定向和全向天線，可接外置移動電源供電，有單獨的電源線和數據線，室內外無線傳輸距離分別為50 m和150 m。

位置感知模塊采用2.4 GHz藍牙技術實現，每個模塊都有一個不重復的編號。模塊定期主動向周圍發送模塊編號和定位信號強度信息，發射頻次可調。

位置采集基站工作頻率為2.4 GHz，工作帶寬1 MHz，發射功率0～6 dBm，工作模式有RFID和BLE。當工作在RFID模式時使用私有信道2 401 MHz或2 481 MHz，使用該頻道的產品較少，外界干擾較少。當工作在BLE模式時使用藍牙協議中的37廣播信道，避開了Wi-Fi等無線干擾嚴重的頻段。由此，位置采集基站可有效避免系統內部及外界設備的電磁干擾。

1.3 系統拓撲結構

本文完成了基于位置及傳感器特征的實時提取和行為分析系統搭建，圖1為系統整體架構。通過位置感知模塊和動作感知模塊分別感知位置信息和動作信息，通過采集層的位置采集基站和動作采集基站上傳至后臺。采用去噪、平滑、補全、同步等技術方法，將系統所采集的原始數據轉化為可用于算法處理的數據。通過建模過程，形成不同類型行為的特征數據庫。通過行為分析算法，實現位置行為、動作狀態的行為識別，并向應用層提供數據接口。

圖1 異常行為檢測系統整體架構

基于位置的特征提取硬件系統由高精度藍牙基站、移動節點和一個實時位置服務器基站組成。系統中作為射頻發射器的移動節點附著于目標人員身上，作為射頻接收器的高精度藍牙基站通過以太網接口，提供與實時位置服務器基站的連接。

基于加速度的特征提取硬件系統由動作感知節點、動作采集基站和一個實時動作服務器基站組成。動作感知節點采用三軸加速度計、三軸陀螺儀的傳感器融合技術實現，其固定于目標人員手腕和腳腕部位，用于加速度與角速度數據采集。采集數據通過動作采集基站上傳至實時動作服務器基站。基于位置和加速度的特征提取硬件系統拓撲結構分別如圖2所示。

圖2 基于位置和加速度的特征提取硬件系統拓撲圖

2 基于位置特征的異常行為檢測

位置信號感知模塊采用藍牙技術實現終端接收信號強度(Received Signal Strength Indication，RSSI)信號的感知后，通過位置信號采集模塊采集各感知模塊信號，并通過位置信號生成算法解析得到可用的位置坐標信號。位置信號生成算法包括位置信號處理算法和位置信號優化算法兩部分，整體流程如圖3所示。

圖3 基于位置的特征提取模型流程

位置信號處理算法通過陣列天線接收的RSSI信號，測量到達角(Angle of Arrival，AOA)，從而精確測量出目標信號的方向和坐標(x，y)，見圖4。一個位置信號處理模塊可計算出給定高度的標簽的2D坐標，兩個位置信號處理模塊可計算出其3D坐標。

圖4 基于AOA測量目標方向和坐標

但是，因管控區域內墻體反射，會產生多個沿不同路徑傳播的信號分量，通過相互疊加干擾使原信號失真，造成多徑效應(Multi-path Effect)。多徑效應會導致信號處理模塊輸出的位置信號產生較嚴重的漂移。另外，目標移動過程中由于節點緩存數據溢出或網絡傳輸不穩定，會導致數據缺損，表現為目標位置的閃爍和瞬移。為解決以上問題，本文通過卡爾曼濾波器對目標的RSSI值進行修正，采用牛頓迭代算法進一步修正目標的位置坐標，一定程度上克服了多徑效應帶來的偏差，提高了系統的抗擾度。針對數據缺損問題，采用最大期望算法，在目標的非完整位置數據集中對缺損的數據進行極大似然估計，實現局部最優的缺失位置數據補全。

由于管控區域環境的穩定性，人員行為目的往往與其所經歷的關鍵區域有關。某人員在某時刻進入特定關鍵區域，并在駐留一段時間后離開特定關鍵區域，這個過程所產生的時空信息稱為行為樣本。多個連續的行為樣本組成的連續時空信息即為行為軌跡。管控區域日常活動下人體的室內行為需經歷多個區域，利用行為發生的位置數據、時間數據可構建出人員行為軌跡。行為軌跡可分為移動行為和停留行為。停留行為和關鍵區域的變化通常對應著特定的行為意圖。因此人員行為軌跡中的關鍵區域特征成為分析人員行為習慣的關鍵因素。將連續的行為軌跡分割為更小的行為單元，提取出行為所對應的空間行為特征組，能夠更好地利用空間數據進行行為分析。軌跡分割步驟如下：

(1) 獲取用戶行為軌跡數據，主要包括行為發生關鍵區域、行為起始時間。

(2) 若關鍵區域發生變化，觸發個體特征表更新，并啟動timer計時。

(3) 離開關鍵區域后，timer計時結束，該關鍵區域的個體特征數據生成。

完成軌跡分割后，還需構建基于位置信息的人體行為數據庫。本文通過模擬管控區域的實際應用環境構建實驗平臺，實現位置信息采集，然后按照人員類型和所訪問的關鍵區域進行標注和分類，分別建立個體位置行為特征數據庫和關鍵區域人員特征數據庫。

個體位置行為特征數據庫針對具體人員進行建庫，包含該具體人員的一系列空間行為特征組。空間行為特征組包含4個元素，其中Pi代表人員編號，Si代表區域類型，Ti為行為起始時間(進入關鍵區域的時刻)，Di為行為持續時間(在區域的駐留時間)。

關鍵區域人員特征數據庫針對具體關鍵區域進行建庫，包含該關鍵區域所含人員特征和時間特征。關鍵區域人員特征數據庫包含2個元素，其中Pi代表人員編號，Ti為人員進入該區域的起始時間。

關鍵區域的變化可觸發個體位置行為特征數據庫和關鍵區域人員特征數據庫的更新。在獲取人員行為軌跡數據的基礎上，把時間、空間、上下文信息與人的行為相關聯，實現個體異常行為和多人異常行為的檢測。具體來說，通過獲取行為初始發生時的空間上下文信息，根據行為的空間變化特征，實現闖入和脫管行為的識別；結合行為發生時間和關鍵區域的駐留時長，實現滯留行為的識別；通過特定空間的人員特征分析，實現異常接觸行為識別。個體和多人異常行為檢測算法流程分別如圖5和圖6所示。

圖5 基于個體位置的異常行為識別

圖6 基于關鍵區域的異常接觸行為識別

3 基于加速度特征的異常行為檢測

動作數據主要由動作感知模塊實現人體動作的傳感數據感知，其中加速度模塊獲取加速度三通道數據，陀螺儀模塊獲取角速度三通道數據。采集數據通過無線傳輸方式，實時傳輸至動作采集基站。

不同模塊之間因采樣頻率差異、時間同步問題和模塊采集數據缺失，會導致模塊間數據無法同步。為解決此問題，本文通過線性插值的方式補全缺失數據，再進行采樣，實現數據匹配。針對數據的噪聲和毛刺問題，通過移動窗口均值平滑的方式進行數據平滑。

大量數據統計表明，即便在受控實驗條件下，仍存在較大的樣本間差異和個體差異。樣本間差異指同一受試者兩次獨立動作間差異，個體差異指不同受試者獨立動作間差異。為解決數據差異問題，本文提出了基于統計特征的差異削減算法，把不同周期過程的同一類動作人為歸一化，從而使不同動作過程的動作可以方便進行比較，縮小因數據差異導致的樣本偏差。

本文采用滑動窗口分窗方法對連續數據進行處理，并提取加速度向量幅值(Signal Vector Modulus of Acceleration,SVMA)、加速度幅值的平均絕對偏差(Mean Absolute Deviation,MAD)和角速度姿態角特征值，保證了單個窗口的運動模式一致性和數據準確性。其中，SVMA和MAD分別按式(1)和式(2)進行計算。

(1)

式中：ax、ay、az分別為加速度的x、y和z軸分量。

(2)

綜上，基于加速度的特征提取模型流程見圖7。

圖7 基于加速度的特征提取流程

基于傳感器的異常動作檢測主要分為樣本采集、樣本特征統計分析和行為分類三部分。

(1) 樣本采集。用于訓練樣本采集的慣性傳感器節點固定于測試人員的手部、腳部等身體部位，以沙袋為動作施加對象，由測試人員模擬暴力動作和非暴力動作的動作狀態，獲得動作狀態的慣性傳感器數據信息。記錄人員負責記錄測試人員的擊打次數、過程和類別。

(2) 樣本特征統計分析。對樣本特征進行篩選組合，在保證識別準確率的要求下，使用盡可能少的特征。特征篩選的方法也是數據降維的過程。用主成分分析法實現特征選擇，并設計正交實驗等來對樣本進行統計。

(3) 行為分類。識別是否為暴力動作屬于二分類問題。綜合考慮數據獲取難度、應用場景、使用條件等因素，選取SVM分類算法用于異常行為檢測。選取線性核函數，訓練時的輸入參數為特征矩陣X和對應的分類標簽Y。X為m×n的矩陣，m為樣本數量，n為特征數量，即每一行代表一個樣本，每一列代表一個特征。Y是m×1的列向量，每行表示當前樣本的類別。訓練完成后，即可用訓練好的SVM分類器對動作類別進行預測。

4 實驗與分析

在基于位置特征的行為檢測方面，本文分別針對闖入、脫管和滯留行為的算法識別準確率進行測試。每種行為分別進行正樣本200組和負樣本200組進行采集，然后對各行為的報警漏報率(指標1)和誤報率(指標2)進行分析。測試結果如表2所示。

表2 基于位置特征的行為檢測實驗

在基于加速度特征的行為檢測方面，根據樣本多樣性和多維度特征原則，按照不同性別、身高和體重，選取14名男性和7名女性志愿者分別進行動作數據采集，男性完成494次數據采集、女性完成612次數據采集。通過篩除部分非標準動作和無效數據，選用1 000組數據完成了分類器訓練。示例樣本加速度的X軸分量和提取的SVMA特征值曲線分別如圖8和圖9所示，其中y軸單位為重力加速度常量g。

圖8 示例加速度樣本數據集X軸分量

圖9 示例SVMA特征曲線

測試樣本總數量為83，其中正樣本(暴力動作樣本)為57，負樣本(非暴力動作樣本)為26，從假陽性率(False Positive Rate,FPR)和假陰性率(False Negative Rate,FNR)兩個維度來考察二分類算法的分類性能，其中FPR表示將非暴力動作預測為暴力動作的次數占總非暴力樣本的比例，FNR表示將暴力動作預測為非暴力動作的次數占總暴力樣本的比例。測試結果如表3所示。從表3可以計算出，FPR為11.5%，FNR為1.8%。另外，綜合評價一個分類器的常用指標是F值，其計算方式如下：

(3)

(4)

(5)

經計算本次實驗中分類器的F值為96.5%。從上述實驗結果看，本文所提異常動作檢測方法能夠在可接受的誤檢范圍內，有效地實現異常動作的檢測，很好地輔助管控區域安全管理。

5 結 語

針對人體異常行為，目前大部分已有系統和方法僅僅集中于解決單個或少數異常行為的檢測。而在實際情況下，人員動作類型多且復雜，因此需要同時進行全面的異常行為檢測。本文提出了基于位置特征和加速度特征的異常行為檢測方法，設計并搭建了全流程硬件和軟件系統，該方法對于應用環境的適應性和魯棒性較高。大量實驗結果表明，所提方法能夠實時準確地對管控區域內的個人異常行為(闖入、脫管、滯留和暴力動作)和群體異常行為(異常接觸)進行全面檢測，從而能夠提前阻止危險活動的發生，保障區域安全。