嵌入式下公共場所暴力行為視覺檢測方法研究

伍馮潔，吳川平，黃文愷，郭中華

(1.廣州大學　a.實驗中心;b.數學與信息科學學院，廣東　廣州　510006；2.中山大學　南方學院，廣東　廣州　510655)

?

嵌入式下公共場所暴力行為視覺檢測方法研究

伍馮潔1a，吳川平1b，黃文愷1a，郭中華2

(1.廣州大學a.實驗中心;b.數學與信息科學學院，廣東廣州510006；2.中山大學南方學院，廣東廣州510655)

摘要:根據暴力行為發生時往往存在肢體沖突，并伴隨著身體全身或局部部位出現較劇烈運動的特點，提出了一種基于運動圖像的公共場所暴力行為自動識別方法，并能夠移植到嵌入式設備中以便于分布式智能監控。首先，采用Lucas-Kanade(LK)光流法獲得相鄰兩幀監控圖像間的光流場，通過光流分析法確定各個運動目標的運動狀態，并提取它們的光流特征值、光流速度和方向；其次，對各個運動目標的光流特征值、光流速度與方向進行統計分析，以掌握各個運動目標的運動趨勢；最后，結合光流場變化情況及運動目標聚集狀態判斷是否存在暴力行為。實驗結果表明，該嵌入式系統識別準確性好、實時性強、可靠性高。

關鍵詞:暴力行為；光流算法；嵌入式；系統移植

隨著計算機技術、通信技術與圖像處理技術的發展，視頻監控已經在各種公共場合得到廣泛應用。但是目前的監控系統往往只是對視頻信號進行簡單的錄制與網絡傳輸，尚停留在監控人員對視頻信號的人工監視和事后錄像分析上，并沒有充分利用計算機巨大的計算能力，存在工作量巨大、暴力事件響應速度慢、暴力事件存在漏檢漏報等不足之處[1]。并且由于公共場合屬于多攝像頭、多角度的監控模式，每個監控場景的視頻需要通過網絡實時傳輸給監控中心集中處理，較容易發生視頻傳輸擁塞與丟包現象，同時帶來海量視頻數據存儲與檢索、服務器易超負荷運行、暴力事件檢測速度與精度較差等系列問題。

計算機視覺與嵌入式微控制器技術的引入有效解決了以上問題。本文利用計算機代替人腦來分析、理解監控視頻圖像的內容，自動查找、跟蹤和識別目標，從而實現暴力事件的自動分析與警報，同時，將嵌入式技術應用在圖像處理領域，提出了一種以嵌入式系統為核心的公共場所暴力行為視覺檢測方法，將圖像采集、圖像分析與處理、暴力行為檢測等功能集成在該嵌入式系統中，僅把暴力事件等異常情況的圖像序列、檢測結果及其他相關信息傳送回監控中心，以提高公共場所暴力行為監控效率及暴力事件應急反應速度，增強了通信系統安全性、數據傳輸可靠性及抗干擾能力。

1基于運動圖像的嵌入式系統原理

嵌入式微控制器主要由視頻獲取、光流分析、特征提取和行為識別四個部分組成[2]，如圖1所示。對于視頻監控場景實時采集的圖像，首先，通過光流法構建各個運動目標的光流場，并提取它們的光流特征值、光流速度和方向；然后，對各個運動目標的光流特征進行統計分析，根據光流變化速度及方向信息來實現公共場所暴力行為的目標跟蹤及識別。

如圖1所示，若干個視頻監控場景的嵌入式微控制器和系統監控中心通過網絡組成了一個龐大的公共場所智能監控系統。每個嵌入式微控制器均集成了圖像采集、圖像分析與處理、暴力行為檢測等功能，僅僅將檢測結果送至中控計算機進行數據分析及數據庫管理，同時也可根據監控要求，由計算機發出相關指令對各嵌入式監控設備進行控制，以完成整個公共場所智能監控系統的實時監測控制、狀態顯示、參數設置。

2運動圖像的光流分析及特征提取

光流法是目前運動圖像分析的重要方法，它描述了瞬時運動形狀，包括運動物體的形狀(空間)和運動的形狀(時間)，可以從運動形狀的差異得到圖像中目標物體的結構與其運動的關系[3]。目前，對光流的計算比較典型的方法有Horn-Schunck方法和Lucas-Kanade方法等。考慮到公共場所監控場景數量大，對檢測效率及應急速度要求高的特點，本文采用金字塔Lucas-Kanade光流算法實現光流計算及目標跟蹤，充分利用該算法的光流計算窗口可變、計算量較小、應用靈活及光流估計值較準確的優勢，從而顯著提高系統檢測速度與檢測精度。

根據光流法在較短時間內同一像素點在不同時間的灰度相同這一特性，利用Lucas-Kanade光流法，通過檢測相鄰兩幀圖像的特征點的運動狀態來構建公共場所目標人群的光流場及進行運動特征提取[4]，具體步驟如下：

1)找到第k幀圖像特征點并儲存：利用shi-Tomasi算法找出每一張圖中需要跟蹤的點(即特征點)，并用函數feature1及frame1保存如式(1)所示，以供后面計算光流及暴力行為識別時使用

(1)

式中：features(i)表示特征點的特征值；(xi,yi)表示特征點的位置；n表示所找到的特征點的數量。

2)找到第k幀所有特征點在第k+1幀圖像的位置，并用函數frame2保存如式(2)所示

(xj,yj)∈frame2j=1,2,…,m

(2)

式中：(xj,yj)表示特征點的位置，m表示所找到的特征點的數量。

在查找特征點過程中，為了減少運算量，提高檢測速度，當滿足式(3)時，算法迭代終止

(3)

式中：epsilon是兩幀中對應特征窗口的光度之差的平方，該值的大小需要通過實驗來確定。fw2，fw1是相鄰兩幀圖像，w1是特征窗口。

3)比較第k幀、k+1幀圖像的特征值，結合式(1)與式(2)，可得到相鄰兩幀圖像的運動變化特征如式(4)～(5)所示

(4)

(5)

4)依據相鄰兩幀對應的特征值來構建光流場：首先通過遍歷特征點統計出光流方向數N、判斷及統計不同的光流方向數M，并保存這兩個數值；然后定義點、方向、箭頭等對象；最后根據特征點的位置及變化方向，再通過對線的開始點和終止點的適當放縮，即可畫出可視的光流場圖像。

采用Lucas-Kanade光流算法處理的公共場所監控圖片如圖2所示，圖中的箭頭表示像素點上的運動方向及速度大小。

3嵌入式暴力行為視覺檢測的實現

3.1暴力行為的識別

公共場所暴力行為主要是運動速度及運動方向發生突變而導致的不規則行為，一般表現為目標人群在較短時間內運動速度突增，同時伴隨著運動狀態由分散逐漸聚合。采用光流法提取的行為特征其實就是像素點的運動矢量，其包含了運動方向及幅度大小，因此本文將選取運動速度及方向信息來實現公共場所暴力行為的目標跟蹤及檢測[5]，具體識別過程如下：

(6)

3.2算法在嵌入式環境下的具體實現

3.2.1嵌入式系統結構設計

為了將運動圖像檢測算法移植到嵌入式設備中，本文在嵌入式Linux中基于OpenCV、Qt及pcDuino平臺構建了一個公共場所暴力行為自動檢測系統[6]，其中采用Qt做前臺操作界面，OpenCV做后臺視覺檢測程序及pcDuino做嵌入式硬件開發平臺，該系統簡易框架圖如圖3所示。

采用Qt平臺、OpenCV庫與pcDuino構建系統主要基于以下4點考慮：1)都是針對嵌入式技術開發的平臺，消耗資源較少，安裝攜帶方便；2)都是開源的免費軟件，可節約開發成本；3)都是基于跨平臺思想開發的類庫和平臺，可降低開發難度；4)pcDuino是一款高性能、高性價比的迷你PC平臺，只需連接顯示器、鍵盤、鼠標即可使用，可縮短開發周期。

本文結合OpenCV、Qt及pcDuino共同構建平臺的優點，很好地解決了程序開發的難題，使構建視覺檢測系統更簡單方便，符合現代軟件工程的要求，同時也解決了移植到嵌入式設備中資源緊張、配置繁瑣及缺乏類庫支持的問題，簡化了移植過程，降低了移植難度。

3.2.2平臺搭建及系統移植的流程

為了實現嵌入式下公共場所暴力行為視覺檢測功能，需構建嵌入式Linux環境下基于OpenCV與Qt的平臺，并將兩者移植到pcDuino嵌入式設備中[7]，具體流程如下：

1)在PC機上建立Linux開發環境，本系統使用linux2.6版本，在Linux系統下安裝交叉編譯器arm-linux-gcc，以編譯可以移植到pcDuino開發板上運行的程序。2)移植u-boot、Linux內核到pcDuino開發板，本系統使用u-boot1.2版本，并構建文件系統。3)利用交叉工具鏈在虛擬機中編譯配置OpenCV-2.3.1的PC版本與arm版本兩個類庫，并將arm版本的類庫移植到pcDuino開發板中。4)編譯設置Qt-Opensource4.7.4的PC版本與embedded版本，并將embedded版本移植到pcDuino開發板的文件系統中。5)完成參數配置后，在Qt的開發環境QtSDK中對工程文件進行編譯，調用OpenCV圖像庫以實現公共場所暴力行為的視覺檢測。

4實驗結果及分析

由于光流算法計算量較大，考慮到暴力行為發生時是一個連續動作變化的過程，為了減輕嵌入式系統工作負荷，提高暴力事件檢測速度及效率，本文采用每隔1 s，即對采樣率為25 f/s(幀/秒)的圖像序列，每隔25幀抽取一張圖像進行暴力行為檢測，而不需要對每幀圖像都進行處理。

為了檢驗所提出方法的有效性，本文在嵌入式設備上對一段圖像分辨率為640×480存在暴力行為的視頻進行了實驗，對主要影響識別質量的3個參數，即光流的金字塔分解層數K、光流運算窗口W、最大光流方向數N，分別選取不同的數值進行試驗。在光流分析過程中，光流金字塔分解層數K較小時，迭代次數少，隨著K層數的增加，迭代次數增多，運算量增大，但光流處理的效果較好。光流運算窗口W取值較小時，處理速度較快，但效果一般，僅適用于簡單工程，隨著W窗口增大，運算量也增加，但對環境與目標的區分更準確，效果更好。最大光流方向數N，當N太小或太大時，會出現特征點太少或太多的問題，均會影響識別效果，因此，需要通過大量的實驗來確定N的取值。經過實驗測試表明，當K=5，W=5×5，N=400時，運算量適中，識別速度較快及識別效果最好，實驗效果如圖4、5所示。其中，圖4是光流分析結果圖，圖5是本嵌入式系統識別效果圖。當系統檢測到有暴力行為發生時，將及時在監控界面顯示“危險”的警示信息，同時在監控現場及中控中心拉響警報。

5結語

本嵌入式視覺檢測系統很好地解決了公共場所視頻監控中存在暴力行為的問題，可快速、準確地檢測出公共場所的多種暴力行為，并將檢測結果及時傳回監控中心同時在現場拉響警報，從而顯著提高相關管理部門及執法部門對暴力事件的響應效率，有效防止公共場所的暴力事件危害或進一步危害公共安全。此外，本方法是基于嵌入式技術開發，已移植到嵌入式設備中，具有體積小、功耗低、成本低及便攜性好等優點，同時系統實時性強、可靠性高，能較好地滿足公共場所智能監控的要求，應用前景廣闊。

參考文獻：

[1]鄭世寶.智能視頻監控技術與應用[J].電視技術，2009，33(1)：94-96.

[2]陳琳英，凡德剛.嵌入式微處理器環境下視頻流的采集與傳輸[J].實驗科學與技術，2014，12(5)：20-22，35.

[3]DONG G H，AN X J，FANG Y Q，et al.Contributions to horn-schunck optical flowequations-part：stability and rate of convergence of classical algorithm[J].Journal of central south university，2013，20(7)：1909-1918.

[4]高林，王璐，閆磊，等.基于關鍵幀提取技術的花開過程視頻監測系統開發及試驗[J].農業工程學報，2014，30(1)：121-128.

[5]LIQ，SHAO C F，ZHAO Y.Arobust system for real-time pedestrian detection and tracking[J].Journal of central south university，2014(4)：1643-1653.

[6]文成維，陳文建，詹泳.嵌入式雙目立體視覺測距系[J].計算機系統應用，2012，21(10)：143-147.

[7]HOUJB.ARM core unit design of aremote video monitoring system[J].Research journal of applied sciences，engineering and technology，2013，5(18)：4493-4498.

責任編輯：閆雯雯

Research of embedded visual detection methods about violence in public places

WU Fengjie1a,WU Chuanping1b,HUANG Wenkai1a,GUO Zhonghua2

(1a.LaboratoryCenter；1b.SchoolofMathematicsandInformationScience,GuangzhouUniversity,Guangzhou510006,China;2.NanFangCollegeofSUNYAT-SENUniversity,Guangzhou510655,China)

Key words:violence;optical flow;embedded;system transplant

Abstract:According that when the violence happen, there is a physical conflict and often accompanied by systemic or local-body strenuous exercise, an automatic identification method for violence in public places is proposed. The method is based on the motion image technology, and can be transplanted to embedded devices to facilitate distributed intelligent monitoring. Firstly, use Lucas-Kanade (LK) to obtain the optical flow field of two adjacent frame images, specify the state of each moving object by analyzing optical flow, and extract their optical flow characteristic values, optical flow velocity and direction. Next, the optical flow characteristic values, optical flow velocity and direction of each moving object are counted and analyzed, in order to grasp the movement trend of each moving object. Finally, according to the changes in the optical flow field and the aggregated state of moving objects to judge if there is violence. The experimental results show that the embedded system has good accuracy, real-time and high reliability for recognition.

中圖分類號：TP391.7

文獻標志碼：A

DOI：10.16280/j.videoe.2016.01.025

基金項目：廣州市屬高校科研計劃項目(2012A025)；廣東省科技計劃項目(2013B090500067)

收稿日期：2015-06-04

文獻引用格式：伍馮潔，吳川平，黃文愷，等.嵌入式下公共場所暴力行為視覺檢測方法研究[J].電視技術，2016,40(1)：127-130.

WU F G,WU C P,HUANG W K,et al.Research of embedded visual detection methods abou tviolence in public places[J].Video engineering,2016,40(1)：127-130.