公共場所暴力行為的光流場構建及分析方法*

黃繼東 黎梓毅 馮兆熙 梁家燁 伍馮潔

(1.廣州大學機械與電氣工程學院 廣州 510006)(2.廣州大學計算機科學與教育軟件學院 廣州 510006)(3.廣州大學實驗中心 廣州 510006)

公共場所暴力行為的光流場構建及分析方法*

黃繼東1黎梓毅2馮兆熙1梁家燁1伍馮潔3

(1.廣州大學機械與電氣工程學院 廣州 510006)(2.廣州大學計算機科學與教育軟件學院 廣州 510006)(3.廣州大學實驗中心 廣州 510006)

針對以往在暴力事件識別中經常存在將相對靜止的對象或普通身體接觸誤判為暴力行為的情況,論文提出了一基于Lucas-Kanade光流法的公共場所暴力檢測方法。首先,檢測并存儲相鄰兩幀圖像的特征點,其次,根據特征點對運動物體進行運動特征提取,最后,構建反映物體運動狀況的光流場。同時,論文還分析了Lucas-Kanade光流算法的金字塔分解層數、光流運算窗口、最大光流方向數這三個參量對光流效果的影響。實驗結果表明,使用構建光流場的分析方法能有效識別公共場所中發生的暴力事件。

公共場所; 運動圖像; 光流法

Class Number TP391.4

1 引言

根據調查,暴力行為發生時往往存在肢體沖突,并伴隨著身體全身或局部部位(如頭、四肢等)較劇烈的運動,那么,如何快速濾除目標對象沒有劇烈運動的圖像序列,及如何判定當目標對象有肢體接觸時是沖突行為還是善意的身體接觸,這是需要考慮的關鍵問題。以前的方法一般是遍歷圖像序列,通過檢測目標對象間的連通域來實現[1]。但這種方法存在兩個問題：1) 檢測的圖像包括運動的和相對靜止的目標對象；2) 沒有考慮沖突事件發生過程的特點,容易把目標對象間善意的身體接觸誤判為沖突行為。

運動圖像檢測技術的引入可較好地解決以上存在的問題。本文針對暴力行為發生時圖像存在突變情況的特點,利用運動圖像檢測算法——Lucas-Kanade光流法來構建公共場所暴力行為的光流場[2],并對可能影響光流場分析結果的參數,如金字塔的層數、光流估計窗口、最大光流方向數等,分別取不同的值,對構建完成的光流場進行光流效果分析,以確定最佳的金字塔層、光流窗口大小與最大光流方向數,從而為后續提取公共場所暴力行為的光流矢量、光流速度、平均光流速度,及自動檢測與識別工作提供必需的判斷依據。

2 運動檢測的相關理論

光流法是一種估計圖像序列中像素點在連續幀中的運動情況的方法,它描述了瞬時運動形狀,包括運動物體的形狀(空間)和運動的形狀(時間),可以從運動形狀的差異得到圖像中目標物體的結構與其運動的關系。目前,比較典型的光流計算方法有Horn-Schunck 和Lucas-Kanade等。考慮到視頻監控一般具有場景數量大、對檢測效率及應急速度要求高的特點,本文將采用金字塔Lucas-Kanade 光流算法實現光流計算及目標跟蹤[3]。

Lucas-Kanade光流算法是一種兩幀差分的光流估計算法[4],假設在一個小矩形窗口內其光流保持恒定,對相鄰的兩幀圖像,若序列圖像獲取的時間間隔很短,且場景和光照條件變化緩慢,那么它們將滿足灰度恒定約束,得到式(1)

I(u,v,k)=I(μ+ε,ν+η,k+1)

(1)

式中,I(u,v,k)表示第k幀圖像,I(u,v,k+1)表示第k+1幀圖像。

根據式(1),令I(x)=I(u,v,k),J(x+d)=I(μ+ε,ν+η,k+1),得到目標函數如式(2)所示

(2)

式中,w表示一個小矩形窗口,d表示光流。

通過最小化殘差E來得到光流d的估計值,得到式(3)

(3)

將J(x+d)按泰勒級數展開并線性逼近,代入式(3)中,得到光流d的估計值,如式(4)所示

(4)

Lucas-Kanade光流算法通過計算局部區域的光流來獲得目標的運動狀態[5],并能根據實際視頻圖像自行設定光流計算窗口的大小,計算量較小且應用靈活,同時可獲取更加精確的光流估計值,從而顯著提高系統檢測速度與檢測精度。

3 光流場構建

根據Lucas-Kanade光流法在較短時間內同一像素點在不同時間的灰度相同這一特性,可通過檢測相鄰兩幀圖像的特征點的運動狀態來構建公共場所暴力行為的光流場[6]。光流場構建主要包括兩個步驟,一是獲取圖像的特征點[7],二是根據特征點構建可視的光流場[8]。

步驟一：找到相鄰兩幀圖像的特征點并儲存,為后面的運動變化特征提取提供數據源,用式(5)表示,其中,第k幀圖像的特征點采用遍歷整幅圖像的方法查找,第k+1幀圖像的特征點是第k幀特征點在第k+1幀中對應的位置。

(5)

式中,Tk(i)表示第k幀特征點的特征值,表(xi,yi)示第k幀特征點的位置,(xj,yj)表示第k幀特征點在第k+1幀對應的位置,n、m分別表示第k、k+1幀圖像所找到的特征點的數量。

為了提高運算速度,在查找特征點過程中,當兩幀圖像中對應特征窗口的光度之差的平方σω小于某個閾值δw,即滿足式(6)時,式(4)迭代終止,其中經過無數次的實驗測試,本文的閾值δw取0.4。

(6)

式中fω1、fω2是相鄰的兩幀圖像,ω是對應的特征窗口。

步驟二：根據相鄰兩幀圖像對應的特征值來構建光流場,構建過程主要包括四步：第一步遍歷特征點統計出光流方向數n及不同的光流方向數m；第二步記錄各個特征點的位置及方向變化；第三步定義點、方向、箭頭等對象；第四步利用第三步定義好的對象,根據第二步記錄的特征點情況,再通過對線的開始點和終止點的適當縮小及放大,則可得到可視的光流場圖像[9]。

采用Lucas-Kanade光流算法對公共場所監控目標人群構建的光流場效果圖如圖1所示。

圖1 Lucas-Kanade光流場效果圖

4 光流場分析

從式(2)與式(4)可知,影響光流效果的主要因素有三個,分別為Lucas-Kanade光流算法的金字塔分解層數、光流運算窗口、最大光流方向數[10]。本文對一段圖像分辨率為640×480存在暴力行為的圖像進行實驗,分別對金字塔分解層數、光流運算窗口、最大光流方向數取不同的數值,通過分析與對比不同取值時的光流效果圖,從而確定光流效果最好時金字塔分解層數、光流運算窗口、最大光流方向數的取值,以其中一幀圖像(如第21幀)為例說明光流場分析的實驗過程如下：

1) 分別對金字塔分解層數取1,3,5的數值,得到的光流場效果圖分別如圖2～4所示。

圖2 k=1的光流效果圖

圖3 k=3的光流效果圖

圖4 k=5的光流效果圖

2) 分別對光流運算窗口取3×3,5×5,7×7的數值,得到的光流場效果圖分別如圖5～7所示。

圖5 光流運算窗口=3×3的光流效果圖

圖6 光流運算窗口=5×5的光流效果圖

圖7 光流運算窗口=7×7的光流效果圖

3) 分別對最大光流方向數取100,250,400的數值,得到的光流場效果圖分別如圖8～10所示。

圖8 最大光流方向數為100的光流效果圖

圖9 最大光流方向數為250的光流效果圖

圖10 最大光流方向數為400的光流效果圖

采用同樣的光流分析方法對多段存在暴力行為的公共場所監控視頻進行分析與對比,得出金字塔分解層數、光流運算窗口、最大光流方向數這三個參數對光流效果的影響結果分析如下。

在光流場構建過程,光流運算窗口取值越小,運算量越小,但得出的光流場效果一般,僅適用于簡單工程項目,隨著取值增大,運算量增加,運算速度有所下降,但對環境與目標的區分更準確,光流效果也更好。金字塔分解層數的取值越小,迭代次數越少,運算量也越少,但光流效果則較差,隨著k取值增大,迭代次數增多,運算量增大,但光流處理的效果較好。最大光流方向數取值的大小將直接影響光流矢量的方向,當取值越小,運算量也越小,但光流矢量方向很不明顯,隨著取值增大,運算量增大,相應的光流矢量方向也越來越明顯,但m的取值不能太大,太大會帶來特征點太多的問題,進而影響公共場所暴力行為識別效果。

5 結語

本文提出了一種基于Lucas-Kanade光流法的公共場合暴力事件檢測方法,并分析了光流場相關參數的調整對運算量以及暴力行為識別效果的影響。相比于傳統的方法,通過構建運動圖像的光流場,提取光流矢量,從而能夠更加準確地描述圖像中的物體運動狀況,對于以往的暴力事件檢測方法,其顯著地降低了誤判率。此方法還存在一些不足之處,由于Lucas-Kanade光流算法有亮度恒定的假設,在實際運行環境中當外部環境因素突然發生改變時,可能會因此產生識別誤差,但可在暴力行為識別前通過圖像預處理來降低該誤差。

[1] 毛曉東,樊亞文.高清視頻監控技術在城市公共安全中的應用[J].電視技術,2010,34(4):103-105. MAO Xiaodong, FAN Yawen. HD video monitoring technology in city public security application of[J]. TV technology,2010,34(4):103-105.

[2] 湯一平,陸海峰.基于計算機視覺的電梯內防暴力智能視頻監控[J].浙江工業大學學報,2009,37(6):591-597. TANG Yiping, LU Haifeng. Anti violence intelligent video surveillance[J]. Journal of Zhejiang University of Technology, in elevator based on computer vision 2009,37(6):591-597.

[3] Shu Tao, Apostolopoulos J., Guerin, R.. Real-Time Monitoring of Video Quality in IP Networks[J]. IEEE/ACM Transactions on Networking.2008,16(5).

[4] 肖軍,朱世鵬,黃杭,等.基于光流法的運動目標檢測與跟蹤算法[J].東北大學學報(自然科學版),2016,37(6). XIAO Jun, ZHU Shipeng, HUANG hang, et al. Motion target detection and tracking algorithm based on optical flow algorithm[J]. Journal of Northeastern University (NATURAL SCIENCE EDITION),2016,37(6).

[5] 劉潔.基于光流法的運動目標檢測和跟蹤算法研究[D].北京:中國礦業大學,2015. LIU Jie. Research on moving object detection and tracking algorithm based on optical flow[D]. Beijing: China University of Mining and Technology,2015.

[6] Barron J L, Fleet D J, Beauchemin S S. Performance of optical flow techniques[J]. International Journal of Computer Vision, 1994, 12(1):43-77.

[7] 陳震,高滿屯,沈允文.基于角點跟蹤的光流場計算[J].計算機工程,2003,29(13):76-78. CHEN Zhen, GAO Mantun, SHEN Yunwen. Optical flow computation based on corner point tracking[J]. Computer Engineering,2003,29(13):76-78.

[8] 寧瑞芳,歐陽寧,莫建文.基于光流法的聚眾事件檢測[J].計算機工程與應用,2012,48(3):198-201. NING Ruifang, OUYANG Ning, MO Jianwen. The event detection based on optical flow method[J]. computer engineering and applications,2012,48(3):198-201.[9] 劉濤.基于光流場的視頻車輛檢測與跟蹤算法研究與應用[D].武漢:武漢科技大學,2011. LIU Tao. Research and application of video vehicle detection and tracking algorithm based on optical flow field[D]. Wuhan: Wuhan University of Science and Technology,2011.

[10] Tamgade S N, Bora V R. Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow[C]//International Conference on Emerging Trends in Engineering & Technology,Icetet 2009, Nagpur, Maharashtra, India, 16-18 December.2009:914-917.

Optical Flow Establishment and Analysis of Violence in Public Places

HUANG Jidong1LI Ziyi2FENG Zhaoxi1LIANG Jiaye1WU Fengjie3

(1. School of Mechanical and Electric Engieering, Guangzhou University, Guangzhou 510006) (2. School of Computer Science and Educational Software, Guangzhou University, Guangzhou 510006) (3. Laboratory Center, Guangzhou University, Guangzhou 510006)

In view of the situation that in recognition of violence in public places, the previous method of detecting has the existence of miscarriage of justice to the static object or general physical contact. So in this paper, a public places violence detection method based on Lucas-Kanade optical flow method is proposed, and the effect of recognition in different parameters is analyzed. First, the feature points of two adjacent frames are detected and stored. Then, the optical flow field to reflect the motion state of objects will be constructed. Besides, in this paper, the effects of the three parameters on the optical flow are analyzed, which are the Pyramid decomposition layer, the optical flow computation window and the maximum optical flow direction of the Lucas-Kanade optical flow algorithm. The experimental results show that the analysis method for constructing optical flow field can effectively identify the occurrence of violence in public places.

public places, moving picture, optical flow

2016年9月3日,

2016年10月24日

廣州大學大學生創新訓練項目《公共場所暴力沖突的機器視覺自動檢測方法研究》(編號:CX2015024);廣州市屬高校科研計劃項目《公共場所暴力行為智能檢測系統的關鍵技術研究》(編號:2012A025);廣東省科技計劃項目《智能社區異常情況自動檢測系統的研發及產業化》(編號:2013B090500067);第十五屆“挑戰杯”全國大學生課外學術科技作品競賽項目資助。

黃繼東,男,研究方向:智能控制與模式識別。黎梓毅,男,研究方向:圖像處理與計算機網絡技術。馮兆熙,男,研究方向:信息處理與智能控制。梁家燁,男,研究方向:信息處理與智能控制。伍馮潔,女,碩士,高級實驗師,研究方向:光機電算一體化關鍵技術及實驗教學。

TP391.4

10.3969/j.issn.1672-9722.2017.03.024