基于光流能量的人體異常行為檢測(cè)研究

羅超宇李小曼李浩

(1 武警工程大學(xué)研究生管理大隊(duì) 陜西 西安 710086)（2 武警工程大學(xué)信息工程教研室 陜西 西安 710086）

技術(shù)論壇

基于光流能量的人體異常行為檢測(cè)研究

羅超宇1李小曼2李浩1

(1 武警工程大學(xué)研究生管理大隊(duì) 陜西 西安 710086)（2 武警工程大學(xué)信息工程教研室 陜西 西安 710086）

研究并比較了當(dāng)前常用的3種異常行為檢測(cè)算法，分析了的各算法的研究現(xiàn)狀，介紹了當(dāng)前光流能量用于異常行為檢測(cè)技術(shù)中的研究進(jìn)展，提出一種基于區(qū)域光流能量的人體異常行為檢測(cè)算法。采用Lucas-Kanade算法計(jì)算區(qū)域光流特征，實(shí)現(xiàn)對(duì)視頻中打斗等劇烈異常行為的檢測(cè)。仿真實(shí)驗(yàn)表明，算法具有較高的識(shí)別率和較低的誤檢率，具有一定研究意義。

光流能量 區(qū)域光流 Lucas-Kanade 打斗 誤檢率 異常行為

1 引言

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，視頻監(jiān)控已經(jīng)遍布于生活中的各個(gè)角落。人們通過(guò)監(jiān)控視頻可以及時(shí)發(fā)現(xiàn)異常行為，比如搶劫、偷盜和越獄等等。但目前人們對(duì)監(jiān)控視頻的使用主要靠人工進(jìn)行識(shí)別，這種識(shí)別辦法準(zhǔn)確率很高，但是監(jiān)控人員受到生理因素限制，不可能隨時(shí)保持高度警惕，因而及其容易發(fā)生誤報(bào)和漏報(bào)的現(xiàn)象。發(fā)生這樣的問(wèn)題之后，只能從海量的視頻數(shù)據(jù)庫(kù)中慢慢查找，費(fèi)時(shí)又費(fèi)力。因此，眾多專家和學(xué)者開(kāi)始致力于計(jì)算機(jī)“主動(dòng)”識(shí)別監(jiān)控視頻中出現(xiàn)的異常行為，第一時(shí)間識(shí)別出監(jiān)控畫面中的異常，為人們提供級(jí)別更高的安全保障[1]。計(jì)算機(jī)能夠在全天任何時(shí)刻監(jiān)控畫面的異常，提高準(zhǔn)確率的同時(shí)，節(jié)省了大量的人力和物力，最重要的是避免一些暴力及犯罪事件的發(fā)生。

2 光流法的應(yīng)用

2.1 異常行為的研究現(xiàn)狀分析

目前，對(duì)異常行為的分析判定主要使用3種方法:①基于人體運(yùn)動(dòng)特征的檢測(cè)，這種方法的關(guān)鍵是提取前景目標(biāo)的運(yùn)動(dòng)特征，如速度、方向輪廓和外接矩形緊密度等，然后根據(jù)不同行為之間的特征差異來(lái)識(shí)別出是否為異常行為。這種方法具有較高的準(zhǔn)確度，但具體采用的特征描述不易確定，算法的復(fù)雜度較高[2]；②基于前景目標(biāo)運(yùn)動(dòng)軌跡的檢測(cè)方法，該方法的關(guān)鍵是提取出目標(biāo)的運(yùn)動(dòng)軌跡，根據(jù)具體的場(chǎng)景來(lái)判定軌跡是否異常，進(jìn)而得出行為異常與否的結(jié)論。這種方法主要使用在特定的場(chǎng)景中，如取款機(jī)門口或停車場(chǎng)附近等等，具有一定局限性，算法的復(fù)雜度低，但精度較差[3]；③基于光流能量異常行為檢測(cè)，該方法是近期的研究熱點(diǎn)，其關(guān)鍵是通過(guò)提取前景目標(biāo)的光流特征來(lái)檢測(cè)是否出現(xiàn)異常。由于不同運(yùn)動(dòng)目標(biāo)的光流特征不同，當(dāng)超出一定閾值之后說(shuō)明出現(xiàn)了異常情況[4]。由于光流能量法檢測(cè)出的是運(yùn)動(dòng)物體的三維信息，因此，即使檢測(cè)過(guò)程中物體發(fā)生了較大的變化，仍能準(zhǔn)確檢測(cè)出物體的存在。該方法主要用于對(duì)視頻場(chǎng)景中運(yùn)動(dòng)激烈異常行為進(jìn)行檢測(cè)，如突然奔跑和打斗等。

由上述介紹可知，異常行為的檢測(cè)方法不是一成不變的，應(yīng)該根據(jù)場(chǎng)景的不同，采用不同的檢測(cè)算法。根據(jù)本文研究的異常行為是打斗行為，因此提出一種基于區(qū)域光流能量的方法對(duì)打斗等劇烈異常行為進(jìn)行檢測(cè)。

2.2 光流法

光流法(optical flow)利用任何物體都具有光流特征的特點(diǎn)，來(lái)檢測(cè)運(yùn)動(dòng)物體。該方法通過(guò)計(jì)算運(yùn)動(dòng)物體的光流矢量特征來(lái)檢測(cè)出其運(yùn)動(dòng)區(qū)域，進(jìn)而描述出前景目標(biāo)的運(yùn)動(dòng)狀態(tài)[5]。具體過(guò)程為：①為視頻幀中的每一個(gè)像素設(shè)置運(yùn)動(dòng)矢量；②間隔一定時(shí)間后，視頻幀中的目標(biāo)發(fā)生運(yùn)動(dòng)，將物體實(shí)際的像素點(diǎn)與原像素點(diǎn)進(jìn)行連接來(lái)形成“速度場(chǎng)”；③根據(jù)“速度場(chǎng)”的具體情況來(lái)檢測(cè)視頻中前景目標(biāo)的狀態(tài)。

根據(jù)上面的介紹，當(dāng)視頻幀中都是靜止的物體時(shí)，前景目標(biāo)與背景圖不存在相對(duì)運(yùn)動(dòng)，因此光流速度場(chǎng)是持續(xù)變化的；當(dāng)視頻幀中存在相對(duì)運(yùn)動(dòng)時(shí)，前景目標(biāo)與背景圖之間存在相對(duì)運(yùn)動(dòng)，進(jìn)而形成“速度場(chǎng)”，這樣就可以檢測(cè)出視頻幀中前景目標(biāo)的具體位置。

2.3 光流約束方程

光流約束方程式光流法最核心的方程。

設(shè)在點(diǎn)（x,y）在時(shí)刻t時(shí)，灰度值為f(x,y,t)，經(jīng)過(guò)dt時(shí)間，該點(diǎn)位于(x+dx,y+dy)，灰度值變?yōu)閒(+dx,y+dy,t+dt)，根據(jù)同一個(gè)點(diǎn)的灰度值不變得出：

2.4 區(qū)域光流的計(jì)算

異常行為一般發(fā)生在有運(yùn)動(dòng)目標(biāo)的區(qū)域，利用這一特點(diǎn)，在提取關(guān)鍵幀時(shí)，可以先設(shè)定一個(gè)閾值（取經(jīng)驗(yàn)值50%），當(dāng)前景區(qū)域大于這一閾值時(shí)認(rèn)為是噪聲，不予考慮，極大程度的減少了運(yùn)算量，提高了算法的時(shí)效性。

式（3）為光流估計(jì)誤差的計(jì)算公式，式中W（x）為窗函數(shù)，表示計(jì)算區(qū)域中各點(diǎn)權(quán)重的大小。Lucas-Kanade算法在光流估計(jì)的精度上有很大提高，并且算法復(fù)雜度也適合應(yīng)用于實(shí)時(shí)性檢測(cè)的系統(tǒng)。

3 光流能量法的應(yīng)用

3.1 異常行為

對(duì)于異常行為的定義，國(guó)際上一直沒(méi)有一個(gè)統(tǒng)一的概念。相同的行為在不同的場(chǎng)景可能會(huì)出現(xiàn)不同的識(shí)別結(jié)果，如在操場(chǎng)上跑步為正常行為，但在銀行大廳里跑步通常被視為異常行為；還有的根據(jù)正常行為通常具有一定的周期性來(lái)區(qū)別于異常行為，如人體在走路或者跑步的時(shí)候通常其特征指標(biāo)在一定的閾值范圍內(nèi)，但如果突然超出這一閾值并持續(xù)一段時(shí)間，那么可以認(rèn)為有異常行為發(fā)生；還有的學(xué)者將正常的行為錄入數(shù)據(jù)庫(kù)中，當(dāng)識(shí)別出不常見(jiàn)的小概率行為時(shí)，判定為異常[7]。

異常行為通常具有行為夸張、方向雜亂和動(dòng)作幅度大的特點(diǎn)；而正常行為通常是較為穩(wěn)定的行為，動(dòng)作方向較為一致，因此異常行為通常具有較大的交互能量，而正常行為則較小。本文基于這一思想，通過(guò)求取前景運(yùn)動(dòng)物體的光流能量變化來(lái)識(shí)別出是否有異常行為發(fā)生。

3.2 檢測(cè)結(jié)果及分析

為驗(yàn)證本文算法在異常行為檢測(cè)中的有效性，采用英國(guó)Edinburgh大學(xué)的數(shù)據(jù)庫(kù)對(duì)算法進(jìn)行驗(yàn)證。選取的視頻段主要包括行走、聊天、跑步和打斗4種行為。實(shí)驗(yàn)配置為Inter Pentium 4處理器，Windows XP系統(tǒng)，內(nèi)存為DDR3的筆記本電腦；仿真環(huán)境為Visual Studio 2005；視頻大小為320*240，幀頻率為25 fps。

正常行為與異常行為對(duì)比如圖1所示。圖1（a）中左側(cè)圖像為第179幀兩人相向行走，右側(cè)為第213幀兩人發(fā)生肢體沖突的圖像，從圖中可以看出，在一定距離中前景目標(biāo)由2個(gè)合為一個(gè)，發(fā)生了圖像目標(biāo)融合；圖1（b）為圖1（a）中對(duì)應(yīng)的前景目標(biāo)的能量圖，其中不同的顏色代表身體各部分的能量值不同；圖1（c）是對(duì)應(yīng)的能量直方圖，從直方圖中更直觀的顯示出當(dāng)兩人發(fā)生打斗行為時(shí)，出現(xiàn)一個(gè)顯著的能量增加，明顯超出正常的范圍。

圖1 正常行為與異常行為對(duì)比圖

可以得出當(dāng)視頻圖像中有異常行為發(fā)生時(shí)圖像的幅值能量圖將發(fā)生顯著變化，進(jìn)而證明本文算法的有效性。

表1 打斗等4種行為的實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果表明：打斗行為能夠較準(zhǔn)確的檢測(cè)并報(bào)警，但存在一定的誤檢現(xiàn)象，這可能是與實(shí)驗(yàn)中設(shè)定的光流能量閾值有關(guān)；對(duì)聊天行為和行走行為沒(méi)有誤檢，說(shuō)明了實(shí)驗(yàn)算法的有效性。

4 結(jié)束語(yǔ)

分析了國(guó)內(nèi)外對(duì)視頻異常行為檢測(cè)技術(shù)的研究現(xiàn)狀，指出了基于光流能量的異常行為檢測(cè)技術(shù)的應(yīng)用前景和重要性，介紹了光流法的計(jì)算流程及應(yīng)用與異常行為檢測(cè)技術(shù)中的可行性，最后用實(shí)驗(yàn)驗(yàn)證了本文算法的有效性，具有一定的理論意義。

[1]DICKINSON P,HUNTER A,APPIAH K.A Spatially Distributed Modelfor Foreground Segmentation[J].Image and Vision Computing,2009,27(9):1326-1335.

[2]WAN Cheng-kai,YUAN Bao-zong,MIAO Zhen-jiang.A Moving Object Segmentation Algorithm for Static Camera Via Active Contours and GMM[J].Sci China Ser F-inf Sci, 2009,52(2):322-328.

[3]DAVIS J W,BOBICK A F.The Representation and Recognition of Human Movementusing Temporal Templates [C].Proceedings of IEEE Conference on Computer Visionand Pattern Recognition,1997:928-934.

[4]吳艷平,崔宇,胡士強(qiáng),基于運(yùn)動(dòng)圖像序列的異常行為檢測(cè)檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究,2010,27(7):189-192.

[5]葉璐,郭立,劉皓.通信技術(shù)[J].2014,476(1):84-87.

[6]段晶晶,高琳,范勇,等.基于KOD能量特征的群體異常行為檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究，2013,30(12):166-170.

[7]岳猛，郭春生.基于DMC-HMM，模型的異常行為檢測(cè)[J].杭州電子科技大學(xué)學(xué)報(bào)，2014,34（3）：129-134.

Research on Human Abnormal Behavior Detection Based on Optical Flow Energy

LUO Chao-yu1LI Xiao-man2LI Hao1
(1 Graduate Management Team,Engineering University of CAPF,Xi’an Shaanxi 710086,China)
(2 Information and Engineering Teaching-Research Office,Engineering University of CAPF,Xi’an Shaanxi 710086,China)

This paper studies and compares three commonly-used kinds of abnormal behavior detection algorithms,analyzes their research status,introduces the research progress of optical flow energy used in abnormal behavior detection technology,proposes a human abnormal behavior detection algorithm based on regional optical flow energy.The Lucas-Kanade algorithm is used to calculate the regional optical flow characteristics and realize the severe abnormal behavior detection in the video such as fighting.The simulation test shows that the algorithm has such features as higher recognition rate and lower false detecting rate and presents certain research significance.

optical flow energy;regional optical flow;Lucas-Kanade;fight;false detecting rate;abnormal behavior

TP391

A

1008-1739（2014）21-71-3

定稿日期：2014-10-12