視覺關(guān)注轉(zhuǎn)移的事件檢測算法

張麗坤，孫建德，李靜

(1.山東大學信息科學與工程學院，山東濟南 250100;2.山東省工會管理干部學院信息工程學院，山東濟南 250100)

隨著社會對公共安全要求的不斷提升，監(jiān)控系統(tǒng)在銀行、商場、高速公路、公交車、地鐵站等各種公共場所的應用越來越普遍.監(jiān)控系統(tǒng)的智能化將有助于遏制一些惡性事件或是危險情況的進一步發(fā)展.對突發(fā)事件做出及時的處理，對整個社會的公共安全有著非常重要的意義.但是，在現(xiàn)階段監(jiān)控系統(tǒng)的智能化還未達到一定程度的情況下，大多數(shù)監(jiān)控視頻中的事件檢測，主要是靠保安人員不間斷地觀看來實現(xiàn).特別是在大型監(jiān)控平臺的環(huán)境中，通常配備專職監(jiān)控人員對監(jiān)控視頻進行實時監(jiān)控，監(jiān)控人員需要同時監(jiān)視一定數(shù)量的監(jiān)控屏幕，這使得監(jiān)控人員很難長時間保持較高的注意力，并且達到多個屏幕無遺漏的人工監(jiān)控.在這樣的情況下，如何能夠使監(jiān)控系統(tǒng)對所有監(jiān)控場景中發(fā)生的受關(guān)注事件不遺漏地、實時地發(fā)出警報，以提示監(jiān)控人員進行特別關(guān)注，成為了智能監(jiān)控中非常具有實際應用價值的研究問題.

近年來，隨著智能視頻監(jiān)控越來越多地受到重視，監(jiān)控視頻中的事件檢測技術(shù)研究已經(jīng)取得很大進展.Jiang等采取了對目標的檢測和追蹤的方法，將單一物體的運動軌跡定義為視頻的一個事件，通過軌跡線聚類來區(qū)分正常事件和非正常事件.但是這種定義忽略了視頻的一些時間和空間信息［1］.Liu等提出了一種基于運動方向統(tǒng)計的異常事件檢測方法，他們通過對視頻中的連續(xù)幀進行分析，采用顏色、紋理、運動等低級特征對視頻中的事件進行描述，進而從監(jiān)控視頻中辨別出異常事件.但是，僅僅靠低級特征表征視頻中的事件是遠遠不夠的，需要采用基于人類視覺系統(tǒng)的高級語義特征才能對視頻內(nèi)容進行最準確的描述［2］.因此，研究者們開始從視覺關(guān)注的角度來彌補視頻的高級語義特征和低級語義特征之間的鴻溝.Jiang等提出由視覺關(guān)注值表征人眼對視頻內(nèi)容的關(guān)注程度的方法，他們采用K均值聚類，選出視覺關(guān)注值最高的幀作為關(guān)鍵幀，以關(guān)鍵幀來描述視頻中事件的內(nèi)容［3］.Lai等則通過運動、顏色、紋理等特征，形成靜止和運動相結(jié)合的顯著圖，從而形成視覺關(guān)注曲線;然后利用時間限制的聚類方法來提取關(guān)鍵幀從而表征視頻中的事件［4］.這些方法在視頻中的事件檢測和事件描述方面都取得了較好的結(jié)果，但是這些方法大多需要對整段視頻進行分析，因此很難達到事件的實時檢測.

針對上述問題，文章從人的視覺關(guān)注特性出發(fā)，將視覺關(guān)注的轉(zhuǎn)移作為事件檢測的依據(jù)，針對現(xiàn)有的大多數(shù)算法在突發(fā)事件檢測實時性方面的局限性，提出了一種關(guān)鍵幀觸發(fā)的、能夠?qū)σ曨l內(nèi)容的變化準確描述的事件檢測方法.該方法將視覺上動態(tài)和靜態(tài)的視覺關(guān)注模型進行融合，通過視覺關(guān)注模型來提取視頻幀中的受關(guān)注區(qū)域，根據(jù)連續(xù)幀中的最受關(guān)注區(qū)域的變化來確定人眼視覺關(guān)注點的轉(zhuǎn)移，形成視頻關(guān)注節(jié)奏，根據(jù)關(guān)注節(jié)奏的變化強度來選取關(guān)鍵幀，通過關(guān)鍵幀表明事件發(fā)生的時刻，從而觸發(fā)對受關(guān)注事件的提示.實驗結(jié)果表明，根據(jù)文章提出的算法提取的關(guān)鍵幀能夠準確地表示監(jiān)控視頻中特征事件的開始時刻，并且關(guān)鍵幀的提取是實時的.

1 事件檢測算法

關(guān)鍵幀是指從原始視頻中提取的能夠代表視頻內(nèi)容的圖像集合，它常被用于視頻檢索及視頻摘要領(lǐng)域［5］，而文中提取的關(guān)鍵幀則是用來表征監(jiān)控視頻中事件的發(fā)生.圖1是提出的監(jiān)控視頻事件檢測算法框圖.

圖1 監(jiān)控視頻事件檢測算法Fig.1 The framework of the proposed event detection algorithm of surveillance video

2 算法分析

2.1 視覺關(guān)注模型

視覺關(guān)注是視覺信息處理過程中一個非常重要的方面.當視網(wǎng)膜擁有整個場景時，注意力只集中在一個或為數(shù)很少的幾個區(qū)域，這幾個區(qū)域就是圖像的受關(guān)注區(qū)域，它們代表了人眼的視覺關(guān)注點，而受關(guān)注區(qū)域的提取是建立在視覺關(guān)注模型基礎之上的.視覺關(guān)注模型是根據(jù)人的視覺注意機制而建立的模型，它利用視覺注意機制得到圖像中最容易引起注意的顯著區(qū)域，并通過將這些顯著區(qū)域的顯著性用灰度值表示來構(gòu)成顯著圖.

研究表明，人類的視覺感知系統(tǒng)對于靜止圖像中差異明顯的區(qū)域更為關(guān)注，對于圖像序列中運動的部分也更加關(guān)注.因此，將視頻的動態(tài)關(guān)注模型和靜態(tài)關(guān)注模型結(jié)合形成最終的視覺關(guān)注模型，通過視覺關(guān)注模型來提取視頻幀中的受關(guān)注區(qū)域.

2.1 .1 動態(tài)關(guān)注模型

由于人眼往往對運動的目標更加關(guān)注，同時運動目標能夠體現(xiàn)視頻在時域上的信息，所以動態(tài)關(guān)注模型的提取過程實際上就是對視頻序列中運動目標的檢測過程.在運動目標的檢測過程中，使用文獻［3］中所提到的基于塊的LK光流算法計算視頻各幀的光流，同時為了彌補運動目標檢測中出現(xiàn)的陰影問題，在LKmotion光流算法的基礎上，應用混合高斯背景建模技術(shù)，得到每幀的運動前景Gfg.

將LK光流算法得到的運動區(qū)域跟混合高斯背景建模技術(shù)獲得的運動前景進行膨脹和腐蝕運算，然后進行歸一化形成最終的動態(tài)關(guān)注模型Tsm:

式中:Tsm是二值圖像，運動區(qū)域的像素值為1，靜止區(qū)域的像素值為0.

2.1.2 靜態(tài)關(guān)注模型

靜態(tài)關(guān)注模型的加入主要是從視頻的空間信息考慮的.監(jiān)控視頻中各幀的靜態(tài)關(guān)注模型Ssm的提取方法為:首先對視頻幀進行多尺度變換，在不同尺度上提取顏色、亮度、紋理等低級特征的局部對照特征，然后根據(jù)局部對照特征形成特征圖，并將形成的特征圖進行全局歸一化，最后將歸一化后的特征圖進行線性結(jié)合，得到最終的顯著圖［6］.

2.1 .3 運動優(yōu)先融合

動態(tài)關(guān)注模型和靜態(tài)關(guān)注模型需要結(jié)合在一起，得到最終視頻幀符合人眼視覺關(guān)注的顯著圖.由于相比于對靜態(tài)的關(guān)注，人眼往往對于運動的物體更加關(guān)注，所以兩者在融合的時候采用的權(quán)重不能相同，在這里用文獻［3］中提到的權(quán)重計算方法.定義動態(tài)關(guān)注模型和靜態(tài)關(guān)注模型的權(quán)重如式(3)、(4):

式中:wT和wS分別是動態(tài)關(guān)注模型和靜態(tài)關(guān)注模型的權(quán)重.式(3)中的T'sm如式(5)所示:

式中:mean(Tsm)反映了視頻中運動所占的比例，視頻中運動區(qū)域面積越大，它的值就越大.因為Tsm是二值圖像，所以當視頻序列中不存在運動時，mean(Tsm)和max(Tsm)都為0，此時 wT等于零，wS為1，即視頻幀中不存在運動，此時視頻幀的視覺關(guān)注區(qū)域取決于靜態(tài)關(guān)注;但兩者都為1時，說明運動區(qū)域遍布整個視頻幀，運動無法為視覺關(guān)注提供參考，此時視頻幀的視覺關(guān)注由靜態(tài)關(guān)注決定.當mean(Tsm)∈(0，0.768］時，wT＞ wS，視頻序列中的動態(tài)關(guān)注優(yōu)于靜態(tài)關(guān)注，這時動態(tài)關(guān)注在視頻幀的視覺關(guān)注中占主導地位;當mean(Tsm)∈(0.768，1］時，wT＜wS，靜態(tài)關(guān)注優(yōu)于動態(tài)關(guān)注，這時視頻幀的視覺關(guān)注由靜態(tài)關(guān)注主導.

這樣就可以得到符合人眼視覺關(guān)注的視頻幀的最終視覺顯著圖Saliency:

顯著圖Saliency的像素值歸一化到0～1內(nèi).其中1表示受關(guān)注度最高，0表示受關(guān)注度最低.

2.2 視覺關(guān)注轉(zhuǎn)移

根據(jù)人眼的轉(zhuǎn)移機制，人眼關(guān)注點的轉(zhuǎn)移意味著有特征事件的出現(xiàn).因此，首先要找到視覺顯著圖中局部最受關(guān)注的區(qū)域，然后再根據(jù)連續(xù)幀中的最受關(guān)注區(qū)域的變化來確定人眼視覺關(guān)注點的轉(zhuǎn)移，從而選定關(guān)鍵幀的候選幀.具體步驟如下:

1)將視頻幀的最終視覺顯著圖分成無重疊的、大小為8×8的塊.

2)計算每塊的均值，并找到均值最大的塊.在

式中:k∈{1，2}代表被選定的受關(guān)注區(qū)域的數(shù)目，xi∈Rk表示矩形Rk中的像素，NRk表示矩形Rk中總像素數(shù)，Tk是選擇最優(yōu)矩形區(qū)域時設定的閾值，avg(maxblockk_Sa(x))是第k個最大均值塊的均值，?k∈(0，1)是一個經(jīng)驗數(shù)據(jù).在實驗中，選用?k=0.9，即將最大均值塊均值的90%設定為選擇最優(yōu)矩形區(qū)域時的閾值.每一個受關(guān)注區(qū)域可以表示為［7］:

式中:Re ct(·)代表設定矩形區(qū)域的函數(shù)，(ck，rk)是矩形區(qū)域左上頂點的坐標，Wk和Hk分別是矩形區(qū)域的寬度和高度.

當?shù)?個視覺受關(guān)注區(qū)域確定以后，將這部分區(qū)域的像素值置為零，然后返回到2)進行，直到第2個受關(guān)注區(qū)域被選定為止.

4)分別計算視頻幀所選2個區(qū)域的均值，用均值的變化來表征視覺關(guān)注的轉(zhuǎn)移.

當av1(i)＞av2(i)＆ av2(i+1)＞av1(i+1)或者av2(i)＞av1(i)＆ av1(i+1)＞av2(i+1)時，表示在第i幀時刻發(fā)生了視覺轉(zhuǎn)移，此時將第i+1幀選出作為關(guān)鍵幀的候選幀，這里av1(i)和av2(i)表示第i幀選出的2個受關(guān)注區(qū)域的均值.

5)獲得視覺關(guān)注節(jié)奏曲線.定義視覺轉(zhuǎn)移量來表示視覺轉(zhuǎn)移程度的大小.視覺轉(zhuǎn)移量是指視覺轉(zhuǎn)移之前，視覺關(guān)注保持在某一關(guān)注區(qū)域的時間，它可以用視頻中沒有視覺轉(zhuǎn)移發(fā)生的這段時間內(nèi)視頻的幀數(shù)來表示:這里用圖像塊平均灰度值代表這個圖像塊的受關(guān)注程度，均值越大，這個塊的受關(guān)注程度越高.

3)以均值最大的塊為中心，通過區(qū)域擴展形成一個最優(yōu)的矩形區(qū)域作為視覺關(guān)注區(qū)域.這個矩形區(qū)域要滿足矩形面積最小且局部平均像素值最大的要求.這樣就可以獲得第1個視覺受關(guān)注區(qū)域.

在選擇最優(yōu)矩形區(qū)域Rk時，采用文獻［8］中的方法:

式中:T是沒有視覺轉(zhuǎn)移發(fā)生的一段時間內(nèi)出現(xiàn)的視頻幀數(shù)，N是正整數(shù)或零，δt(i)為第i幀出現(xiàn)時刻的視覺轉(zhuǎn)移量.

視頻當前幀選出的2個關(guān)注區(qū)域的均值與前一幀選出的2個關(guān)注區(qū)域的均值相比沒有發(fā)生變化時，視覺轉(zhuǎn)移量為零;若發(fā)生變化，視覺轉(zhuǎn)移量累加，以此獲得視覺關(guān)注節(jié)奏曲線.

6)獲得視覺關(guān)注節(jié)奏后，根據(jù)視覺轉(zhuǎn)移量選定關(guān)鍵幀.

2.3 受關(guān)注事件報警或提示

視頻中往往會出現(xiàn)一些與場景中大部分人的共性行為不一致的行為，或是場景中突然新增加一些人、事物以及發(fā)生一系列新的動作的情況，比如人群在步行前進卻有一個人跑步前進或突然有一個人闖入一個環(huán)境中等.這些與人們的共性行為不一致的行為的發(fā)生往往會引起觀察者的注意，因此，它們往往被認為是視頻中的受關(guān)注事件.

根據(jù)人眼的觀看習慣，視覺轉(zhuǎn)移的形式主要有2種:1)視覺注視點頻繁地發(fā)生轉(zhuǎn)移;2)視覺轉(zhuǎn)移隔一段時間才發(fā)生一次.第1種形式通常發(fā)生在事件進行過程中.在這種情況下，由于視覺關(guān)注點轉(zhuǎn)移的時間間隔短，所以視覺轉(zhuǎn)移量往往不大;而第2種形式往往出現(xiàn)在新事件發(fā)生的時刻.這種情況通常是在視覺關(guān)注點在某一區(qū)域保持了一段時間后才發(fā)生的，因此，視覺轉(zhuǎn)移量往往較大.所以，只要設定合適的視覺轉(zhuǎn)移量門限值，就可以從關(guān)鍵幀的候選幀中選定表征事件發(fā)生的關(guān)鍵幀.在所選關(guān)鍵幀對應的時刻進行報警或提示，以標示受關(guān)注事件的發(fā)生，就可以達到事件檢測的目的.

3 實驗結(jié)果及其分析

實驗采用的計算機配置為Pentium Dual-Core CPU E 5300@2.60 GHz，2GB 內(nèi)存，Windows XP 系統(tǒng)中，仿真程序通過Matlab編程實現(xiàn).在進行實驗時選用了標準的“Hall Monitor”視頻，這個視頻包括300幀.對每一幀進行動態(tài)關(guān)注模型、靜態(tài)關(guān)注模型的提取并融合，根據(jù)局部灰度像素均值最大的方法選擇最受關(guān)注區(qū)域，進而得到圖2所示的監(jiān)控視頻的視覺關(guān)注曲線，根據(jù)對“Hall Monitor”視頻的運動量進行統(tǒng)計計算，設定轉(zhuǎn)移量的門限值為15.

圖2 視覺關(guān)注曲線Fig.2 The curve of visual attention

從圖2可以看出，視覺轉(zhuǎn)移量大于15的幀中，第1幀和第2幀以及第2幀和第3幀之間基本上沒有視覺轉(zhuǎn)移量的起伏變化，符合2.3所述的第2種形式，說明此時刻事件的突發(fā)性.根據(jù)圖2選出的關(guān)鍵幀如圖3所示，圖3包括第1個人進入監(jiān)控(圖3(a))、第2個人進入監(jiān)控(圖3(b))、第1個人離開(圖3(c))、第2個人從監(jiān)控中離開(圖3(d))的關(guān)鍵幀.

圖3 門限值為15時視頻“hall”中選出的關(guān)鍵幀F(xiàn)ig.3 The extracted key frames when the threshold is 15

由圖3可以看出根據(jù)視覺關(guān)注節(jié)奏曲線選出的關(guān)鍵幀能夠代表視頻中主要受關(guān)注事件出現(xiàn)的時刻，在這樣的時刻進行報警，就可以達到事件智能檢測的目的.實驗中視頻相鄰2幀之間的變化所需的時間大約是0.004 11 s，能夠證明該方法能夠?qū)崟r地檢測事件.當設定門限值為10時，所選的關(guān)鍵幀如圖4所示，此時2個人進入監(jiān)控后的一系列連續(xù)的動作(圖4(c)～(f))被檢測出，這時選出的幀處于2個事件之間，表明了事件發(fā)展過程中的主要動作，即第1個人放下物體(圖4(c)、(d))，第2個人拎起另一個物體(圖4(e)、(f)).

圖4 門限值為10時視頻“hall”中選出的關(guān)鍵幀F(xiàn)ig.4 The extracted key frames when the threshold is 10

此外，又選用了實驗室監(jiān)控視頻對算法進行驗證.這個視頻各幀的mean(Tsm)比“Hall Monitor”視頻的大，說明這個視頻中運動區(qū)域較多，運動更為復雜，這里通過對視頻運動量的統(tǒng)計計算，設定視覺轉(zhuǎn)移量的門限值為10.實驗結(jié)果如圖5和圖6.

圖5 實驗室監(jiān)控視頻的視覺關(guān)注曲線Fig.5 The curve of visual attention

圖6 實驗室監(jiān)控視頻中選出的關(guān)鍵幀F(xiàn)ig.6 The extracted key frames

圖5是視頻所對應的視覺關(guān)注節(jié)奏曲線，可以看出，在選定的幀中，各幀之間有比較頻繁的視覺轉(zhuǎn)移量的起伏變化，說明視覺轉(zhuǎn)移一直在發(fā)生，事件一直在進行，符合2.3中提到的第1種形式.在這種情況下，到達某個時刻時視覺轉(zhuǎn)移量突然增加，表明這個時刻可能會有新事件的出現(xiàn).這個視頻相鄰2幀之間的轉(zhuǎn)移所花時間大約是0.004 14s，也能證明該方法的實時性.圖6是根據(jù)圖5選擇的關(guān)鍵幀.可以看出人物出現(xiàn)(圖6(a))、行走(圖6(b))、返回自己座位(圖6(c))等一系列關(guān)鍵動作都被檢測出來.

4 結(jié)束語

提出了一種基于視覺關(guān)注轉(zhuǎn)移的關(guān)鍵幀提取的事件檢測算法，首先采用LK光流算法和混合高斯建模技術(shù)檢測視頻幀中的運動區(qū)域，進而獲得視頻幀的動態(tài)關(guān)注模型;同時，對視頻中各幀提取靜態(tài)關(guān)注模型;將這2類關(guān)注模型融合得到視頻幀的視覺關(guān)注模型，通過視覺關(guān)注模型來提取視頻幀中的受關(guān)注區(qū)域;然后根據(jù)連續(xù)幀中的最受關(guān)注區(qū)域的變化來確定人眼視覺關(guān)注點的轉(zhuǎn)移，獲得視覺關(guān)注節(jié)奏;最后根據(jù)視覺關(guān)注節(jié)奏中視覺轉(zhuǎn)移量的大小選定關(guān)鍵幀，在關(guān)鍵幀出現(xiàn)的時刻進行報警或提示，以此來表征受關(guān)注事件的發(fā)生.在下一步工作中，將研究視覺轉(zhuǎn)移量閾值的自適應設定方法.文中提出的方法能夠較好地表征受關(guān)注事件的發(fā)生，但是需要進一步改進以應對更加復雜的視頻監(jiān)控場景.

［1］JIANG F，WU Y.A dynamic hierarchical clustering method for trajectory-based unusual video event detection［J］.IEEE Transactions on Image Processing，2009，18(4):907-913.

［2］LIU C，WANG G J，NING W X，et al.Anomaly detection in surveillance video using motion direction statistics［C］//IEEE International Conference on Image Processing.Hong Kong，China，2010:717-720.

［3］JIANG P，QIN X L.Keyframe-based video summary using visual attention clues［J］.IEEE Transactions on Multimedia，2010，17(2):64-73.

［4］LAI J L，YI Y.Key frame extraction based on visual attention model［J］.Journal of Visual Communication and Image Representation，2012，23(1):114-125.

［5］AMIRI A，F(xiàn)ATHY M，NASERI A.Key-frame extraction and video summarization using QR-decomposition［C］//IEEE International Conference on Multimedia Technology and Applications.Wuhan，China，2010:134-139.

［6］ZHANG J，SUN J D，YAN H，et al.Visual attention model with cross-layer saliency optimization［C］//IEEE International Conference on Intelligent Information Hiding and Mul-timedia Signal Processing.Dalian，China，2011:240-243.

［7］ITTI L，KOCH C，NIEBUR E.A model of saliency based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254-1259.

［8］RUBINSTEIN M，SHAMIR A，AVIDAN S.Multi-operator media retargeting［J］.ACM Transactions on Graphics，2009，23(3):1-8.