基于視頻監(jiān)控場(chǎng)景的用戶視覺(jué)注意力模型

劉仁硯 蔡曉東 黃嘉成 梁東旭 甘凱今

（桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004）

基于視頻監(jiān)控場(chǎng)景的用戶視覺(jué)注意力模型

劉仁硯 蔡曉東 黃嘉成 梁東旭 甘凱今

（桂林電子科技大學(xué)信息與通信學(xué)院，廣西 桂林 541004）

視頻監(jiān)控圖像幀中所有物體具有同等地位，造成用戶感興趣的物體并沒(méi)有能夠分配到更多的視覺(jué)注意力。文章針對(duì)視頻監(jiān)控場(chǎng)景，構(gòu)造了一個(gè)兩層的用戶視覺(jué)注意力模型，首先，進(jìn)行前景和背景的分類，其次，通過(guò)用戶對(duì)前景和背景的理解,將物體的視覺(jué)重要性進(jìn)行特征屬性的抽象化表述，最后，根據(jù)注意力模型計(jì)算物體的重要性。模型旨在借鑒人類的視覺(jué)系統(tǒng)，獲取一個(gè)基于視頻監(jiān)控場(chǎng)景的用戶視覺(jué)注意力模型。實(shí)驗(yàn)表明，該模型獲得了良好的效果。

視頻監(jiān)控；視覺(jué)注意力模型；物體重要性

1 引言

如何對(duì)大量的視頻監(jiān)控場(chǎng)景進(jìn)行快而有效的分析，是監(jiān)控領(lǐng)域亟待解決的問(wèn)題[1]。人類的視覺(jué)系統(tǒng)通過(guò)判斷視覺(jué)場(chǎng)景中物體的重要程度，能夠準(zhǔn)確、高效地將視覺(jué)注意力集中到重要的物體上，并對(duì)具有較高視覺(jué)注意力的圖像信息進(jìn)行細(xì)致而深入的分析。

在圖像研究領(lǐng)域，描述場(chǎng)景的視覺(jué)注意力信息時(shí)常使用“顯著圖”的方法。文獻(xiàn)[2]利用視覺(jué)顯著圖過(guò)濾與檢索任務(wù)不相關(guān)的背景信息。文獻(xiàn)[3]使用注意力驅(qū)動(dòng)模型提取圖像顯著圖，將能代表圖像的部分分割出來(lái)。文獻(xiàn)[4]通過(guò)計(jì)算圖像灰度通道與彩色拮抗對(duì)的顯著性描述，將三者的加權(quán)平均作為彩色圖像的顯著圖。

然而顯著圖本身是基于對(duì)像素的操作獲取的，既不能反映觀察者感興趣物體的重要性，無(wú)法完整地表示感興趣物體的形狀。對(duì)于抽象的人類視覺(jué)觀察系統(tǒng)，如何去衡量觀察者感興趣物體的重要程度正是本文的主要研究?jī)?nèi)容。

2 模型框架與原理實(shí)現(xiàn)

人類的視覺(jué)注意力機(jī)制在處理復(fù)雜場(chǎng)景時(shí)，選擇性地對(duì)信息進(jìn)行分析和處理，從而使得視覺(jué)注意點(diǎn)集中在場(chǎng)景中的某些物體[5]。對(duì)觀察者而言，物體的視覺(jué)重要程度取決于人類視覺(jué)系統(tǒng)對(duì)物體感知特征的敏感程度。在視頻圖像幀中，物體的視覺(jué)重要性可以被諸如運(yùn)動(dòng)、大小、紋理、顏色、位置等圖像屬性所表示，這些屬性信息從不同方面表達(dá)了一個(gè)物體的重要性程度。使用圖像屬性對(duì)視頻圖像幀中物體的視覺(jué)重要性進(jìn)行定義，這與人類視覺(jué)系統(tǒng)的工作方式相一致，由此，本文提出了一個(gè)基于圖像屬性的兩層用戶視覺(jué)注意力模型，模型結(jié)構(gòu)如圖1所示。

圖1　用戶視覺(jué)注意力模型的兩層結(jié)構(gòu)圖

2.1第一層：前景和背景物體的分類

在用戶視覺(jué)注意力模型中，對(duì)監(jiān)控場(chǎng)景視頻的前景物體和背景對(duì)象進(jìn)行分類具有重要意義[6]。這是由于在對(duì)監(jiān)控視頻做進(jìn)一步分析處理之前，選擇一個(gè)依賴于應(yīng)用并且有意義的視覺(jué)信息的子集特征可以減小場(chǎng)景分析的復(fù)雜性。這個(gè)特征就是人類視覺(jué)系統(tǒng)的“注意力特征”。由于使用攝像機(jī)進(jìn)行監(jiān)控的過(guò)程中，視頻中背景物體往往要比前景物體大得多，而且對(duì)于本文研究的視頻場(chǎng)景，抽取的前景物體才是人類感興趣的目標(biāo)，因此，把前景和背景的視頻物體的大小、運(yùn)動(dòng)、位置和編碼復(fù)雜度直接進(jìn)行比較是不合理的。為了建立更為合理的視覺(jué)注意力模型，本文從最佳的視頻質(zhì)量控制的角度出發(fā)，創(chuàng)新性的把視頻中的物體以組的形式進(jìn)行分類，然后再去比較組中的重要性特征。

本文提出的物體重要性模型是根據(jù)視頻物體的分類情況由組級(jí)別來(lái)確定各個(gè)視頻對(duì)象的重要性。為了定義基于前景和背景組的重要性，用表示第t幀的第i個(gè)物體在前景和背景分類時(shí)的重要性，如下所示：

其中α和β依賴于視頻監(jiān)控的具體應(yīng)用，當(dāng)物體i屬于背景時(shí)，其獲得的重要性大小為α，當(dāng)物體i屬于前景時(shí)，其獲得的重要性大小為β，（α,β）∈[0,1]且α+β=1。

2.2第二層：重要性特征的分析

在傳統(tǒng)的多視頻目標(biāo)速率控制算法中，物體的大小是影響視頻目標(biāo)重要性的主要因素，但位置信息卻沒(méi)有被平等地對(duì)待。正常情況下，觀察者更多關(guān)注的是處于視覺(jué)場(chǎng)景中心位置的物體，而且同一物體在不同的位置將會(huì)得到不同的注意力。由此可見(jiàn)，物體的位置信息對(duì)視覺(jué)注意力具有一定的影響，應(yīng)該作為影響物體重要性的因素之一。

一方面，對(duì)于前景物體，本文采取的策略是使用大小和位置相結(jié)合的歸一化高斯函數(shù)來(lái)定義物體的重要性。在第 t幀，物體i的大小和位置因子對(duì)于整個(gè)物體重要性的貢獻(xiàn)定義如下：

其中，iM是物體i的二元分割掩膜，x，y是物體的坐標(biāo)，表示在中心位置（W-1）/2和（H-1）/2的歸一化高斯函數(shù)，如下所示：

其中，xμ,yμ,xσ,yσ是x和y的平均值和標(biāo)準(zhǔn)差，滿足：其中，T是向量轉(zhuǎn)置，W和H分別表示視頻幀圖像大小的寬度和高度。

另一方面，對(duì)于背景物體，不管背景物體出現(xiàn)在什么位置都不是我們的感興趣點(diǎn)，所以不考慮位置，只用大小來(lái)計(jì)量物體的重要性。此外，如果有多個(gè)背景物體時(shí)，每個(gè)物體的重要性將被同等對(duì)待，用同一個(gè)重要性參數(shù)計(jì)算背景物體的重要性，如下：

靜態(tài)場(chǎng)景下，運(yùn)動(dòng)物體會(huì)更容易引起觀察者的注意[7]。一般來(lái)說(shuō)，在視頻監(jiān)控應(yīng)用中，觀察者注意的是相對(duì)運(yùn)動(dòng)或相對(duì)靜止的前景物體而不是背景物體。因此，對(duì)于背景物體，運(yùn)動(dòng)不作為重要性考慮的因素。對(duì)于前景物體而言，物體本身和攝像頭之間存在著相對(duì)運(yùn)動(dòng)的關(guān)系。具體的監(jiān)控應(yīng)用可分為以下兩種情況：一種是攝像頭固定，背景不變，前景相對(duì)攝像頭運(yùn)動(dòng)；另一種是攝像頭隨著前景運(yùn)動(dòng)而相對(duì)靜止。對(duì)于前者，在整個(gè)攝像頭能攝取到運(yùn)動(dòng)物體的過(guò)程中，把相對(duì)運(yùn)動(dòng)的物體的運(yùn)動(dòng)作為重要性的度量。這是因?yàn)椋绻粋€(gè)前景物體在一個(gè)監(jiān)控區(qū)域相對(duì)攝像頭運(yùn)動(dòng)，它表明這個(gè)物體是觀察者感興趣的方面。對(duì)于后者，相對(duì)攝像頭靜止的運(yùn)動(dòng)常常度量重要性，它表明這個(gè)物體正在被跟蹤而應(yīng)該給與更高的視覺(jué)重要性。綜上，無(wú)論是相對(duì)運(yùn)動(dòng)還是相對(duì)靜止，用定義第t幀物體i的運(yùn)動(dòng)因子的重要性，如下式所示：

在兩層用戶視覺(jué)注意力模型中，編碼復(fù)雜性是計(jì)算重要性所需考慮的另一個(gè)因素。傳統(tǒng)方法中對(duì)于編碼的復(fù)雜性通常使用變化程度來(lái)度量。在室外監(jiān)控系統(tǒng)中，就強(qiáng)度變化而言背景物體是復(fù)雜的。但是，由于背景的復(fù)雜性不是觀察者感興趣的，所以并不意味著復(fù)雜的背景的重要性就高于簡(jiǎn)單的前景。這也使得傳統(tǒng)度量編碼復(fù)雜性的方法在許多場(chǎng)景沒(méi)有明確的物理含義。因此，為了使編碼更具意義性，對(duì)于前景物體i而言，用物體的任意形狀區(qū)域的信息來(lái)度量物體重要性的編碼復(fù)雜性，如式（7）所示：

k，jRS和jRI由Blob塊檢測(cè)算法得到。

基于上述討論，構(gòu)成兩層重要性模型的所有因子有：大小和位置因子，運(yùn)動(dòng)因子，編碼復(fù)雜性因子，表示第 t幀的視頻中物體i的總視覺(jué)重要性度量，如下式所示：

其中，|.|表示每個(gè)因子的歸一化運(yùn)算，λ,μ和υ分別表示了大小和位置，運(yùn)動(dòng)以及編碼復(fù)雜性的權(quán)重。它們表示在觀察者的視角每一個(gè)參數(shù)的重要性，約束條件是（λ，μ，υ）∈[0,1]且λ+μ+υ=1。

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證所提出的基于視頻物體本身的兩層用戶視覺(jué)注意力模型的有效性，實(shí)驗(yàn)選取一段行人視頻序列的前60幀進(jìn)行視頻物體重要性的計(jì)算。

對(duì)于本文的視頻監(jiān)控場(chǎng)景而言，前景物體比背景物體更加的重要，同時(shí)，每一個(gè)前景物體的大小和位置、運(yùn)動(dòng)、編碼復(fù)雜性都具有相似的重要性，所以，基于該視頻序列，可設(shè)置相似的權(quán)重值（λ，μ，υ）=（0.3,0.4,0.3）。需要指出的是，這三個(gè)權(quán)重參數(shù)是根據(jù)具體的應(yīng)用場(chǎng)景進(jìn)行設(shè)置。

如圖2所示，視頻場(chǎng)景中包含三個(gè)物體：行人A、行人B和道路。行人A和行人B是前景物體，道路作為背景物體。視頻中，行人A現(xiàn)在中心位置逗留，然后向左移動(dòng)，逐漸走出監(jiān)控區(qū)域，行人B從左向右走過(guò)從監(jiān)控區(qū)域。前45幀行人A在視頻的中心位置附近，這是觀察者注意力集中的地方。隨著行人A遠(yuǎn)離中心的位置，行人B往視頻中心的方向靠近，使得行人B逐漸得到越來(lái)越多的視覺(jué)注意力而越來(lái)越重要，反之，行人A越來(lái)越不重要。

圖2　(a)原始視頻幀圖像；(b)提取的前景物體；(c)提取的背景物體

圖3　影響物體重要性的特征因子分析圖

由圖 3（a）可知，對(duì)于大小和位置高斯函數(shù)確定的物體重要性而言，在26幀之前，由于行人A處于視頻的中心位置附近，行人B在視頻的左側(cè)，此時(shí)，行人A的值高于行人B。隨著行人A在中心位置的偏離，行人B從左側(cè)漸漸走入視頻畫(huà)面，兩者大小和位置均發(fā)生變化，在32幀之后使得行人B越來(lái)越重要，其值最終高于行人A的。

由圖3（c）可知，圖2中兩個(gè)前景物體的區(qū)域色彩已經(jīng)確定，使得行人A的總是高于行人B且相差不大。

由圖3（d）可知，48幀之前行人A比行人B得到了更多的注意力，之后行人B逐漸成為用戶注意力的中心所在，而且，背景信息的重要性遠(yuǎn)遠(yuǎn)小于行人A和行人B的重要性。

4 結(jié)論與分析

本文提出了一種針對(duì)視頻監(jiān)控場(chǎng)景的兩層用戶視覺(jué)注意力模型，能夠準(zhǔn)確的描述視頻圖像中吸引注意力的物體信息。通過(guò)計(jì)算視頻物體的VPV值來(lái)定義物體的視覺(jué)重要性。這種模型可以容易地運(yùn)用到視頻的快速分析算法中，進(jìn)一步保證了分析的正確性和魯棒性。接下來(lái)的研究工作將重點(diǎn)放在視覺(jué)注意力模型的應(yīng)用部分，希望能聯(lián)合模型本身應(yīng)用到具體的視頻分析中，如行人檢測(cè)與跟蹤。

[1] 梁曄,劉宏哲.基于視覺(jué)注意力機(jī)制的圖像檢索研究[J].北京聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,24(1):30-35.

[2] 胡勝雄,尚趙偉,張?zhí)?等.基于視覺(jué)顯著圖的彩色圖像檢索[J].計(jì)算機(jī)工程,2012,(8):189-191.

[3] 王雪峰.一種基于注意力驅(qū)動(dòng)模型提取圖像顯著圖的方法[J].伊犁師范學(xué)院學(xué)報(bào)(自然科學(xué)版),2011,(1):58-61.

[4] 黃虹,張建秋.彩色自然場(chǎng)景統(tǒng)計(jì)顯著圖模型[J].復(fù)旦學(xué)報(bào)(自然科學(xué)版),2014,53(1):51-58.

[5] 葉剛.基于視覺(jué)注意的立體視頻感興趣區(qū)域提取[D].杭州:浙江大學(xué),2013.

[6] 李慶武,蔡艷梅,徐立中.基于分塊分類的智能視頻監(jiān)控背景更新算法[J].智能系統(tǒng)學(xué)報(bào),2010,(3):272-276.

[7] 孫業(yè).基于運(yùn)動(dòng)選擇注意的目標(biāo)跟蹤系統(tǒng)的研究[D].天津:河北工業(yè)大學(xué),2012.

User visual attention model based on video surveillance scene

All objects in the frame of surveillance video have equal status, so that the objects which users interested in may not have more attention. A two-level user visual attention model are proposed for video surveillance scenes in this paper. Firstly, classify foreground and background objects, and then, according to user’s understanding of foreground and background, abstractly express the visual importance related to feature property, finally, calculate the visual importance of the object according to visual attention model. In video surveillance scene, the model aim to extract a user visual attention model learn from the human vision system. The validity of the model has been confirmed through a series of experiments.

Video surveillance; visual attention model; importance of objects

TP391.4

A

1008-1151(2015)09-0030-03

2015-08-10

國(guó)家大學(xué)生創(chuàng)新性實(shí)驗(yàn)計(jì)劃（101059509）。

劉仁硯（1995－），男，桂林電子科技大學(xué)信息與通信學(xué)院學(xué)生，研究方向?yàn)橥ㄐ殴こ蹋徊虝詵|（1971－），男，桂林電子科技大學(xué)信息與通信學(xué)院碩士生導(dǎo)師，研究方向?yàn)閳D像和視頻處理、模式識(shí)別與智能系統(tǒng)。