基于區域協方差的視頻顯著度局部空時優化模型

田 暢 姜青竹 吳澤民 劉 濤 胡 磊

?

基于區域協方差的視頻顯著度局部空時優化模型

田 暢 姜青竹*吳澤民 劉 濤 胡 磊

(解放軍理工大學通信工程學院 南京 210007)

顯著度檢測在計算機視覺中應用非常廣泛，圖像級的顯著度檢測研究已較為成熟，但視頻顯著度因其高度挑戰性研究相對較少。該文借鑒圖像級顯著度算法的思想，提出一種通用的空時特征提取與優化模型來檢測視頻顯著度。首先利用區域協方差矩陣構造視頻的空時特征描述子，然后計算對比度得出初始顯著圖，最后通過聯合前后幀的局部空時優化模型得到最終的顯著圖。在2個公開視頻顯著性數據集上的實驗結果表明，所提算法性能優于目前的主流算法，同時具有良好的擴展性。

視頻顯著度；區域協方差；局部對比度；局部空時優化

1 引言

視覺顯著度主要用于獲取圖像和視頻中最容易引起人眼注意的區域[1,2]，近10年來，一直是計算機視覺領域中的一個研究熱點。作為一項預處理過程，顯著度被廣泛應用于圖像分割[3]、圖像重定位[4]、目標跟蹤[5]、圖像分類[6]、視頻壓縮[7]等領域。

圖像級的顯著度只針對一幅靜態圖像，一直被廣泛研究，文獻[1,2]中對近20年來的40種算法進行了詳細的比較。比較有代表性的有基于直方圖的全局對比度模型[8]、高斯濾波器模型[9]、流形排序模型[10]、邊界連通度及優化模型[11]、元胞自動機模型[12]以及基于這些模型的改進算法[13,14]。所有這些算法的核心基本都在于區域(如超像素)間的距離度量和對比度的計算。這些算法在圖像級的顯著度計算上都獲得了非常好的效果。

而人類視覺系統(Human Visual System, HVS)感知更多的還是連續的視頻，所以目前視頻顯著度正受到越來越多的關注[15]。但視頻中因其加入了復雜的運動線索，導致檢測的難度更大，現有方法相對較少，性能有待提高。總地來看，目前的視頻顯著度算法主要存在兩個方面問題：一是沒有考慮顯著區域的空時相關性問題，要么將運動特征簡單加入到圖像級特征中去，要么獨立計算空間和時間顯著度，再人為構造兩者的權重進行簡單融合。例如，文獻[15]只是簡單將動態紋理特征加入到經典的“中心-周圍”圖像顯著度模型中；文獻[16]分別計算顏色和運動等多種特征對比度，然后和位置優先進行融合；文獻[17]和文獻[18]分別基于構建軌跡描述子、顏色和運動直方圖特征，計算空間和時間顯著圖，再進行加權融合，但最終融合的結果很大程度上取決于加權系數的選取。二是通常沒有或者只是簡單考慮顯著區域的空時一致性問題。所謂空時一致性[19]，是指視頻顯著性除了空間上的相似區域要保持一致外，還應在時間上保持一致，即相鄰幀不應有太大的突變(場景變化除外)。例如，文獻[16,17]都是單幀處理，基本沒有考慮相鄰幀的空時一致性問題；文獻[18]通過前一幀的顯著度對當前幀進行預測和調整，但僅適用于場景變化較慢的情況，運動目標過快或場景突變時極易產生預測失準；文獻[20]利用粒子濾波來修正和定位顯著性目標，但定位精度較大程度上取決于粒子和參數的選取；文獻[21]采用隨機游走模型首先計算時間顯著度分布，再將其作為種子構建空間的游走模型來計算最終的空時顯著度，但其對復雜背景魯棒性較差；文獻[22]使用空時邊界構建相鄰兩幀的幀間圖，使用測地線距離來計算空時顯著圖，但其需要借助視頻幀的邊界作為先驗背景，對目標位于邊界的情況算法容易失效；文獻[19]提出一個全視頻的優化模型來保證空時一致性，但其針對整個視頻而言，一方面計算耗費較大，另一方面不適應場景切換。

針對以上兩個問題，一方面受文獻[23]采用張量分解構建空時方向一致性特征啟發，本文借鑒文獻[24,25]圖像級的區域協方差矩陣的思路，首先設計了空時協方差矩陣來提取空時特征描述子，然后使用局部對比度計算初始顯著圖；另一方面本文借鑒文獻[11,26,27]圖像級和文獻[19]視頻級的優化模型，構造一種局部空時優化模型，獲得了更加精確的空時一致的顯著性目標分割。在兩個數據集上的實驗表明，本文的特征模型和優化模型具有較強的魯棒性，檢測性能超出了目前主流算法。另外值得說明的是，本文的模型是一個統一的特征提取和空時優化模型，其特征分量和優化時間長度都可以根據具體應用靈活添加，具有良好的擴展性。

2 基于區域協方差的對比度

局部對比度在圖像和視頻級的顯著度計算中被廣泛采用[9,11,16,18]，其被定義為一個區域和其周圍一定范圍內其他區域的差異性。通常區域差異性采用顏色區分，周圍區域采用空間距離加權。但對視頻而言，運動特征一般更加重要，另外有些復雜場景單單依靠顏色區分效果不佳。所以本文考慮融合多種空間特征和時間特征來構造區域的空時特征描述子。而區域協方差(Region Covariance, RC)通過計算圖像區域內多種特征的協方差矩陣來融合多種特征[28]，可以滿足要求。

2.1 空時特征向量

2.2 區域協方差

征向量。本文中的特征向量為9維，一個超像素的協方差可以表述為一個的矩陣。

協方差矩陣并非在歐式空間，兩個協方差的距離度量可以使用廣義特征值進行計算[28]，但過于復雜。文獻[31]提出對協方差矩陣進行Cholesky分解，將維協方差矩陣C轉換為歐式空間下的Sigma點集：

2.3 局部對比度

我們采用前面求得的空時特征描述子來計算每一個超像素的空間對比度：

3 局部空時顯著度優化

前面求得的空時對比度雖然已經取得較好的結果，但其在空間和時間上相鄰的相似區域一致性不夠好(如圖1(b)和圖1(c))。為了保證空間相鄰的相似區域顯著性一致，很多圖像級的算法[11,26,27]都采用一定的優化模型來得到更加精確的顯著圖。但視頻顯著度還必須要考慮時間一致性的問題，文獻[23]提出了一個和文獻[26]形式上基本一致的二階空時優化模型：

圖1 本文算法流程

圖2 空間相鄰(中間圖連線所指超像素)和時間相鄰(左右圖中虛線圈內超像素)示意圖

文獻[23]中是聯合整個視頻所有超像素進行優化，一方面運算量較大不利于實時處理，另一方面不適用于場景變化。為此，本文提出局部空時優化。當求解當前幀的顯著圖，考慮其前一幀和后一幀，構造局部的空時超像素集，對應的初始顯著圖為。注意這里的初始顯著圖包括前一幀已經求得的顯著圖和當前幀和下一幀基于對比度的顯著圖和。3幀經過式(7)優化后的顯著圖為，則抽取當前幀每個超像素的顯著度為

表1 給出了局部空時優化的具體流程，其中，第1幀和最后一幀只考慮兩幀優化，設置第0和+1幀只是為了保證優化形式的統一。

表1 局部空時優化算法

輸入：視頻序列，幀數N輸出：視頻顯著圖初始化：第0和N+1幀超像素集，，；按式(1)~式(6)計算第1幀的初始顯著圖；for t=1 : N do 按式(1)~式(6)計算下一幀的初始顯著圖； 構造空時超像素集: ；構造初始顯著度集：； 按式(7)執行空時顯著度優化，得到優化后3幀顯著圖； 提取當前幀的顯著圖；end

4 實驗結果及分析

本文在2個數據集上測試各算法：SegTrack[32]和VideoSal[17]。SegTrack包含6個視頻，幀數在21到70幀之間，但只有一個顯著目標。VideoSal包含6個視頻，幀數從21到3019，其中3個視頻含有多個目標。兩個數據集每一幀都有像素級的真值分割。這些視頻包含有攝像機運動、目標形變、劇烈運動和復雜背景等各種相當具有挑戰的情況。這里主要比較2014年以來比較典型的算法：DC[23], ST[16], SP[18], RW[21], GD[22]和GF[19]。早期的算法在這些文獻中都有詳細的比較。

本文分別采用P-R(精度-召回率)曲線、F-measure值和平均絕對差MAE(Mean Absolute Error)值進行評估。P-R曲線通過[0,255]的滑動閾值對每個顯著圖進行二值化，和真值進行比對求得相應的精度(Precision)和召回率(Recall)，然后在整個圖庫上進行平均。F-measure一般是采用一定閾值對圖像進行二值化，然后分別求得精度和召回率：

4.1 所提算法的性能分析

本文的算法主要涉及兩步：基于區域協方差的對比度求得的初始顯著圖(記為RC)和空時優化后的顯著圖(記為RC-OPT-ST)。另外為了驗證本文提出的空時優化模型的有效性，我們不考慮時間相鄰性，只將每一幀作為單個圖像處理，使用空間優化模型(記為RC-OPT-S)進行優化。圖3給出了這3個步驟P-R曲線性能比較的圖示。從圖中可以看出，本文的基于區域協方差的對比度顯著圖已經可以取得較好的效果，但經過優化后性能會大大提升。而空時優化的結果要比只采用空間優化效果好，主要是其還考慮了時間上的一致性。

圖3 基于區域協方差矩陣的對比度及局部空時優化的性能比較

4.2 和其他算法的比較

圖4給出了本文算法和其他算法的P-R曲線、F-measure圖以及MAE值比較。從圖中可以看出，本文算法無論在召回率還是精度方面相對其他算法都有明顯的改進，在較寬的范圍[50, 200]內F-measure值都比其他算法要高，較低的MAE值(僅在SegTrack上比GF算法高)也表明本文結果和真值更加接近。圖5和圖6分別給出了SegTrack和VideoSal數據集上各視頻檢測效果的示例(每兩列來自于同一個視頻中的兩幀)。從圖中也可以看出，DC算法因只使用梯度信息，只檢測出了邊緣區域，目標整體性檢測效果不佳。ST算法對攝像機靜止的情況檢測較好，但對攝像機運動的情況(如圖5中第2, 3, 4個視頻)檢測效果較差。SP算法采用空間和時間對比度分別進行計算，對簡單背景場景計算效果比較好，但其兩者的融合策略對一些復雜背景的場景(如圖5中第4個和圖6中第3, 4個視頻)不太適用。RW算法因其時間顯著度種子的計算實際上就是全局對比度，所以對背景稍微復雜的場景(如圖5中第1, 3, 4和圖6中第3, 6個視頻)的檢測效果都不太好。GD算法基于測地線距離進行計算，目標整體比較高亮，但其先驗背景主要是基于視頻圖片的四周邊框，所以對視頻邊框復雜(如圖5中第4個視頻)的情況檢測效果不好。GF算法和本文算法性能最為接近，但因其梯度流場的計算是基于水平和垂直方向的梯度值累加，所以特別易受水平和垂直方向上紋理的影響(如圖5中第1個視頻中和圖6中第4個視頻)。而本文的算法無論是在復雜的背景，還是攝像頭運動以及目標不規則運動和形變等情況下都取得了較好的檢測效果，具有較強的魯棒性。

圖4 兩個數據集上不同算法的性能比較

圖 5 SegTrack數據集上不同算法檢測效果示例

圖 6 VideoSal數據集上不同算法檢測效果示例

4.3 運行時間分析

表2給出了本文算法和其他算法檢測每幀視頻的平均運算時間比較。我們的測試環境為Intel Xeon E5-2620 2.00 GHz, RAM 16 GB。除了DC算法沒有提供源代碼(筆者在Matlab平臺上復現)，其他算法都直接運行作者公布的源代碼，所有代碼都在Matlab2012b平臺下運行，測試數據集為SegTrack。ST, SP, GD, GF和本文算法都要計算光流場，光流的計算比較耗時(平均約為12.38 s/幀)，所以比不采用光流的DC算法要慢，表2中括號內的值為除去光流計算后的運行時間。可以看出，本文算法在除去光流計算后處理1幀與GF差不多，僅僅需要1.18 s。另外需要說明的是，GF算法因為需要進行全視頻的聯合優化，其計算時間跟幀數有很大關聯，SegTrack數據集上幀數只有幾十幀，處理時間較快，但在VideoSal數據集上測試發現，當幀數超過100幀，耗時會達到1.30 s，當幀數達到1000幀，會出現內存溢出問題。

表2 不同算法平均運算時間比較

算法DCSTSPRWGDGF本文算法 時間(s)12.3239.66(27.28)15.57(3.19)50.7213.91(1.53)13.44(1.06)13.56(1.18)

5 結論

本文基于區域協方差矩陣，構造了空時特征描述子，作為對比度的距離度量，成功地將圖像級的顯著度算法擴展到視頻顯著度計算中。同時，構造迭代的局部空時優化模型對初始顯著圖進一步優化，得出了比較好的結果。在兩個數據集上的測試結果表明本文算法無論在魯棒性還是時間復雜度上都有明顯的優勢。另外，本文的模型屬于一個統一的檢測框架，一方面，區域協方差矩陣的特征向量可以根據具體的視頻應用可以非常方便擴展，例如如果是視頻監控場景，可以加大運動分量的權重，對紋理復雜的場景，可以加大梯度分量的權重；另一方面，局部空時優化模型的鄰接點的定義可擴展至多幀，鄰接區域可擴展至更大空間范圍。

[1] BORJI A, CHENG M, JIANG H,Salient object detection: A survey[OL]. http://arxiv.org/abs/1411.5878, 2014.

[2] BORJI A, CHENG M, JIANG H,Salient object detection: A benchmark[J]., 2015, 24(12): 5706-5722. doi: 10.1109/ TIP.2015.2487833.

[3] ROTHER C, KOLMOGOROV V, and BLAKE A. Grabcut: Interactive foreground extraction using iterated graph cuts[J]., 2004, 23(1): 309-314. doi: 10.1145/1186562.1015720.

[4] DING Y, XIAO J, and YU J. Importance filtering for image retargeting[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, USA, 2011: 89-96. doi: 10.1109/CVPR.2011.5995445.

[5] MAHADEVAN V and VASOONCEIOS N. Saliency-based discriminant tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Miami, USA, 2009: 1007-1013. doi: 10.1109/CVPR.2009.5206573.

[6] SHARMA G, JURIE F, and SCHMID C. Discriminative spatial saliency for image classification[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Rhode Island, USA, 2012: 3506-3513. doi: 10.1109/ CVPR.2012.6248093.

[7] HADIZADEH H and BAJI′C I. Saliency-aware video compression[J]., 2014, 23(1): 19-33. doi: 10.1109/TIP.2013.2282897.

[8] CHENG M, ZHANG G, MIERA N,Global contrast based salient region detection[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Colorado Springs, USA, 2011: 409-416. doi: 10.1109/ CVPR.2011.5995344.

[9] PERAZZI F, KRAHENBUHL P, PRITCH Y,. Saliency filters: Contrast based filtering for salient region detection[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Rhode Island, USA, 2012: 733-740. doi: 10.1109/CVPR.2012.6247743.

[10] YANG C, ZHANG L, LU H,. Saliency detection via graph-based manifold ranking[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Portland, USA, 2013: 3166-3173. doi: 10.1109/CVPR. 2013.407.

[11] ZHU W, LIANG S, WEI Y,. Saliency optimization from robust background detection[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, 2014: 2814-2821. doi: 10.1109/ CVPR. 2014.360.

[12] QIN Y, LU H, XU Y,. Saliency detection via cellular automata[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 111-119. doi: 10.1109/CVPR.2015.7298606.

[13] 蔣寓文, 譚樂怡, 王守覺. 選擇性背景優先的顯著性檢測模型[J]. 電子與信息學報, 2015, 37(1): 130-136. doi: 10.11999/JEIT140119.

JIANG Yuwen, TAN Leyi, and WANG Shoujue. Saliency detected model based on selective edges prior[J].&, 2015, 37(1): 130-136. doi: 10.11999/JEIT140119.

[14] 呂建勇, 唐振民. 一種基于圖的流形排序的顯著性目標檢測改進方法[J]. 電子與信息學報, 2015, 37(11): 2555-2563. doi: 10.11999/JEIT150619.

LV Jianyong and TANG Zhenmin. An improved graph-based manifold ranking for salient object detection[J].&, 2015, 37(11): 2555-2563. doi: 10.11999/JEIT150619.

[15] MAHADEVAN V and VASCONCELOS N. Spatiotemporal saliency in dynamic scenes[J]., 2010, 32(1): 171-177. doi: 10.1109/TPAMI.2009.112.

[16] ZHOU F, KANG S B, and COHEN M F. Time-mapping using space-time saliency[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Columbus, USA, 2014: 3358-3365. doi: 10.1109/CVPR.2014.429.

[17] HUANG C, CHANG Y, YANG Z,Video saliency map detection by dominant camera motion removal[J]., 2014, 24(8): 1336-1349. doi: 10.1109/TCSVT.2014.2308652.

[18] LIU Z, ZHANG X, LUO S,. Superpixel-based spatiotemporal saliency detection[J]., 2014, 24(9): 1522-1540. doi: 10.1109/TCSVT.2014.2308642.

[19] WANG W, SHEN J, and SHAO L. Consistent video saliency using local gradient flow optimization and global refinement[J]., 2015, 24(10): 1-12. doi: 10.1109/TIP.2015.2460013.

[20] MUTHUSWAMY K and RAJAN D. Particle filter framework for salient object detection in videos[J]., 2015, 9(3): 428-438. doi: 10.1049/ iet-cvi.2013.0298.

[21] KIM H, KIM Y, SIM J,Spatiotemporal saliency detection for video sequences based on random walk with restart[J]., 2015, 24(8): 2552-2564. doi: 10.1109/TIP.2015.2425544.

[22] WANG W, SHEN J, and PORIKLI F. Saliency-aware geodesic video object segmentation[C]. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, USA, 2015: 3395-3402. doi: 10.1109/CVPR.2015.7298961.

[23] KIM W and HAN J. Video saliency detection using contrast of spatiotemporal directional coherence[J]., 2014, 21(10): 1250-1254. doi: 10.1109/ LSP.2014.2332213.

[24] ERDEM E and ERDEM A. Visual saliency estimation by nonlinearly integrating features using region covariances[J]., 2013, 13(4): 1-20. doi: 10.1167/13.4.11.

[25] KOCAK A, CIZMECILERr K, ERDEM A,Top down saliency estimation via superpixel-based discriminative dictionaries[C]. British Machine Vision Conference (BMVC), Nottingham, UK, 2014: 1-10. doi: 10.5244/C.28.73.

[26] CHANG K, LIU Y, CHEN H,Fusing generic objectness and visual saliency for salient object detection[C]. IEEE Conference on Computer Vision (ICCV), Barcelona, Spain, 2011: 914-921. doi: 10.1109/ICCV.2011.6126333.

[27] LI J, TIAN Y, DUAN L,Estimating visual saliency through single image optimization[J]., 2013, 20(9): 845-848. doi: 10.1109/LSP. 2013.2268868.

[28] TUAEL O, PORIKLI F, and MEER P. Region covariance: A fast descriptor for detection and classification[C]. European Conference on Computer Vision, Graz, Austria, 2006: 589-600. doi: 10.1007/11744047_45.

[29] ACHANTA R, SHAJI A, SMITH K,Slic superpixels compared to state-of-the-art superpixel methods[J]., 2012, 34(11): 2274-2281. doi: 10.1109/TPAMI.2012.120.

[30] BROX T and MALIK J. Large displacement optical flow: Descriptor matching in variational motion estimation[J]., 2010, 33(3): 500-513. doi: 10.1109/TPAMI. 2010.143.

[31] HONG X, CHANG H, and SHAN S. Sigma set: A small second order statistical region descriptor[C]. IEEE Conference on Computer Vision and Pattern Recognition, Miami, USA, 2009: 1802-1809. doi: 10.1109/CVPR. 2009.5206742.

[32] TSAI D, FLAGG M, and REHG J M. Motion coherent tracking with multilabel MRF optimization[C]. British Machine Vision Conference (BMVC), Aberystwyth, UK, 2010: 1-11. doi: 10.5244/C.24.56.

A Local Spatiotemporal Optimization Framework for Video Saliency Detection Using Region Covariance

TIAN Chang JIANG Qingzhu WU Zemin LIU Tao HU Lei

(,,210007,)

Visual saliency is widely applied to computer vision. Image saliency detection has been extensively studied, while there are only a few effective methods of computing saliency for videos owing to its high challenge. Inspired by image saliency methods, this paper proposes a unified spatiotemporal feature extraction and optimization framework for video saliency. First, the spatiotemporal feature descriptor is constructed via region covariance. Then, initial saliency map is computed by the local contrast of the descriptor. Finally, a local spatiotemporal optimization framework considering the previous and next frames of the current one is modeled to obtain the final saliency map. Extensive experiments on two public datasets demonstrate that the proposed algorithm not only outperforms the state-of-the-art methods, but also is of great extendibility.

Video saliency; Region covariance; Local contrast; Local spatiotemporal optimization

TP391.41

A

1009-5896(2016)07-1586-08

10.11999/JEIT151122

2015-10-08；改回日期：2016-02-29；網絡出版：2016-04-07

姜青竹 jqbamboo@126.com

國家自然科學基金青年基金(61501509)

The National Natural Science Youth Foundation of China (61501509)

田 暢： 男，1963年生，教授，博士生導師，研究方向為數據鏈系統、計算機網絡、圖像分析.

姜青竹： 男，1987年生，碩士生，研究方向為視覺顯著度、視頻編碼.

吳澤民： 男，1973年生，副教授，博士，研究方向為數據融合、圖像識別.

劉 濤： 男，1991年生，碩士生，研究方向為目標檢測與識別.

胡 磊： 男，1985年生，博士，研究方向為壓縮感知、目標跟蹤與識別.