基于視覺顯著性的均值漂移跟蹤算法*

樊祥錳， 尚振宏， 劉 輝， 錢 謙

(昆明理工大學 信息工程與自動化學院，云南 昆明650500)

基于視覺顯著性的均值漂移跟蹤算法*

樊祥錳， 尚振宏， 劉 輝， 錢 謙

(昆明理工大學 信息工程與自動化學院，云南 昆明650500)

為解決突變運動下的目標跟蹤問題，提出了一種基于視覺顯著性的均值漂移跟蹤算法，將視覺注意機制運用到均值漂移跟蹤框架中，利用時空顯著性算法對視頻序列進行檢測，生成視覺顯著圖，從視覺顯著圖對應的顯著性區域中建立目標的顏色特征表示模型來實現運動目標跟蹤。實驗結果表明：該算法在攝像機搖晃等動態場景下可以較準確檢測出時空均顯著的目標，有效克服了在運動目標發生丟失和遮擋等情況下跟蹤不穩定的問題，具有較強的魯棒性，從而實現復雜場景下目標較準確的跟蹤。

運動目標跟蹤； 均值漂移； 視覺顯著性； 顯著圖

0 引 言

運動目標跟蹤是在連續變化的圖像序列中找出目標的位置和狀態的過程[1]，而目標跟蹤實現的穩定性和魯棒性則是要處理的主要問題。運動目標跟蹤算法框架大體分為3種：基于粒子濾波的目標跟蹤算法[2]框架，基于卡爾曼濾波的目標跟蹤算法[3]框架，基于均值漂移的運動目標跟蹤算法[4]框架。均值漂移(MeanShift)法在單一環境下對目標的跟蹤能夠較準確地實現，由于現實環境的復雜多樣性，算法對運動目標大小和形狀的改變適應性較差，目標發生突變后不能自動恢復，很難實現目標跟蹤的準確性和穩定性。

運動發生突變主要分為跟蹤目標發生遮擋、目標移動太快以及目標丟失等，針對上述問題，基于MeanShift的多模板跟蹤算法[5]通過構建并更新多樣性模板庫，提高了算法的穩定性和魯棒性；基于時空上下文跟蹤算法利用局部上下文區域時空關系和跟蹤的目標在貝葉斯框架中進行建模，效果較魯棒；基于壓縮感知目標跟蹤算法[6]對多尺度圖像特征運用合適壓縮感知RIP條件的隨機感知矩進行降維，然后采用簡單的樸素貝葉斯分類器在降維后的特征上進行分類。在復雜場景下能夠對目標較準確地跟蹤。

視覺注意機制[7]能自動過濾掉非注意場景區域。利用計算機模仿人類視覺機制構建視覺注意模型，并把視覺注意模型運用到運動檢測[8]、運動識別和運動跟蹤[9～11]框架中，能夠提高算法的準確性。本文利用人類視覺注意機制的研究成果，提出了一種基于視覺顯著性的MeanShift跟蹤算法，將時空顯著性算法融合到Meanshift跟蹤框架中，利用時空顯著算法檢測定位運動目標。從顯著性區域中搜索與運動目標模板最為相似的候選模板進行跟蹤，屏蔽非顯著性區域對目標的干擾，有效克服了在運動目標丟失和遮擋等情況下跟蹤不穩定的問題，具有較強的魯棒性。

1 顯著性檢測算法

視覺顯著性檢測包括2種，即數據推動的自底向上顯著性區域突顯和任務推動的自頂向下目標突顯。通過采用兩種策略注意機制相結合的方式計算獲取視頻序列中的時空顯著性。

本文利用4元數傅里葉相位譜時空變換的顯著性檢測算法[12](PQFT)檢測得到視頻序列的時空顯著圖，并運用到均值漂移跟蹤框架中。顯著性檢測算法分為2個階段：1)構建包含兩個顏色通道、一個強度通道和一個運動通道的4元數圖像，運動通道可以獲取具有運動目標的時間顯著性，將視覺注意機制的視角從靜態序列轉變為運動目標在時間和空間上均顯著的動態序列；2)通過計算獲得視頻序列的時空顯著圖。采用4元數模型可實現對圖像特征的并行處理，并且能夠滿足算法的實時性.

1.1 構建4元數圖像

假設F(t)表示時間 時刻的輸入圖像，t=1,2,…，T,T為所有序列幀的總數。F(t)分為紅、綠、藍3個顏色通道，表示為r(t),g(t),b(t)，那么可以將3個顏色通道擴展為4個廣義的顏色通道

(1)

(2)

(3)

(4)

類似于人類視覺系統，當信號傳入大腦中心區域時，神經元對一種顏色的信號所刺激而興奮，當另外一種顏色的信號傳入時，會對其進行抑制，因此,顏色通道定義為

RG(t)=R(t)-G(t)

(5)

BY(t)=B(t)-Y(t)

(6)

強度通道和運動通道定義為

(7)

M(t)=|I(t)-I(t-τ)|

(8)

式中 τ為延遲系數，通常設定τ=3。

通過上述計算得到了4個通道的圖像：2個顏色通道,1個強度通道和1個運動通道。因此,4元數圖像可以表示為

q(t)=M(t)+RG(t)μ1+BY(t)μ2+I(t)μ3

(9)

式中 μi為權重系數，i=1,2,3,需滿足μ3=μ1μ2，q(t)為

q(t)=f1(t)+f2(t)μ2

(10)

f1(t)=M(t)+RG(t)μ1

(11)

f2=BY(t)+I(t)μ1

(12)

1.2 獲得時空顯著圖

將視頻序列圖像中每一個像素點表示為q(n,m,t)，(n,m)為空間坐標，t為時間坐標。4元傅里葉圖像變化為

Q[u,v]=F1[u,v]+F2[u,v]μ2

(13)

(14)

式中 (u,v)為頻域坐標，N,M為圖像維度。4元逆傅里葉變化為

(15)

將q(t)表示為Q(t)的極坐標形式為

Q(t)=‖Q(t)‖eμΦ(t)

(16)

式中 Φ(t)為Q(t)的相位譜。設定‖Q(t)‖=1，則只剩下相位信息Φ(t)。利用式(15)計算Q(t)重建為q′(t)

q′(t)=ρ0+ρ1(t)μ1+ρ2(t)μ2+ρ3(t)μ3

(17)

時空顯著圖S(t)為

S(t)=g*‖q′(t)‖2

(18)

式中 g為二維高斯平滑濾波。采用上述時空顯著性算法得到的圖像時空顯著圖如圖1所示。

圖1 時空顯著圖

2 基于視覺顯著性的MeanShift算法

視覺顯著性能有效抑制非顯著目標的干擾，在顯著性區域中進行目標跟蹤能夠強化候選目標信息的描述。通過視覺顯著性可有效篩選顯著信息，從而提供給運動目標跟蹤算法，提高了目標跟蹤算法的準確性。MeanShift算法[4]利用相似函數度量函數評價前一幀目標模型和候選模版的相似性，通過分別計算目標區域和候選區域內像素的顏色直方圖得到關于目標模型和候選模型的描述，選擇使相似度量函數值最大的候選模型得到目標模型的MeanShift向量。運動目標的最終位置通過多次迭代得到。利用第1節計算視頻序列中的顯著圖，引入到MeanShift跟蹤框架中，首先對視頻序列計算顯著圖，然后從顯著圖對應的顯著性區域中搜索與運動目標模板最為相似的候選模板進行跟蹤，使顏色直方圖更真實反映出目標的特征。

2.1 目標模型描述

從當前幀中確定目標區域，假設其中有n個像素用xi表示其位置,i=1,…,n，均勻劃分選取區域的灰度空間，得到由m個相等的區間構成的灰度直方圖。目標模型qu表示為

(19)

式中 y0為目標中心位置；xi為目標中心為原點的歸一化位置；h為帶寬；k為核函數,常選用Epanechikov核函數；δ[b(xi)-u]為判斷目標區域中像素xi處的灰度值是否屬于直方圖中第u個單元，屬于,則為1;否則,為0; c為歸一化系數。

2.2 候選模型描述

從顯著性區域中得到候選目標的中心位置坐標f為根據上一幀的目標中心位置f0為搜索窗口中心得到，則候選目標模型為

(20)

式中 y為候選區域目標中心。

2.3 相似性度量

利用相似性函數表示目標模型和候選目標模型的相似水平，通過目標和候選目標顏色直方圖的Bhattacharyya系數得到

(21)

2.4 MeanShift迭代過程

為得到最大的相似函數，對式(21)進行泰勒展開，得到系數的近似表達

(22)

式中 權值wi為

(23)

式(22)中第二項隨y變化，其目標中心位置可以通過候選區域中心向真實區域中心的迭代完成，在一幀中找到目標位置需要迭代若干次才能得到最終的目標中心位置。

2.5 整體算法流程描述

1)利用1節時空顯著性檢測算法檢測圖像序列的時空顯著性區域；

2)在當前幀中以y0為起點，利用式(20)計算顯著性區域中候選目標的特征模型Pu(y0),u=1,…,m；

3)利用式(21)計算目標與候選目標的相似度ρ[p(y0),q]；

4)利用式(23)計算權值wi,i=1,…,m；

式中 g(x)=-k′(x)；

6)若‖y1-y0‖<ε，停止；否則，轉步驟(2)。

3 實驗結果分析

3.1 實驗仿真

為驗證本文基于視覺顯著性的MeanShift算法的穩定性與準確性，采用目標在運動過程中有遮擋發生的國際公共視頻序列[13]進行運動目標跟蹤遮擋測試，旨在運動目標發生丟失、遮擋等突變運動情況下能夠準確地跟蹤目標，并與傳統MeanShift跟蹤算法[4]、基于MeanShift多模板跟蹤算法[5]、基于時空上下文跟蹤算法以及基于壓縮感知目標跟蹤算法進行比較。

圖2和圖3為當目標發生遮擋、丟失時各算法的跟蹤結果，(a)，(c)，(d)都難以處理突變運動，跟蹤的魯棒性和準確性較差，對目標進行跟蹤時容易跟蹤到其他物體上造成目標丟失。(b)在目標發生嚴重遮擋時可以恢復跟蹤，但是還有待提高跟蹤的穩定性和準確性。而(e)本文算法可以對目標準確定位，跟蹤效果較魯棒。將時空顯著性融合到均值漂移跟蹤框架中，從顯著區域中提取目標特征模型，屏蔽非顯著區域對目標區域的干擾，跟蹤結果魯棒于上述其他運動目標跟蹤算法。

圖2 視頻序列Girl跟蹤結果

圖3 視頻序列Boy跟蹤結果

3.2 定量分析

為進一步驗證本文算法的準確性和穩定性，利用中心位置誤差對實驗結果進行定性分析。中心位置誤差指的是預測目標中心位置和真實目標中心位置像素的偏差，圖4給出了本文跟蹤算法和其余4種跟蹤算法在不同視頻集上中心位置誤差曲線的比較。

圖4 各跟蹤算法的中心位置誤差曲線

圖4可以看出：4種對比算法在運動目標發生遮擋時目標中心都基本上偏離了真實目標中心位置，而本文算法的目標中心位置的偏差較小。傳統MeanShift目標跟蹤算法、基于時空上下文跟蹤算法、基于壓縮感知目標跟蹤算法在未發生遮擋等突變運動前跟蹤的結果較準確，但之后目標發生了嚴重的遮擋，當前幀獲取不到完整的信息，造成了跟蹤目標的丟失。而基于MeanShift多模板目標跟蹤算法能夠有效的在目標發生嚴重遮擋時恢復跟蹤，但在跟蹤過程中目標跟蹤的魯棒性還有待完善。本文算法將時空顯著性融合到MeanShift跟蹤算法中，從最顯著的區域中建立目標的特征表示模型，能夠保持與真實目標位置較小的誤差，目標跟蹤的效果較魯棒。

運動目標跟蹤成功的幀數與視頻圖像序列的總幀數的比值定義為運動目標跟蹤成功率。當前幀跟蹤成功的標志就是目標的真實中心位置在預測的運動目標區域內。由表1可以看出本文算法的跟蹤成功率優于其余4種算法。

表1 5種算法在視頻序列中的跟蹤成功率 %

4 結束語

為解決突變運動下的目標跟蹤問題，本文提出了基于視覺顯著性的MeanShift跟蹤算法，利用時空顯著性檢測算法對視頻序列進行檢測，生成顯著圖，從顯著圖對應的顯著性區域中搜索與運動目標模板最為相似的候選模板進行跟蹤，屏蔽非顯著性區域對目標的干擾。實驗證明:當運動發生突變時，本文算法不僅在動態場景下可較準確檢測出時間和空間均顯著的運動目標，還能夠有效解決目標發生遮擋后的目標跟蹤問題，在復雜場景下可實現目標較準確的跟蹤，具有較強的魯棒性。下一步將考慮融合更多的特征對目標進行描述，來增加目標跟蹤的魯棒性。

[1] 張亞紅,楊 欣,沈 雷,等.基于視覺顯著性特征的自適應目標跟蹤[J].吉林大學學報:信息科學版,2015,33(2):195-200.

[2] Zhu Mingqing,Wang Zhiling,Chen Zonghai.Human visual intelligence and particle filter based robust object tracking algori-thm[J].Control and Decision,2012,27(11):1720-1724.

[3] 萬頃浪,張殿福.基于卡爾曼粒子濾波的目標跟蹤算法[J].電子科技,2013,26(8):7-9,12.

[4] Comaniciu D,Ramesh V,Meer P.Real-time tracking of non-rigid objects using mean shiftspace[C]∥Proceedings of IEEE Confe-rence on Computer Vision and Pattern Recognition,2000:142-149.

[5] 丁曉鳳.基于MEAN SHIFT的多模板目標跟蹤算法的研究[D].昆明:昆明理工大學,2016.

[6] 安 寧,閆 斌,熊 杰.基于壓縮感知的多尺度絕緣子跟蹤算法[J].傳感器與微系統,2016,35(3):140-143.

[7] 黎萬義,王 鵬,喬 紅.引入視覺注意機制的目標跟蹤方法綜述[J].自動化學報,2014,40( 4):561-576．

[8] Li Z,Xu J,Wang Y,et al.Saliency detection based on protoobjects and topic model[C]∥2011 IEEE Workshop on Applications of Computer Vision(WACV),[S.l.]:IEEE,2011:125-131．[9] Zhang Q,Li B.Artificial intelligence and computational Intelligence[M].Berlin Heidelberg:Springer,2011:433-438.

[10] Li Z,Wang W,Wang Y,et al.Visual tracking by proto-objec-ts[J].Pattern Recognition,2013,46(8):2187-2201．

[11] 聶曉華，張夫鳴.針對臨近空間目標跟蹤的AMCKF算法[J].現代雷達，2016，38(5)：49-53.

[12] Guo C,Ma Q,Zhang L.Spatio-temporal saliency detection using phase spectrum of quaternion fourier transform[C]∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2008:1-8.

[13] Choi W,Shahid K,Savarese S. The 9th International Workshop on Visual Surveillance in Conjuction with ICCV[EB/OL].(2012—05—03)[2015—03—08].http:∥wwweb.eecs.umich.edu/vision/activity-dataset.html

Meanshift tracking algorithm based on visual saliency*

FAN Xiang-meng, SHANG Zhen-hong, LIU Hui, QIAN Qian

(College of Information Engineering and Automation,Kunming University of Science and Technology, Kunming 650500,China)

In order to solve target tracking problem under circumstances of abrupt motion,a meanshift tracking algorithm based on visual significance is proposed.The visual attention mechanism is applied to the framework of mean shift tracking,the video sequence is detected by using the spatial and temporal saliency algorithm,and the visual saliency map is generated.According to the visual figure corresponding significant area,from which target color characteristics of the saliency model is established to realize moving target tracking.Experimental results show that the proposed algorithm can accurately detect obvious spatial and temporal targets in the dynamic scene,and the algorithm effectively overcomes the problem of tracking instability in the case occlusion and loss of moving objects,it has strong robustness,so as to realize accurate tracking of target under complex scene.

moving object tracking； meanshift； visual saliency； saliency map

2016—06—24

國家自然科學基金資助項目(61462052,31300938)

10.13873/J.1000—9787(2017)06—0130—04

TP 212

A

1000—9787(2017)06—0130—04

樊祥錳(1990-)，男，碩士研究生，主要研究方向為計算機視覺、模式識別、圖像處理。

尚振宏(1975-)，通訊作者，博士，副教授，CCF會員，主要從事計算機視覺、圖像處理研究工作，E-mail:shangzhenhong@126.com。