基于在線判別式字典學習的魯棒視覺跟蹤

薛模根 朱 虹 袁廣林

①（陸軍軍官學院偏振光成像探測技術安徽省重點實驗室 合肥 230031）

②（陸軍軍官學院十一系 合肥 230031）

基于在線判別式字典學習的魯棒視覺跟蹤

薛模根①朱 虹*①袁廣林②

①（陸軍軍官學院偏振光成像探測技術安徽省重點實驗室 合肥 230031）

②（陸軍軍官學院十一系 合肥 230031）

現有子空間跟蹤方法較好地解決了目標表觀變化和遮擋問題，但是它對復雜背景下目標跟蹤的魯棒性較差。針對此問題，該文首先提出一種基于Fisher準則的在線判別式字典學習模型，利用塊坐標下降和替換操作設計了該模型的在線學習算法用于視覺跟蹤模板更新。其次，定義候選目標編碼系數與目標樣本編碼系數均值之間的距離為系數誤差，提出以候選目標的重構誤差與系數誤差的組合作為粒子濾波的觀測似然跟蹤目標。實驗結果表明：與現有跟蹤方法相比，該文跟蹤方法具有較強的魯棒性和較高的跟蹤精度。

視覺跟蹤；模板更新；字典學習；觀測似然

1 引言

視覺跟蹤是通過視頻圖像序列不斷估計目標狀態的過程，它在智能監控、人機交互、機器人導航和運動分析等方面都具有重要的應用價值。一直以來，視覺跟蹤都是計算機視覺領域中研究的熱點，它的主要難題有目標表觀變化、目標遮擋、復雜背景等。

針對以上難題，視覺跟蹤領域的研究者已經提出一些視覺跟蹤方法［1］，其中基于子空間的跟蹤方法較好地解決了目標表觀變化和目標遮擋問題，因而受到了廣泛關注［2，3］。1996年，Black等人［4］首次提出了基于主成分分析的子空間跟蹤方法。該方法以子空間常量為假設，不能適應目標表觀的變化。為了目標表觀變化，Ross等人［2］提出一種基于增量子空間學習的目標跟蹤方法，較好地解決了目標表觀變化問題。但是該方法對目標遮擋的魯棒性較差，利用跟蹤結果和增量子空間學習更新模板易于發生模型漂移。受到稀疏編碼在人臉識別中應用的啟發，Mei等人［3］提出基于稀疏編碼的視覺跟蹤，又稱為“L1跟蹤”，該方法較好地解決了目標遮擋問題。L1跟蹤將視覺跟蹤問題等價為候選目標在目標模板和小模板上稀疏編碼系數的求解問題，它要求目標模板在自適應目標變化的同時盡可能排除遮擋信息，這對模板更新提出了更高的要求。文獻［5］利用小模板系數進行目標遮擋檢測，若當前跟蹤結果未檢測出大量遮擋信息，則直接替換模板，緩解了模型漂移現象。文獻［6］借鑒文獻［7］引入字典學習思想，利用訓練數據學習更新得到適用于跟蹤的字典（模板），提出一種基于在線字典學習的目標跟蹤方法，所得模板增強了對目標變化的適應性和魯棒性。文獻［8］提出一種在線魯棒非負字典學習算法用于模板更新，該算法結合了在線魯棒字典學習和非負矩陣分解，采用L1數據擬合和非負約束，有效抑制了模型漂移。

綜上所述，現有子空間跟蹤方法較好地解決了目標表觀變化和目標遮擋問題，但是仍存在一些不足：對于復雜背景下的目標跟蹤魯棒性較弱，模板中缺少判別式信息，對目標和背景的判別能力不足，從而導致跟蹤失敗。針對此問題，一方面，受到在線字典學習和 Fisher判別式字典學習［9］的啟發，本文提出了用于視覺跟蹤的在線判別式字典學習（Online Discrimination Dictionary Learning for Visual Tracking，ODDLVT）算法。該算法采用塊坐標下降法［10］在線更新目標模板，利用替換操作在線更新背景模板。另一方面，利用 ODDLVT算法得到目標樣本編碼系數的均值，定義候選目標編碼系數與它的距離為系數誤差，在粒子濾波框架下，以候選目標的重構誤差與系數誤差的組合作為觀測似然跟蹤目標。

2 用于視覺跟蹤的在線判別式字典學習

由文獻［6，8］可知，從字典學習的角度看，視覺跟蹤模板更新是在線的字典學習問題。由文獻［9］可知，Fisher判別式字典學習學得的字典具有較強的判別能力。據此，結合視覺跟蹤的特點，2.1節，2.2節分別給出了用于視覺跟蹤模板更新的在線判別式字典學習模型與算法。

2.1 ODDLVT模型

受到在線字典學習和Fisher判別式字典學習的啟發，本文提出如式（1）所示的在線判別式字典學習模型用于視覺跟蹤：

其中，模板更新次數 n= 1，2，…；第n次更新時輸入在線數據 An形成訓練樣本集 A =［A1，…， An］，樣本子集 Ai=［Ai，1， Ai，2］包含N個訓練樣本， Ai，1，Ai，2分別為目標樣本和背景樣本，D2］為模板字典， D1， D2分別為目標模板和背景模板； Xi=［Xi，1， Xi，2］為 Ai在D上的稀疏編碼系數，Xi，1，Xi，2分別為 Ai，1， Ai，2在D上的編碼系數；λ1， λ2為調節常數；d為模板字典的任意原子。使用模板字典對每個樣本子集進行稀疏表示，即 Ai≈DXi。 j= 1，2，判別保證項 r（ Ai，j， D， Xi，j）為

綜上所述，ODDLVT模型不僅使模板字典能夠很好地識別目標和背景，同時，編碼系數也具有強判別力。求解模型式（1）的優化過程比較復雜，不利于實時目標跟蹤。由文獻［9］可知，利用假設條件可以得到簡化模型并保留原模型的物理涵義。據此，簡化ODDLVT模型如式（6）所示。

2.2 ODDLVT算法

ODDLVT算法包括3個部分：在線數據的采集、目標和背景模板更新。采集在線數據方面，假設每隔h幀圖像進行一次模板更新，t時刻，當第n次更新時取 t- h + 1，…， t 時刻跟蹤結果作為目標樣本An，1；根據t時刻跟蹤結果中心點位置 l =（x， y），在環形區域｛lB| γ＜| |lB-l ||＜ δ｝內隨機采樣樣本作為背景樣本，2nA 。背景模板更新方面，結合子空間跟蹤特點可知，無需通過字典學習更新模板，利用背景樣本，2nA 直接替代即可。目標模板更新方面，通過求解式（6）所示模型更新模板，式（6）的求解包括稀疏編碼和字典更新兩個階段。稀疏編碼階段，確定t - h時刻目標模板 Dt-h，1求解編碼系數為

表1 視覺跟蹤的在線判別式字典學習（ODDLVT）算法

表2 在線更新目標模板

3 目標跟蹤

本文跟蹤方法是以粒子濾波為框架建立的。基于粒子濾波的跟蹤方法是將目標跟蹤問題轉換為在貝葉斯理論框架下已知目標狀態的先驗概率，在獲得新的觀測值后求解目標狀態的最大后驗概率的過程。已知 1到 t- 1時刻所有圖像觀測 y1：t-1=｛y1， y2，…，yt-1｝，則目標狀態的先驗概率為

其中，tx和1t-x 分別表示t和 1t- 時刻的目標狀態，p（xt|xt-1）為狀態轉移模型。本文采用高斯分布建立狀態轉移模型，如式（10）所示：

其中，Ψ為對角矩陣，其對角元素表示相應狀態的方差。t時刻，當觀測ty可用時，目標狀態的后驗概率為

其中， p（yt|xt）為觀測似然模型。建立觀測似然模型分為兩個步驟。首先，對于任意圖像觀測，求解其L1范數正則化編碼系數，模型如下：

以粒子濾波為框架，將狀態轉移模型、觀測似然模型和模板更新方法相結合建立目標跟蹤方法如表3所示。

表3 目標跟蹤方法

4 實驗結果與分析

本文提出的跟蹤方法是以Matlab R2010a為開發工具實現的，并在Intel（R） Core（TM） 3.10 GHz CPU，8.00 GB內存的臺式電腦上調試通過。采用Faceocc1，Dudek和CarDark序列［12］對本文跟蹤方法進行了實驗驗證，并與FCT［13］，SPT［14］和SMTT［15］等3種跟蹤方法進行了定性和定量比較。關于本文跟蹤方法的參數設置說明如下：對于目標模板的初始化以及背景模板的初始化和更新，要特別注意參數的選取，確保目標模板中不包含背景信息，背景模板中不包含過多目標信息；模板更新頻率取決于目標表觀變化的快慢，本文設置每5幀更新一次模板。

4.1 定性分析

圖1給出了對FCT，SPT，SMTT及本文跟蹤方法的定性比較。對于目標遮擋問題，本文方法成功克服了模型漂移，魯棒性能較好，見圖 1（a）；對于目標表觀變化，本文方法優于其他方法，其模板適應性良好，見圖1（b）；對于復雜和低對比度背景，背景環境在很大程度上影響目標跟蹤，這就要求跟蹤方法具有較強的判別能力，由圖1（b），1（c）可知，本文方法的跟蹤結果更好。

4.2 定量分析

實驗采用成功率指標進行定量分析［12］。給定一幀圖像，已知由跟蹤方法所得跟蹤窗區域tr，實際跟蹤窗區域ar，定義重疊率為其中， ∩，∪分別表示兩個區域的交集、并集；表示區域中像素個數。成功率為重疊率大于給定重疊閾值的圖像幀數比率，實驗中設定重疊閾值為0到1.0。圖2分別給出了4種跟蹤方法對3組圖像序列的成功率曲線。由圖2可知，本文方法在成功率方面都優于其他方法。

4.3 魯棒性分析

本文提出的觀測似然模型是由重構誤差觀測似然模型 g（yt|xt）與系數誤差觀測似然模型 m（yt|xt）兩部分組成，詳情見第3節。一般情況下，觀測似然模型僅使用，表示與目標模板的相似程度。本文添加的 m（yt|xt）使觀測似然模型具備對目標和背景的判別力，對復雜背景下的目標跟蹤更加有效。圖3所示為Dudek序列在第54幀時322#候選目標（好候選目標）與 434#候選目標（差候選目標），以及目標模板字典。表4分別給出了圖3所示候選目標的 g（yt|xt）與 p（yt|xt）。別表示322#，434#候選目標的重構誤差觀測似然概率；分別表示322#，434#候選目標的本文觀測似然概率。由表 4 可知，，即當觀測似然模型為 g（yt|xt）時，會選取 434#候選目標（差候選目標）為跟蹤結果；另一方面，，即當觀測似然模型為時，跟蹤結果為322#候選目標（好候選目標）。據此，可以驗證，本文模型優于重構誤差觀測似然模型。

5 結論

針對現有子空間跟蹤對復雜背景下目標跟蹤的判別力不強的問題，本文提出了用于視覺跟蹤的在線判別式字典學習算法 ODDLVT更新模板，所得模板和編碼系數均具有良好的判別能力；另外，根據強判別力的編碼系數，在一般重構誤差的基礎上添加了系數誤差作為觀測似然，進一步增強了目標跟蹤魯棒性。在上述兩方面的基礎上，以粒子濾波為框架實現了基于在線判別式字典學習的魯棒視覺跟蹤。利用多個具有挑戰性的圖像序列對提出的跟蹤方法進行了實驗驗證并與現有跟蹤方法進行了比較，實驗結果表明：與現有跟蹤方法相比，本文方法更能魯棒跟蹤目標。

圖1 4種方法的跟蹤結果比較

圖2 4種方法的成功率曲線比較

圖3 Dudek序列在第54幀時322#，434#候選目標和目標模板字典

表4 圖3兩個候選目標的 g（ yt | xt）與 p（ yt | xt）

［1］ Li Xi，Hu Wei-ming，Shen Chun-hua，et al.. A survey of appearance models in visual object tracking［J］. ACM Transactions on Intelligent Systems and Technology，2013，4（4）：1-48.

［2］ Ross D，Lim J，Lin R S，et al.. Incremental learning for robust visual tracking［J］. International Journal of Computer Vision，2008，77（1-3）：125-141.

［3］ Mei Xue and Ling Hai-bin. Robust visual tracking using L1 minimization［C］. IEEE International Conference on Computer Vision，Kyoto，2009：1436-1443.

［4］ Black M J and Jepson A D. Eigentracking：Robust matching and tracking of articulated objects using a view-based representation［C］. European Conference on Computer Vision，London，1996：329-342.

［5］ Bao Cheng-long，Wu Yi，Ling Hai-bin，et al.. Real time robust L1 tracker using accelerated proximal gradient approach［C］. IEEE Conference on Computer Vision and Pattern Recognition，Providence，2012：1830-1837.

［6］ Xing Jun-liang，Gao Jin，Li Bing，et al.. Robust object tracking with online multi-lifespan dictionary learning［C］. IEEE International Conference on Computer Vision，Sydney，2013：665-672.

［7］ Mairal J，Bach F，Ponce J，et al.. Online dictionary learning for sparse coding［C］. The 26th International Conference on Machine Learning，Montreal，2009：539-547.

［8］ Wang Nai-yan，Wang Jing-dong，and Yeung D. Online robust non-negative dictionary learning for visual tracking［C］. IEEE International Conference on Computer Vision. Sydney，2013：657-664.

［9］ Yang Meng，Zhang Lei，Feng Xiang-chu，et al.. Sparse representation based Fisher discrimination dictionary learning for image classification［C］. IEEE International Conference on Computer Vision，Barcelina，2011：543-550.

［10］ Richtarik P and Takac M. Iteration complexity of randomized block-coordinate decent methods for minimizing a composite function［J］. Mathematical Programming，2014，144（1）：1-38.

［11］ Rosasco L，Verri A，Santoro M，et al.. Iterative projection methods for structured sparsity regularization［R］. MIT，2009.

［12］ Wu Yi，Lim J，and Yang M. Online object tracking：a benchmark［C］. IEEE Conference on Computer Vision and Pattern Recognition，Portland，2013：2411-2418.

［13］ Zhang Kai-hua，Zhang Lei，and Yang M H. Fast compressive tracking［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2014，36（10）：2002-2015.

［14］ Wang Dong，Lu Hu-chuan，and Yang M H. Online object tracking with sparse prototypes［J］. IEEE Transactions on Image Processing，2013，22（1）：314-325.

［15］ Zhang Tian-zhu，Ghanem B，Liu Si，et al.. Robust visual tracking via structured multi-task sparse learning［J］. International Journal of Computer Vision，2013，101（2）：367-383.

薛模根： 男，1964年生，博士，教授，研究方向為圖像處理、計算機視覺、光電防御等.

朱 虹： 女，1987年生，碩士生，研究方向為圖像處理、計算機視覺等.

袁廣林： 男，1973年生，博士，講師，研究方向為圖像處理、計算機視覺、機器學習及其應用等.

Robust Visual Tracking Based on Online Discrimination Dictionary Learning

Xue Mo-gen①Zhu Hong①Yuan Guang-lin②

①（Anhui Province Key Laboratory of Polarization Imaging Detection Technology，Army Officer Academy of PLA， Hefei 230031， China）

②（Eleventh Department， Army Officer Academy of PLA， Hefei 230031， China）

The existing subspace tracking methods have well solved appearance changes and occlusions. However，they are weakly robust to complex background. To deal with this problem，firstly，this paper proposes an online discrimination dictionary learning model based on the Fisher criterion. The online discrimination dictionary learning algorithm for template updating in visual tracking is designed by using the block coordinate descent and replacing operations. Secondly，the distance between the target candidate coding coefficient and the mean of target samples coding coefficients is defined as the coefficient error. The robust visual tracking is achieved by taking the combination of the reconstruction error and the coefficient error as observation likelihood in particle filter framework. The experimental results show that the proposed method has better robustness and accuracy than the state-of-the-art trackers.

Visual tracking；Template updating；Dictionary learning；Observation likelihood

TP391.4

A

1009-5896（2015）07-1654-06

10.11999/JEIT141325

2014-10-20收到，2015-02-09改回，2015-05-08網絡優先出版

國家自然科學基金（61175035，61379105），中國博士后科學基金（2014M562535）和安徽省自然科學基金（1508085QF114）資助課題

*通信作者：朱虹 729039126@qq.com