基于在線魯棒判別式字典學(xué)習(xí)的視覺跟蹤

方云錄

摘 要： 基于稀疏表示與字典學(xué)習(xí)的視覺跟蹤較好地解決了目標(biāo)遮擋和表觀變化問題，但是其存在模型漂移和復(fù)雜背景下魯棒性差的問題。針對(duì)這兩個(gè)問題，本文利用L1損失函數(shù)和最小化背景樣本在目標(biāo)模板上的投影提出一種在線魯棒判別式字典學(xué)習(xí)模型，并用塊坐標(biāo)下降設(shè)計(jì)了該模型的在線學(xué)習(xí)算法用于L1跟蹤模板更新。以粒子濾波為框架，利用提出的字典學(xué)習(xí)實(shí)現(xiàn)了視覺跟蹤方法。實(shí)驗(yàn)結(jié)果表明：本文跟蹤方法比現(xiàn)有跟蹤方法具有更強(qiáng)的魯棒性和較高的跟蹤精度。

關(guān)鍵詞： L1跟蹤； 字典學(xué)習(xí)； 模板更新； 粒子濾波

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2018）07-20-04

Abstract： Sparse representation and dictionary learning based visual tracking have well solved occlusions and appearance changes. However， they are faced with problems of model drifting and low robustness in clutter background. To deal with these two problems， an online robust discriminative dictionary learning model is proposed， and an online robust discriminative dictionary learning algorithm for template update of L1 tracker is designed via block coordinate descent. A visual tracking method is established using the proposed dictionary learning algorithm in particle filter framework. The experimental results on several challenging sequences show that the proposed method has better robustness and accuracy than those of the state-of-the-art trackers.

Key words： L1 tracking； dictionary learning； template update； particle filter

0 引言

視覺跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究?jī)?nèi)容，其目的是利用序列圖像估算目標(biāo)的狀態(tài)參數(shù)。視覺跟蹤在視頻監(jiān)控和人機(jī)交互等方面具有廣闊的應(yīng)用前景。目前，雖然研究者已經(jīng)提出一些視覺跟蹤方法，但是現(xiàn)有跟蹤方法仍然面臨復(fù)雜背景、目標(biāo)變化和目標(biāo)遮擋等難題[1]。

2009年，Mei和Ling[2]首次提出基于稀疏表示的視覺跟蹤方法，又稱“L1跟蹤”。L1跟蹤用目標(biāo)模板和小模板的組合表示候選目標(biāo)，以重構(gòu)誤差作為觀測(cè)似然跟蹤目標(biāo)。L1跟蹤對(duì)目標(biāo)遮擋具有較強(qiáng)的魯棒性，但是L1跟蹤對(duì)目標(biāo)模板的要求較高，當(dāng)模板中引入離群數(shù)據(jù)時(shí)，會(huì)導(dǎo)致跟蹤失敗。為了保證目標(biāo)模板的正確性，文獻(xiàn)[3-4]提出用小模板系數(shù)檢測(cè)目標(biāo)遮擋，并根據(jù)檢測(cè)結(jié)果更新目標(biāo)模板。文獻(xiàn)[5]利用小模板系數(shù)重建跟蹤結(jié)果，并利用增量主分量分析更新目標(biāo)模板。文獻(xiàn)[3-5]中模板更新方法的問題在于，由于小模板也能表示背景[5]，這會(huì)導(dǎo)致遮擋檢測(cè)失敗或者重建圖像不準(zhǔn)確。隨著對(duì)L1跟蹤研究的深入，研究者逐漸認(rèn)識(shí)到模板字典在視覺跟蹤中的重要作用。為了提升L1跟蹤對(duì)復(fù)雜背景下目標(biāo)跟蹤魯棒性，文獻(xiàn)[6]提出用多個(gè)特征視圖建立目標(biāo)模板字典。文獻(xiàn)[7]提出建立多壽命模板字典跟蹤目標(biāo)，并將目標(biāo)模板更新等價(jià)為在線字典學(xué)習(xí)問題，從而保證了對(duì)目標(biāo)表觀變化的適應(yīng)性。文獻(xiàn)[8]利用非負(fù)灰度字典設(shè)計(jì)目標(biāo)模板，并提出在線魯棒的非負(fù)字典學(xué)習(xí)算法用于模板更新，進(jìn)一步提升了L1跟蹤的性能。

綜上所述，目標(biāo)模板的設(shè)計(jì)與更新對(duì)L1跟蹤至關(guān)重要。現(xiàn)有L1跟蹤模板更新方法的問題在于模型漂移和復(fù)雜背景下目標(biāo)跟蹤的魯棒性差兩個(gè)方面。針對(duì)這兩個(gè)問題，本文首先提出一種在線魯棒判別式字典學(xué)習(xí)模型。一方面，該模型以L1范數(shù)作為目標(biāo)模板的損失函數(shù)，有效抑制了模型漂移；另一方面，該模型通過最小化背景樣本在目標(biāo)模板上的投影，增強(qiáng)了目標(biāo)模板的判別力，提高了復(fù)雜背景下目標(biāo)跟蹤的魯棒性。其次，利用塊坐標(biāo)下降設(shè)計(jì)了該模型的在線學(xué)習(xí)算法。在粒子濾波框架下，利用提出的字典學(xué)習(xí)實(shí)現(xiàn)了目標(biāo)跟蹤方法。實(shí)驗(yàn)結(jié)果表明，本文提出的模板更新方法，用于視覺跟蹤，達(dá)到了提高魯棒性與跟蹤精度的預(yù)期效果。

1 在線魯棒判別式字典學(xué)習(xí)模型

視覺跟蹤中的圖像觀測(cè)是時(shí)變數(shù)據(jù)，所以從字典學(xué)習(xí)的角度看，模板更新是在線的字典學(xué)習(xí)問題[7-8]。目前，一般在“損失函+正則化項(xiàng)”框架下對(duì)字典學(xué)習(xí)問題進(jìn)行研究[9]。字典學(xué)習(xí)模型也就是如何設(shè)計(jì)損失函和正則化項(xiàng)。假設(shè)是正例樣本，是負(fù)例樣本，其中和是零均值和單位方差向量。，則本文提出的在線魯棒判別式字典學(xué)習(xí)模型如下：

在線字典學(xué)習(xí)模型式⑴能夠克服模型漂移，同時(shí)對(duì)目標(biāo)樣本與背景樣本又具有較強(qiáng)的判別力。式⑴中為目標(biāo)樣本在模板字典D上的重建誤差，又稱為損失函數(shù)。字典學(xué)習(xí)中常用的損失函數(shù)有L1范數(shù)和L2范數(shù)。由于離群數(shù)據(jù)的重建誤差滿足拉普拉斯分布，所以與L2損失函數(shù)相比，L1損失函數(shù)具有對(duì)離群數(shù)據(jù)魯棒的優(yōu)點(diǎn)。因此，模型式⑴用L1范數(shù)作為損失函數(shù)能夠降低遮擋信息等離群數(shù)據(jù)對(duì)目標(biāo)模板的影響，從而克服模型漂移。模型式⑴不但考慮了模板字典對(duì)目標(biāo)樣本的重建能力，還兼顧了模板字典對(duì)背景樣本的辨別能力，這通過最小化背景樣本在模板字典D上的投影得到。

2 在線魯棒判別式字典學(xué)習(xí)算法

求解式⑴的在線魯棒判別式字典學(xué)習(xí)算法包括數(shù)據(jù)采樣、編碼系數(shù)求解和在線字典更新三步驟。

2.1 數(shù)據(jù)采樣

根據(jù)至t時(shí)刻的跟蹤結(jié)果，采樣n+個(gè)圖像塊作為正例樣本；在以t時(shí)刻跟蹤結(jié)果目標(biāo)中心c為圓心的環(huán)形區(qū)域內(nèi)隨機(jī)采樣n-個(gè)圖像塊作為負(fù)例樣本。

2.2 編碼系數(shù)求解

假設(shè)t-n+時(shí)刻的目標(biāo)模板字典為。采用迭代加權(quán)最小二乘法[10]（Iterative Reweighted Least Squares，IRLS）求解（i=1，…，n+）。采用嶺回歸求解（i=1，…，n-）。

2.3 在線字典更新

在線字典更新的目標(biāo)是已知編碼系數(shù)和求解字典Dr。假設(shè)在t時(shí)刻進(jìn)行第T次模板更新，則在線字典更新也就是求解優(yōu)化問題式⑵

其中，是樣本個(gè)數(shù)。由文獻(xiàn)[10]可知，采用塊坐標(biāo)共軛梯度下降算法逐行求解式⑶，可得到字典Dt。

其中，δ是一個(gè)正數(shù)（本文取δ=0.0001）。由文獻(xiàn)[10]可知，若定義Bj和Cj分別為式⑹和式⑺，則求解線性系統(tǒng)式⑻可以得到D（j，：）。式⑻是一個(gè)可微凸問題，其全局最優(yōu)解可通過對(duì)目標(biāo)函數(shù)求導(dǎo)使其等于零得到。

通過上述分析，可以得到求解模型式⑴的在線魯棒判別式字典學(xué)習(xí)算法，如“算法1”所示。

3 目標(biāo)跟蹤

以粒子濾波為框架跟蹤目標(biāo)，在目標(biāo)跟蹤過程中利用提出的在線魯棒判別式字典學(xué)習(xí)算法更新目標(biāo)模板，如圖1所示。

基于粒子濾波的跟蹤方法是將目標(biāo)跟蹤問題轉(zhuǎn)換為貝葉斯理論框架下已知目標(biāo)狀態(tài)的先驗(yàn)概率，在獲得新的觀測(cè)量后求解目標(biāo)狀態(tài)的最大后驗(yàn)概率的過程：

其中，為狀態(tài)轉(zhuǎn)移模型。本文使用仿射變換對(duì)連續(xù)兩幀圖像之間的目標(biāo)運(yùn)動(dòng)建模，建立狀態(tài)轉(zhuǎn)移模型。對(duì)于觀測(cè)似然，首先利用式⑼對(duì)候選目標(biāo)進(jìn)行稀疏編碼，然后用式⑽求解觀測(cè)似然值。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證字典學(xué)習(xí)算法的有效性，利用Matlab R2010a實(shí)現(xiàn)并驗(yàn)證了文中提出的跟蹤方法。實(shí)驗(yàn)中，跟蹤方法的參數(shù)設(shè)置如下：采樣粒子數(shù)為600，負(fù)例樣本數(shù)為200，模板大小為32×32，每5幀更新一次模板，字典原子數(shù)為16，參數(shù)。實(shí)驗(yàn)使Faceocc1、Singer1、Car4、CarDark[12]4組序列對(duì)本方法進(jìn)行了定性和定量分析，并與IVT[11]、L1APG[4]和MTT[13]4種跟蹤方法進(jìn)行了對(duì)比。

4.1 定性分析

圖2給出了對(duì)IVT、L1APG、MTT及本文跟蹤方法的定性比較。圖2（a）給出對(duì)遮擋目標(biāo)的跟蹤結(jié)果，可以看出，本文方法結(jié)果最優(yōu)。圖2（b）、（c）給出了存在光照和姿態(tài)變化時(shí)的跟蹤結(jié)果，可以看出，本文方法優(yōu)于其他方法。圖2（d）中跟蹤目標(biāo)的背景比較復(fù)雜，可以看出，本文方法的跟蹤結(jié)果較優(yōu)。

4.2 定量分析

實(shí)驗(yàn)采用成功率[12]指標(biāo)進(jìn)行定量分析，實(shí)驗(yàn)中重疊閾值設(shè)定為0到1。圖3給出了4種跟蹤方法對(duì)4組圖像序列的成功率曲線。由圖3可知，在成功率方面，本文方法都優(yōu)于其他4種方法。

5 結(jié)論

針對(duì)現(xiàn)有L1跟蹤的不足，本文提出一種在線魯棒判別式字典學(xué)習(xí)模型用于L1跟蹤模板更新。該模型提高了模板更新的魯棒性和跟蹤精度。以粒子濾波為框架實(shí)現(xiàn)了基于在線魯棒判別式字典學(xué)習(xí)的視覺跟蹤方法。采用具有挑戰(zhàn)性的圖像序列對(duì)提出的跟蹤方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，本文的跟蹤方法優(yōu)于其他現(xiàn)有跟蹤方法。

參考文獻(xiàn)（References）：

[1] 張煥龍，胡士強(qiáng)，楊國(guó)勝.基于外觀模型學(xué)習(xí)的視頻目標(biāo)跟蹤方法綜述[J].計(jì)算機(jī)研究與發(fā)展，2015.51（1）：177-190

[2] Xue Mei， Haibin Ling. Robust visual tracking using L1minimization[C]. Proceedings of IEEE Conference on Computer Vision. Kyoto： IEEE Computer Society Press，2009：1436-1443

[3] Mei X， Ling H B， Wu Y， et al. Minimum error boundedefficient L1 tracker with occlusion detection[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Colorado： IEEE Computer Society Press，2011：1257-1264

[4] Chenglong Bao， Yi Wu， Haibin Ling， et al. Real time robust L1 tracker using accelerated proximal gradient approach[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Rhode Island： IEEE Computer Society Press，2012：1830-1837

[5] Dong Wang， Huchuan Lu， Ming-Hsuan Yang. Least soft-thresold squares tracking[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE Computer Society Press，2013：2371-2378

[6] Zhibin Hong， Xue Mei， Danil Prokhorov， et al. Tracking via robust multi-task multi-view joint sparse representation[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE Computer Society Press，2013：649-656

[7] J. Xing， J. Gao， B. Li， W. Hu， S. Yan. Robust objecttracking with online multi-lifespan dictionary learning[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE Computer Society Press，2013：665-672

[8] N. Wang， J. Wang， D. Yeung. Online robust non-negative dictionary learning for visual tracking[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE Computer Society Press，2013：657-664

[9] Mairal J， Bach F， Ponce J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research，2010（11）：19-60

[10] Lu Ce-wu， Shi Jian-ping， Jia Jia-ya. Online robust dictionary learning[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Portland，2013：415-422

[11] Ross D， Lim J， Lin R S， et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision，2008.77（1-3）：125-141

[12] Yi Wu， Jongwoo Lim， Ming-Hsuan Yang. Online object tracking： a benchmark[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE Computer Society Press，2013：2411-2418

[13] Tianzhu Zhang ， Bernard Ghanem， Si Liu ， et al. Robust visual tracking via multi-task sparse learning[J]. International Journal of Computer Vision，2013.101（2）：367-383