視頻流中目標的長時間跟蹤問題研究

李希

摘要：視頻流中目標的長時間跟蹤問題是計算機視覺領(lǐng)域中極具挑戰(zhàn)性的課題。在視頻幀中，目標可由其位置及自身特征等信息進行描述。目前大多數(shù)跟蹤算法利用滑動窗口機制，對每個窗口進行簡單的特征提取，以實現(xiàn)目標的檢測與跟蹤。出于降低算法計算復雜度的考慮，很多跟蹤算法均使用弱特征描述目標，因而導致無法解決目標旋轉(zhuǎn)、尺度變換和光照變化等問題。在最近出現(xiàn)的目標檢測與識別算法中，顏色特征已展示出其優(yōu)異的性能，它們能很好地解決光照變化等問題。但是在滑動窗口機制下，窗口數(shù)量非常大，導致基于顏色特征的計算復雜度過高，直接影響跟蹤算法的實時性能。本論文基于TLD算法的框架體系，提出利用BIN-NST算法對窗口進行篩選，大幅度減少候選窗口數(shù)量，在此基礎(chǔ)上能夠高效地利用顏色特征對目標進行檢測與跟蹤，解決了在光線驟變的情況下出現(xiàn)的跟蹤失敗的問題。

關(guān)鍵詞：視頻流;跟蹤;TLD算法

1. 引言

視頻中目標物體的長時間跟蹤是計算機視覺領(lǐng)域一個非常具有挑戰(zhàn)的問題。視頻跟蹤在許多應(yīng)用中，特別是人機交互，視頻監(jiān)控，以及機器人中都扮演了重要的角色。但是由于光照變化，局部遮擋，雜亂的背景，形狀變化等因素，使跟蹤問題更加復雜化。

近期出現(xiàn)的視頻跟蹤算法，主要分為三類：基于特征、基于外表模型和基于結(jié)構(gòu)信息。基于特征的跟蹤算法中，所使用的特征包括多種不同的圖象屬性特征，如像素值^[1]、顏色信息^{[2，3，4，5]}、紋理描述^[6，7]等。外表模型主要有顏色分布特征^[3，4]、子空間描述^[1，8]、支持向量機（SVM）^[9]、Boosting^[6，7，10]、特征稀疏描述^{[11，12，13]}等。逐漸地越來越多的跟蹤算法開始使用目標結(jié)構(gòu)信息^{[2，14，15，16，17，18]}。融入目標結(jié)構(gòu)信息的跟蹤算法對目標變形、遮擋有較強的魯棒性。

基于特征的跟蹤算法中，大部分使用方型模板提取特征信息描述目標。Lim等^[1]提出使用增量子空間模型描述目標的方法，在很大程度上增強了算法對光照變化的魯棒性。為了增強算法的魯棒性，Kwon等^[19]將跟蹤器分解成為幾個更小的跟蹤器。Wen等^[8]在跟蹤算法中融入時空上下文特征信息，Mahadevan等^[20]利用圖象顯著特征信息以改進跟蹤算法。這些跟蹤算法都沒有考慮目標的變形、遮擋問題。

后來涌現(xiàn)出一些能夠較好地解決遮擋問題的跟蹤算法。Adam等^[2]將目標分割成水平和垂直方向的子塊，這種處理方法對部分遮擋具有較強的魯棒性。文獻^{[11，12，13]}采用稀疏描述方法從外表特征中重建目標信息，也較好地解決了遮擋問題。Babenko 等^[22]采用多實例學習策略來減少遮擋對跟蹤的影響。Grabner等^[23]利用上下文信息解決全遮擋問題，取得了較好的實驗結(jié)果。然而，這些算法卻忽視了目標的變形問題。

為了真正有效地解決目標變形、遮擋問題，近期出現(xiàn)了一些綜合性的跟蹤算法，如在外表模型中融入時空特征信息、上下文先驗信息等，以期達到更魯棒有效的跟蹤性能。基于分段的跟蹤器^[29]使用多個局部塊直方圖描述目標，融合了目標的內(nèi)部結(jié)構(gòu)信息，能很好的處理部分遮擋。然而，它的模板并不隨著視頻序列的變化而進行修正，因而難于跟蹤有外表變形的目標。另外一種處理方式是在跟蹤過程中融入目標檢測模塊^{[30，31，32]}。利用檢測模塊實時地更新外表模型，這種算法在目標脫離跟蹤范圍后，仍能重新捕獲到目標。但這些基于檢測的跟蹤器容易被具有相似外表的目標所誤導。對于在無約束環(huán)境下的長時間跟蹤任務(wù)，需要融入一些空間先驗信息以增強算法的魯棒性。Yang等設(shè)計了一種上下文敏感的跟蹤器^[33]（Context-Aware Tracker：CAT）解決了目標漂移問題，上下文先驗信息是一些容易跟蹤且與目標運動一致的輔助性目標。

基于特征類的算法沒有較好的解決目標變形及局部遮擋的問題;而基于外表模型的算法卻沒有較好的解決光照變化和局部遮擋問題。基于結(jié)構(gòu)信息的算法沒有較好的解決相似目標的影響，以及光照變化的問題。

本文設(shè)計使用跟蹤與檢測相結(jié)合的體系結(jié)構(gòu)，實現(xiàn)了一個長時間跟蹤算法。首先設(shè)計改進的BING算法（BIN-NST算法），使得在檢測器中最初的目標候選窗口數(shù)量銳減至2000個左右，并且完全不影響目標檢測性能。然后在此基礎(chǔ)上，在算法中采用lsh的強特征信息來描述候選窗口內(nèi)的目標特征，較好地解決光照變化的問題。

Our contributions are as follows：

1 我們對bing算法進行了改進，原始的bing算法采用梯度作為特征

2 在跟蹤算法中融入強特征，有效的解決了光照不變形和旋轉(zhuǎn)不變性的問題

3 通過改進的bing與tld融合，在使用強特征的前提下仍然保證了跟蹤算法的實時性

2. 相關(guān)工作

2.1 跟蹤—學習—檢測算法（TLD）

TLD算法^[38]主要討論研究視頻流中的目標物體的長時間跟蹤問題。在一幅單獨的圖像幀中，目標物體是由其位置和自身特征所表征的。在連續(xù)的視頻幀中，TLD算法能夠定位或者重新出目標的位置。TLD由三個部分組成：跟蹤，學習和檢測。跟蹤器在視頻流中跟蹤目標。檢測器使用滑動窗口機制找出目標，其結(jié)果可修正跟蹤器，并在跟蹤器失效的情況下使得該算法能繼續(xù)找到目標。學習器通過PN約束把檢測器錯誤分類的正負樣本找出來，重新訓練并對檢測器的所用到特征進行更新，保證收斂于目標。TLD算法中開創(chuàng)了一種全新的學習方法（P-N學習，Positive和Negative），這種方法通過一對約束來估計出錯誤。P約束就是找到被錯誤分類的正樣本，N約束找到被錯誤分類的負樣本。整個學習過程可以被看作是一個獨立的離散的動態(tài)過程模型，并且在該過程模型下發(fā)現(xiàn)學習器的效果得到了有效地提升。

參考文獻

[1]J. Lim，D. A. Ross，R.-S. Lin，and M.-H. Yang，“Incremental learning for visual tracking，” in Advances in Neural Information Processing?Systems 17. Cambridge，MA，USA：MIT Press，2004.

[2]A. Adam，E. Rivlin，and I. Shimshoni，“Robust fragments-based tracking using the integral histogram，” in Proc. IEEE Comput. Soc. Conf. CVPR，vol. 1. Jun. 2006，pp. 798–805.

[3]D. Comaniciu，V. Ramesh，and P. Meer，“Real-time tracking of non-rigid objects using mean shift，” in Proc. IEEE CVPR，vol. 2. Jun. 2000，pp. 142–149.