基于貝葉斯方法的視覺跟蹤

顏曉文　謝杰騰

摘 要：在視覺跟蹤研究中，存在目標(biāo)遮擋、目標(biāo)形變、目標(biāo)旋轉(zhuǎn)、光照變化、尺度變化等強(qiáng)干擾因素。一般的跟蹤方法都是針對(duì)跟蹤目標(biāo)框內(nèi)的圖像信息建模并進(jìn)行跟蹤，而忽略了跟蹤目標(biāo)框以外的鄰域圖像和目標(biāo)圖像之間的相關(guān)性，導(dǎo)致這些強(qiáng)干擾條件下出現(xiàn)跟蹤漂移或者跟蹤失敗的情況。提出利用目標(biāo)鄰域空間信息進(jìn)行視覺跟蹤的新方法，首先在指定的目標(biāo)框的鄰域范圍內(nèi)采集鄰域圖像信息，然后對(duì)采集到的鄰域圖像和跟蹤目標(biāo)圖像初始化先驗(yàn)信息。在跟蹤過程中通過貝葉斯框架下的投票機(jī)制估計(jì)目標(biāo)位置，完成位置估計(jì)后在線更新目標(biāo)圖像和鄰域圖像的先驗(yàn)信息，并根據(jù)先驗(yàn)信息進(jìn)行模板更新。實(shí)驗(yàn)證明在貝葉斯框架下使用目標(biāo)圖像的鄰域信息進(jìn)行輔助能夠有效地應(yīng)對(duì)遮擋、旋轉(zhuǎn)和形變等情況，提高跟蹤的魯棒性。

關(guān)鍵詞：貝葉斯方法；分塊跟蹤；直方圖；魯棒性

中圖分類號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2015）04-00-03

0 引 言

視覺跟蹤是計(jì)算機(jī)視覺的重要組成部分，經(jīng)過多年的研究與發(fā)展，在安防監(jiān)控、對(duì)象識(shí)別、輔助駕駛和人機(jī)交互等方面得到廣泛應(yīng)用。但是視覺跟蹤在動(dòng)態(tài)環(huán)境下仍然面臨很多問題，例如光照變化、遮擋、旋轉(zhuǎn)、形變和尺度變化等，造成這些問題的根本原因是目標(biāo)表觀的多變性和依賴多變的目標(biāo)表觀來跟蹤目標(biāo)[1]。

分塊跟蹤[2]使用直方圖對(duì)分塊的目標(biāo)圖像的亮度特征建模，然后針對(duì)每個(gè)分塊單獨(dú)跟蹤，最后通過分塊投票決定目標(biāo)位置。增量學(xué)習(xí)跟蹤[3]使用PCA方法建模目標(biāo)的表觀模型，用粒子濾波估計(jì)目標(biāo)位置。VTD[4]綜合HVS直方圖和PCA兩種方法建模目標(biāo)表觀，使用基于馬爾可夫鏈的粒子濾波估計(jì)目標(biāo)位置。實(shí)時(shí)壓縮跟蹤[5]和基于壓縮感知的實(shí)時(shí)跟蹤[6]，根據(jù)壓縮感知理論使用稀疏化的方法建模目標(biāo)表觀。不同的是文獻(xiàn)[6]使用l1優(yōu)化方法實(shí)現(xiàn)目標(biāo)稀疏化表示，而文獻(xiàn)[5]則是通過精心選擇的隨機(jī)高斯測(cè)量矩陣直接計(jì)算，實(shí)現(xiàn)目標(biāo)稀疏化表示，計(jì)算效率遠(yuǎn)高于l1優(yōu)化方法。超像素跟蹤[7]和星系跟蹤[8]使用圖像分割方法把目標(biāo)圖像分割為超像素，將超像素看成特征統(tǒng)計(jì)的基本單元，然后針對(duì)超像素的直方圖特征進(jìn)行聚類，用獲得的聚類特征來建模目標(biāo)表觀，然后用粒子濾波方法估計(jì)目標(biāo)位置。

在貝葉斯框架下將目標(biāo)圖像和鄰域圖像統(tǒng)一考慮，綜合分塊跟蹤和鄰域信息輔助跟蹤提出新的擴(kuò)展分塊跟蹤方法。第二部分介紹使用鄰域圖像和目標(biāo)圖像在貝葉斯框架下的目標(biāo)跟蹤，第三部分是跟蹤實(shí)驗(yàn)。

1 鄰域輔助跟蹤

1.1 目標(biāo)鄰域特征點(diǎn)

在序列圖像中，目標(biāo)與鄰域內(nèi)特征點(diǎn)存在穩(wěn)定的空間相關(guān)性，我們可以利用這種空間相關(guān)性解決目標(biāo)被完全遮擋情況下的目標(biāo)位置估計(jì)問題。圖1（a）是跟蹤過程中無遮擋情況下建立的鄰域特征點(diǎn)的支持模型，即目標(biāo)與鄰域特征點(diǎn)之間的空間相關(guān)性，圖1（b）是跟蹤過程中發(fā)生目標(biāo)完全遮擋，但是部分目標(biāo)鄰域特征點(diǎn)仍然可視，那么通過可視的部分鄰域特征點(diǎn)仍然可以準(zhǔn)確的估計(jì)出目標(biāo)位置。

1.3 擴(kuò)展的目標(biāo)分塊

在人臉跟蹤的圖像序列中，頭發(fā)、脖子和肩部成像與臉部成像有穩(wěn)定的空間相關(guān)性，因此可以將頭發(fā)、脖子和肩部成像看成臉部成像的擴(kuò)展和延伸，把目標(biāo)和鄰域看成一個(gè)整體，即擴(kuò)展的跟蹤目標(biāo)。綜合分塊跟蹤和目標(biāo)鄰域特征點(diǎn)輔助跟蹤的思路，使用分塊跟蹤法跟蹤擴(kuò)展的跟蹤目標(biāo)，這樣將分塊跟蹤的適用范圍從不完全遮擋擴(kuò)展到完全遮擋的情況。在目標(biāo)鄰域內(nèi)截取矩形圖像塊，然后和目標(biāo)圖像塊一起進(jìn)行分塊跟蹤。在圖3中，黃色矩形框O0為指定的跟蹤目標(biāo)，黃色矩形框與紅色矩形框之間的區(qū)域?yàn)槟繕?biāo)鄰域，將目標(biāo)和目標(biāo)鄰域組合成一個(gè)擴(kuò)展的新目標(biāo)，即整個(gè)紅色矩形框內(nèi)的圖像，然后在擴(kuò)展目標(biāo)上使用分塊跟蹤法跟蹤。在目標(biāo)鄰域內(nèi)截取矩形圖像O1，O2，…，On，建立圖像塊Oi的支持模型（dix，diy），如圖4所示，dix和diy是圖像塊Oi中心點(diǎn)到圖像塊O0中心點(diǎn)的距離在x軸和y軸上的分量。

2 跟蹤實(shí)驗(yàn)

在視覺跟蹤研究中常選擇在特征空間中建模目標(biāo)，本文在HSV模型空間中用直方圖建模目標(biāo)，與跟蹤算法VTD，TLD算法進(jìn)行測(cè)試比較，用trellis.avi和david_indoor.avi兩個(gè)測(cè)試視頻對(duì)跟蹤方法進(jìn)行比較，比較結(jié)果如圖6所示。這兩個(gè)視頻是比較跟蹤算法時(shí)常用的視頻，這兩個(gè)視頻中有光照變化，尺度變換，目標(biāo)形變等干擾因素，是測(cè)試新跟蹤方法的標(biāo)準(zhǔn)測(cè)試視頻。

從跟蹤結(jié)果的來看，VTD跟蹤方法在跟蹤開始不久，在136幀逐漸出現(xiàn)了跟蹤漂移，并且漂移越來越嚴(yán)重，到191幀時(shí)，表示目標(biāo)位置的矩形框完全脫離目標(biāo)，直到411幀開始，跟蹤框才慢慢的恢復(fù)到目標(biāo)位置上，從191幀到411幀中間的220幀，跟蹤目標(biāo)一直處于丟失狀態(tài)。從整個(gè)跟蹤序列來看VTD跟蹤的表現(xiàn)，大部分時(shí)間都存在跟蹤漂移問題，為什么會(huì)出現(xiàn)這鐘現(xiàn)象，根本原因還是在于模板。VTD方法使用基于多馬爾可夫鏈的粒子濾波框架進(jìn)行跟蹤，而跟蹤框架的設(shè)計(jì)上沒有模板保存和更新模塊，因此，當(dāng)一幀圖像跟蹤結(jié)果出現(xiàn)小的偏差后，下一幀的跟蹤會(huì)以有偏差的位置為基準(zhǔn)進(jìn)行跟蹤，這樣每幀中出現(xiàn)的小偏差就會(huì)累積，到后來使得跟蹤結(jié)果完全偏離目標(biāo)的正確位置，出現(xiàn)丟失跟蹤目標(biāo)的情況。如果在框架中引入偏差的修正模塊，那么出現(xiàn)的偏差可以根據(jù)模板及時(shí)進(jìn)行糾正，避免誤差累積，消除跟蹤漂移問題。

3 結(jié) 語

該方法跟蹤首先在指定的目標(biāo)框的鄰域范圍內(nèi)采集鄰域圖像信息，然后對(duì)采集到的鄰域圖像和跟蹤目標(biāo)圖像初始化先驗(yàn)信息。在跟蹤過程中通過貝葉斯框架下的投票機(jī)制估計(jì)目標(biāo)位置，完成位置估計(jì)后在線更新目標(biāo)圖像和鄰域圖像的先驗(yàn)信息，并且根據(jù)先驗(yàn)信息進(jìn)行模板更新。在貝葉斯框架下使用目標(biāo)圖像的鄰域信息進(jìn)行輔助能夠有效的應(yīng)對(duì)遮擋、旋轉(zhuǎn)和形變等情況，提高跟蹤的魯棒性，證明了貝葉斯方法和基于領(lǐng)域圖像方法的有效性。

參考文獻(xiàn)

[1] Yao R，Shi Q， Shen C，et al. Robust tracking with weighted online structured learning[C]. Computer Vision–ECCV 2012：Springer，2012：158.

[2] Adam A， Rivlin E， Shimshoni I， editors. Robust fragments-based tracking using the integral histogram[C]. Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on，2006.

[3] Ross D A， Lim J， Lin R S， Yang M H. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision. 2008，77（1-3）：125-141.

[4] Kwon J， Lee K M，Visual tracking decomposition[C]. Computer Vision and Pattern Recognition （CVPR）， 2010 IEEE Conference on，2010.

[5] Zhang K， Zhang L， Yang M H. Real-time compressive tracking[C]. Computer Vision–ECCV 2012：Springer，2012：864-877.

[6] Li H， Shen C， Shi Q. Real-time visual tracking using compressive sensing[C]. Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on，2011.

[7] Wang S， Lu H， Yang F，et al. Superpixel tracking. Computer Vision （ICCV）[C]. 2011 IEEE International Conference on， 2011.

[8] Wang W， Nevatia R. Robust object tracking using constellation model with superpixel[C]. Computer Vision–ACCV 2012： Springer， 2013：191-204.