一種改進的TLD算法

楊 萌， 楊 陽， 王 藝， 王亞杰

(1.西北工業大學 機電學院，陜西 西安 710072;2.中航工業 西安自動控制研究所,陜西 西安 710065;3.西北工業 大學電子信息學院，陜西 西安 710072)

一種改進的TLD算法

楊 萌1， 楊 陽2， 王 藝3， 王亞杰3

(1.西北工業大學 機電學院，陜西 西安 710072;2.中航工業 西安自動控制研究所,陜西 西安 710065;3.西北工業 大學電子信息學院，陜西 西安 710072)

針對跟蹤算法目標遮擋后易出現跟蹤漂移的問題，提出了一種跟蹤學習檢測(TLD)算法與Kalman濾波相結合的手勢跟蹤方法。在跟蹤器跟蹤成功后，加入識別窗的方法進行遮擋判定。產生遮擋后目標模型不再更新，學習器不再更新集合分類器。若是部分遮擋,則由TLD學習器處理；若是嚴重遮擋,則改由Kalman濾波算法預測目標的運動軌跡。該方法在保留TLD算法長期穩定跟蹤、適應攝像機快速運動與復雜背景等優點的基礎上，改善了目標遮擋后易出現跟蹤漂移的問題。實驗表明:提出的改進TLD算法比其他常見跟蹤方法具有更加優異的性能。

手勢; 跟蹤算法; 跟蹤學習檢測； Kalman

0 引 言

基于計算機視覺的手勢人機交互是近年來計算機領域的重要課題,人們希望計算機能夠直接理解人的動作以實現自然、簡潔的人機交互體驗[1]。廣義上手勢可以分為靜態手勢和動態手勢[2],靜態手勢是指單個手形姿態，動態手勢由一系列手形姿態組成。研究人員就手勢這種多關節非剛體的運動跟蹤問題提出了很多不同的解決方案[3～5],但這些方法都忽視了跟蹤過程中一個常見的問題，即目標遮擋問題。

目標遮擋通常情況下有以下兩種：部分遮擋和嚴重遮擋。部分遮擋指目標被背景遮擋住了一部分，仍有一部分出現在視頻幀中，目標的外觀由于遮擋而發生了不可預知的形變，此時的目標圖像與目標模型的相似度有了較大的區別。嚴重遮擋意味著目標的大部分區域被背景遮擋，目標的大部分特征都因為遮擋而消失，此時的目標與目標模型有了很大的區別，跟蹤算法運行時幾乎獲取不到有用的目標信息。當然，嚴重遮擋與部分遮擋的區分不是固定的，此處僅描述了兩者的區別。

本文提出了一種跟蹤學習檢測(TLD)算法與Kalman濾波相結合的改進TLD算法，在跟蹤器跟蹤成功后，加入識別窗的方法進行遮擋判定。產生遮擋后目標模型不再更新，學習器不再更新集合分類器，若是部分遮擋，則由TLD學習器處理；若是嚴重遮擋，則改由Kalman濾波算法預測目標的運動軌跡。該方法在保留TLD算法長期穩定跟蹤、適應攝像機快速運動與復雜背景等優點的基礎上，改進了目標遮擋后易出現跟蹤漂移的問題。

1 TLD跟蹤算法

TLD跟蹤模型[6，7]如圖1所示。TLD跟蹤算法主要由3個部分組成：跟蹤器(tracker)、學習器(learner)以及檢測器(detector)。

圖1 TLD跟蹤模型Fig 1 TLD tracking model

首先，TLD算法使用像素比較的方法得到圖像片的特征送入隨機森林機器學習算法訓練一個目標檢測器，通過第一幀圖像獲得運動目標特征，再對這些特征進行仿射變換來初始化檢測器。跟蹤器利用目標的運動信息來跟蹤目標，這個過程基于Lucas-Kanade光流法。跟蹤器和檢測器同時運行，估計目標的位置。在線學習模型通過P-N學習的機制不斷地更新檢測器和跟蹤器的數據。同時，跟蹤器和檢測器也將得到的數據反饋給在線學習模型，以驗證數據的精確性，使得到的目標特征更加精確。三者相互作用，將得到的數據整合，最終確定下一幀中目標的位置[8,9]。

2 改進TLD算法

很多研究者都針對目標遮擋問題進行了深入而細致的研究。文獻[10]在計算直方圖時加入了距離權重，遠離質心的像素點權值減小；文獻[11]采用數學估計的統計方法對遮擋的情況進行判斷，發生遮擋時改用粒子濾波的方法跟蹤目標；文獻[1]采用Joint Probabilistic Data Associative Filter來判定遮擋。

2.1 遮擋判定

為了準確判斷目標被遮擋的情況，本文引入了識別窗和顏色直方圖相似度的概念。識別窗的設置如圖2所示，白色矩形為跟蹤窗，黑色矩形為識別窗，黑色直線為中心分隔線。識別窗的每條邊距離跟蹤窗至少5個像素。中心分割線將識別窗和跟蹤窗分隔為對稱的左右兩部分。

圖2 識別窗設置Fig 2 Identification window setting

判斷遮擋時，計算每個部分對應的顏色直方圖并做歸一化,將歸一化處理后的數據分別表示為R(k,t)，T(k,t)。其中,R(k,t)對應識別窗的直方圖，T(k,t)對應跟蹤窗的直方圖，k=1,2對應窗口的左右。考慮遮擋物從左面進入情況，t-1幀時遮擋物進入識別窗，t幀時遮擋物對目標形成了遮擋。通過分析可知,t時刻左跟蹤窗與t時刻左識別窗的直方圖相似度高于t時刻左跟蹤窗與t-1時刻左跟蹤窗的相似度。相似度的評價采用Bhattacharyya系數[12]的方法

(1)

(2)

(3)

k=1時，ρ1(k,t)為t時刻左跟蹤窗與t時刻左識別窗的直方圖相似度；ρ2(k,t)為t時刻左跟蹤窗與t-1時刻左跟蹤窗的直方圖相似度；ρ3(t)為t時刻跟蹤窗與t-1時刻跟蹤窗的直方圖相似度。k=2對應跟蹤窗與識別窗的右半部分

ρ1(k,t)<ρ2(k,t),

(4)

ρ3(t)<λ.

(5)

若滿足式(4),則判定目標發生了遮擋。若滿足式(4)且滿足式(5),則認為目標發生了嚴重的遮擋;考慮到視頻幀獲取中的偶然性，為了提高遮擋判定的魯棒性，在判定是否滿足式(4)和式(5)時均做3幀重復判定，結果一致才認為真正滿足判定條件。其中,閾值范圍取0.5≤λ≤0.7，本文取λ=0.7。

2.2 改進TLD算法

結合TLD目標跟蹤算法、目標遮擋判定、Kalman濾波算法，本文提出了改進的TLD目標跟蹤算法。改進后算法的工作流程如圖3所示。

圖3 改進的TLD算法流程圖Fig 3 Flow chart of improved TLD algorithm

3 實驗結果與分析

3.1 實驗一

在使用本文手勢檢測方法檢測出的目標手勢區域作為輸入的基礎上，實驗一比較本文算法與文獻[13]的Semi-supervised tracker(SemiB)算法、文獻[14]的MILTracker算法和文獻[15]的Struck算法在跟蹤目標手勢時的準確性、實時性和魯棒性。

1)手勢跟蹤的準確性

本文采用平均成功率(average success rate,average SR)(%)作為算法準確性的評價標準。跟蹤成功與否的評價標準如式(6)所示

(6)

其中,ROIT為跟蹤算法得到的目標區域，ROIG為實際目標區域，score>0.5,則認為本次跟蹤成功。跟蹤算法平均成功率對比實驗結果如表1所示。

表1 跟蹤算法平均成功率對比表Tab 1 Comparison of average success rate of tracking algorithm

本文算法實現手勢跟蹤的準確性實驗結果如圖4所示，圖4(a)表示未出現目標手勢，圖4(b)表示出現非目標手勢，圖4(c)表示出現目標手勢。

在民族團結進步教育中倡導實現“雙主體”模式，提升教育者與教育對象之間的互動性。加強教育者的交互性思維，使教育者與大學生在新式載體中形成積極互動，將大學生的學習、生活同教育主題有機連接起來，將民族團結進步教育內涵與大學生的精神訴求緊密結合起來，引導他們樹立正確民族觀念的同時建立起理性的思維方法。

圖4 手勢跟蹤的準確性效果圖Fig 4 Effect diagram of gesture tracking accuracy

將張開的手掌作為跟蹤目標，當圖像中沒有手勢存在時，沒有啟動跟蹤過程；當圖像中存在非目標手勢時，亦沒有啟動跟蹤過程；只有圖像中出現張開的手掌時，本文算法檢測到目標手勢并開始手勢跟蹤過程。

2)手勢跟蹤的實時性

本文采用平均幀率(average frame per second，average FPS)作為算法實時性的評價標準。跟蹤算法平均幀率對比實驗結果如表2所示。

表2 跟蹤算法平均幀率對比表Tab 2 Comparison of average FPS of tracking algorithm

對于分辨率為320×240的圖像，本文算法平均幀率達到9.6幀/s。在實際工程應用中，為了進一步提高算法的處理速度，以達到系統實時運行的目的。本文采取了以下兩種措施：1)在手勢跟蹤之前對圖像進行降采樣；2)手勢跟蹤的目標矩形由手勢檢測模塊在原圖像中檢測后，經尺度變換得到。

3)手勢跟蹤的魯棒性

跟蹤算法實現手勢跟蹤的魯棒性對比實驗結果如圖5所示，圖5(a)表示出現目標手勢，圖5(b)表示目標手勢發生顯著形變勢，圖5(c)表示目標手勢中出現較大面積的遮擋。實驗結果表明:當被跟蹤手勢出現顯著形變、較大面積的遮擋的情況下，本文算法均能穩定跟蹤。

圖5 手勢跟蹤的魯棒性效果圖Fig 5 Effect of robust of gesture tracking

從準確性、實時性、魯棒性三個方面實驗結果顯示:本文算法在準確性方面是效果最好的；在實時性方面略低于MILTracker，但明顯優于SemiB和Struck；在魯棒性方面，本文算法與Struck都能很好地適應顯著形變和較大面積的遮擋，MILTracker和Struck均出現了較大程度的漂移。以上實驗結果表明:本文算法能夠很好地滿足手勢跟蹤的要求，并在三個性能上表現均衡。

3.2 實驗二

實驗二比較本文算法與TLD算法在處理遮擋問題上的差異性。圖6為TLD算法跟蹤結果；圖7為本文算法跟蹤結果。

在圖6和圖7中，當目標手勢緩慢接近遮擋物的過程中，圖(a)表示目標手勢完全沒有被遮擋，圖(b)表示目標手勢被部分遮擋，圖(c)表示目標手勢被嚴重遮擋，圖(d)表示目標手勢被完全遮擋，圖(e)表示目標手勢重新出現。

圖6 TLD算法跟蹤結果Fig 6 Tracking results of TLD algorithm

圖7 本文算法跟蹤結果Fig 7 Tracking results of improved TLD algorithm

TLD算法中學習器的存在使得遮擋部分作為正樣本的一部分加入樣本集合中，因此,能夠很好地處理目標被暫時部分遮擋的情況。但當目標長時間遮擋時，學習器的學習過程會使目標模板產生跟蹤漂移，跟蹤漂移會導致目標物在嚴重遮擋、完全遮擋(即從視頻幀中消失)時跟蹤會發生錯誤。

本文算法中的遮擋判定使得目標手勢被遮擋過程中，遮擋物沒有通過學習器進入目標模型中，而是持續使用原來的目標模型繼續跟蹤。當部分遮擋轉變為嚴重遮擋時，改由Kalman濾波器預測目標的運動軌跡。Kalman濾波器正確預測到目標的位置。由于目標模型沒有被錯誤更新，本文算法在目標手勢重新出現時準確跟蹤到了目標手勢。

在重復的5次實驗中，結果均表現出了如圖6與圖7所展示的差異。因此，本文算法與TLD算法相比具有更好的抗遮擋能力。

4 結束語

本文提出了一種TLD算法與Kalman濾波相結合的手勢跟蹤方法。本文采取了識別窗的方法判定目標受遮擋的情況。在TLD算法的跟蹤器跟蹤成功后加入遮擋判定過程，產生遮擋后目標模型不再更新，TLD算法中的學習器不再更新集合分類器。若是部分遮擋，則由TLD學習器處理；若是嚴重遮擋，則改由Kalman濾波算法預測目標的運動軌跡。該方法在保留TLD算法長期穩定跟蹤、適應攝像機快速運動與復雜背景等優點的基礎上，改進了目標遮擋后易出現跟蹤漂移的問題。本文提出的手勢跟蹤方法與其他一些跟蹤方法相比，表現出了更加優異的性能。

[1] 沙 亮.基于無標記全手勢視覺的人機交互技術[D].北京：清華大學,2010.

[2] 任海兵,祝遠新,徐 光,等.基于視覺手勢識別的研究—綜述[J].電子學報,2000,28(2):118-121.

[3] Nan X,Zhang Z,Zhang N,et al.VDESIGN:Toward image segmentation and composition in cave using finger interactions[C]∥2013 IEEE China Summit & International Conference on Signal and Information Processing(ChinaSIP),IEEE,2013:461-465.

[4] Isard M，Blake A.CONDENSATION—Conditional density propagation for visual tracking[J].International Journal of Computer Vision,1998,29(1):5-28.

[5] Shan Caifeng,Tan Tieniu,Wei Yucheng .Real-time hand tracking using a mean shift embedded particle filter[J].Pattern Recognition,2007,40(7):1958-1970.

[6] Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:Automatic detection of tracking failures[C]∥2010 20th International Conference on Pattern Recognition(ICPR),IEEE,2010:2756-2759.

[7] Kalal Z,Matas J,Mikolajczyk K.Pn learning:Bootstrapping binary classifiers by structural constraints[C]∥2010 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2010:49-56.

[8] Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[9] Kalal Z,Matas J,Mikolajczyk K.Online learning of robust object detectors during unstable tracking[C]∥2009 IEEE 12th International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2009:1417-1424.

[10] Kalal Z,Mikolajczyk K,Matas J.Face-tld:Tracking-learning-detection applied to faces[C]∥2010 17th IEEE International Conference on Image Processing(ICIP),IEEE,2010:3789-3792.

[11] 吳江琴,高 文.基于 ANN/HMM 的手語識別方法[J].計算機科學,1999,26(10):63-66.

[12] 彭寧嵩,楊 杰,劉 志,等.Mean-Shift 跟蹤算法中核函數窗寬的自動選取[J].軟件學報,2005,16(9):1542-1550.

[13] Grabner H,Leistner C,Bischof H.Semi-supervised on-line boosting for robust tracking[C]∥Proceedings of 10th European Conference on Computer Vision,ECCV 2008—Computer Vision Marseille,France,2008:234-247.

[14] Babenko B,Yang M H,Belongie S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1619-1632.

[15] Hare S,Saffari A,Torr P H S.Struck:Structured output tracking with kernels[C]∥2011 IEEE International Conference on Computer Vision(ICCV), IEEE,2011:263-270.

An improved TLD algorithm

YANG Meng1， YANG Yang2， WANG Yi3， WANG Ya-jie3

(1.School of Mechanical Engineering，Northwestern Polytechnical University, Xi’an 710072，China;2.Xi’an Flight Automatic Control Research Institute,AVIC,Xi’an 710065,China；3.School of Electronics and Information，Northwestern Polytechnical University,Xi’an 710072，China)

To solve tracking drift problem of tracking algorithm,a gesture tracking method is proposed by combining tracking-learning-detection(TLD)algorithm with Kalman filtering.After tracker tracks successfully,blocking out decision is utilized through adding identification window.Target model is no longer updated,when generating blocking out,and ensemble classifiers is not updated by learner.Processed by TLD learner during partial blocking out;target trajectory is predicted by Kalman filtering during severe blocking out.This method not only retains long-term stability of TLD tracking algorithm,and adapt to fast camera motion,but also overcomes tracking drift problem of target blocking out.Experimental results show that the proposed improved TLD algorithm has more excellent performance than other tracking methods.

gesture; tracking algorithm; tracking learning detection(TLD); Kalman

10.13873/J.1000—9787(2014)12—0130—04

2014—09—05

TP 391.4

A

1000—9787(2014)12—0130—04

楊 萌(1985-)，陜西西安人，碩士，助教，研究方向為數字信號處理。