一種基于TLD的手勢跟蹤方法

王亞捷，魏 江，孫凱超

（西北工業大學 電子信息學院，陜西 西安 710072）

作為計算機視覺領域的一項重要內容，基于計算機視覺的手勢交互技術是自然的人機交互的一個分支，其發展與人機交互技術息息相關[1]。理想的人機交互模式就是用戶自由，直接操縱的用戶界面，它已成為未來的發展趨勢，而作為其中重要內容的手勢跟蹤技術也成為研究熱點。

廣義上手勢可以分為靜態手勢和動態手勢[2]。靜態手勢是指單個手形姿態，動態手勢由一系列手形姿態組成。研究人員就手勢這種多關節非剛體的運動跟蹤問題提出了一些不同的解決方案：文獻[3]采用了基于特征點的手勢跟蹤方法，文獻[4]選用了基于活動輪廓模型的手勢跟蹤方法，文獻[5]提出了基于區域的手勢跟蹤方法。本文提出了一種結合Haar特征與Adaboost算法的目標檢測算法與TLD目標跟蹤算法的手勢跟蹤方法。

1 手勢檢測

手勢檢測是手勢跟蹤流程的第一環節，直接決定了整個系統能否穩定、高效地運行。手勢檢測可以解釋為：判斷獲取的視頻幀中是否有手勢子圖像存在，若存在給出其位置。它意味著一個持續的、大數據量的搜索過程。在機器學習領域，通過類似決策樹的方式，利用Adaboost訓練方法，得到基于Haar特征集的檢測器，已經取得了很多成功。

圖1 Haar特征Fig.1 The Haar feature

Haar特征[6]如圖1所示。Haar特征的值是圖1中黑色區域和白色區域像素灰度值的差。Viola和Jones提出積分圖像的方法來快速計算大量Haar特征，并在Adaboost算法[8]的基礎上使用Haar特征進行人臉檢測。

Adaboost算法基本思想是將單個特征（弱分類器）作為弱學習算法，對訓練樣本集進行T輪訓練，從這些弱分類器中選擇一個較好的弱分類器序列（h1，h2，…，hT）組合成強分類器，在這些弱分類器中分類效果較好的權重較大。最終的分類函數采用一種有權重的投票方式產生，一個弱分類器定義為一個閾值函數：

其中pj是一個指示不等號方向的參數；θj表示特征的閾值；fj（x）表示特征值。

Adaboost算法具體步驟如下：

1） 給定樣本圖片（x1，y1），（x2，y2），…，（xn，yn）其中 yi=1 表示正樣本，yi=0表示負樣本；

2）初始化樣本權值，假設m是正樣本數量，n是負樣本數量，相應的權重為：

3）For t=1，2，…，T（弱分類器數量）：

②對于每個特征j，訓練一個弱分類器hj，hj被限制只使用一個特征，誤差估計根據權值ωt計算：

③選擇具有最小加權誤差εjt的弱分類器ht；

④更新樣本權值：

4）最終強分類器輸出為：

多層級聯分類器檢測模型[6]如圖2所示。將訓練得到的若干個強分類器串聯組成一個級聯結構的層疊分類器。串聯時遵循“先重后輕”的思想，將特征重要、結構簡單的強分類器放在前面用于快速排除大量負樣本。隨著級數增多矩形特征在增多，但計算量卻在減少。

圖2 多層級聯分類器檢測模型Fig.2 Multilayer cascade classifier detection model

為了提高手勢檢測的魯棒性，本文算法對檢測結果做了進一步的處理：若連續5幀圖像中檢測到手勢，則認為檢測結果有效。

2 手勢跟蹤

圖3 TLD跟蹤模型Fig.3 TLD tracking model

TLD跟蹤模型如圖3所示。TLD跟蹤算法主要由3個部分組成，跟蹤（Tracking）、學習（Learning）以及檢測（Detection）。首先，TLD算法使用由LBP（Local Binary Patterns）特征改進得到的2bitBP特征與隨機森林機器學習算法訓練一個目標檢測器，通過第一幀圖像獲得運動目標特征，再對這些特征進行仿射變換來初始化檢測器。跟蹤器利用目標的運動信息來跟蹤目標，這個過程基于Lucas-Kanade光流法。跟蹤器和檢測器同時運行，估計目標的位置。在線學習模型通過P-N學習的機制不斷地更新檢測器和跟蹤器的數據。同時，跟蹤器和檢測器也將得到的數據反饋給在線學習模型，以驗證數據的精確性，使得到的目標特征更加精確，其三者相互作用，將得到的數據整合，最終確定下一幀中目標的位置。

圖4 手勢跟蹤系統框架Fig.4 Gesture tracking system framework

本文結合手勢檢測與TLD跟蹤算法建立了一個手勢跟蹤系統，系統框架如圖4所示。攝像頭獲取的視頻圖像經過預處理后，輸入到手勢檢測模塊，該模塊檢測提取出的前景圖像，并獲取手勢所在的矩形區域；將矩形區域輸入到手勢跟蹤模塊，對跟蹤器獲得的動態手勢軌跡進行鼠標位置映射等相關處理，就可以實現人機交互功能。這樣的框架設計使手勢跟蹤的初始化過程實現自動化，不再需要人工標注。

圖5 視力檢測系統Fig.5 Vision test system

為提高系統的實時性，本文采取了以下兩種方法：1）在手勢跟蹤之前對圖像進行降采樣；2）手勢跟蹤的目標矩形由手勢檢測模塊在原圖像中檢測后，經尺度變換得到。使用本文提出的手勢跟蹤方法實現的視力檢測系統，通過動態手勢的跟蹤與識別可以完成被測人的視力評價，系統運行示例如圖5所示。

3 實驗結果與分析

進行實驗的軟件環境：Windows7系統，VC++，OpenCV2.4.5，USB 攝像頭； 硬件平臺：2.8 GHz Intel（R）G480 CPU，4 GB內存。采用實驗室拍攝的分辨率為320x240的運動手勢視頻作實驗資源。在使用本文手勢檢測方法檢測出的目標手勢區域作為輸入的基礎上，比較本文算法與Semisupervised tracker（SemiB）算法、MILTracker算法和 Struck 算法在跟蹤目標手勢時的準確性、實時性和魯棒性。考慮到隨機誤差的情況，對每個算法均做5次獨立重復實驗，取平均值作為最終的實驗結果。

1）手勢跟蹤的準確性

本文采用平均成功率（Average Success rate，Average SR）（%）作為算法準確性的評價標準。跟蹤成功與否的評價標準如式（6）所示。

其中ROIT表示跟蹤算法得到的目標區域，ROIG表示實際目標區域，score>0.5則認為本次跟蹤成功。跟蹤算法平均成功率對比實驗結果如表1所示。

表1 跟蹤算法平均成功率對比表Tab.1 The average success rate comparison of tracking algorithm

圖6 手勢跟蹤的準確性效果圖Fig.6 Gesture tracking accuracy performance

本文算法實現手勢跟蹤的準確性實驗結果如圖6所示，圖a表示未出現目標手勢，圖b表示出現非目標手勢，圖c表示出現目標手勢。本文將張開的手掌作為跟蹤目標，當圖像中沒有手勢存在時，沒有啟動跟蹤過程；當圖像中存在非目標手勢時，亦沒有啟動跟蹤過程；只有圖像中出現張開的手掌時，本文算法檢測到目標手勢并開始手勢跟蹤過程。

2）手勢跟蹤的實時性

本文采用平均幀率 （Average Frame Per Second，Average FPS）作為算法實時性的評價標準。跟蹤算法平均幀率對比實驗結果如表2所示。

表2 跟蹤算法平均幀率對比表Tab.2 The average frame rate comparison of tracking algorithm

對于分辨率為320x240的圖像，本文算法平均幀率達到9.6幀/秒。在實際工程應用中，可以通過相應的處理進一步提高算法的處理速度。

3）手勢跟蹤的魯棒性

跟蹤算法實現手勢跟蹤的魯棒性對比實驗結果如圖7所示，圖a表示出現目標手勢，圖b表示目標手發生顯著形變勢，圖c表示目標手勢中出現較大面積的遮擋。當被跟蹤手勢出現顯著形變、較大面積的遮擋的情況下，本文算法均能穩定跟蹤。

圖7 手勢跟蹤的魯棒性效果圖Fig.7 Gesture tracking robustness performance

從準確性、實時性、魯棒性3個方面實驗結果顯示，本文算法在準確性方面是效果最好的；在實時性方面略低于MILTracker，但明顯優于SemiB和Struck；在魯棒性方面，本文算法與Struck都能很好的適應顯著形變和較大面積的遮擋，MILTracker和Struck均出現了較大程度的漂移。以上實驗結果表明本文算法能夠很好地滿足手勢跟蹤的要求，并在3個性能上表現均衡。

4 結 論

文中提出了一種基于TLD的手勢跟蹤方法，首先結合Haar特征與Adaboost算法實現靜態手勢檢測，然后使用TLD目標跟蹤算法實現了動態手勢的跟蹤。實驗表明，本文算法能夠對目標手勢進行快速、準確、穩定的跟蹤。本文算法的不足在于尚不能跟蹤場景中的多個目標，多目標手勢跟蹤意味著可以實現雙手操作的人機交互應用，這是下一步研究和改進的方向。

[1]沙亮.基于無標記全手勢視覺的人機交互技術[D].北京：清華大學，2010.

[2]任海兵，祝遠新，徐光，等.基于視覺手勢識別的研究—綜述[J].電子學報，2000，28（2）:118-121.REN Hai-bin，ZHU Yuan-xin，XU Guang，et al.Vision-based gesture recognition research-Summary[J].Electronic Journal，2000，28（2）:118-121.

[3]Nan X，Zhang Z，Zhang N，et al.VDESIGN:Toward image segmentation and composition in cave using finger interactions [C]//Signal and Information Processing（ChinaSIP）， 2013 IEEE China Summit& International Conference on.IEEE，2013:461-465.

[4]M.Isard and A.Blake.CONDENSATION-Conditional density propagation for visual tracking[J].International Journal of Computer Vision，1998，29（1）:5-28.

[5]Caifeng Shan，Tieniu Tan，Yucheng Wei.Real-time hand tracking using a mean shift embedded particle filter[J].Pattern Recognition，2007，40（7）:1958-1970.

[6]Papageorgiou C P，Oren M，Poggio T.A general framework for object detection [C]//Computer Vision，1998.Sixth International Conference on.IEEE，1998:555-562.