一種基于旋轉不變特征的在線目標跟蹤方法

李長隆， 楊海濱， 劉佳

一種基于旋轉不變特征的在線目標跟蹤方法

李長隆1， 楊海濱2， 劉佳2

(1.武警部隊參謀部機要局，北京100000；2.武警工程大學電子技術系，陜西西安710086)

提出了一種新的基于局部二進制模式(LBP)特征的旋轉不變特征，該特征與2bitBP特征相比，具有一定的旋轉不變性。改進了跟蹤-學習-檢測(TLD)框架中的目標檢測模塊，提出了一個新的跟蹤-學習-檢測-驗證(TLDV)框架，并將其應用到在線目標跟蹤領域。該框架首先提取運動目標的SIFT特征點，然后利用SIFT點的對應關系計算目標的旋轉的放射變換，從而進一步確定目標旋轉角度，進行跟蹤框的旋轉更新，實現了旋轉不變的目標跟蹤算法，在一些視頻的測試結果驗證了算法的有效性。

跟蹤-學習-檢測；放射變換；目標跟蹤

0　引言

智能視頻安防監控系統大多以檢測跟蹤為基礎，在捕捉運動目標信息的基礎上，進行分析和理解。本文基于檢測跟蹤的方法，構建目標描述特征，以及半監督的在線學習跟蹤算法，設計了一個基于旋轉不變特征的跟蹤方法。目標特征可以分為局部特征和全局特征。局部特征就是從圖像的局部結構出發，用局部信息來構造出具有光照、幾何變換不變性的描述子。典型的局部特征包括尺度不變特征轉換(Scale-invariant feature transform SIFT)[1]、局部二進制模式(Local Binary Pattern LBP)[2]。全局特征是指反應圖像全局的和整體的特征描述，一般而言全局特征與特定的應用相關。通常，結合全局特征與局部特征的方法，能夠有效的改進對于目標的描述。Kalal[3]等人提出的一種新的基于正負條件約束的半監督在線學習框架，利用到了一些結構約束來訓練一個二類分類器，并將這個分類器應用到視頻跟蹤領域取得了較好的結果。Grabner等人[4]在特征選擇器更新過程中，引入半監督機制，并在特征選擇過程中，利用一個初始的優先特征與在線分類器共同得到最優特征，同時通過SemiBoost訓練一個分類器。已標記的數據被作為初始值，而在跟蹤過程中獲取的數據則被當作是未標記的樣本。

本文在LBP特征的技術上，提出了一種新的旋轉不變特征，同時利用TLD跟蹤框架，設計了一個旋轉不變的跟蹤方法，并在一些視頻集上進行了測試，驗證了算法的有效性。

1　LBP特征及TLD跟蹤框架

1.1LBP特征

LBP特征是一種表述灰度圖某像素與周圍像素點大小關系的二進制描述算法，最初應用于圖像的紋理描述，近來人們提出了多種擴展的LBP，它計算簡單，并且具有部分的尺度、旋轉不變性等優點。在文獻[3]中提出了一種新的特征2bit Binary Patterns(2bitBP)用于訓練在線分類器2bitBP度量了在一個特定區域內的梯度的方向，將這個方向進行量化，并且輸出4種可能的編碼形式。如圖1所示。

圖1　局部2比特二進制模式

這個特征將對象框中的局部梯度進行編碼[3]。2bitBP特征實際上是受到了局部二進制模式(Local Binary Patterns LBP)[2]的啟發，但是與標準的LBP不同，LBP對3?3像素的區域進行編碼并將一個特定的區域表示成這些編碼的分布，而2bitBP將這些區域表示成簡單的編碼。

無論是LBP特征還是2bitBP特征，都不具有旋轉不變性，同時LBP特征這樣的局部特征也不具有全局的空間信息描述能力。在這種情況下，當跟蹤目標被遮擋或是移出視場一段時間后，若目標物體再一次以不同的角度在此進入視野中時，由于訓練特征不具有旋轉不變性，檢測器便無法檢測出物體所在的位置，這樣基于檢測的跟蹤就可能實效，如圖2所示。

圖2　檢測實驗

1.2TLD框架

在現有的在線學習跟蹤的框架中，基于訓練-學習-檢測的框架(Training Learning Detection，TLD)是其中比較成功的，該框架在文獻[3]中提出，作者給出了TLD框架中的PN學習(Positive and Negative Learning即PN learning)框架，PN學習的過程實際上就是從預先標記好的數據集(Xl，Yl)中，學習一個分類器f: X→Y，并且利用未標記的數據Xu來提高分類器的性能。

文獻[3]將該學習框架應用于視頻目標跟蹤中，給出了TLD的跟蹤框架，在跟蹤中，作者使用了隨機森林分類器Fern作為檢測器，利用光流作為跟蹤器，其跟蹤流程如圖3所示。

圖3　基于TLD的跟蹤框架

從圖3中可以看出，該跟蹤框架結合了跟蹤器和檢測器，通過跟蹤器以及檢測器的結合來實現檢測器的更新。

2　旋轉不變特征

由于LBP和2bitBP特征不具有旋轉不變性，在本文中，提出了一種新的旋轉不變特征，該特征具有一定的旋轉不變性，提取過程如圖4所示。

圖4　旋轉不變特征的提取過程

為了實現快速的特征提取，我們采用二進制特征作為隨機森林Fern分類器的特征。該特征提取過程如下:

首先，在圖像塊中隨機的選取兩個點，如紅色Pr和藍色點Pb所示，該特征初始化時是隨機選取的，在訓練過程中特征點的位置保持不變；

其次，以圖像塊的中心點為中心，以兩個點到中心點的距離為半徑，分別提取LBP特征即LBPr和LBPb；

最后，這兩個LBP特征的關系給出最終的二進制特征即，若LBPr＞LBPb，f＝1，否則f＝0。

需要強調的是，本文中的旋轉不變特征相對于文獻[3]中的2bitBP特征以及LBP特征而言，具有以下特點:

(1)旋轉不變性:本文的二進制特征具有一定的旋轉不變性，可以用于提高目標旋轉一定角度下的檢測率。

(2)計算方法簡單，空間復雜度低。相比2bitBP特征每一個節點輸出2位信息而言，本特征僅僅給出1bit信息，當隨機森林的數目增加，或Fern中節點的數量增加的時候，2bitBP特征比本特征占用的空間要多。例如若Fern的個數為K，每個fern的深度為d的話，一個2bitBP特征輸出具有4個可能值，若采用M個特征的話，每一個fern的葉子節點的數目為4d。而本文的特征輸入為二值，因此fern葉子節點輸出的數目為2d。

3　改進的在線學習的跟蹤框架

3.1基本框架

在原始的TLD的在線跟蹤框架中，利用跟蹤器與檢測器的相互結合進行跟蹤，在本文中，改進的TLD框架利用了旋轉不變特征，同時包含了一個驗證器用于給出目標的仿射變換信息。與原始的TLD框架不同，本文中的跟蹤框架包含訓練、學習、檢測與驗證即Training、learning、Detection and Validator.即TLDV跟蹤框架，如圖5所示。

圖5　改進的TLDV跟蹤框架

在本文中，以實時性較好的光流[5]作為跟蹤器，利用隨機森林Fern[6]作為檢測器，同時利用PN學習的框架更新檢測器，整個半監督的跟蹤框架的基本流程如下:

(1)首先進行檢測器和跟蹤器的初始化。

(2)其次在初始幀，針對所選的目標，提取旋轉不變特征用于初始化隨機森林Fern的學習，同時初始化光流跟蹤器，并對當前目標提取特征點生成初始模板。

(3)在后續的視頻幀中，利用跟蹤器和檢測器的結果，結合PN學習的框架實現目標的跟蹤，即利用半監督的結構信息實現檢測器的更新，具體做法如下:對視頻的每一幀，檢測器和跟蹤器尋找目標的位置，由跟蹤器給出的距離軌跡較近的圖像塊被作為正樣本，而由檢測器得到的距離軌跡較遠的圖像塊被作為負樣本。如果離跟蹤結果很遠處有一個很強的檢測結果，跟蹤器重新進行初始化并且收集的樣本被丟棄掉。

(4)由于跟蹤器可能漂移出目標，因此當跟蹤器正確跟蹤到物體的時候，需要進行下一幀位置的估計。跟蹤器的信任度通過跟蹤到的圖像塊與第一幀選擇的圖像塊之間的互相關性來進行度量。當跟蹤軌跡的最后一幀擁有大于80%的相關度的時候，這個連續的軌跡被認為是正確的。當這個軌跡被認為是有效時，那么它將會觸發P-N約束條件，從而開始利用數據的結構信息，進行檢測器的更新。

(5)根據跟蹤器和檢測器的輸出個結果，得到當前目標坐在的位置，然后利用姿態估計器，提取目標所在區域的SIFT特征，通過與模板的匹配，給出跟蹤框旋轉的角度信息。

3.2姿態驗證估計器

在本文的TLDV框架中，除了旋轉不變特征以外，另一個重要的改進是引入了姿態驗證估計器，給出變換后的跟蹤框的位置以及角度。一般而言，都假設目標的旋轉或是變換是一個仿射變換，本文利用SIFT描述子的匹配關系，在跟蹤過程中，通過跟蹤框中當前幀與初始幀的特征點的匹配估計出仿射變換矩陣。實際上針對跟蹤目標的仿射變換，已經研究者做了一些工作，例如Ross等人[7]提出采用增量學習的方法來學習一個低維的子空間表示來自適應的描述目標的外觀，從而給出目標位置和姿勢的一個估計。Kwon等人[8]利用在仿射群上的粒子濾波框架來得到目標的仿射變換估計。但是基于粒子濾波框架的仿射變換估計的計算量很大，無法達到實時，特別是當粒子數目設定的過多時，運行速度非常慢，不具有實用性。而本文的估計器簡單、穩定、對圖像預處理要求低，同時同處理較大角度的旋轉。具體的計算的流程如圖6所示。

圖6　驗證估計器的具體流程

這整個驗證估計的流程可以具體的描述為:

初始幀:計算模板圖像的SIFT特征點，記為X’。

當前幀:根據檢測器和跟蹤器的輸出到當前目標的位置，同時提取該目標的SIFT特征點，記為X.，利用SIFT匹配算法，進行特征點匹配，選取n(n≥3)個匹配點對，這些匹配上的點對分別表示為Y’和Y.根據仿射變換的定義，求解仿射變換矩陣參數，即根據下式計算:

其中，HA是仿射變換矩陣，A是2×2的非奇異矩陣，t是二維平移矢量，平面仿射變換具有6個自由度，對應于6個矩陣元素，可以由3組點對應得到。

給定當前目標邊框的四個頂點位置，根據仿射矩陣得到一個新的位置，這個新的位置即是當前目標框的輸出位置。

由于本文利用了檢測器、跟蹤器以及估計器，使得跟蹤過程可以有效處理目標丟失后再出現的情況，對于這種情況而言，重要的是如何進行目標再出現的初始化跟蹤，在原始的TLD框架中，僅僅利用檢測器進行初始化，在TLDV的框架中，具體方法如下:當目標丟失后，在每一幀，利用檢測器進行目標檢測。當檢測到目標時，計算檢測到的跟蹤框中的目標與模板的相似度，若大于一定的閾值，則提取該檢測框中的特征點，利用估計器得到修正后的檢測框。在修正后的檢測框上選擇適當比例大小的初始框，重新初始化光流跟蹤器。然后就按照TLDV的框架進行跟蹤和檢測的在線更新。

可以看出，與TLD僅僅利用監測器進行跟蹤器的再次初始化相比，本文的方法利用了估計器來得到初始圖像的旋轉角度。

4　實驗及分析

為驗證LBP旋轉不變特征的有效性，當圖像塊旋轉一定的角度時，有這兩個點形成的兩個LBP特征的大小關系保持不變，因此，該特征具有一定的旋轉不變性。圖7是利用這個旋轉不變特征后，得到的結果，可以看出，旋轉不變特征具有一定有效性，使得不同角度下的目標都能被有效的檢測出。

圖7　利用旋轉不變特征進行基于檢測的跟蹤

本文利用SIFT描述子的匹配關系，在跟蹤過程中，通過跟蹤框中當前幀與初始幀的特征點的匹配估計出仿射變換矩陣，基本的過程如下:

1)在初始幀，將目標保存為模板圖像，并提取SIFT特征點。

2)在下一幀以及當前幀進行跟蹤時，若跟蹤成功，則提取跟蹤框中的圖像的SIFT點，將當前幀中跟蹤目標的SIFT特征點與模板圖像的SIFT特征點進行配準。

3)通過大量的匹配上的點，建立仿射變換方程，從而得到仿射變換中圖像旋轉角度信息，通過對當前幀圖像中的跟蹤框進行仿射變換從而得到更加準確的姿態信息。

如圖8所示，通過上面的方法，可以有效的估計出當前跟蹤目標的旋轉角度信息。其中黃色的跟蹤框為TLD跟蹤結果，紅色的跟蹤框為根據匹配點得到旋轉角度后跟蹤框。

圖8　根據SIFT匹配點得到的跟蹤框結果

5　結語

本文提出了一個新的跟蹤框架跟蹤-學習-檢測驗證(TLDV)框架，該框架在TLD的基礎上上，為了克服目標旋轉引起的目標丟失，首先為檢測模塊引入了一個旋轉不變的LBP特征，該特征的提取依據圓周滿足旋轉不變的特性，實現目標旋轉的不變特性，同時增加了一個驗證模塊，該模塊首先提取目標的SIFT特征點，然后將模板圖像與當前幀的SIFT特征點進行匹配，從而估計出當前幀旋轉的角度，實現了一個旋轉不變的在線目標跟蹤方法。文中提出的方法僅適用于剛性物體旋轉不變的跟蹤，對于非剛性物體的跟蹤效果較差，這將是下一步研究的重要內容。

[1] Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints，International Journal of Computer Vision[J]. 2004，60(2):91-110.

[2] Ojala T and Pietikainen M.Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns，IEEE Trans on Pattern Analysis and Machine Intelligence[J].2002，24(7):971-987.

[3] Kalal Z，Matas J，and Mikolajczyk K.P-N Learning:Bootstrapping Binary Classifiers by Structural Constraints[C]. Conference on CVPR，2010，238(6):49-56.

[4] Grabner H，Leistner C，and Bischof H.Semi-supervised Online Boosting for Robust Tracking[C].In Proceedings European Conference on Computer Vision(ECCV)，2008，5302: 234-247.

[5] Lucas B and Kanade T.An iterative image registration technique with an application to stereo vision[J].IJCAI，1981 (81):674-679.

[6] Zuysal M，Calonder M，Lepetit V.Fast Keypoint Recognition Using Random Ferns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，24(7): 971-987.

[7] Ross D，Lim，Lin Jand Yang M H.Incremental learning for robust visual tracking[J].International Journal of Computer Vision，2008，77(1-3):125-141.

[8] Kwon J，Park F.Visual tracking via particle filtering on the affine group[C].Proceedins of IEEE International Conference on InformationandAutomation，2008，29(2-3): 997-1002.

A New Online Object Tracking Algorithm based on Rotation-Invariant Feature

LI Chang-long1，YANG Hai-bin2，LIU Jia2
(1.Joint Staff of PAP，Beijing 100000，China；2.Dept.of Electronic Technology，Engneering University of PAP，Xi’an Shaanxi 710086，China)

A novel rotation-invariant feature based on LBP for video object tracking，and similar to 2Bit BP feature is described，and based on the improved object detection model in TLD framework，a novel tracking framework called tracking-learning-detectionvalidator(TLDV)for onlie object tracking is proposed.By taking advantage of the SIFT feature of moving object，affine transform of the rotation is calculated and acquired.Experiments on some test videos indicate that the proposed algorithm is feasible and effective.

TLD；affine-transform；object tracking

TN91

A

1009-8054(2016)08-0082-05

?2016-03-20

國家自然科學基金(No.61403417)

李長隆(1982—)，男，碩士研究生，工程師，主要研究方向為圖像、視頻處理；

楊海濱(1982—)，男，碩士，講師，主要研究方向為模式視頻分析。

劉佳(1982—)，男，博士，講師，主要研究方向為機器學習，目標跟蹤?！?/p>