基于分類的視頻目標跟蹤算法研究

梁 碩，陳金勇，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊050081)

基于分類的視頻目標跟蹤算法研究

梁 碩，陳金勇，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊050081)

針對視頻目標跟蹤中的速度和準確度問題，介紹了視頻目標跟蹤的表觀模型和跟蹤模型，重點對當前基于分類的視頻目標跟蹤算法進行了研究。對4種最具有代表性的基于分類的跟蹤算法，分別從光照變化、尺度變化、遮擋和復雜背景4個方面進行速度和準確度的定量實驗評估，根據實驗結果分析各算法的優缺點，為新算法的提出提供參考。

目標檢測；分類學習；目標跟蹤；評估算法

0 引言

視頻目標跟蹤是計算機視覺領域研究中的一個核心問題。在過去的10多年中它已經迅速成為學者們研究的熱點,不斷地被應用于國防軍事和人民生產生活的各個領域。經過近幾年的發展，越來越多的學者將機器學習的理論應用到視頻目標跟蹤中，提出了許多分類學習的算法，為視頻目標跟蹤開創了一個新的方向，取得了良好的效果。

但由于視頻中噪聲、光照變化、目標尺度變化、復雜背景以及遮擋等問題的存在，當前仍沒有一個算法能夠完全滿足任何條件下魯棒性和實時性的要求。有的算法能夠進行快速的實時跟蹤，可能跟蹤的準確度就會很差。有的算法能夠對目標進行準確跟蹤，卻可能需要長時間處理，無法達到實時性要求。有的算法能夠有效克服光照變化的影響，卻無法抵抗遮擋的問題。因此，對于當前先進跟蹤算法的性能評估就成為一個十分必要的工作，分析比較各個算法的優勢和劣勢對下一步的研究工作有著非常重要的意義。

本文綜合計算機視覺數據集，從光照變化、尺度變化、背景復雜和遮擋4個方面進行分類，每個方面選取了10個視頻序列進行測試，對STRUCK[1]、TLD[2]、CT[3]和KCF[4]算法設計了統一的接口，從準確度和速度方面進行評估，并對評估結果進行分析，為算法改進研究提供參考價值。

1 相關工作

視頻目標跟蹤是根據目標的表觀特征信息和目標運動模型，在視頻序列中估計目標的位置和范圍。迄今為止，基于分類的視頻目標跟蹤算法因其魯棒性取得了良好的效果，許多學者都提出了相關算法。視頻目標跟蹤一般包含兩大方面的內容：表觀特征描述和跟蹤算法。

視頻目標具有細節豐富的表觀信息，需要通過相應的目標表觀特征描述方法將其中的相對穩定的統計特性或某些不變特性提取出來，以此對目標和背景進行區分。原始圖像特征直接將目標區域的原始圖像信息[5]或經簡單處理得到的底層圖像特征作為對目標的描述[6]。通常選取的特征有灰度、顏色和梯度等。該類特征提取簡單、快速，但對目標特征的挖掘程度低，適應力較差。直方圖特征[7]，通過統計目標區域內某種特征在每個像素位置上出現的頻次，并進行歸一化，構成該目標區域對應特征的概率密度函數。直方圖有效描述了特征的統計特性，對于非剛體形變具有較好的魯棒性，但對于光照變化和背景雜波有一定欠缺。稀疏表示理論[8]，通過超完備字典將目標映射為稀疏向量，作為表觀描述特征，計算量小，但有一定的隨機性，不能保證最優。

為了估計目標的位置和范圍，需要選擇合適的跟蹤算法對目標進行跟蹤。學者們提出了許多跟蹤算法，文獻[9-11]基于貝葉斯理論，對目標位置直接進行預測。文獻[12-14]對均值漂移的方法進行了改進。文獻[15-18]提出了基于分類的跟蹤算法，將目標和背景都作為樣本進行訓練，通過分類器對目標和背景進行區分。

2 跟蹤算法和數據集的選擇

為了保證評估的公平性，所選的數據集帶有目標的真實信息，測試的跟蹤算法以及其中特定的參數都是由作者本人公開發表的。

2.1 數據集的選取

對視頻目標跟蹤算法的性能進行評估，首先要選取合適的數據集。計算機視覺方面有許多經典的數據集可供選擇，其中都包含目標的真實包圍盒信息，比如VIVID、CAVIAR等。本文根據算法評估需要，選擇合適的數據集進行實驗，并將數據分為以下4類：光照變化、尺度變化、遮擋和復雜背景。測試數據集如圖 1所示。其中，選取各個數據集中第1幀視頻作為代表，矩形框為目標，第1、2、3、4行分別為光照變化類數據集、尺度變化類數據集、遮擋類數據集、復雜背景類數據集。

圖1 測試數據集

2.2 跟蹤算法的選取

在基于分類的視頻目標跟蹤算法中，STRUCK、TLD、CT和KCF算法在速度和準確度方面分別有著獨特的表現，是當前最為先進的視頻目標跟蹤算法的代表。STRUCK提取目標區域Haar特征，引入核函數，采用非線性的SVM分類器。TLD將整個跟蹤過程分為跟蹤器、學習器和檢測器3個獨立的部分，通過檢測器和跟蹤器聯合輸出目標，學習器對跟蹤器和檢測器進行監督。其中，檢測器通過提取目標的梯度和LBP特征，跟蹤器采用前后光流法。CT引入壓縮感知技術，對多尺度的樣本空間進行降維，對目標提取Haar-like特征，選用貝葉斯模型分類器。KCF對目標提取HOG特征和LAB特征，變換到傅里葉域處理，引入核函數，采用嶺回歸分類器對目標進行跟蹤。

3 評估標準

視頻目標跟蹤算法必須滿足魯棒性和實時性才能保證系統的追蹤性能。本文采取目標包圍盒的形式來表示目標，對視頻目標跟蹤進行定量分析，從準確度和速度2個方面對STRUCK、CT、TLD和KCF算法進行評估。

3.1 準確度評估標準

3.2 速度評估標準

每種跟蹤算法對視頻的跟蹤速度是一個非常重要的標準，本文以跟蹤算法每秒處理幀數(FPS)為跟蹤速度的評估標準。

4 評估結果及分析

光照變化測試數據集包含10組視頻序列，共計10 066幀；尺度變化測試數據集包含10組視頻序列，共計11 037幀；遮擋測試數據集包含10組視頻序列，共計19 283幀；復雜背景測試數據集包含10組視頻序列，共計17 288幀。算法運行環境為IntelCorei7-3770，CPU3.40GHz，RAM3.47GB的PC機。

4.1 實驗結果

圖2 實驗結果

4.2 速度評估結果及分析

針對4組不同類別的數據集，本文記錄了每個算法對每個數據集處理的平均速度，以此為標準繪制成折線圖，結果如圖3所示。

由圖3可以看出，跟蹤速度與數據集的類別沒有太大關系，在4組類別的數據集中，CT和KCF都具有非常高的跟蹤速率，平均可達100fps左右，而TLD和STRUCK跟蹤速率不佳，平均只有20fps左右。CT運用了壓縮感知理論，將正負樣本進行尺度變換，對樣本量進行擴充，然后將這個多尺度的樣本空間的樣本通過稀疏矩陣投影到低維空間中，降低了計算量。KCF引入循環矩陣對樣本進行稠密采樣，將時域的卷積運算變換到頻域進行乘積運算，從而實現快速采樣和快速檢測，大大提高了跟蹤速度。

圖3 速度評估結果

4.3 準確度評估結果及分析

針對4組不同類別的數據，為了消除單個數據的偶然性，本文記錄了每組數據集中的跟蹤成功率，并繪制成柱狀圖進行表示，結果如圖 4所示。

圖4 準確度評估結果

由圖4可以看出，在任何類別的數據集中KCF的準確度最高。在光照變化、遮擋和復雜背景數據集中，STRUCK的表現僅次于KCF，而在尺度變化中，TLD的表現較好，CT的整體表現較差。

KCF通過對目標進行HOG特征進行提取，并結合LAB特征，同時加入核函數的嶺回歸分類器分類性能較強，具有與SVM相當的效果，能夠對目標進行有效標記，提高了算法的魯棒性。STRUCK在跟蹤過程中，采用的是比較精確的非線性SVM分類器，對準確率有了一定的提高，但并沒有針對目標的尺度變化采取任何措施。TLD通過獨立的檢測、學習和跟蹤模塊，具有一定的魯棒性，但由于其是對目標原始像素進行操作，同時采用比較脆弱的光流法跟蹤算法，影響了器跟蹤的精度。CT將樣本空間經過稀疏矩陣變換到低維空間，具有一定的隨機性，影響了器跟蹤精度。

綜上所述，KCF在跟蹤速度和準確度方面都有著非常優異的表現。STRUCK和TLD具有一定魯棒性，但其跟蹤速度過慢。CT有著非常高的跟蹤速度，但其跟蹤準確度不高。分類器的選擇對跟蹤算法的魯棒性有著直接關系，強分類器(KCF,STRUCK)能夠有效區分背景和目標，能夠提高跟蹤效果。在速度方面，稀疏表示(CT)的特征描述方法能夠顯著提高跟蹤速度，但其穩定性需要進一步探究。循環矩陣與快速傅里葉變換(KCF)是一個很好的結合方式，能夠大大提高跟蹤的速度。

5 結束語

本文采用試驗驗證的方式對基于分類的視頻目標跟蹤算法進行了分析研究，并針對其中4種表現最優的目標跟蹤算法進行定量評估。評估結果表明，單一的圖像特征無法滿足所有視頻的需求，采取多特征描述會增加算法的魯棒性，改善跟蹤的漂移問題。同時，基于分類視頻目標跟蹤中，分類器的強弱與算法的魯棒性有著很大的關系。因此，選擇合適的圖像特征和分類器，能夠在一定程度上提高跟蹤算法的魯棒性。

[1]HARES,SAFFARIA,TORRP.Struck:StructuredOutputTrackingwithKernels[C]∥IEEEInternationalConferenceonComputerVision,2011:263-270.

[2]KALALZ,MIKOLAJCZYKK,MATASJ.Tracking-learning-detection[J].IEEETransactiongsonPatternAnalysisAndMachineIntelligence,2012,34(7):1 409-1 422.

[3]ZHANGK,ZHANGL,YANGMH.Real-timeCompressiveTracking[C]∥EuropeanConferenceonComputerVision,2012:866-879.

[4]HENRIQUESJF,CASEIROR,MARTINSP,etal.High-SpeedTrackingwithKernelizedCorrelationFilters[J].IEEETransactiongsonPatternAnalysisandMachineIntelligence,2015,37(3):583-596.

[5]ORONS,BAR-HILLELA,LEVID,etal.LocallyOrderlessTracking[C]∥IEEEConferenceonComputerVisionandPatternRecognition,2012:1 940-1 947.

[6]KWONJ,LEEKM.TrackingbySamplingTrackers[C]∥IEEEInternationalConferenceonComputerVision,2011:1 195-1 202.

[7]GODECM,ROTHPM,BISCHOFH.Hough-basedTrackingofNon-rigidObjects[J].ComputerVisionandImageUnderstanding,2013,117(10):1 245-1 256.

[8]JIAX,LUH,YANGMH.VisualTrackingviaAdaptiveStructuralLocalSparseAppearanceModel[C]∥IEEEConferenceonComputerVisionandPatternRecognition,2012:1 822-1 829.

[9] 張洪建.基于有限集統計學的多目標跟蹤算法研究[D].上海:上海交通大學,2009.

[10] 宋驪平.被動多傳感器目標跟蹤方法研究[D].西安:西安電子科技大學,2008.

[11] 楊柏勝.被動多傳感器探測目標跟蹤技術研究[D].西安:西安電子科技大學,2008.

[12] NING J,ZHANG L,ZHANG D,et al.Scale and Orientation Adaptive Mean Shift Tracking[J].IET Computer Vision,2012,6(1):52-61.

[13] BEYANC,TEMIZEL A.Adaptive Mean-shift for Automated Multi Object Tracking[J].IET Computer Vision,2012,6(1):1-12.

[14] MAZINANA H,AMIR-LATIFI A.Improvement of Mean Shift Tracking Performance Using a Convex Kernel Function and Extracting Motion Information[J].Computers & Electrical Engineering,2012,38(6):1 595-1 615.

[15] GRABNERH,GRABNER M,BISCHOF H.Real-Time Tracking via On-line Boosting[C]∥The British Machine Vision Conference,2006:47-56.

[16] ROSS D,LIM J,LIN R S,et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision,2008 77(1):125-141.

[17] BABENKO B,YANG M H,BELONGIE S.Visual Tracking with Online Multiple Instance Learning[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2009:983-990.

[18] MEI X ,LING H R.Visual Tracking Using L1 Minimization[C]∥IEEE International Conference on Computer Vision,2009:1 436-1 443.

[19] EVERINGHAM M,GOOL L J V,WILLIAMS C K I,et al.The Pascal Visual Object Classes VOC Challenge[J].International Journal of Computer Vision,2010,88(2):303-338.

梁 碩 男,(1991—)，碩士研究生。主要研究方向：視頻圖像處理。

陳金勇 男，( 1970—) ，研究員，博士生導師。主要研究方向:航天地面應用、電子信息系統。

A Survey of Video Object Tracking Algorithms Based on Classification

LIANG Shuo，CHEN Jin-yong，WU Jin-liang

(The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

For the problem of speed and accuracy in the video object tracking,the appearance model and tracking algorithm for the video object tracking are introduced in this paper,and the video object tracking algorithm based on classification is analyzed.Quantitative experiment is carried out to evaluate the speed and accuracy of four state-of-art tracking methods based on classification from illumination variation,scale variation,occlusion and background clutters.By analyzing the advantages and disadvantages of the approaches,a reference is built for the proposal of new methods.

object detection;classification learning;object tracking;evaluation algorithm

10.3969/j.issn.1003-3106.2017.01.05

梁 碩,陳金勇,吳金亮.基于分類的視頻目標跟蹤算法研究[J].無線電工程,2017,47(1):19-22,66.

2016-11-14

海洋公益性科研專項基金資助項目(201505002)。

TP391.4

A

1003-3106(2017)01-0019-04