基于金字塔特征的核相關濾波跟蹤算法

王春平,王 暐,李 軍,喬自紅

(1.解放軍軍械工程學院，河北 石家莊 050003；2.解放軍63813部隊，海南 文昌 571339； 3.解放軍63612部隊，甘肅 敦煌 736200)

基于金字塔特征的核相關濾波跟蹤算法

王春平1,王 暐1,李 軍2,喬自紅3

(1.解放軍軍械工程學院，河北 石家莊 050003；2.解放軍63813部隊，海南 文昌 571339； 3.解放軍63612部隊，甘肅 敦煌 736200)

針對核相關濾波跟蹤算法(Kernelized Correlation Filter tracking, KCF)對特征表達敏感的問題，提出了基于金字塔特征的KCF跟蹤算法。該算法通過實驗分析發現不同空間尺度上的HOG特征具有不同的目標-背景判別力和定位能力。基于該觀測，融合多個尺度上的HOG特征提出了一種金字塔HOG特征，并將該金字塔特征應用于多通道的KCF跟蹤框架。實驗分析表明，該金字塔特征有效提高了KCF在多達50個視頻序列上的跟蹤性能。相比于原始KCF算法，所提算法在跟蹤精度和成功率典型值上的性能提升分別為5%和4.6%。

視覺跟蹤；核相關濾波跟蹤；金字塔特征；HOG特征

0 引言

視覺跟蹤是計算機視覺的一個基礎性研究方向，在人機交互、監控、增強現實等場景中有著廣泛的應用[1]。近十幾年來，視覺跟蹤的研究取得了長足的發展，涌現出許多優秀的算法[1-4]。其中，JOAO等[5-6]提出了一種核相關濾波跟蹤算法，該算法能夠應對跟蹤中的光照變化、背景干擾、遮擋等挑戰，同時具有很高的處理速度。由于其優異的性能，KCF已成為近兩年視覺跟蹤中的研究熱點。文獻[7—9]從特征表達的角度對KCF進行改進，分別采用角度梯度直方圖[10]特征(Histogram of Oriented Gradient, HOG)、顏色特征、分層深度特征等代替灰度特征[6]，均使KCF的跟蹤性能有了大幅提升，也表明KCF對特征的選取非常敏感。文獻[11]也指出特征提取是決定跟蹤算法性能的關鍵，選取目標-背景判別力強的特征能夠有效提高算法的跟蹤性能。

HOG特征[10]在人體檢測、圖像分類、跟蹤等應用中取得了成功。但其空間尺度參數由人工設定，無法處理跟蹤所面臨的多種場景，使得采用HOG特征的原始KCF算法的魯棒性較差。本文針對該問題，提出了基于金字塔特征的KCF跟蹤算法(Pyramid Feature Based KCF Tracking，PKT)。

1 KCF跟蹤

KCF的每一幀跟蹤分為訓練和檢測兩個階段。在訓練階段，采樣目標及其背景區域作為基本樣本，區域大小為M×N。在行、列方向上對基本樣本進行循環位移得到M×N-1個虛擬樣本，記為xi，i=0,1,…,M×N-1，并采用高斯函數yi標記。文獻[5—6]采用嶺回歸和核戲[12]訓練濾波器。

(1)

其中，αi為核空間的濾波器組合系數，用α表示所有αi的集合，κ(·)稱為核函數。α的解析解在傅里葉域的快速求法為[5]：

(2)

變量的上標“^”表示變量在傅里葉域的對應值。kx0x0為核矩陣K的第一行，保存x0與x0的所有循環轉移樣本的核函數值，大小為MN。Y為所有標簽組成的集合，λ為規則化系數。

當新的一幀圖像到來時，首先進行目標檢測，提取以上幀目標位置為中心的圖像塊z，有[5]

(3)

得到的f(z)為與z等大小的濾波響應圖，響應圖的最大值點即對應目標在當前幀中的中心位置。

(α,x0)為濾波器模型。根據檢測的目標位置，在當前幀訓練新的濾波器模型，然后對之前的濾波器模型進行更新，進入下一幀的跟蹤。具體細節請參考文獻[5]。

2 基于金字塔特征的KCF跟蹤算法

本節首先分析了HOG特征在不同尺度空間下的特點，基于此設計了金字塔特征(PHOG)，并給出PHOG的具體提取步驟。然后，提出了基于該金字塔特征的KCF跟蹤算法(PKT)。

2.1 空間金字塔特征

HOG特征提取和統計每個cell(一小塊圖像區域，如4×4像素大小)的梯度信息作為圖像特征，每個cell的特征為31維[10]。通過提取cell的梯度分布，HOG特征能夠有效表達圖像的局部結構。但HOG特征無法提取視覺目標在不同級別(level)空間尺度(對應于不同的cell大小)上的表達。本文通過實驗得到如下兩個觀測：1)HOG在不同尺度下的目標-背景判別力是不同的。從圖1可以看出，在精細的尺度空間(level-1)下，HOG特征的定位精度更高，在粗糙的尺度空間(level-3)下，HOG特征更易于從背景中判別出目標。2)將HOG具有足夠的目標-背景判別力，且盡可能精細的空間尺度定義為最佳尺度，則對于不同圖像，最佳HOG尺度是不同的。觀測圖1可知三幅圖像(從上到下)的最佳HOG尺度分別為level-2、level-3、level-1。

為滿足跟蹤的精度要求，需要采用低層的HOG特征；而魯棒的跟蹤，即保證跟蹤算法能夠應用于多數情況且抵抗背景干擾，需要采用高層的HOG特征。將不同尺度上的HOG特征進行融合，能夠滿足上述兩個要求。因此，本文提出組合多級空間尺度中的HOG特征，構建HOG金字塔(PHOG)特征用于視覺跟蹤。PHOG的提取如圖2所示，包括：1)求圖像梯度；2)將梯度圖按不同大小的cell進行劃分，求各尺度下的HOG特征，構成金字塔HOG特征；3)將所有層的特征縮放為與最底層等大小，縮放采用雙線性插值，然后連接每層特征便得到了PHOG特征。

2.2PKT

本文用PHOG代替KCF中的HOG特征，提出基于金字塔特征的KCF跟蹤算法(PKT)。PKT的流程圖和基本步驟分別如圖3和算法1所示。

算法1：基于金字塔特征的KCF跟蹤

初始化：第一幀中目標狀態及M，N

fort= 1 toT(T為序列的總幀數)

檢測

ift>1 then

步驟1：根據目標狀態，采樣圖像塊，并采用PHOG特征表達圖像；

步驟2：求圖像塊對應的響應圖(式(3))；

步驟3：求當前幀的目標狀態；

end

訓練/更新

步驟4：根據檢測結果訓練濾波器系數(式(2))；

步驟5：采用線性插值對總濾波器模型進行更新

end

end

3 實驗

為評估所提算法的性能，在CVPR2013跟蹤測評集上進行了綜合測評。由于顏色特征與HOG特征互補，本文實現了采用PHOG+CN(Color Name，一種顏色特征)與HOG+CN特征的兩個KCF算法，分別記為PTK-CN和KCF-CN。

實驗中，PHOG設置為兩層，cell尺寸分別為4×4和8×8，HOG特征采用PEDRO等[10]改進的版本，直方圖量化數為9。本文的實驗平臺為配置2.6 GHz i5處理器、4 GB內存、6核心的普通電腦，仿真環境為Matlab 2011b，所提算法的跟蹤速度達到了35幀/s(Frame per Second, FPS)。

3.1 CVPR2013 測評集及測評準則

CVPR2013視覺跟蹤測評集[1]包含50個完整標注的視頻序列，涵蓋了視覺跟蹤面臨的主要挑戰性場景，即光照變化、尺度變化、遮擋、變形、運動模糊、快速運動、平面內旋轉、平面外旋轉、目標超出視場、背景干擾和低分辨率。近年來多數跟蹤算法以該測評集為基準進行實驗和測評。

CVPR2013測評集從跟蹤的距離精度和重疊率出發，提出了兩個測評準則：精度曲線和成功率曲線。某一圖像幀中，跟蹤算法的跟蹤框與標注的真實目標框的中心距離稱為距離精度，兩個框的重疊面積與總面積之比為重疊率。精度曲線的橫軸為給定的距精度離閾值，縱軸為跟蹤的距離精度大于給定閾值的圖像幀占所有圖像幀的比例。通常取閾值為20個像素時的精度曲線值為典型值Pre-20。成功率曲線的橫軸為給定的重疊率閾值，當跟蹤的重疊率大于給定閾值時認為該幀跟蹤成功。成功率曲線的縱軸為跟蹤成功的幀占所有圖像幀的比例，取閾值為50%時的值為典型值Suc-50。本文算法采用上述兩個準則進行對比測評。

3.2 定量分析

在CVPR2013測評集上對所提算法進行了定量的性能測評。測評算法包括表1所列的6種采用不同特征的KCF算法，以及另外三種在該測評集上表現優異的跟蹤算法：Struck[2]、CXT[3]、MIL[4]。圖4和表1為測評結果，可見采用了HOG特征的KCF算法，即PKT-CN、KCF-CN、PKT、KCF較其它5種算法有明顯優勢，相比于Struck算法，性能最優的PKT-CN在Pre-20和Suc-50上分別提高了11%(0.843 vs 0.733)和9.5%(0.738 vs 0.643)。

表1 6種采用不同特征的KCF跟蹤算法性能對此

從表1可見，PHOG特征能有效提高跟蹤性能。所提PKT的Pre-20和Suc-50值不僅優于KCF，也高于采用了HOG+CN特征的KCF-CN。相比于KCF， PKT-CN在Pre-20和Suc-50上分別提高了5%(0.843 vs 0.793)和4.6%(0.738 vs 0.692)。

3.3 定性分析

為進一步驗證PHOG特征的有效性，圖5給出了PKT-CN、KCF-CN、PKT、KCF 4種算法對測評集中幾個典型序列的跟蹤結果。圖中序列分別(從上至下)為：Freeman4, Shaking, Tiger1, Liquor。Freeman4為黑白序列，PKT和KCF的結果分別與PKT-CN和KCF-CN相同。在第51幀時，背景變得雜亂，采用單層HOG的KCF-CN無法繼續跟蹤，而PKT-CN能夠從雜亂背景中判別目標，實現了穩定的跟蹤。Shaking序列同樣存在背景雜亂的問題，而且顏色特征對跟蹤有所干擾，導致KCF-CN 跟蹤失敗，而采用了PHOG特征的PKT-CN能夠抵消顏色特征的影響，保持了與原有KCF相同的跟蹤穩定性。

Tiger1序列中，玩具被前景植物干擾和遮擋，KCF和KCF-CN分別在112幀和145幀丟失目標，而所提PKT和PKT-CN始終跟蹤目標，驗證了PHOG特征較強的目標-背景判別力。Liquor序列中，存在與目標表觀類似的干擾物體，由于沒有采用顏色信息，KCF在第740幀開始跟蹤干擾物體，跟蹤失敗。第779幀時干擾物體對目標進行了長時間的遮擋，導致KCF-CN也丟失目標，而所提PKT和PKT-CN(圖中兩個算法的跟蹤框重合)保持了穩定的跟蹤。特別是PKT在沒有采用顏色信息的情況也未被類似物體所干擾，進一步驗證了所提PHOG特征的有效性。

4 結論

本文提出了基于金字塔特征的KCF跟蹤算法。該算法從特征表達的角度出發，發現不同空間尺度上的HOG特征具有不同的目標-背景判別力和定位能力，因此提出了一種金字塔HOG特征，并將該金字塔特征應用于多通道的KCF跟蹤框架。實驗分析表明，該金字塔特征有效提高了KCF在多達50個視頻序列上的跟蹤性能。相比于原始KCF算法，所提算法在跟蹤精度和成功率典型值上的性能提升分別為5%和4.6%。

[1]WU Yi, LIM Jongwoo, YANG M H. Online object tracking: A benchmark[C]//IEEE Conference on Computer Vision and Pattern Recognition. Portland, USA: IEEE, 2013: 1354-1362.

[2]SAM H, AMIR S, PHILIP H. Struck: Structured output tracking with kernels[C]//International Conference on Computer Vision. Barcelona, Spain: IEEE, 2011: 263-270.

[3]THANG B, NAM V, GERARD G M. Context tracker: Exploring supporters and distracters in unconstrained environments[C]//IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA: IEEE, 2011: 1177-1184.

[4]BORIS B, YANG M H, SERGE J B. Visual tracking with online multiple instance learning[C]//IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE, 2009: 983-990.

[5]JOAO Henriques, RUI Caseiro, PEDRO Martins, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2015, 32(9): 1627-1645.

[6]JOAO H, RUI C, PEDRO M, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision. Florence, Italy: IEEE, 2012: 702-715.

[7]BOMLE D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//IEEE Conference on Computer Vision and Pattern Recognition. San Francisco, USA: IEEE, 2010: 2544-2550.

[8]MARTIN D, FAHAD S K, MICHAEL F, et al. Adaptive color attributes for real-time visual tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA: IEEE, 2014: 1090-1097.

[9]MA C, HUANG J B, YANG X K, et al. Hierarchical Convolutional Features for Visual Tracking[C]//International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3038-3046.

[10]PEDRO Felzenszwalb, ROSS Girshick, DAVID McAllester, et al. Object Detection with Discriminatively Trained Part Based Models[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[11]WANF Naiyan, SHI J, YEUNG D, et al. Understanding and Diagnosing Visual Tracking Systems[C]//International Conference on Computer Vision. Santiago, Chile: IEEE, 2015: 3101-3109.

[12]ZHANG B, SHERIF M E. Fast solver for some computational imaging problems: A regularized weighted least-squares approach[J]. Digital Signal Processing, 2014, 27: 107-118.

Pyramid Feature Based Kernelized Correlation Filter Tracking Method

WANG Chunping1, WANG Wei1, LI Jun2, QIAO Zihong3

(1.Ordnance Engineering College, Shijiazhuang 050003, China; 2.The 63813 Unit of PLA, Wenchang 571339, China; 3.The 63612 Unit of PLA, Dunhuang 736200, China)

Recently, kernelized correlation filters (KCF) have been successfully applied in vision tracking. However, more effective features are appealing to KCF trackers. In this paper, we proposed a pyramid feature based KCF tracking method (PKT). The proposed method argued that the target-background discriminating and locating abilities of HOGs in different space scale were difference. A pyramid HOG feature (PHOG) was designed to achieve the both abilities. Then the proposed PHOG feature was applied to multi-channel KCF framework. Experimental results showed that the PHOG was effective for improving tracking performance which had been tested on 50 video sequences. Comparing with the original KCF, the proposed tracker had a significantly improvement of 5% in representative precision score and 4.6% representative success score.

vision tracking; Kernel correlation filter tracking; pyramid feature; HOG feature

2016-04-28

王春平(1965—)，男，陜西漢中人，教授、博士生導師，研究方向：火力控制理論與應用、計算機視覺。E-mail: wchp17@139.com。`

TP391

A

1008-1194(2017)01-0066-05