多特征融合與尺度自適應核相關濾波跟蹤算法?

馮 漢 王永雄 張孫杰

（上海理工大學光電信息與計算機工程學院 上海 200093）

1 引言

近幾年相關濾波（Correlation Filter，CF）在目標跟蹤領域取得很大的進展。David S Bolme等率先提出了誤差最小平方和濾波器（Minimum Output Sum of Squared Error，MOSSE）［1］，首次將相關濾波用在目標跟蹤上，極大提高了跟蹤速度。Jo?o F.Henriques等通過引入循環移位矩陣和核技巧（Circulant Structure of Tracking-by-Detection with Kernel，CSK）［2］可以在基本不損失計算速度的基礎上極大地擴充訓練樣本，在后續工作中提出了核相關濾波器（High-Speed Tracking with Kernelized Correlation Filters，KCF）［3］，在 CSK 的基礎上利用 Pedro等提出的快速梯度直方圖特征（Fast Histogram of Oriented Gradient，FHOG）［4］提高跟蹤精度。Martin Danelljan［5］等在 Van De Weijer提出的顏色屬性特征（Color Name，CN）［6］基礎上提出顏色自適應的思想，選取最有鑒別力的顏色特征進行跟蹤。針對目標前后運動造成的尺度變化問題，M Danelljan等首次提出了平移濾波加尺度濾波的思想（Discriminatiive Scale Space Tracker，DSST）［8］，兩個濾波器單獨訓練、局部優化，能精確估計目標尺度。深度學習在目標跟蹤領域也取得越來越重的地位，Valmadre［15］等結合相關濾波和end-to-end方式在CNN中訓練，能達到很好的跟蹤效果。

為了提高跟蹤算法的魯棒性，本文在傳統KCF的框架上融合了FHOG特征和CN特征作為平移濾波器獲取目標的平移位置，并利用PCA獲得最有鑒別力特征，實現顏色自適應以減少計算時間。同時采用平移濾波加尺度濾波的思想，增加一個33尺度的尺度濾波器精確估計目標的尺度變化。在標準數據集［17］進行了對比實驗，實驗數據表明本文算法與近幾年經典的跟蹤算法比較，在外觀變形、尺度變化、光照變化、背景相似干擾等情況下平均性能均優于對比方法，且能滿足實時性。

2 基于核相關濾波的平移濾波器

2.1 核相關平移濾波器模型

傳統核相關濾波跟蹤模型的建立是通過求解期望輸出與實際輸出響應的最小均方誤差，找出合適的濾波器w。假設一共有n個訓練樣本響應函數 f(z)=wTz，期望輸出與實際響應輸出的最小均方誤差如式（1）所示:

式（1）λt為正則項系數，防止過擬合。式（1）中濾波器w的解為

式（2）I為單位矩陣，上標T代表轉置操作。式（2）求逆操作需要很大，利用復頻域的相關性質能減少求逆計算量，式（2）在復頻域的表達式為

XH為 X的Hermitian變換即 XH=(X*)T，X*為 X的復共軛，在實數域式（2）和式（3）等價。

2.2 循環移位及頻域優化

通過循環移位操作可以極大增加訓練樣本集，提高濾波器的魯棒性，類似于信號的基波與諧波，通過投影到復頻域并利用相關性質［10］可以進行快速求解。循環移位矩陣在傅里葉空間對角化的形式如下:

式（4）V為循環移位矩陣，v為基向量，F是傅里葉變換矩陣，上標∧代表傅里葉變換，上標H代表共軛裝置。如果訓練樣本X由基樣本x循環移位生成，則結合式（3）和式（4）求得:

式（5）∧運算符代表傅里葉變換，⊙運算符代表點乘，*運算符代表復共軛。

2.3 核技巧及模板更新

式（5）給出了線性可分情況下的解析解，定義核函數κ將輸入x映射到高維空間φ(x)可以解決線性不可分情況，濾波器w可以用φ(x)的線性組表示。此時響應函數 f(z)=wTz在高維空間的表達形式為核函κ 的表達形式為 κ(x，x′)= φ(x)，φ(x′) ，， 為點乘運算符，所以響應函數 f(z)的核變換形式為

通過式（6）求得式（1）的核形式解為

式（7）K 為 n×n的核矩陣，表達式為 Kij=κ(xi，xj)，當K是一個循環移位矩陣時結合式（4）可得式（7）快速解形式為

式（8）∧運算符代表傅里葉變換，kxx′表示為核矩陣K的第一行。

通過定義Kz為訓練樣本x和候選區域z的核相關循環移位矩陣，Kxz為Kz的第一行，式（6）可以表示為 f(z)=(Kz)Ta，結合式（4）可得輸出響應為

式（9）∧運算符代表傅里葉變換，⊙運算符代表點乘。為了減少計算量本文采用如下更新策略:

式（10）xt為當前第t幀訓練樣本，xt-1為上一幀第t-1幀訓練樣本，at為當前幀權重系數，at-1為上一幀權重系數數，ηt為模板更新速率。

3 多特征融合與降維

傳統的KCF算法利用FHOG特征能較好地體現目標輪廓信息。由于目標在運動過程中容易發生形變和部分遮擋等情況，在嚴重情況下如果只用FHOG特征容易跟丟目標，由于顏色特征對于上述情況有較好的適應性，所以本文融合FHOG特征和CN特征，CN特征通過把RGB特征映射為黑、藍、棕、灰、綠、橙、粉、紫、白、紅和黃共11種屬性，使顏色特征更具有區分度。融合31維FHOG特征和11維CN特征會增加計算量，導致跟蹤速度降低。為了達到更好的實時性，本文利用文獻［5］提出顏色自適應的思想，把11維CN特征降為2維，自動選擇最顯著的兩維CN特征，在不損失特征重要信息的基礎上提高跟蹤速度。通過最小化損失函數獲得合適的維度降低映射以獲取最有鑒別力的顏色特征，該損失函數的形式如下:

式（12）xp為當前幀特征，Bp是由標準正交向量組成的D1×D2維投影矩陣，分別代表當前幀特征維數和降維后的維數。為第 j幀的平滑項，定義如下:

j對應的特征值。通過數據項（12）和平滑項（13）可知損失函數（11）只有在BP=I時才能最小化。Bp由矩陣特征值分解（EVD）得到的前D2個最大特征值對應特征向量組成，Cp為 xp的協方差矩陣，Λj為D1×D2維的對角矩陣，其值由λ(jk)組成。

上式推導得到一個合適的投影矩陣Bp，通過線性映射 xp(m，n)=BpTxp(m，n)，?m，n 就可以得到新的D2維特征圖。

4 尺度自適應濾波器

通過前兩節計算得到了一個融合多特征的平移濾波器，能夠很好解決目標跟蹤過程中的外觀變形、部分遮擋等情況。但是在實際運動過程中，目標相對相機的前后運動會造成尺度較大幅度的變化，如果濾波器模板尺度不變就會導致該濾波器不能學習到合適比例的前景和背景信息從而導致跟蹤效果不佳。

針對以上問題，本文利用平移加尺度濾波的思想，單獨訓練一個33尺度的一維濾波器，采用局部優化，單獨訓練的方式使得該濾波器更加靈活。

4.1 尺度濾波器模型

尺度濾波器模型的建立通過最小化尺度濾波器h與訓練樣本 f的相關運算結果，然后計算與期望輸出g之間的最小均方誤差，最后計算出最優的尺度濾波器h，如下式所示:

式（15）大寫字母代表式（14）中其對應小寫字母對應的傅里葉變換，*為復共軛運算符。為了減少計算量通過模板更新策略獲取近似的濾波模板:

式（17）中Z為當前幀目標區域z的傅里葉變換，上標l代表第l維特征圖，?-1運算符代表傅里葉逆變換。

4.2 尺度輸出

式（18）給出了一維尺度濾波器的響應輸出表達式，通過計算 y最大值所在的位置n，，S為尺度總個數。則當前幀目標尺度為anP×anR，a代表尺度因子，P×R表示前一幀目標的寬和高。由于尺度系數an是指數函數為非線性函數，即可實現對較大目標進行粗略檢測，對較小目標進行細致檢測的效果。

5 實驗結果與分析

為了有效評估本文算法的性能，選取了近幾年經典的四種算法做對比試驗，包括代表經典相關濾波的CSK算法；以FHOG特征為代表的KCF算法；以顏色特征為代表的CN算法；以尺度變換為代表的DSST算法。本實驗采用的數據集為VOT2014數據集，該數據集共有50段視頻序列，包含了尺度變化、背景相似干擾、快速運動、運動模糊、光照變化等常見的跟蹤干擾問題，能夠比較全面反映算法性能。同時為了兼顧每個算法的獨特性質，所以選取的視頻序列最大限度保證對每個算法的公平性。

5.1 實驗環境及參數設置

本實驗的硬件平臺為Inter（R）Core（TM）i7 2.90GHz處理器，8GB內存，軟件平臺為Matlab R2015a。本文二維高斯形狀輸出和二維高斯核函數以及一維高斯形狀輸出的標準差σ=0.5。FHOG特征細胞大小為4，梯度直方圖方向個數為9。第一節正則化系數λt=0.0001，模板更新速率ηt=0.02，第三節正則化系數λs=0.01，模板更新速率ηs=0.025。第三節尺度因子α=1.02，尺度數量S=33。第二節期望輸出y選用二維高斯形狀輸出，核函數κ選用二維高斯核函數。

本實驗采用視覺跟蹤中最常用的三種評估方法來評估各算法性能:中心位置誤差法（Center Location Error，CLE），距離精度法（Distance Precision，DP）和重疊精度法（Overlap Precision，OP）。CLE評價方法即計算目標預測位置(xp，yp)和真實位置(xr，yr)的平均歐式距離N為樣本的幀數。DP評價方法即計算CLE數據中小于一定閾值的幀數占總幀數的百分比，本實驗取該閾值為20像素。OP評價方法即計算目標預測位置及大小與實際位置及大小的重疊率大于一定閾值的幀數占總幀數的百分比，該閾值一般選取PASCAL［14］的評價標準為0.5。

5.2 定性分析

為了直觀各算法性能差異，選取了實驗集中6類具有代表性的視頻序列做定性分析。每個視頻序列特性如表1所示，同時展示其中3個視頻序列每個序列的3幀圖片顯示各算法跟蹤結果，實驗結果如圖1所示，圖1不同顏色框代表不同算法的跟蹤結果。

表1 視頻特性

圖1 定性分析圖

5.3 定量分析

通過5.2節定性分析，能直觀對比本文算法與對比算法結果，接下來通過定量分析觀察各個算法之間性能差異。表2數據給出了表1視頻序列中的CLE、DP和OP在20個像素閾值下的數據。表中加粗部分為最優數據，通過觀察各性能指標的均值參數可知本文算法在三個性能指標上均取得最優效果，CLE，DP，OP值分別為 7.38/像素，95.53%和85.5。

表2 定量分析

5.4 全面對比

為了直觀顯示各算法綜合性能，前兩節只提取了6個典型特性視頻序列做對比分析。為了不失客觀性，實驗選取符合各算法特性共26個視頻序列作全面對比實驗。同樣采用5.1節提到的三種性能指標評估算法性能。由于對比視頻序列較多，如果僅用均值指標來評估各算法性能會受到極端數值影響，所以增加中值指標來反映各算法的性能差異，可以避免極端數值的影響。具體數據如表3、表4所示。從表3、表4數據可以看出本文算法性能和對比算法比較能取得較好效果。

表3 均值指標

表4 中指指標

5.5 速度對比

上幾小節主要分析各算法跟蹤精度，可知本文算法的跟蹤精度是最高的。接下來實驗對比各算法跟蹤速度，實驗得出表1所示6個視頻序列跟蹤速度，并取它們的平均值作為最終跟蹤速度，具體數據如表5所示。從表5數據可知本文算法跟蹤速度達到29fps，可以滿足跟蹤的實時性。

表5 跟蹤速度

6 結語

本文提出的多特征融合與尺度濾波器算法，在傳統KCF算法基礎上，融合了FHOG特征和降維后的CN特征，能更加全面地反映目標信息。同時借鑒了DSST算法提出的尺度劃分思想單獨訓練一個33尺度濾波器，在取得目標平移位置后，通過尺度濾波器來精確估計目標的尺度大小。通過對比試驗可以看出本文算法平均性能均優于對比算法。雖然本文算法與對比算法比較能取得較好跟蹤效果，但是在引入多特征和尺度濾波器的時候同時也降低了跟蹤速度。由于本文算法并未改進模板更新策略，所以在針對目標大幅度形變，大面積遮擋和快速運動模糊的情況下同對比算法一樣跟蹤結果仍然不盡人意，還需要大量的研究工作完善該算法。