基于多特征融合的核相關濾波目標跟蹤算法

賈 亮，于昊充，王貴宇

（沈陽航空航天大學電子信息工程學院，沈陽 110136）

0 引言

在計算機視覺領域中，跟蹤是非常基礎且重要的技術之一，在軍事目標導航，視頻監控，無人機巡航，機器人感知等應用中發揮著重要的作用。近年來，隨著相關濾波的出現，使得魯棒性得到了顯著提升，矩形框由視頻的初始幀確定，再根據初始幀訓練跟蹤器，在下一幀圖像進行相關濾波計算，最大響應值點即為下一幀的目標位置，并用矩形框跟住目標，具備較高的運算速度。然而，并不能較好地應對如目標尺度變化，遮擋，快速運動，低分辨率，光照變化等復雜背景的問題。本文在傳統核相關濾波跟蹤（kernel correlation filter，KCF）算法的基礎上，通過對方向梯度直方圖（HOG）特征與顏色命名（CN）特征進行線性融合，將融合后的特征代替傳統KCF算法的單一特征，并且在更新階段引入平均峰值相關 能 量（average peak-to correlation energy,APCE）來判斷當前幀是否進行更新，從而解決在復雜背景下跟蹤失敗等問題，提高跟蹤性能。

1 核相關濾波跟蹤算法

KCF跟蹤算法通過建立循環矩陣，實現對目標的密集采樣。并且通過核函數的方式將線性空間中的回歸問題擴展到非線性空間，這樣就把低維空間不可分的情況擴展到高維空間之后變線性可分，使得核相關濾波更加具有魯棒性。

1.1 循環矩陣

在樣本采集的過程中，傳統的目標跟蹤算法通常采用的是稀疏采樣方式，這樣的采集方式會導致目標特征表達不完全，并且計算量也較大，運行速度較慢。KCF跟蹤算法是通過使用循環位移的方式對訓練樣本進行采樣，進而可實現對目標樣本的密集采樣。使用一個一維向量作為基本樣本=(,,…,x)，通過循環移位對基本樣本進行密集采樣：

根據循環矩陣在傅里葉域中可進行對角化的性質，可將循環矩陣簡化為：

1.2 線性回歸

KCF跟蹤算法的分類器使用了嶺回歸分類器，嶺回歸分類器可以快速地得到訓練目標的閉式解，并且在實際應用中，嶺回歸分類器擁有較高的性能水平，分類性能與SVM相近。通過采用嶺回歸找到一個回歸函數：

式（3）中：為樣本，為濾波器系數。

通過該函數計算樣本x與回歸目標y的平方誤差，并且使平方誤差最小化。該過程要使得誤差函數取最小值，即尋找最優的：

式（4）中：為濾波器系數，是正則化參數，用于抑制過擬合。y是樣本x的期望輸出。

對式（3）求導，使導數等于0求得，得到閉式解，寫成復數域的形式為：

式（5）中：是每個元素對應一個樣本的標簽的列向量，X為的共軛轉置。

將式（4）的循環矩陣進行對角化，并用對角化形式來化簡式（5）中的嶺回歸公式，可得：

用矩陣元素的點乘代替矩陣求逆的運算過程，可大幅提高訓練時的計算速度，并得到：

1.3 非線性回歸

KCF采用高斯核函數，其計算公式為：

在非線性問題的處理上，通過使用核函數把非線性問題從非線性空間轉換到線性空間，使在低維空間線性不可分到高維空間線性可分。濾波器表示為：

由此得出的最優解問題變為尋找對偶空間中的最優解。由高斯核可知：

使用核矩陣表示所有元素的點乘結果，其中K=(x,x)。所以可得：

引入核函數后得到嶺回歸的閉式解：

式（12）中：是核矩陣，是α的矢量。

若核矩陣為循環矩陣，可將式（11）化簡得到：

1.4 快速檢測

訓練樣本和待測樣本的核矩陣通過K表示，并且和均由循環移位獲得，故K也是循環矩陣，即定義為：

將其代入式（10）中得

將其進行傅里葉變換并進行對角化處理得：

當前幀中目標的所在位置即為響應()的峰值所在位置。

2 改進的核相關濾波跟蹤算法

2.1 算法的整體流程

本文在KCF算法基礎上進行了相關改進，算法的魯棒性有了明顯提高。改進后算法的流程如圖1所示。其步驟如下：

圖1 改進后的KCF算法流程

（1）特征提取階段分別計算HOG特征與CN特征，將HOG特征與CN特征進行線性融合；

（2）相關濾波階段使用新的特征進行計算，并計算當前幀的響應值；

（3）更新階段采用APCE更新準則，防止遮擋等干擾導致更新錯誤信息使得跟蹤失敗；

（4）通過確定目標區域與每一個像素的相似度，來確定這一幀的目標位置。

2.2 多特征融合

傳統的KCF跟蹤算法對目標特征的提取通常采用單一的目標特征，但使用單一的目標特征會導致跟蹤器在存在大量復雜背景的場景中跟蹤失敗，例如：HOG特征在目標背景具有較強的光照變化、目標與背景顏色相近等干擾情況下具有較強的穩定性，但是在快速運動、模糊背景等干擾下的適應性較差；CN特征在快速運動、低分辨率等情況下表現良好，但是對于顏色干擾表現較差。為了解決這一問題，本文將HOG特征與CN特征進行線性融合，因兩者可以相互彌補其缺點，所以本文算法采用這兩種特征進行線性融合來提高跟蹤精度，并將融合后的特征用于目標跟蹤。

HOG用于檢測目標的幾何特征。通過計算目標區域的梯度方向直方圖的方式來描述感興趣目標的特征，因HOG反映的是目標的外形輪廓，對目標的顏色變化不敏感，但是對于模糊背景以及遮擋等適應性較差。

CN是一種描述顏色語言的顏色標簽。CN特征能夠檢測目標的顏色，檢測的顏色信息為目標的重要特征信息，在快速運動、低幀數背景和光照變化等復雜背景下的敏感度很低，但是無法良好地應對顏色相似干擾。

本文算法多特征融合的具體步驟為：

（1）進行HOG特征與CN特征的特征提取；

（2）將HOG特征與CN特征進行線性融合，HOG特征的通道數為31，CN特征的通道數為10，融合后得到41個通道特征；

（3）通過對應像素相加的方式將41個通道特征進行相加，最終得到一個單通道的特征圖。

2.3 多峰值檢測更新機制

在目標跟蹤過程中，除了初始幀之外，每一次跟蹤器更新前增加一個多峰值檢測機制，在沒有出現干擾的情況下，響應的峰值都將出現單一峰值；如果出現遮擋等復雜背景的干擾，響應將不再是單峰值，而是會出現多峰值情況。如圖2所示。

圖2采集自OTB-100數據集中的Jogging序列，在第51幀時未出現遮擋，響應呈現單峰值；在第79幀出現了明顯的多峰值，這表明在此刻周圍環境出現了遮擋，跟蹤器計算了大量相似的背景信息，但無法正確尋找響應最大值，導致目標丟失，跟蹤失敗。

圖2 Jogging圖像序列的第51幀、第79幀的響應圖

在原有核相關濾波算法（KCF）基礎上加入APCE更新準則，并且只有在檢測的響應值存在唯一且明顯的單峰值時，才會對跟蹤器進行更新。若出現干擾等產生多峰值，會根據當前幀的APCE值和響應峰值的最大值()來判斷目標是否受到遮擋干擾。APCE更新準則如下：

式（17）中：代表響應最大值；代表響應最小值；F代表目標在(,)位置處的響應值。

APCE更新準則可以反映出跟蹤過程中的整體響應情況，當APCE驟然減小時，表示目標受遮擋影響，為了避免在此幀更新干擾信息，跟蹤器將不會進行更新。加入APCE評價標準即在一定程度上減少了跟蹤時跟蹤器的漂移情況，又減少了跟蹤器的更新次數，起到了一定的加速效果。

在KCF算法中對跟蹤器系數進行線性插值：

式（18）中：為下一幀的跟蹤器系數；α為前一幀的跟蹤器系數；為線性插值因子；α由當前幀跟蹤器訓練得到。

3 實驗結果與分析

3.1 實驗環境與參數設置

本文算法所用的實驗平臺配置為AMD Ryzen 7 4800 H with Radeon Graphics CPU，主頻2.9 GHz，8 G內存，使用Matlab2018b開發平臺進行測定。實驗中，傳統的KCF參數保持不變，padding值由原本的1.5設置為2.5，標準差設置為0.7，插值因子設置為0.014，正則項系數設置為0.0001。

本文實驗中，根據Wu等提出的OTB（online object tracking）跟蹤性能評估標準來評估本文算法的性能，并且評價指標采用中心位置誤差（CLE）與重疊率（Overlap）。CLE是指通過算法計算得到的跟蹤目標的中心坐標與目標所在的真實位置坐標之間的歐氏距離：

式（19）中：(,)為算法計算所得的目標中心坐標，(x,y)為目標的真實位置坐標。精確度是計算CLE小于某一閾值（本文取值為20 pixel）的視頻幀數占該視頻序列總幀數的百分比。

帕斯卡爾重疊率可用來評估跟蹤成功率，重疊率是指給定跟蹤框BT與實際跟蹤框BG區域面積的交集，而成功率計算的是目標的重疊率大于設定的重疊率閾值（本文取值為0.5）的視頻幀數總和占總幀數的百分比大小：

3.2 定量實驗與結果分析

為驗證改進算法的魯棒性，將本文算法KCF_HC（包含多特征融合、APCE更新標準）、KCF_APCE（僅有APCE更新標準）、KCF與當前幾種具有較好跟蹤效果的相關濾波跟蹤算法進行比較，精確度與成功率結果對比如圖3所示。

圖3 不同算法的精確度與成功率對比

從測試結果可以看出，本文的改進算法KCF_HC的精確度為79.3%，在所測算法中排在第2位，明顯優于改進前KCF算法的精確度。成功率為75.8%，也明顯優于改進前的KCF，在所有算法中也排在第2位。僅包含APCE更新標準的KCF_APCE算法的精確度與成功率分別為71.7%和64.7%，也略高于改進前的KCF，表明增加多特征融合與APCE更新標準確實可以提高算法的魯棒性。

為了進一步驗證本文改進后的KCF算法的跟蹤性能，測試時選取了OTB-100數據集中較為經典的具備遮擋的視頻序列，在視頻序列中同時標注出改進前與改進后算法的跟蹤框進行對比，如圖4所示。

在圖4（a）Jogging1視頻序列中，選擇跟蹤目標為左側跑者，在第57幀時，兩種算法均可正常跟蹤；在第80幀時出現了遮擋情況，改進后的KCF跟蹤器因此幀未進行更新，所以沒有學習遮擋的背景信息；在第91幀可明顯看出改進前KCF因學習了背景信息，跟蹤框停留在遮擋處，改進后的KCF則正常跟蹤。

圖4 改進前與改進后的KCF算法在Jogging1、Couple上的跟蹤效果

在圖4（b）Couple視頻序列中，因該視頻序列全程存在窗口劇烈晃動，所以只有在初始時兩算法均正常跟蹤。在后續幀中改進前KCF只進行HOG特征提取，而改進后的KCF因結合了CN特征，所以可以正常跟蹤。

4 結語

本文在對核相關濾波算法進行的研究中，針對傳統KCF在單一特征及復雜背景下跟蹤失敗的問題，提出了多特征融合的方法，解決了在復雜背景下只采用單一目標特征跟蹤效果不理想的問題；同時提出多峰值檢測更新機制，解決了跟蹤過程中因出現遮擋導致跟蹤失敗的問題。通過OTB視頻序列跟蹤效果的對比驗證，在快速運送、遮擋等復雜背景下仍可良好的進行跟蹤，同時也提高了魯棒性，綜合性較為良好。