一種多特征自適應學習機制的目標跟蹤算法*

甘展鵬 許華榮，2 何原榮 曹 衛

（1.廈門理工學院計算機與信息工程學院 廈門 361024）（2.廈龍工程技術研究院 龍巖 364000）

1 引言

隨著計算機和科學技術的發展，機器視覺廣泛的應用于人們生活中的方方面面。在實際的生活中，目標跟蹤技術已經廣泛地應用于智能視頻監控、汽車導航、無人機的目標跟蹤、智能交通等行業中［1～5］，而相關濾波憑借的高速的處理能力和良好的跟蹤正確率受到人們的青睞。在2010年，Bolme［6］等人，通過計算最小均方誤差（MOSSE）計算相似性，首次將時域轉換到頻域進行計算；2014年，Henriques等提出了多通道HOG特征的核相關濾波器KCF［7］；Danelljan提出了具備尺度變化判別的DSST算法［8］；2014年的SAMF［9］提出一種將灰度、HOG和CN相結的多特征表示以及加入尺度估計實現目標跟蹤；在2016年，Bertinetto等提出STAPLE［10］，利用顏色直方圖濾波器和HOG濾波器進行互補學習跟蹤；在2017年，Danelljan提出ECO［11］通過因式分解卷積的方法簡化特征提取。

上述的算法對相關濾波目標跟蹤進行了一定程度上的改進。但是依舊存在以下幾個問題：跟蹤的精度和正確率有待提高；在運動模糊或者遮擋情況下，容易發生漂移或者跟蹤失敗。針對以上問題，本文分別單獨訓練HOG+Gray濾波器和CN濾波器，然后線性加權融合兩個濾波器的響應圖，來提高判別器判別能力；通過構建尺度池，求取最大尺度來響應輸出最佳尺度變化，以及融入反向檢測輸出正確尺度；通過目標歷史運動狀態以及響應變化提出一種自適應學習率機制，實現動態的模型更新。

2 KCF跟蹤算法

在跟蹤器的訓練過程中，KCF利用循環矩陣進行密集采樣，得到樣本集：{x1，x2，x3，...， }xn構建線性嶺回歸模型：

其中，yi是樣本xi的標簽，f為濾波器，ω為濾波器參數，λ為正則化系數。

對線性嶺回歸進行求解可得：

其中，X為樣本的循環矩陣，I為單位陣。

為了提高跟蹤器的判別能力，利用非線性函數φ(x)將樣本集映射到高維空間，此時

其中，α是w的對偶空間變量。并且引入核技巧，最終嶺回歸的解為

其中，K為核相關矩陣。借助循環矩陣的性質，最終求得在頻域中的解為

其中，∧表示傅里葉變換，k∧xx表示樣本x在傅里葉中的自相關。

3 一種多特征自適應學習機制的目標跟蹤算法

3.1 多特征線性融合

為提高跟蹤器的判別能力，將HOG、GRAY和CN三種不同屬性的特征進行線性加權融合。首先訓HOG+GRAY特征的濾波器和CN顏色濾波器。其次，計算兩個濾波器的APCE［12］（average peak to correlation energy）響應值。最后，線性加權融合兩個濾波器的輸出響應，得到最終響應。其中，APCE計算如下：

其中，R是響應圖，“mean”為均值操作。

分別計算兩個濾波器輸出響應的置信值APCEHOG+GRAY，APCECN來自適應線性加權得到最終響應R：

其中，RHOG+GRAY、RCN分別是HOG+GRAY和CN濾波器兩個濾波器的輸出響應圖。

3.2 尺度濾波器與反向檢測

針對KCF不具備尺度變換問題，文獻［8，13］采用一個一維的尺度估計濾波器來輸出對應目標的尺度，并加入反向檢測機制，提高尺度判別準確的。

通過當前幀目標的寬P、高R以及尺度因子a來確定目標的尺寸：

根據式（10）生成對應大小的圖像塊，并且提取每個圖像塊的d維特征，從而訓練一個尺度濾波器h。

雖然通過尺度濾波器能夠較好地在物體發生尺度變換的情況下正確的框出大小，但是難免會出現尺度估計錯誤的情況。如圖1 human3中，目標尺度發生很微小的變化，但是由于尺度濾波器錯誤估計，導致納入太多錯誤背景信息，發生濾波器跟蹤丟失。

圖1 human3視頻序列

因此，本文針對上述問題，提出一種反向檢測的方式來避免錯誤的尺度估計。具體流程：首先通過尺度濾波器輸出最佳目標尺度，然后將得到的新尺度反向的進行上述的HOG+Gray濾波器和CN顏色特征濾波器檢測并線性融合得到新的響應圖R，通過計算當前估計尺度下目標的APCE置信度和前一幀APCE置信度的大小。當反向檢測最終的APCE滿足APCEt<β*APCEt-1時候，停止更新目標尺度；否則更新目標尺度。

3.3 自適應學習率

由于傳統的KCF采用固定的學習率進行更新模型逐幀更新，所以當物體發生快速運動或者遮擋的時候容易導致模型污染。針對以上問題，本文提出一種根據物體運動速度與APCE相結合的自動學習率調整模型。在先前提到的APCE中，其可以反映響應圖的波動情況。當目標快速移動或者發生遮擋的時候APCE會出現明顯的下降，意味著當前的響應置信度不高，此時可以通過調低學習率或者禁止模型更新，防止模型引入過多的噪聲干擾。更新率θ1與APCE取值之間的關系滿足以下公式：

其中，mean_apce是歷史幀的均值，公式如下：

圖2 APCE的變化-更新率曲線

在式（11）和（12）中的APCE由式（6）計算得到。

有時候，單獨的使用APCE來計算更新率不一定能夠很好地反映物體的運動狀態。因此引入物體運動速度來估計模型的更新率。當物體快速移動的時候，應加大更新率，防止模型更新過慢而導致跟丟；當物體運動較為緩慢，可以降低更新率。本文將上一幀目標的中心位置與當前幀目標的中心位置的歐氏距離視為物體每一幀的運動速度。更新率θ2與速度v之間的關系式如下［14］：

當物體發生遮擋的時候，根據文獻［13，15］提出的遮擋判別策略，本文將兩者的優點融合在一起，用于物體發生遮擋的時候，停止模型更新。

首先，計算當前的相鄰兩幀的峰值變換情況：

其次分別計算歷史峰值變換均值：

根據式（12）計算歷史均值mean(APCE)與APCEt之間的比例關系。在兩種同時滿足一點比例的時候，說明物體發生了遮擋應以較小的學習率更新模型或者停止模型的更新。

最終，為了得到更加魯棒的自動更新率，本文將兩者進行線性融合，每隔兩幀計算最終的學習因子η，如下：

3.4 算法步驟

本文算法步驟如下：

輸入：視頻幀frames.

輸出：目標框target_sz，中心位置Pos.

1）初始化HOG+Gray位置濾波器和CN位置濾波器，尺度濾波器h.

2）對于第i幀，根據式（7）計算位置濾波器最終的響應圖R.

3）根據位置濾波器得到的目標位置，通過尺度濾波器計算S個尺度下對應的響應，輸出尺度濾波器最佳尺度S_Best，并將該尺度反向傳回到位置濾波器HOG+Gray和CN進行計算APCE置信度，從而輸出最終的最佳目標尺度.

4）每隔兩幀計算當前目標的學習因子，更新目標濾波器的模型.

4 分析與討論

4.1 實驗環境

實驗以Matlab 2015a為開發平臺，在Windows 10系統，處理器Inter（R）Core（TM）i5-9300H CPU@2.40GHz的電腦上測試。實驗用的是Visual Tracker Benchmark測試的OTB-100數據集進行測試［16～17］。在整個目標跟蹤實驗里，與主流的跟蹤算法DSST、MOSSE_CA［18］、DCF_CA［18］，KCF、SAMF、CT［19］、CSK［20］共七種算法進行對比實驗。

4.2 實驗系數確定

經過實驗表明，在算法跟蹤矩形框與實際標注框的中心距離設置為20的情況下，自動學習率的系數選擇為b=0.018，c=0.01實驗成功率最好。

表1 不同系數下的目標跟蹤成功率

4.3 定量分析

經過試驗分析，本文的參數選擇為首幀學習率learning_factor=0.02；動態學習率更新系數b=0.018，c=0.01，β=0.95，η1=1.5，η2=0.45，KCF和DSST的λ=10-4。其余參數和KCF、DSST一樣。

從上圖可以得知，本文的算法在OTB-100數據集上，選擇OPE評測方法得到的DP和OP相較于其他7種算法具有較好的成功率和精度。在精度曲線圖設置評測閾值為20像素點的情況下，DP得分為0.776，相較于SAMF和DCF_CA分別提升了2.5%和3.2%；在重疊率閾值為0.5的情況下，OP得分為0.699，相較于SAMF和DSST提升了3%和8.6%。為了更好地評測本文算法與其他算法的性能差異，在OTB-100數據集中11種不同屬性目標跟蹤場景下進行分析。表2～3中格數據加粗的為評分第一，下劃線為第二。

圖3 8種算法在OTB-100中得到的精度曲線圖和成功率曲線圖

從表2～4可以看出，在保持較好的跟蹤速度的同時，本文算法還能夠具備較優的跟蹤準確率。

表2 8種目標跟蹤算法在11種不同場景下的距離精度DP評價指標

表3 8種目標跟蹤算法在11種不同場景下的成功率OP評價指標

表4 8種算法在OTB-100上的平均速度和精度

5 結語

本文算法是在傳統的KCF核相關濾波框架上，提出一種多特征融合、尺度判別和自適應學習率的跟蹤算法。經過實驗表明，本文算法在目標尺度變換、遮擋、快速運動以及光照變化等具有較好的跟蹤魯棒性。同時，在跟蹤速度上平均幀率為45.5fps，滿足實時物體跟蹤要求。本文算法主要是針對目標跟蹤的短時跟蹤，接下來的工作可以從長時間目標跟蹤入手；本文選擇的特征主要是傳統的手工特征，為了達到更好的跟蹤效果，未來可以嘗試更具深層次的深度特征。