基于多特征與尺度自適應的目標跟蹤算法

符 強，昌 濤，任風華，紀元法*

(1.桂林電子科技大學廣西精密導航技術與應用重點實驗室，廣西 桂林541004；2.衛星導航定位與位置服務國家地方聯合工程研究中心，廣西 桂林541004；3.桂林電子科技大學電子工程與自動化學院，廣西 桂林 541004)

1 引言

隨著人工智能的發展，目標跟蹤技術在軍用、民用等諸多領域都具有極大的應用價值，如智能視頻監控、軍事制導、視覺導航、無人駕駛等。目標跟蹤的主要任務是估計視頻中目標的運動軌跡，這是計算機視覺中一個基礎且重要的問題。目標跟蹤算法雖然在近幾十年來取得了很大的進展，但在實際應用場景中往往受到尺度變化、光照變化、背景復雜等因素的影響，目標跟蹤算法的研究仍然是一個難題。

由于基于相關濾波的目標跟蹤算法具有較好的實時性和較高的準確性，近年來受到廣大國內外研究人員重視。Bolme等[1]首次將信號處理領域的相關濾波引入到目標跟蹤領域，并提出了最小輸出誤差平方和濾波(Minimum Output Sum of Squared Error Filter， MOSSE)算法，通過使用灰度特征來對跟蹤目標進行外觀描述，提升了目標的跟蹤效率，達到了669幀每秒的跟蹤速度，但是此方法的跟蹤精度過低，灰度特征不能很好的預測目標的位置。Henriques等[2]提出了循環結構核(Circulant Structure Kernel， CSK)算法，它利用在頻域上循環移位的方式實現了樣本的密集采樣，進而提取目標的圖像特征，通過核技巧和快速傅里葉變換來處理目標的特征來實現目標跟蹤。隨后Henriques等[2]又提出了核相關濾波(Kernel Correlation Filter， KCF)算法，該算法利用多通道的方向梯度直方圖(Histogram of OrientrdGradient，HOG)特征替代了CSK算法中的灰度特征，并采用循環移位的方式構建正負樣本，在保證實時性的同時大幅度的提高了算法的魯棒性。但是HOG特征對目標旋轉敏感，Danelljan等[3]利用多通道顏色特征進行擴展，取得不錯的跟蹤效果。Bertinetto[14]提出了STAPLE算法，該算法通過將顏色直方圖和HOG特征的檢測響應線性相加。提高了跟蹤算法的魯棒性。Li等[4]提出了尺度自適應多特征(Scale Adaptive Multiple Feature， SAMF)跟蹤算法，通過將灰度特征、CN特征、HOG特征三者進行融合，并引入尺度估計來適應目標的尺度變化，展示出了較好的跟蹤結果。Chao Ma等[5]采用卷積神經網絡對目標提取多層卷積特征用于目標跟蹤，其跟蹤精度得到了較大的提升，但實時性較差。以上跟蹤算法都缺乏對背景信息的感知，Mueller等[6]提出了一種上下文感知相關濾波(Context-Aware Correlation Filter， CACF)跟蹤算法，該算法通過在目標位置的上下左右四個方向各取了一塊背景區域，為跟蹤模型合理地增加了更多的背景信息，在對跟蹤速度影響較小的情況下提高了跟蹤的準確率和魯棒性。

本文在CACF算法的基礎上，提出了基于多特征與尺度自適應的目標跟蹤算法。與傳統的HOG特征相比，深度特征可以更加有效地描述目標的外觀。顏色直方圖特征對目標的大小和方向不敏感，于是本文將深度特征與顏色直方圖特征相融合，利用融合后的特征對跟蹤目標進行檢測，同時引入了尺度濾波器來適應目標的尺度變化，最后使用了一種新的模型更新判別依據APCE，只有當APCE值和響應最大值同時分別以一定比例大于各自的歷史平均值時，才對模型進行更新，從而實現對目標準確、穩定的跟蹤。

2 上下文感知相關濾波器

被跟蹤目標的周圍背景環境信息對跟蹤性能有很大的影響。例如，如果被跟蹤目標周圍有很多雜亂的背景信息，上下文感知跟蹤器是一個非常重要的成功跟蹤器。因此，提出了一個相關濾波器的框架，在學習階段將目標的上下文信息添加到濾波器中。在每一幀中，在感興趣的目標x0周圍采樣k個背景樣本xi作為上下文信息，它們對應的循環矩陣分別為X0和Xi，以目標樣本處具有較高的響應值與背景樣本處響應值接近零為約束條件來訓練分類器，從而使得跟蹤器對目標與背景有了更高的判別能力。其目標函數的嶺回歸可以表示為

(1)

式中，λ1為正則化系數，λ2為抑制背景樣本回歸值趨于零的正則化參數，將式(1)中目標樣本的循環移位矩陣X0和背景樣本的循環移位矩陣Xi合并可得

(2)

對式(2)求導，并令其導數為0，解得

(3)

式中，H表示共軛轉置，I為單位矩陣，B為分塊循環矩陣。

(5)

所有循環矩陣在頻域具有可相似對角化的特性，故可以將循環矩陣B進行如下轉換

(6)

(7)

(8)

檢測公式如下

(9)

對偶域上的解為

(10)

(11)

其中向量djl(j，l∈{1，…，k})為

(12)

已知檢測方程為

(13)

由于B包含上下文信息，故檢測公式可以改寫為

(14)

3 本文算法

3.1 基于多特征與尺度自適應的目標跟蹤算法

本文算法以上下文感知濾波器為基礎框架，提出了一種基于多特征與尺度自適應的目標跟蹤算法，該算法是通過將顏色直方圖特征與深度特征相融合，利用融合后的特征對跟蹤目標進行檢測，同時引入了尺度濾波器來適應目標的尺度變化，最后使用了一種新的模型更新判別依據APCE，只有當APCE值和響應最大值同時分別以一定比例大于各自的歷史平均值時，才對模型進行更新。

3.2 目標的多特征描述

顏色直方圖特征能夠提供對顏色的感知，該特征可以很有效的改善目標變形、部分遮擋等造成的影響。但當發生劇烈光照變化時，單獨使用顏色直方圖特征不能很好處理光照問題。本文使用ImageNet19上經過訓練的vgg-net-19網絡進行深度特征提取，淺層特征能夠學習目標的空間輪廓信息，而深層特征可以學習到豐富的語義信息，對目標與背景有較強的判別能力，對背景復雜的適應性較強，但隨著卷積神經網絡深度的增加和池化操作，深層特征的特征圖的空間分辨率降低，可能導致無法較好地預測目標的位置，本文利用雙線性插值將不同分辨率的特征圖調整為固定大小的特征圖。

在目標跟蹤中，能否得到高魯棒性的特征是目標跟蹤算法的首要任務，為了較好地解決光照變化、背景復雜等復雜挑戰問題，并較好地利用不同特征的優勢，本文采用顏色直方圖特征和深度特征conv3-4、conv4-4兩層特征融合來表示目標外觀模型，以此增強目標的表觀能力。

3.3 尺度自適應

目標跟蹤在實際應用場景中會存在尺度變化的問題，若在目標跟蹤過程中沒有尺度自適應模型，在跟蹤過程中如果目標發生尺度變化就可能會導致跟蹤失敗.因此研究人員針對跟蹤過程中目標發生尺度變化這一現象提出了一些改進方案，主要有基于尺度、分塊和基于特征點三類方法，其中最經典的是基于尺度池的方法，尺度池方法就是將原有的目標框進行不同尺度的放大和縮小，計算變化后的目標，選擇響應值最大的作為跟蹤目標框，從而達到尺度自適應追蹤。但是在目標跟蹤過程中，相鄰兩幀的時間間隔通常非常短，因此目標在相鄰兩幀之間目標的尺度變化是微小且是連續的，那么對每幀都使用尺度濾波器將大大降低算法的實時性，于是本文為了確保跟蹤過程中，目標的尺度確實發生了變化才啟用尺度濾波器，本文每隔兩幀對目標檢測的結果記錄下來，若連續十次都出現待跟蹤目標的尺度發生變化，那么就可以確認待跟蹤目標的尺度確實發生了改變，并使用尺度濾波器對目標進行尺度的放縮。用于尺度評估目標樣本尺寸為

(15)

其中，P和R分別為目標前一幀的寬和高；并可得：a為尺度因子，取為1.02；S為尺度濾波長度，取為33。

由于輸入樣本中某一個圖像塊具有d維特征描述，為了得到最佳尺度相關濾波器h，可以最小化代價函數為

(16)

其中，w為相關濾波器，g為理想相關輸出，l為表示特征的某一維度；λ為正則化系數。式(14)在頻域中解為

(17)

為了減少計算量通過模板更新策略獲取近似的濾波模板

(19)

(20)

求得使y最大的尺度響應得分作為下一幀的目標尺度。

3.4 模型更新策略

本文引入了LMCF[6]算法中提出的模型更新判別依據APCE

(21)

式中Fmax和Fmin分別表示響應圖中的響應最大值和最小值，Fw，h表示響應圖中位置(w，h)處的響應值。這個模型更新判別依據APCE可以很好的反映出響應圖的振蕩程度，當APCE的值足夠大時，且響應圖很平滑，此時認為跟蹤目標出現在檢測范圍內；當APCE的值突然減小時，此時認為出現了目標被遮擋或者目標丟失的情況，停止對模型進行更新，避免模型發生漂移。而本文采用的模型更新策略是只有在當前幀的APCE值和響應最大值Fmax同時以一定的比例|·|大于各自的歷史平均值時，才認為跟蹤置信度滿足要求，此時對模型進行更新，當其中有一項低于其歷史平均值或者兩項都低于各自歷史平均值時，則認為該幀的跟蹤置信度不滿足要求，此時不對模型進行更新。這樣不僅有效地減少了模型的更新次數，而且有利于防止模型發生漂移。

4 實驗結果與分析

4.1 實驗環境及參數設置

本文所有的實驗均在CPU為Intel Core i7-7700，主頻為3.60GHz和內存8GB的臺式電腦上完成，開發平臺為64位windows 7專業版系統上的Matlab R2017a。

為了便于本文算法與近年來一些性能優異的算法進行對比，實驗選取的標準數據測試集為OTB100{8}，OTB100數據集包含100組視頻序列，涵蓋多種不同視覺跟蹤挑戰的屬性，如尺度變化、光照變化、背景復雜等，每段視頻序列可能有多個屬性，非常具有跟蹤挑戰性。同時為了展現本文算法的跟蹤性能，將本文算法與當前一些性能優異的目標跟蹤算法做了大量的實驗進行對比。選取的主流算法為：CSK[2]、KCF[3]、DSST[9]、TLD[10]、SAMF[12]、Staple[14]等6個目標跟蹤算法。本文算法的參數如下：正則化系數λ1=10-4，λ2=20。

4.2 性能評估指標

4.3 實驗對比

將本文算法與當前一些主流算法在基準數據集OTB100上進行實驗對比，得到實驗結果如圖1、圖2所示，圖1為精確度圖，圖2為成功率圖。

圖1 精準度圖

圖2 成功率圖

由圖1可知，本文算法的得分為0…842，比排名第二的Staple算法(得分為0.793)高出了0.049，在精準度上排名第一。從圖2可以看出本文算法在成功率上也排名第一，比第二名的Staple(得分為0.754)高出了0.046。

圖3為本文算法在部分視頻序列的跟蹤效果。圖4為跟蹤算法在尺度變化、光照變化、背景復雜等特定屬性視頻的跟蹤性能對比，從圖中可以看出本文算法性能優于其它對比算法，且充分展現出了本文算法的魯棒性。

5 結論

本文算法以上下文感知濾波器為基礎框架，提出了一種基于多特征與尺度自適應的目標跟蹤算法，該算法是通過將顏色直方圖特征與深度特征相融合，利用融合后的特征對跟蹤目標進行檢測，同時引入了尺度濾波器來適應目標的尺度變化，最后使用了一種新的模型更新判別依據APCE，只有當APCE值和響應最大值同時分別以一定比例大于各自的歷史平均值時，才對模型進行更新。最后將本文算法與近年來一些性能優異的目標跟蹤算法在基準測試集OTB100上進行實驗對比，實驗結果表明，本文算法的精準度為0.842，成功率為0.800，均優于其它對比算法，充分展現出了本文算法的魯棒性。

圖3 本文算法對部分視頻序列跟蹤結果

圖4 特定屬性下實驗對比