基于PSR樣本分類的自適應去污算法

史思琦，馬彥軍，李南廷，鄭莉平

1.西安理工大學 自動化與信息工程學院，西安 710048

2.西安理工大學 電氣工程學院，西安 710048

3.陜西省復雜系統控制與智能信息處理重點實驗室，西安710048

基于相關濾波的目標跟蹤算法具有速度快、精度高等特點，廣泛應用于對跟蹤實時性要求較高的應用領域，如智能視頻監(jiān)控、人機交互和精確制導等[1-2]。該類算法在跟蹤過程中通過尋找濾波器響應峰值來定位目標位置。實際跟蹤過程中受目標形變、姿態(tài)變化、交替遮擋和背景光照等干擾因素的影響，采集到的目標樣本通常會受到嚴重污染[3-4]從而造成濾波器參數訓練錯誤和模型漂移，最終導致目標跟蹤失敗。

針對樣本嚴重污染導致目標跟蹤失敗的問題，學者們提出了許多解決方法。文獻[5-7]在訓練過程中直接丟棄受到污染的樣本，容易導致濾波器模型漂移和跟蹤失敗。Bolme等人對峰值旁瓣比（peak sidelobe ratio，PSR）較小的新樣本不予以保留，一定程度上提高訓練樣本的質量[8]。Kalal等人通過基于空間和時間約束生成的正樣本和負樣本解決模型漂移問題[9]。Supancic等人提出重新訪問被拒絕樣本來更新訓練集的策略[10]。Hong等人采用基于關鍵點的長期記憶組件來檢測遮擋并刷新短期記憶，提高了遮擋場景下目標跟蹤性能[11]。上述方法雖然有效提高了污染場景下算法的跟蹤性能，但是難以應對復雜污染場景。

Danelljan等人在2016年提出了一種基于跟蹤模型與訓練樣本權值聯合學習的樣本集自適應去污算法（AdaDecon）[12]。該方法采取在線共同優(yōu)化濾波器參數和樣本權值的方式，通過大量樣本訓練重新確定每幀的樣本權值從而糾正模型漂移的錯誤。該算法在一定程度上提高了復雜污染場景下濾波器的性能，然而面向持續(xù)遮擋等嚴重污染場景下的樣本去污效果較差，容易造成目標跟蹤失敗。

針對上述問題，本文研究了樣本分類機制，對濾波器參數及樣本權值進行動態(tài)更新，提出了一種基于PSR樣本分類的自適應去污算法，提高復雜污染場景下目標跟蹤的準確性和魯棒性。

1 AdaDecon算法

AdaDecon算法[12]將跟蹤過程中采集的所有樣本作為下一幀的訓練樣本，通過最小化損失函數訓練相關濾波器參數θ和更新樣本權值α，從而實現樣本自適應去污。

AdaDecon算法的損失函數如公式（1）所示：

其中，αk是第k幀的樣本權值，nk是第k幀中樣本數量，(xkj,ykj)是第k幀中第j個樣本，R(θ)為正則項，μ和λ為正則化參數。LCF是相關濾波器的損失函數。

先驗權值函數ρk根據時間對樣本權值進行賦值。時間越近，樣本權值的先驗值越大。先驗函數ρk如公式（3）所示：

其中，K表示最新的樣本數。學習率η滿足η∈[0,1]。常數m的定義如公式（5）所示：

采用ACS迭代法[13]獲得公式（1）中LAD(θ,α)的最優(yōu)解。在單次迭代中，參數θ和α的求解方法如下：

更新θ：令α=αi-1,αi-1表示i-1次迭代的權值。當i=1時，α為上一幀計算出的權值。固定α的值，利用公式（6）來求θ，求解θ的方法與具體的濾波器相關。公式（6）為相關濾波器的損失函數。

采用凸二次規(guī)劃對公式（8）求解，即可求出該次迭代中的α。

2 基于峰值旁瓣比樣本分類的自適應去污算法

針對AdaDecon算法在復雜污染場景下容易導致模型漂移、跟蹤失敗等問題，本章提出了基于峰值旁瓣比樣本分類的自適應去污算法提升目標跟蹤的魯棒性。

2.1 響應圖特性分析

相關濾波器響應圖是對目標跟蹤結果的矩陣描述，能夠直觀反映了應相關濾波器的跟蹤狀態(tài)性能。峰值旁瓣比（PSR）[8，14]是分析濾波器響應圖特性的一種方法，其定義如下：

其中，gmax、gmin和gx,y分別表示響應圖G中最大、最小和坐標為(x,y)的響應值，N為響應圖G中元素個數。

圖1給出了應用SRDCF算法[15]對Box序列跟蹤的實驗結果。圖1（a）為存在嚴重污染時目標跟蹤結果，其跟蹤框內目標外觀變化十分明顯。圖1（b）為圖1（a）對應污染幀濾波器的輸出響應，其響應圖發(fā)生劇烈震蕩和多峰現象。圖1（c）為跟蹤成功過程中的濾波器響應圖psr的變化曲線，其中受到嚴重污染視頻幀所對應濾波器的psr值非常小且變化幅度大。

通過分析圖1發(fā)現：目標外觀變化程度和濾波器響應圖震蕩程度與psr值成反比關系。psr值越小，響應圖震蕩程度越劇烈、目標外觀變化越大；psr值越大，響應圖震蕩程度和目標外觀變化越小。由于遮擋、形變、背景干擾等污染因素通常導致目標外觀發(fā)生變化，因此，濾波器響應圖的psr值能夠直觀反映目標受污染程度。

圖1 相關濾波器響應圖特性分析Fig.1 Characteristic analysis on response map of correlation filter

2.2 樣本分類機制

通過深入分析psr值與目標污染程度之間的相關性，本節(jié)提出了基于psr的樣本分類機制來提高訓練樣本類別的多樣性。

樣本分類的關鍵是建立合理的分類閾值選取準則。通過大量實驗分析發(fā)現，當psr下降到10左右時，目標發(fā)生遮擋或劇烈形變[16]，提取的樣本污染程度高、有效特征信息量少。為了有效訓練濾波器參數，通常設定最小分類閾值pmin來丟棄低于該閾值的樣本。當psr高于100時，目標形態(tài)發(fā)生變化較少、差異性小，提取樣本的污染程度較低。因此，為了保證樣本分類的有效性和合理性，本文設定對于樣本劃分，分類閾值應具有較大的梯度，從而保證不同分類區(qū)間所對應的樣本具有明顯的差異性。同時，為了增強樣本種類的豐富性，將高于最大分類閾值pmax的樣本作為一個樣本集。

基于上述分類閾值的選取準則，本文采用樣本分類函數對所有樣本進行合理分類。具體分類過程為：首先在第一幀將psr取值范圍劃分為M個子區(qū)間，對每個子區(qū)間初始化出大小為N的樣本集，在后續(xù)幀中計算出響應圖的psr值，通過樣本分類函數將該幀提取的樣本劃分到對應的子樣本集中。樣本分類后將得到第t幀的M個樣本集合

樣本分類函數的定義如下：

本文將所提出的樣本分類機制方法與SRDCF跟蹤算法相結合，驗證樣本分類的有效性。圖2給出了Basketball序列的分類結果（第140幀）。其中，公式（10）中相關參數設定為：M=2,pmin=10,pmax=p1=25,p2=2 500。從圖2可以看出，兩個樣本集之間具有較大的差異性。樣本集#1中大部分樣本受到遮擋、形變等因素污染，樣本集#2中樣本之間的相似度高、基本無污染。結果表明，本文提出的樣本分類機制不僅有利于區(qū)別不同樣本之間的差異性，而且有效增強了訓練樣本集的多樣性。為了降低樣本集的冗余性和保證實時性，可以進一步合理減小樣本集容量。

圖2 樣本分類結果Fig.2 Results of sample classification

2.3 動態(tài)更新策略

與AdaDecon去污算法不同，本文算法在跟蹤過程中需要同時更新不同樣本集中的樣本權值及其對應的相關濾波器參數。考慮到直接對各個樣本集進行操作會大大增加計算復雜度、降低跟蹤實時性，本節(jié)提出了濾波器參數和樣本權值的動態(tài)更新策略。

通過分析發(fā)現，跟蹤過程中每一幀提取的目標樣本只能劃分到某單個樣本集中，即在每一幀中只有一個樣本集更新了樣本。因此，本文引入psr值動態(tài)篩選有新樣本加入的特定樣本集，把該樣本集作為參數更新和訓練相關濾波器的特定對象。而且，本文簡化了參數更新的過程，提出了更新特定樣本集中樣本權值和濾波器參數的處理方法。

這里，在2.2節(jié)提出樣本分類閾值的基礎上，分別訓練出不同樣本集對應的SRDCF濾波器，從而獲得融合后的濾波器（公式（11）和（12）所示），通過對比不同濾波器的跟蹤結果，驗證SRDCF算法分類閾值動態(tài)更新策略的有效性。圖3給出了不同濾波器對Tiger序列的跟蹤結果對比。濾波器#1和濾波器#2分別為樣本集#1與樣本集#2所訓練出的濾波器。從圖中可以看出，子濾波器#1跟蹤目標時出現了位置偏差，濾波器#2和融合后的濾波器跟蹤比較準確。原因為樣本集#1的分類閾值小，樣本污染程度高，訓練出的濾波器可靠性低；樣本集#2的分類閾值大，樣本污染程度小，訓練出的濾波器可靠性高，跟蹤目標時，該類別對應的濾波器具有更大的權值。跟蹤結果的對比驗證了濾波器融合方法的有效性。

圖3 濾波器跟蹤結果對比Fig.3 Comparison of tracking results of filters

2.4 算法實現流程

本文提出的樣本去污方法適用于現有相關濾波跟蹤框架。為進一步說明其實現過程，將本文方法與SRDCF跟蹤算法相結合提出了改進SRDCF算法用于目標跟蹤。

改進SRDCF算法的損失函數定義為：

改進SRDCF算法的實現流程如下：

初始化：在第一幀中設置樣本分類閾值pn及其分類樣本集數量M，對每類樣本集設置大小相同的濾波器。

3 實驗與分析

3.1 實驗環(huán)境、參數及評價指標

實驗平臺的環(huán)境如下：CPU主頻為1.60 GHz的Intel Core i5-8250U，GPU為NVIDIA GeForce MX150，運行內存為8 GB；仿真軟件為MATLAB2018b。

實驗測試數據選取TC-128和OTB-50公開數據集，用于檢驗樣本去污效果及其目標跟蹤性能。

由于受實際硬件平臺的制約，實驗參數設置為：樣本集的分類數量M=2（即高污染和低污染兩類），單個樣本集的最大樣本容量N=30,樣本分類閾值pmin=8，p1=25,p2=2 500，所選取的對比算法中濾波器等參數均與原論文保持一致。

實驗結果評估采用通用的OPE指標，包括精確度曲線和成功率曲線。精確度是指中心位置誤差（CLE）小于設定閾值的幀數所占比值。CLE表示為：

其中，(xi,yi)表示濾波器預測的目標中心位置，(x0,y0)表示人工標注的目標實際位置。實驗中，中心位置誤差閾值設置為20個像素。

成功率是指跟蹤邊界框與人工標注真值框之間的重疊率超過設定的閾值幀數所占的比例，重疊率（OR）計算公式為：

其中，rt為跟蹤框，ra為真值框。實驗中，重疊率閾值均設置為0.5。

3.2 樣本去污能力

為了評估本文方法的樣本去污能力，對存在遮擋污染的Lemming序列進行跟蹤。將2.4節(jié)提出的改進SRDCF算法與基于AdaDecon樣本去污的SRDCFDecon算法和原始SRDCF算法進行對比實驗。

圖4給出了上述算法在第330幀（發(fā)生遮擋）和第375幀（遮擋結束）的跟蹤結果和樣本權重曲線。從兩幀的樣本權重曲線可以看出，375幀遮擋結束時，本文算法與AdaDecon算法均降低了330幀中污染樣本的權值，但AdaDecon算法仍保留有較多污染樣本且污染樣本權值仍比較高，反映出該算法去污能力較弱。同時，該算法在去污過程中丟棄了先前大量低污染的高質量樣本，增加了污染樣本對濾波器的影響，容易引起濾波器漂移，因此在遮擋結束時跟蹤失敗。

圖4 樣本去污效果對比Fig.4 Comparison of sample decontamination

相比之下，本文提出的樣本去污方法不僅顯著減小了遮擋區(qū)間內污染樣本的數量及其權值，而且保留了較多未受遮擋影響的低污染樣本，并賦予了這些高質量樣本較高的權值，從而降低了嚴重污染樣本對于濾波器訓練的不利影響，有效抑制了濾波器漂移，提高了跟蹤算法的準確性和魯棒性，因此能在遮擋結束后保持目標的準確跟蹤。

3.3 目標跟蹤性能

為了評估樣本去污對目標跟蹤性能的提升，選取SRDCF、KCF[17]、DSST[18]、BACF[19]、SAMF[20]、FAST和ECO-hc[21]等主流跟蹤算法，將2.4節(jié)中改進SRDCF算法與上述相關濾波類算法進行對比，并對實驗結果進行定量分析。

圖5給出了各類跟蹤算法在OTB-50和TC-128數據集上OPE評估曲線。從圖中可以看出：與SRDCFDecon算法相比，改進SRDCF算法的跟蹤精確度（OTB50：75.14%，TC128：66.73%）分別提高了9.50%和4.73%，跟蹤成功率（OTB50：77.86%，TC128：71.32%）分別提高了5.32%和2.40%。此外，改進SRDCF算法的跟蹤成功率均優(yōu)于其他算法。

圖5 目標跟蹤性能評估Fig.5 Performance evaluation of target tracking

表1和表2分別給出了上述算法在不同污染場景下目標跟蹤成功率的統計結果。這些污染場景包括光照變化（IV）、平面外旋轉（OPR）、尺度變化（SV）、遮擋（OCC）、形變（DEF）、運動模糊（MB）、快速運動（FM）、平面內旋轉（IPR）、移出視野（OFV）、背景雜波（BC）和低分辨率（LR）。從表中可以看出，在上述11種污染場景中，特別是形變、快速運動、運動模糊和平面外旋轉等場景，SRDCF算法的跟蹤成功率明顯領先其他跟蹤算法。

表1 OTB-50數據集上的目標跟蹤成功率對比Table 1 Comparison of tracking success ratio on OTB-50 dataset

表2 Temple-Color數據集上的目標跟蹤成功率對比Table 2 Comparison of tracking success ratio on Temple-Color dataset

以上實驗結果表明，本文方法能夠在不同污染場景下增強濾波器性能、提高跟蹤算法的成功率。

3.4 嚴重污染場景

為了更直觀地分析嚴重污染場景下改進SRDCF算法的目標跟蹤性能，在存在多種污染因子的Basketball、Girlmov以及Yo-yos-ce2三組典型視頻序列上，將改進SRDCF算法與3.3節(jié)中跟蹤成功率較高的BACF、ECO-hc和SRDCF三種相關濾波算法進行對比實驗，并對實驗結果進行定性分析。

圖6給出了上述跟蹤算法對三種典型視頻序列的跟蹤結果。在Basketball序列中，由于光照、形變等污染因素影響，其他三種跟蹤算法學習了大量污染樣本的信息，導致濾波器模型發(fā)生漂移、跟蹤精度降低，而改進SRDCF算法降低了污染樣本的影響，保證了跟蹤的準確性。在Girlmov序列中，目標長時間被遮擋導致其他三種跟蹤算法中濾波器完全失效、跟蹤失敗，而改進SRDCF算法由于具有對低污染樣本的記憶能力，在遮擋結束后快速、準確地恢復了跟蹤。在Yo-yos-ce2序列中，由于目標形態(tài)過小且運動速度快，四種算法均跟蹤失敗，但改進SRDCF算法在較長時間內能夠保持對小球的有效跟蹤。

圖6 典型場景視頻序列跟蹤結果對比Fig.6 Comparison of tracking results on representative video sequences

以上三組典型視頻序列的實驗結果表明，改進的SRDCF在嚴重污染場景中具有更好的跟蹤穩(wěn)定性，也進一步驗證了本文方法的去污能力。

4 結論

針對訓練樣本被污染容易導致相關濾波目標跟蹤算法發(fā)生模型漂移、跟蹤失敗的問題，本文采用峰值旁瓣比對所有訓練樣本進行分類處理并動態(tài)更新樣本集的權值及其對應相關濾波器的參數，提出了基于樣本分類的自適應樣本去污算法。該算法適用于現有相關濾波目標跟蹤框架，能夠有效提高復雜場景下濾波器的跟蹤性能。在后續(xù)工作中，將進一步研究復雜場景下弱小目標的樣本去污方法。