快速尺度支持相關濾波跟蹤

張 博，江沸菠，劉 剛，劉紅平

(1.長沙師范學院 信息科學與工程學院，湖南 長沙 410100；2.湖南師范大學 信息科學與工程學院，湖南 長沙 410081；3.中南大學 物理與電子學院，湖南 長沙 410083)

1 引 言

在自動變化的視頻序列中跟蹤特定目標，是許多以計算機視覺為主題的研究所面臨的基礎問題，例如視覺分析、自動駕駛和位姿估計。跟蹤的核心問題是如何在光照、形變、出視野、遮擋、干擾物以及背景雜亂導致目標外觀出現較大變化的情況下準確且有效地檢測和定位目標[1-2]。

目前，在目標跟蹤領域中判別式跟蹤算法是使用最為廣泛的一類跟蹤算法，它將跟蹤問題視為一個分類問題，通過訓練分類器來區分目標和背景。對于判別式分類器算法而言，其中的一種效果比較好的是相關濾波器(CFs)算法[3-5]，由于其同時具備速度快、成功率高、精確度好等性能，所以在視覺跟蹤取得顯著成效。Bolme等人提出了最小均方誤差輸出平方和(MOSSE)濾波器[5]，通過快速傅里葉變換把時域內的計算轉換到頻域內，大大提高了濾波器參數計算效率，使跟蹤器能夠快速運行。Henriques等人提出了核相關濾波器(KCF)，用脊回歸器[3-4]替換了最小均方誤差輸出平方和濾波器，通過循環移位策略來解決訓練樣本過少的問題，同時使用核函數方法使得其能在非線性條件下進行濾波器訓練。但是，前面的方法，不考慮目標的尺度變化問題，為了解決這方面問題，Danelljan等人[6]提出了精確尺度估計的魯棒跟蹤器(DSST)，將尺度估計方法融入到相關濾波跟蹤算法中，提升了算法應對目標大尺度變化場景下跟蹤的能力。Li等人[7]提出了特征融合的尺度自適應核相關濾波器，將直方圖特征與顏色特征結合加強特征表征能力，與此同時使用尺度池策略進行尺度估計，提高了算法的準確性。受到圖像卷積神經網絡(CNN)的突出表現的啟發，Ma等人[8]提出將相關濾波器嵌入卷積神經網絡的視覺跟蹤算法，通過使用CNN來構建特征金字塔，同時，使用相關濾波器在神經網絡的不同層中執行以完成跟蹤。

大量研究表明，判別式視覺目標跟蹤技術要取得進一步發展的核心是提出更有效的分類器模型和采樣方法來提升算法的跟蹤性能，所以國內外許多專家對判別性分類器模型進行了廣泛的研究，并且已經獲得了比較優良的結果。一種比較具有代表性的判別性分類器模型是基于支持向量機(SVM)[9-12]建立的模型，由于SVM具備處理高維數據的優勢，使得基于SVM的跟蹤算法在準確度和效率上取得了顯著效果。通常基于SVM的跟蹤方法被分為兩個模塊：第一個是用于生成一組正樣本和負樣本的采樣器，第二個是用于使用訓練樣本更新分類器的學習器。由于其模型構造上相對復雜，其算法計算效率上略顯不足，所以大多數基于SVM的跟蹤器[10-12]并不能實時運行。

上述算法在實際應用中都取得了不錯的效果，但在嚴重遮擋、出視野、形變、背景雜亂等復雜場景下，它們很難在兼顧速度和精度的情況下完成跟蹤。針對傳統相關濾波算法的不足，本文提出了快速尺度支持相關濾波跟蹤算法，通過使用循環數據作為訓練輸入重新構造SVM模型，將跟蹤問題視為支持相關濾波器的學習問題，通過交替迭代方法獲得最佳濾波器參數，很大程度上降低了算法復雜度。同時，使用對數極坐標尺度估計方法對目標的尺度變化進行估算，有效實現了目標尺度的自適應。最后使用標準數據集測試了本文所提快速尺度支持相關濾波跟蹤算法的性能。

2 核相關濾波算法

核相關濾波跟蹤算法通過將跟蹤問題視為一個在線分類問題，通過嶺回歸模型訓練相關濾波器來實現目標跟蹤：

，

(1)

其中：λ是正則化參數，f是相關濾波器參數，y′是期望輸出響應，v是訓練誤差,X是訓練樣本。

因為訓練樣本是通過對基礎樣本進行循環移位來得到，所以不僅使得訓練樣本增加，而且樣本也具有了循環數據結構，使得優化求解過程中便于使用離散傅立葉變換(DFT)來加快計算速度，大大提升了算法效率。通過系列求解得到(1)式的封閉形式解為：

，

(2)

(3)

其中：x表示當前輸入圖像特征，Kxx=K(x,x)是核相關函數，?表示元素點積操作。最后找到最大響應得分位置以實現目標跟蹤。

3 本文算法

針對傳統的判別式目標跟蹤算法復雜度依然較高，以及在遮擋、出視野、劇烈形變、背景雜亂等情況下跟蹤易失敗問題，本課題組提出了快速尺度支持相關濾波跟蹤算法。首先，通過迭代學習支持相關濾波器參數降低了算法復雜度；然后使用對數極坐標尺度自適應策略，解決了劇烈尺度變化情況下的目標跟蹤問題；最后，使用了模板自適應更新方法，克服了遮擋情況下的模板漂移問題。

3.1 樣本標簽分類

將跟蹤器用于目標跟蹤之前，對跟蹤器進行訓練至關重要，訓練的好壞直接影響到跟蹤器的性能，因此使用合理的訓練樣本訓練跟蹤器很重要，這就要求采用恰當的方法對正負樣本進行分類。本文算法通過以下重疊函數對樣本類標簽定義：

q(p*,pi)=ηexp(-θ‖pi-p*‖κ)

，

(4)

其中：p*表示感興趣目標x*的中心位置，pi表示移位樣本圖像xi的位置。η是歸一化常數，θ和κ分別是尺度和形狀參數。

在訓練過程中，當樣本的重疊函數值q(p*,pi)低于重疊閾值下限時，定義為負樣本，其標簽值為-1，高于重疊閾值上限，定義為正樣本，其標簽值為1，否則不標記，將其丟棄。具體分類公式如下：

，

(5)

根據上述目標標簽定義方式便實現了目標期望響應值定義。

3.2 SVM模型重構

在目標跟蹤任務中是通過對SVM進行重構，獲取支持相關濾波器模型，然后再用(6)式中二分類函數實現目標跟蹤。

，

(6)

其中：濾波器參數f和偏差b通過SVM重構模型獲得，其SVM模型公式如下：

，

(7)

其中：ξ=[ξ1,ξ2,...ξi...ξn2]是松弛變量向量，R為常量。

，

(8)

其中：°表示對應元素相乘，1表示一維向量。

3.3 核化支持相關濾波

(9)

同時，為了使濾波器參數能在非線性條件下進行學習，將核化策略引入重構的支持向量機模型中，則有fTx=∑K(x′,xi)f′，這里K(x′,xi)為核相關函數，f′為當前濾波器參數，x為輸入樣本圖像。將其代入式(9)則可轉化為式(10)：

對于公式(10)，當已知{f,b}時，子問題e具有閉合形式解，當e已知時，子問題{f,b}具有閉合形式解。 因此，上述模型問題可以通過交替迭代優化算法進行迭代求解，獲得最佳支持相關濾波器參數

，

(11)

3.4 極坐標下尺度自適應

由于對數極坐標變換可以將目標圖像的尺度和旋轉變化轉換為對數極坐標下的平移運動，因此在目標檢測領域常將其與相位相關算法進行組合以進行圖像配準從而實現目標檢測。在本文算法中將其與支持相關濾波算法框架結合應用到目標跟蹤領域以使跟蹤算法實現良好的尺度自適應能力。

在目標跟蹤的時候，通過對目標模板進行對數極坐標變換，將目標的尺度和旋轉變化轉換為對數坐標下的位移信號，并利用支持相關濾波算法檢測到該信號，通過逆向計算即可獲得該幀目標尺度。具體對數極坐標變換公式如下：

，

(12)

其中：(xi,yi)為笛卡爾坐標系下的當前目標圖像像素坐標,(x0,y0)則為該坐標系下的目標圖像中心像素坐標,(?,ψ)為對應像素坐標通過相應轉換得到的極坐標。

一般尺度變化率可表示為變化后尺寸與原尺寸比值，此時尺度大小在常規笛卡爾坐標下進行表時，具體如下：

，

(13)

通過對式(13)進行對數變換可得：

，

(14)

此時，ln(c+Δc)為尺度變化后的極坐標位置，lnc為尺度變化前的極坐標位置，令Δx為極坐標下的位置偏移，則Δx=ln(c+Δc)-lnc,則將其代入(14)式可得：

s=eΔx

，

(15)

其中s為尺度變化率，當目標變大時其值大于1，變小時其值小于1，Δx為極坐標下圖像位移偏移量。

3.5 模板更新

為了應對目標遮擋環境的挑戰，模板自適應更新是必不可少。本文算法采用文獻[13]中PSR判別目標是否遮擋以決定是否更新模板，以實現模板判別性更新，從而降低模板和濾波器參數在遮擋情況下的錯誤更新率。這里模板更新權重系數為定義為：

，

(16)

其中，τt為模板自適應更新權重，ζ表示目標是否發生遮擋閾值，高于該閾值更新模板，低于該閾值模板不更新。

具體更新模板采用線性插值的方法進行更新：

，

(17)

，

(18)

3.6 本文算法流程

本文跟蹤算法的跟蹤流程如下：

(1)輸入：于第一幀位置初始化目標位置P1及目標的尺度因子s1以及類標簽y1。

(2)使用快速尺度支持相關濾波跟蹤尺度自適應算法中濾波器參數計算模塊，即公式(11)計算濾波參數，并使用公式(3)得到目標響應得分圖，通過找到最大響應得分位置獲得目標位置。

(3)使用極坐標下尺度自適應策略即公式(15)以獲得當前幀目標尺度因子si。

(5)如果未到最后一幀，跳轉到步驟2；如果已經到最后一幀，則跟蹤結束。

輸出：跟蹤目標位置Pi。

4 實驗結果與分析

4.1 實驗參數與環境

本文算法測試所用電腦配置為Intel i5 2.5 GHz處理器，4 G內存。所用實驗參數設置如下：過擬合參數R和形狀參數β分別為104和2。公式(5)中的閾值上下限(σl,σu)分別為(0.5,0.7)。尺存參數θ設置為50/mn，其對應的每個目標對象的大小m×n。為了較好分析本文算法，使用OTB100標準數據庫中的數據集對本文所提快速支持相關濾波算法進行測試，其數據集涵蓋了遮擋，形變，尺度變化，快速運動等眾多屬性,詳見表1。并將所提算法與CSK[3]、KCF[4]、DSST[6]、TLD[14]、CT[15、TGPR[16]、L1APG[17]等跟蹤算法進行對比，以驗證算法有效性。

4.2 定量分析算法性能

為了分析本文所提算法在各種具有挑戰性場景中的性能，在實驗中詳細記錄了各種算法在Walking、Doll、Jogging1、David3、Trellis、Basketball、Bolt、Dog1、Coke、CarScale等跟蹤視頻序列下的跟蹤精確度和成功率，以及總體跟蹤效果。

表1為10組跟蹤序列的屬性、分辨率和序列長度。表2和表3分別為9種算法在不同屬性視頻序列上的精確度和重疊率。通過實驗結果可知本課題組所提快速尺度支持相關濾波跟蹤算法(FSSCF)的精確度和成功率在各個跟蹤序列中都比較高，而且所提算法優于其它跟蹤算法。圖1為該算法與其余算法在所有測試序列上的總體精確度和成功率曲線圖，可知所提算法總體精確度為0.964，較傳統KCF算法提升10.1%，成功率為0.892，較傳統KCF算法提升31.6%，證明了本文提算法能較好處理許多傳統相關濾波跟蹤算法不能克服的復雜場景下的目標跟蹤挑戰。

表1 10組測試視頻序列Tab.1 Ten sets of test video sequence

圖1 總體中心位置誤差曲線(a)和平均跟蹤誤差(b)Fig.1 Curves of center location error(a) and average tracking error(b)

4.3 定性分析算法性能

為了分析本文所提算法在各種具有挑戰性場景中的性能，本文在圖2中展示了9種算法在不同視頻序列上的實際跟蹤效果。不同屬性視頻序列上的算法性能分析如下。

4.3.1 尺度變化情況下

在圖2(a)、(b)、(c)所示的Walking、CarScale、Dog1跟蹤序列要實現目標跟蹤所面臨的主要挑戰是嚴重的尺度變化問題。如Walking跟蹤序列中由于目標在行走過程中離攝像頭遠近程度不同，出現了較大尺度變化。在第279，315，366幀中，CT、TLD、CSK、TGPR等大多數算法都出現了目標中心點與實際跟蹤框中心點偏離過大問題，其跟蹤精確度不夠好，只有本文所提快速尺度支持相關濾波算法(FSSCF)和DSST算法能夠實現精確目標跟蹤，這是由于FSSCF算法和DSST算法都采用了較強的尺度自適應策略以適應大尺度變化場景下的目標跟蹤。而在CarScale、Dog1視頻序列中目標跟蹤面臨著更為劇烈的尺度變化問題，在CarScale中的第162，189幀以及Dog1中的672，904，974幀中，只有具備極坐標尺度自適應的FSSCF算法能體現良好的尺度自適應性，實現精確的目標跟蹤。圖5(d)所提的Trellis目標跟蹤序列所要面臨的主要挑戰是光照變化和尺度變化問題，這時容易導致所建立的目標模型學習失敗，在后續幀中不能跟上目標。在其第207，402，447幀中，由于場景中存在復雜光照和尺度變化，大多數跟蹤器在跟蹤時易失敗，而FSSCF由于具備較好的分類器模型及模型更新策略，使其能夠跟上目標。

4.3.2 遮擋情況下

在圖2(e)、(f)所示的Jogging-1、Doll序列中均發生目標部分遮擋現象，如Jogging-1跟蹤序列中的第74，156幀，除本課題組提出的FSSCF算法以外，其余算法均不能對該目標進行精確跟蹤。在面對遮擋問題時，傳統的相關濾波跟蹤算法由于其分類器判別能力不夠強以及缺乏相應模板更新策略導致其在發生遮擋時跟蹤精確度不高。而FSSCF算法由于使用了快速尺度支持相關濾波分類器和模板更新策略使得其在應對遮擋環境時具備較好性能，在如圖2(g)、(h)所示的Coke、Daviad3序列中均出現目標被嚴重遮擋現象，在Coke序列第34，191，255幀中，樹葉對可樂瓶產生了嚴重遮擋，以及Daviad3序列第56，78，96幀中樹木對行人產生了嚴重遮擋，當發生嚴重遮擋時，所更新的模板不再具備代表性而出現漂移現象。而FSSCF算法卻能夠準確進行跟蹤，這充分說明了該算法所提出的分類器及模板更新策略的有效性。

圖2 算法實際效果對比圖Fig.2 Comparison algorithm actual effect

AttributesFSSCFKCFTGPRCTCSKTLDDSSTL1APGJogging10.9740.2350.2250.2310.2280.9740.2310.228Walking1.0001.0001.0001.0001.0000.9641.0001.000Bolt1.0000.9890.0260.0110.0340.3061.0000.017Doll0.9860.9670.9710.6840.5790.9830.9930.974David31.0001.0001.0000.4130.6590.1110.5990.460Trellis1.0001.0000.9810.3870.8100.5291.0000.176Dog11.0001.0001.0000.9501.0001.0001.0001.000CarScale0.7820.8060.8060.7180.6510.8530.7580.647Coke0.8930.8380.9420.1130.8730.6840.9180.265Basketball1.0000.9230.9930.2991.0000.0280.8060.306

表3 成功率(SR)Tab.3 Success rate(SR)

4.3.3 劇烈形變情況下

圖2(i)、(j)所示的Bolt、Basketball兩個序列中目標均出現大尺度形變，這時跟蹤器比較容易出現分類錯誤問題導致跟蹤失敗。比如，在Bolt序列中田徑運動員在奔跑過程中出現了大尺度形變，KCF、DSST、TGPR及本課題組所提算法由于其采用的分類器判別能力較強，所以均能良好跟蹤目標。而實時壓縮跟蹤(CT)算法由于采用簡單的樸素貝葉斯分類器，其分類器模型分類能力較弱，所以跟蹤效果非常不理想。Basketball序列中目標出現嚴重形變，由于在投籃等系列動作中引入了平面內旋轉，平面外旋轉等阻礙導致目標形變非常嚴重，而FSSCF算法由于其具有較好的自適應尺度估計策略，所以能很好地跟蹤形變量大的目標，因此在Basketball序列中第56，284，360幀時只有FSSCF算法能夠精確跟蹤目標。

4.4 算法時間復雜度分析

為了較好地分析算法的性能，從實驗角度測試了算法的時間復雜度。分別將KCF、DSST、FSSCF這3種算法在10個非常具有挑戰性的數據集下測試，記錄其運行平均跟蹤速度，即每秒跟蹤幀數(FPS)。通過如表4的實驗數據分析可知，FSSCF算法其實時速度比DSST算法好很多，這是由于DSST采用尺度池策略估計目標的尺度變化，每幀使用了33次尺度估計，而FSSCF算法將尺度估計轉換為極坐標下平移變換，只用了一次就估計出目標了尺度變化，所以其算法時間復雜度較DSST低很多。KCF算法由于不帶尺度估計，所以較FSSCF算法速度快，但其跟蹤精確度較FSSCF算法差很多，而且FSSCF算法雖然沒有KCF快，但其速度足夠滿足實時跟蹤需求。

表4 算法效率(AE)Tab.4 Algorithm efficiency (AE)

5 結 論

為了解決遮擋、出視野、形變、背景雜亂等情況下得目標跟蹤問題，提出快速尺度支持相關濾波跟蹤算法。該算法使用重構SVM獲得支持相關濾波器模型的方法降低了分類器模型復雜度；為了獲得最佳濾波器參數，該算法使用交替迭代優化策略解決了支持相關濾波器參數學習問題；同時，它采用了對數極坐標下的尺度自適應方法，有效提高了算法在劇烈尺度變化場景下的跟蹤精度。最后，通過模板更新解決了在嚴重遮擋下目標容易跟蹤丟的問題。實驗測試結果表明本課題組提出的快速支持相關濾波跟蹤算法能有效解決遮擋、出視野、形變、背景雜亂等富有挑戰場景下的目標跟蹤問題，具備較高的精確度與成功率。