連續域卷積操作跟蹤算法的改善

王 鑫，李玉芳，宋 策，韓松偉

(1.中國科學院長春光學精密機械與物理研究所，吉林 長春 130033;2. 中國第一汽車集團有限公司研發總院，吉林 長春 130013)

1 引 言

在機器視覺領域里，目標跟蹤是一個非常基本的問題，并且在眾多應用領域(如監控安防系統、無人機系統、無人駕駛系統、智能交通管理系統、人機交互系統，在線視覺跟蹤系統)中，扮演著十分重要的角色。目標跟蹤的基本原理是：給定目標物初始位置，結合一系列連續的圖像幀，估算出目標物的運動軌跡。在線視覺跟蹤的“在線”特點決定了，即使機器視覺對實時計算的約束條件異常復雜，理想的跟蹤算法都應該保證系統的“精確性”和“魯棒性”。

近些年來，可辨識相關分類器(DCF)在實時跟蹤領域中扮演的角色越來越重要。國內外為了改善和提高基于DCF的改進算法的跟蹤性能，基本上都是圍繞向多維空間拓展[1-2]、魯棒性估計模型[3-4]、機器學習模型[5-6]、引入非線性基核函數法[7]，應對邊界效應策略[8-9]幾個角度展開研究的。但是，這些改進算法在提升系統跟蹤性能的同時，圖像的特征維度也隨之提高，這一變化增加了系統的計算復雜程度和延遲。例如，Bolme團隊開發的第一代MOSSE算法[10]比連續域卷積操作跟蹤(C-COT)算法[11]的計算速度快了近1 000倍[12]，但在精確性方面，后者只比前者提高一倍，同時C-COT算法引入了更多的約束條件，極易引起過擬合。

基于C-COT算法存在的問題，本文從模型維度、訓練集大小和模板更新策略3個方面入手，在不犧牲跟蹤系統性能的同時，降低跟蹤系統的延遲和過擬合出現的概率。

2 C-COT算法原理分析

2.1 構造連續域插值函數

(1)

式(1)中，bd是差值函數，t∈[0,T)是連續域變量，T是連續域支撐空間長度。插值函數Jd{xd}(t)由內插函數bd的各個平移形式疊加而成，其中特征值xd[n]充當加權值。

2.2 構造置信函數

(2)

每個特征通道先用式(1)進行差值操作，然后和對應的分類器進行卷積運算，最后把分類器的卷積響應累加得到式(2)中的置信函數。

2.3 期望泛函

(3)

式(3)中，權重αj≥0控制著每個訓練樣本的影響力，懲罰系數ω≥0由特征點在整幅圖像中的位置決定。樣本處在背景區則ω值較大，在目標區則ω值較小。

2.4 訓練連續分類器

(4)

根據帕賽瓦爾(Parseval)公式，結合式(3)和(4)可得：

(5)

2.5 正規方程的構造

(6)

(7)

式(7)中(AHΓA+WHW)為對稱正定方程，可以用共軛梯度迭代(Conjugate Gradient)法求解。

3 C-COT算法的改善

3.1 對C-COT算法進行改善的原因和目的

本文的目的是提高DCF算法的計算速度和跟蹤性能。從MOSSE算法依次到KCF算法、DSST算法、CN算法、SRDCF算法、C-COT算法，跟蹤性能的確越來越好，但模型越來越復雜，計算速度也越來越慢。導致計算速度降低的原因主要有：訓練的模型維度越來越高、訓練集越來越大、模板更新的速度越來越快。本文的目的是在不犧牲跟蹤性能的同時，降低跟蹤系統的延遲和C-COT算法中過擬合出現的概率。

3.2 卷積因式分解

定義新的卷積算子，如下：

SPf{x}=Pf*J{x}，

(8)

(9)

因為式(9)滿足卷積的線性性質，故其因式分解可歸納為兩步，即包含D維特征的特征向量J{x}(t)先在t處，與降維矩陣PT相乘，得到包含C維特征的特征向量再與分類器向量f進行卷積運算。

(10)

(11)

(12)

卷積因式分解的主要目的是，降低特征通道的維數，進而降低跟蹤系統的計算復雜程度和內存空間占用率。由分類器的自適應特點決定，降維矩陣P可以通過訓練第一幀圖像獲得，并在后續跟蹤過程中保持不變，故本文僅通過存儲預測值PTJ{xj}的方式，就節省了大量內存空間，且PTJ{xj}還可作為C-COT算法的輸入，經訓練能得到一個C維分類器，即將特征維數D降低到C，進而降低系統計算復雜程度。

3.3 緊湊衍生模型

在C-COT算法中，跟蹤系統刻畫一個目標物的簡單運動就需要大量樣本，而且其中很多樣本是冗余樣本，這點極易造成過擬合。

本文提出一個更具代表性的小模型，即緊湊衍生模型，既可以避免存儲完整的樣本訓練集，又能提高樣本的多樣性。本文選擇的訓練模型取自服從高斯分布的樣本集，這樣既能保證每個樣本代表特定的運動時期，又能大大降低過擬合出現的風險。

(13)

(14)

(15)

結合式(15)，式(13)可轉化為式(16)：

(16)

式(16)可參考式(7)求解分類器。

3.4 模型更新策略

如果為求取求解分類器，對圖像的每一幀都進行迭代，不僅會影響跟蹤系統的計算速度，還容易造成過擬合。因此本文每隔NS=5幀進行一次模型的更新，即執行式(7)的迭代求解分類器。因為式(7)是動態變化的，不必精確求解，所以僅在處理第一幀圖像時，設定CG法迭代次數NCG=100，而在處理后續幀時，無需過多迭代，設定NCG=5。 基于這種迭代方式，平均每幀只進行NCG/NS次迭代，極大地提升了運行效率。同時，樣本集的更新，則是每一幀都進行。

4 實驗與結果

本文基于4個標準數據集，通過綜合實驗驗證了本文提出的改善方法。這4個標準數據集分別是：VOT2016數據集[12]、UAV123數據集[13]、OTB-2015數據集[14]以及Temple-Color數據集[15]。

4.1 實驗準備

本文基于Matlab環境進行算法驗證，使用與C-COT算法相同的4種特征提取方式，即在VGG-m網絡[16]中的第一個卷積層(conv1)和最后一個卷積層(conv5)進行特征提取，及HOG法[17]和Color Names (CN)法[18]這兩種手動特征提取方式。通過這4種不同的特征提取方式訓練因式分解卷積方法中的降維矩陣和分類器，結果如表1所示。

設定式(10)中的正則化參數λ=2×10-7，第

表1 在不同特征提取條件下的特征維度D和分類器數目C

Tab.1 Feature dimensionalityDand the number of filtersCfor each features

Conv-1Conv-5HOGCN特征維度 D965123111分類器緯度 C1664103

本文設定緊湊衍生模型學習速率γ= 0.012，樣本的數量L= 50，與C-COT算法使用的樣本數(m= 400)相比減少了80%。模型更新時，每NS=6幀更新一次分類器(與C-COT算法一致)，CG迭代次數NCG=5。同時，所有視頻數據集的全部參數設置固定不變。

4.2 與C-COT算法的對比與分析

本章節基于VOT2016數據集，與C-COT算法進行對比分析，VOT2016數據集包含60個典型視頻。使用預期平均重疊率(EAO)對總體性能進行評估，該評估兼顧精確性和魯棒性[19]。

表2 本文提出的改善算法做出的貢獻Tab.2 Contributions of improvement strategy

表2顯示了本文在C-COT算法改善方面做出的貢獻。把因式分解卷積集成到C-COT算法中，使得 EAO指數提高至0.342，系統計算量減少了6倍。在此基礎上，緊湊衍生模型將EAO指數提高至0.352，計算量減少了8倍。模板更新策略進一步將EAO指數提高到0.374，計算量減少了6倍。

本文在單核CPU上進行實驗，FPS表征系統每秒可以處理的圖像幀數。表2還展示了改善算法對跟蹤系統運行速度的提升(不考慮特征提取占用的時間)：改善算法的3項工作都不同程度地提高了系統的跟蹤速度，相比與C-COT算法，速度一共提升了近20倍。

本文在不改變原算法跟蹤精度的前提下，顯著地提升了跟蹤速度，這對改善跟蹤系統的實時性有很大幫助。

4.3 與主流跟蹤算法的對比與分析

本文基于4個標準數據集，與最新的主流跟蹤系統進行比較。

4.3.1 基于VOT2016數據集的對比與分析

本文從EAO指數、魯棒性、精確性和運行速度(這里考慮特征提取占用的時間)4個方面，分別與最新的主流跟蹤系統進行比較。在EAO指數方面，VOT2016挑戰賽中排名第一的C-COT算法的EAO指數為0.331，本文與之相比， EAO指數增加了13.0%；在精確性方面，本文達到了0.72的最低失誤率；在運行速度方面，本文僅采用手動特征提取(HOG特征和CN特征)的方式就達到了最快運行速度，詳見表3。

表3 不同跟蹤策略的實驗結果對比與分析

Tab.3 Compare and analysis of experimental results from different tracking strategies

跟蹤算法識別率誤識別率精確度處理速度SRBT0.2901.250.503.69EBT0.2910.900.443.01DDC0.2931.230.530.20Staple0.2951.350.5411.14MLDF0.3110.830.481.48SSAT0.3211.040.570.48TCCN0.3250.960.541.05C-COT0.3310.850.520.51RDFC&CGM*0.3221.080.5315.13RDFC*0.3740.720.544.53

本文對跟蹤速度的提升不是通過縮短特征提取時間實現的，而是通過有效降低圖像處理過程中的計算時間實現的。

4.3.2 基于UAV123數據集的對比與分析

“無人機空中跟蹤技術”近年來受到廣泛關注，并且在野外生命監測、搜救、導航、監控等領域都有廣泛的應用，因此無人機持續導航以及實時跟蹤技術成為關鍵。基于此應用背景，理想的跟蹤系統應該是精確且穩定的，并且能夠在有限的硬件環境下實時運行。此環節采用HOG特征和CN特征進行手動特征提取，且在i7單核CPU上以每秒60幀的速度運行。

UAV123數據集由123個最新航拍視頻組成，幀數超過11萬，采用“跟蹤性能曲線”第一象限積分(AUC)大小來評定跟蹤算法的性能。

圖1(a)是以UAV123數據集為基礎，模擬出的跟蹤性能曲線。在排名前五的跟蹤系統中，只有基于Staple 算法的跟蹤系統是實時運行的，AUC得分為45.3%。在幀頻不超過60的情況下，基于本文改善算法(RFCG &CN)的跟蹤系統也是實時運行的，且AUC得分為51.7%，比Staple 算法得分高出6.4%。與C-COT算法相比，本文改善算法(RFCG)的跟蹤性能略占優勢，AUC得分為53.7%。

本文雖然顯著提高了C-COT跟算法的蹤速度，但是在眾多算法中，跟蹤速度不是最快的。但是在跟蹤速度較快的一系列算法中，跟蹤精度是比較高的。

4.3.3 基于OTB2015數據集的對比與分析

本文與20個先進的跟蹤算法進行對比，它們分別是：TLD[20]、Struck[21]、CFLB[9]、ACT[1]、TGPR[22]、KCF[7]、DSST[3]、 SAMF[23]、MEEM[24]、DAT[25]、LCT[26]、 HCF[27]、SRDCF[28]、SRDCFad[29]、DeepSRDCF[30]、Staple[31]、MDNet[32]、SiameseFC[33]、TCNN[34]、C-COT[11]。圖1(b)是以OTB2015數據集中的100個視頻為基礎，模擬出的跟蹤性能曲線[35-37]。在手動特征提取的條件下，進行跟蹤系統性能比較。SRDCFad算法的AUC得分較高，為63.4%，而本文改善算法(RFCG & CN)的跟蹤性能略占優勢， AUC得分為65.0%。在使用單核CPU，視頻每秒60幀的前提條件下， C-COT、MDNet和TCNN這3類算法的AUC得分較高，分別為69.0%、68.5%和66.1%，而本文改善算法(RFCG)的跟蹤性能最優，AUC得分為70.0%。

本文在提高原有跟蹤算法速度的基礎上，也在一定程度上挺高了跟蹤精度。

4.3.4 基于Temple-Color數據集的比較與分析

圖1(c)是以Temple-Color數據集中128個視頻為基礎，模擬出的跟蹤性能曲線。本文的改善算法(RDFC)較之C-COT算法，跟蹤性能有了一定的提升，AUC得分提高了0.8%。

本文基于針對色彩空間的樣本，在跟蹤精度方面的有一定改善，但不明顯。

圖1 三類數據集下的跟蹤性能曲線Fig. 1 Trace performance curves under three types of datasets

5 結 論

本文以DCF方法為基礎，在C-COT算法的基礎上，引入了一個因式分解卷積算子，降低了模型中維度，提出了一個訓練樣本的緊湊衍生模型，在提高樣本多樣性的同時，降低了系統計算時間和過擬合出現的概率。最后，提出了一個簡單有效的模型更新策略，進一步降低了過擬合出現的概率。實驗結果證明：基于VOT2016數據集，在EAO指數方面，本文獲得的分數為37.4%，比C-COT算法高出13.0%，在精確性方面，本文達到了0.72的最低失誤率；基于UAV123數據集，本文獲得了53.7%的AUC分數，比C-COT算法高出2%；基于OTB2015數據集，本文獲得了70.0%的AUC分數，比C-COT算法高出1%；基于Temple-Color數據集，本文獲得了60.5%的AUC分數，比C-COT算法高出1%。

從跟蹤性能角度分析，本文在一定程度上改善了系統跟蹤精度，明顯地提高了原跟蹤算法的跟蹤速度。跟蹤速度的提高降低了系統的硬件標準，這使得復雜的跟蹤算法可以應用到更多的實際項目中去。