一種自適應模板更新的判別式KCF跟蹤方法

寧欣，李衛軍,3，田偉娟，徐馳，徐健

（1. 中國科學院半導體研究所 高速電路與神經網絡實驗室，北京 100083; 2. 威富集團 形象認知計算聯合實驗室，北京 100083; 3. 中國科學院大學 微電子學院，北京 100029）

近年來，計算機視覺作為一門新興學科發展十分迅速，目標跟蹤作為視頻監督、分析和理解的關鍵技術，由于其重要的學術價值、潛在的商業價值和廣泛的應用前景迅速成為計算機視覺領域研究的熱點和難點，已成功應用于智能監控、機器人、醫學成像及人體運動分析等人機交互領域[1-2]，越來越多的學者和機構在相關方面進行了大量的研究工作，同時取得了較好的成就。然而，目標形狀變化、快速運動和遮擋一直是限制目標跟蹤在實際場合應用的瓶頸。

最近，KCF[3]以其高效的計算能力成功引起了眾多研究者的重視和青睞，同時在目標跟蹤中取得了較好的性能。該方法首次將快速Fourier變換成功應用到目標跟蹤中，達到了實時跟蹤的效果。然而該算法未對遮擋和快速運動中的目標跟蹤作進一步處理；同時為了減少訓練樣本數目少的缺陷，每一幀均用于模板更新，以增強模板的檢測性能，但這也使得大量的與目標無關的背景信息被加入到模板更新中，導致跟蹤框漂移，目標跟蹤性能下降。針對經典的KCF算法存在的問題，最新的跟蹤算法主要從2個方面作改進：一種是目標特征表示的優化設計，另一種是魯棒的分類器的設計。

1)目標新特征的優化設計方法。特征的優化設計是目標跟蹤領域一個非常重要的研究線索，該方法主要致力于目標表示的設計，即通過采用機器學習方法或者深度學習方法設計表達能力更好的特征，實現目標更詳細的描述。文獻[4-8]對傳統特征進行改進；考慮到深度學習在特征表示中的優越性，文獻[9-13]采用深度卷積神經網絡挖掘高層卷積特征，以增強跟蹤算法的性能。文獻[9]直接從預訓練的深度CNN中提取若干層特征并用于學習自適應相關濾波器，保證了跟蹤準確率和魯棒性。進一步地，文獻[10]提出了一種基于CNN的序列訓練方法，該方法把每個通道的特征輸出作為單獨的跟蹤器，最后將分類器的結果級聯作為最后的決策輸出。目標特征的優化設計方法，雖取得了一定成績，但目標跟蹤算法旨在區分出背景和目標區域，該方法所學習到的特征只表示了目標視頻的底層視覺信息，未對背景作進一步約束，導致學習到的模板判別能力非常有限。因此，獲取判別性好的目標特征仍是一個比較棘手的難題。

2)魯棒的分類器的設計方法。魯棒的分類器設計方法主要是通過建立優化機制，對需要進行模板更新的樣本作限制，進一步保證了模板對于目標的檢測效果。為了充分利用結構化輸出的SVM能夠處理復雜輸出，如樹、序列和集合等優勢，Hare等[14]首次將該算法應用到跟蹤中，大大提高了跟蹤準確率。為降低計算復雜度，Ning等[15]提出了一種基于雙線性結構化的SVM模型，該模型采用的特征圖可達到近似非線性核的效果，因此跟蹤性能得到大幅度提升，然而該算法的跟蹤速度依然限制了其實際應用。因此，Wang等[16]提出了一種高置信度的模板更新策略，能盡可能地避免模板更新引入的背景信息，但目標跟蹤過程中，目標往往不是一成不變的，目標狀態的變化會引起當前跟蹤框的置信度較小，從而導致學習到的模板無法擬合目標的變化。

以上2種方法致力于設計更復雜的特征或者分類器，在提高跟蹤精度的同時，無疑大大增加了算法的復雜度，從而限制了視覺跟蹤的實時性能，同時，上述方法并沒有對目標的快速運動和目標遮擋作進一步的處理。

1 跟蹤算法新構架

本文提出了一種自適應模板更新的判別式核相關濾波跟蹤新構架，如圖1所示。能夠判斷當前跟蹤狀態是否正常，及時恢復丟失的目標，同時能夠判斷當前跟蹤的目標是否發生形狀變化，并制定出不同的機制恢復丟失的目標，實現了高效的目標跟蹤。

1.1 基于判別式模型的跟蹤質量判定

為了實時監督跟蹤目標是否發生形狀變化或者目標丟失的情況，本文提出一種基于外觀判別式分類器的跟蹤質量判定標準，以判斷跟蹤結果的準確性，實現目標的有效跟蹤。本文跟蹤結果判定標準的定義和實現如下：

1)獲取初始幀中目標框的初始信息。采用目標檢測算法對輸入幀執行目標檢測，獲取目標框的初始信息，包括目標所在位置以及尺寸大小。

2)構建判別式分類器的樣本訓練集并分配樣本標簽。以一定步長在目標框的周圍進行稠密采樣，獲取與目標框大小相同的訓練樣本；假設樣本圖像所在框與目標框之間的重疊閾值為 Tovp，分別計算所有樣本圖像與目標框的重疊值；當重疊值大于Tovp時 ，設置該樣本圖像的標簽為1，否則為0。

3)提取樣本的HOG特征在低維空間的特征表示，即HOG描述子。首先提取所有樣本的HOG特征，然后采用PCA-net[17]的思想對HOG特征作進一步的降維處理，旨在獲取更抽象且判別性更好的特征表示f。

4)對所有正負樣本重復3)，得到所有樣本的低維特征表示，為當前目標學習判別模型 svm1，并加入到集合 SVMobj中 ， SVMobj為跟蹤目標出現的所有外觀狀態對應的分類器集合。

圖 1 目標跟蹤新框架圖示Fig. 1 Overview of the proposed framework for visual tracking

5)針對易混淆的訓練樣本，在模型學習的過程中加入類別約束，對易錯分的樣本進行懲罰，使得特征的類別信息更明顯，判別能力更強。針對出現錯分的樣本：若隸屬于目標的樣本特征fobj被 錯分到背景類別中，即 fobj在目標中的類別判分小于在背景中的判分；若隸屬于背景的樣本特征 fbgd被錯分到目標類別中，即 fbgd在目標中的類別判分大于在背景中的判分。因此，引入下列類別約束條件：

6)采用KCF獲取測試幀的跟蹤結果，并計算跟蹤區域對應的特征 f 在集合 SVMobj下的判分s(f,SVMobj) ， 以判斷當前目標的跟蹤狀態 trk_sta是否正常，計算如式(2)、式(3)：

式中： n 表示外觀判別模型的數目； Tsco表示跟蹤結果在判別模型中的判分閾值。若trk_sta=normal，表明跟蹤結果可信；否則，表明目標狀態變化，可能發生旋轉、目標快速運動或者被遮擋等情況。

1.2 自適應模板更新策略

本節給出了一種基于極小值的模板更新策略，旨在針對性地篩選出不同形狀以及與背景相似度較大的目標樣本，用于對當前模板進行更新，以增強模板對于不同形狀和與背景相似的正樣本的泛化能力。

目標跟蹤過程中，可觀察到置信度呈現先下降后上升的趨勢，有2種情況可以解釋：1)目標形狀從偏離初始模板到逐漸恢復至與模板相似，如目標的平面內旋轉；2)目標形狀發生變化的過程中，目標形狀逐漸偏離初始模板，而背景中存在與初始模板相近的區域，導致目標所在位置框朝著背景方向漂移，如目標平面外的旋轉。為了能夠讓模板具有較好的魯棒性，需要同時保證圖像標簽為1的正樣本的數量和多樣性，當上述2種情況出現時表示目前樣本的狀態發生了變化，需要對模板及時進行更新，使得跟蹤器具有更好的檢測性能。因此，模板的更新條件設置為：連續多幀目標跟蹤框的置信度呈現先增后減的趨勢，即伴隨有極小值的出現。基于這樣的思想，本文基于極值的模板更新策略具體過程如下。

1)輸入下一幀圖像，采用KCF算法進行跟蹤，獲取跟蹤結果的置信度。

2)重復步驟1)，獲取連續 n幀的置信度集合C={c1,c2,···,cn} ，觀察置信度的變化情況。設 F表示更新標志位，定義為

3)若 F為1，則極小值對應的跟蹤結果用于模板更新，同時考慮到模板更新具有一定的記憶功能，為了能包含更完整的樣本信息，對接下來的3幀，直接設置標志位 F為1，并執行模塊更新操作。

4)模板未被更新時，若極小值出現在幀Fran時，保留最后的 n-1幀，否則僅保留最后一幀；模板被更新時，剔除所有 n幀的置信度，得到更新后的置信度集合 Cn′，計算式為

5)將用于模板更新的樣本作為訓練樣本，學習新的外觀判別式模型 svm ，并加入到 S VMobj中。

1.3 目標跟蹤新構架

本文提出了一種自適應模板更新的判別式核相關濾波跟蹤新構架，能夠實時監督目標的跟蹤情況，捕捉發生旋轉或者處于遮擋和快速運動的目標，并進一步設計跟蹤丟失恢復機制，以保證目標實時且長期有效地跟蹤，具體實施如下。

1)輸入圖像，并執行1.1節提出的跟蹤質量判定方法，捕捉跟蹤異常的情況。

2)獲取跟蹤異常的圖像幀，利用1.2節提出的模板更新策略獲取模板更新標志 F 。 F=1表明目標發生旋轉，有必要進行模板更新；否則，表明目標形狀未發生較大的變化，此時目標可能被干擾物遮擋或者處于快速運動的狀態。

3)對當前幀執行目標檢測算法，若丟失目標被成功檢測，則利用檢測結果繼續跟蹤，否則認為目標被干擾物遮擋，在這種情況下，假設遮擋過程具備時長短期性和目標運動位移最小化的性質，因此，保持目標丟失前的位置不變，直到跟蹤狀態 trk_sta正常或者目標被成功檢測。

2 實驗與分析

2.1 實驗設置和數據庫

為驗證提出的新框架的有效性，首先從公共數據集OTB-100[18]中選取50組視頻進行測試。然后，分別選取具有旋轉、快速運動和遮擋屬性的視頻對本文新構架的魯棒性進行評估。圖2給出了OTB-100中的部分視頻幀。一次成功率和幀速率分別用于跟蹤評估。一次成功率用于評估跟蹤的準確率，包含跟蹤精度和成功率兩個指標；幀速率用于評估跟蹤速度的快慢。

圖 2 OTB-100數據庫Fig. 2 OTB-100 dataset

本文實驗參數設置如下：1)本文提出的基于極值的自適應更新策略中，最小值存在性判斷需要的幀數目 n 設置為4，重疊率閾值 Tsco設置為0.7；2)本文用于跟蹤質量判定的判別模型學習中，訓練樣本標簽確定需要的重疊率閾值 Tovp設置為0.7。

2.2 新構架的目標跟蹤

本節采用基于HOG和CN特征結合的跟蹤新構架，即AU_DKCF進行測試，通過比較不同特征以驗證提出的方法的有效性。表1分別列出了新構架AU_DKCF與對比算法的跟蹤結果。由表1可以看出，新構架在跟蹤速度和精度方面取得了較高的性能，均優于對比算法。其原因在于：新構架能夠較準確判斷目標是否跟蹤異常，同時可進一步區別目標跟蹤異常所產生的原因，并利用不同機制恢復丟失的目標，實現目標長期且準確地跟蹤。AU_DKCF在采用2種手工特征結合時，跟蹤速度能達到105.2 f/s，可有效實現目標的實時跟蹤。

表 1 本文新構架和對比算法的目標跟蹤結果Table 1 Object tracking results of proposed method and contrastive methods on OTB-50

2.3 不同屬性的視頻跟蹤

本節針對具有目標形狀變化、目標被遮擋和快速運動等屬性的視頻序列，分別進行目標跟蹤測試，以驗證提出的跟蹤算法對于上述挑戰的魯棒性。表2給出了本文新構架和對比算法在OTB-100數據集上，對于不同屬性視頻的跟蹤結果。由表2可以看出，本文提出的新構架對于上述挑戰的有效性。

表 2 本文新構架對不同屬性視頻的跟蹤結果Table 2 Tracking results on videos with sequence attributes %

2.4 跟蹤結果可視化

本節給出了本文新框架的跟蹤可視化效果，以展示本文方法的有效性。圖3～5分別給出了本文AU_DKCF和經典濾波算法(線性相關濾波DCF和核相關濾波KCF)對旋轉屬性的視頻，快速運動屬性的視頻和遮擋屬性的視頻的跟蹤結果。從圖中可以觀察得到，新框架在處理具備旋轉挑戰的視頻時，獲得了更優的性能。圖3～5中，綠色框表示Groundruth，紫色框表示DCF，藍色框表示KCF，紅色框表示AU_DKCF。

圖 5 籃球視頻的可視化跟蹤結果Fig. 5 Visualizing tracking result of basketball

3 結束語

本文在充分分析、研究和實驗的基礎上，取得了以下幾點結論：1)提出一種基于外觀判別式分類器的跟蹤質量判定方法，旨在判斷當前跟蹤狀態是否正常，以便及時恢復丟失的目標；2)提出了一種新的自適應模板更新策略，在提高跟蹤速度的同時，能夠判斷當前跟蹤的目標是否發生形狀變化，以增強模板的泛化能力；3)提出一種融合跟蹤質量判定和模板自適應更新的跟蹤新構架，旨在實時判斷當前跟蹤目標所處狀態，同時制定出不同的機制恢復丟失的目標，實現了高效的目標跟蹤。后續作者將致力于將現有跟蹤算法和深度學習結合用于安防監控中的異常行為分析、客流量統計和警戒區域報警等應用中。