基于通道選擇與目標重檢的跟蹤算法

申 遠，楊文柱，周 楊

(河北大學 網絡空間安全與計算機學院，河北 保定071002)

0 引 言

目標跟蹤是機器視覺領域的研究熱點之一[1]。如何實現在尺度變化、目標遮擋、光照變化和目標形變等復雜條件下的魯棒跟蹤是目前目標跟蹤面臨的主要挑戰[2]。在當前的研究中，核相關濾波算法(KCF)[3]因其高速的特點表現優異，但仍難避免魯棒性低的情況。為解決其在跟蹤過程中目標遮擋和出視野的問題，馬超等在LCT[4]算法中加入基于置信度的目標檢測機制。為進一步提高跟蹤的準確性，王蒙蒙等[5]提出了多峰檢測和高置信度更新策略。由于傳統特征都是淺層像素特征，限制了跟蹤精度的進一步提高，因此HCF[6]算法使用了包含大量抽象信息的卷積特征，從訓練后的VGG-Net[7]中提取3個卷積層的特征來訓練對應的相關濾波器，算法的精確度得到一定的提升，但計算復雜度較大。對此，多種算法[8-10]從卷積的角度進行改進，雖然計算量得到了降低，但仍然對硬件有較高的要求。

在上述研究的基礎上，為進一步提升相關濾波類算法的跟蹤精度，設計了一種基于通道選擇與目標重檢的跟蹤算法。為了降低卷積特征對模型運行速度和準確度帶來的影響，對卷積通道進行了篩選；為了提高跟蹤的準確性，對跟蹤失敗的幀進行重新定位并對模板的更新設置了約束條件；為了實現尺度自適應的目標跟蹤，用不同比例的搜索框對位置濾波器進行訓練，使算法達到了較好的跟蹤效果。

1 基于通道選擇與目標重檢的跟蹤算法

基于通道選擇與目標重檢的跟蹤算法將卷積特征與相關濾波結合，通過對卷積通道的篩選降低算法的計算復雜度，并通過目標重檢機制提高算法精度。圖1為卷積通道選擇和目標跟蹤過程框架圖，w代表濾波器。

圖1 卷積通道選擇和目標跟蹤過程框架

1.1 卷積通道選擇

利用已經在ImageNet上訓練好的輕量型卷積神經網絡MobileNet[11]來獲取卷積特征，借鑒文獻[6]選擇3個卷積層的特征進行后續的訓練與跟蹤。由于深度卷積層特征維度過大，當使用多個卷積層特征訓練濾波器時計算復雜度太高，導致跟蹤速度變慢。此外，對于不同的跟蹤場景來說有效的卷積特征也有所不同，如圖2所示，在MobileNet第10層的可視化特征圖中，對于當前的跟蹤效果來說，有些特征的貢獻度較小甚至是無效的，使用這些特征不但不能提高跟蹤效果，還會拖慢跟蹤速度，因此需要對卷積通道進行選擇。

圖2 MobileNet第10層卷積通道特征

在對通道的特征表達能力進行分析時發現，目標區域的特征均值Mc和特征方差Vc與通道的特征表達能力成正相關，因此分別設αM為Mc的閾值，αV為Vc的閾值，當Mc和Vc分別大于兩個閾值時，認為該通道具有較好的特征表達能力，Mc和Vc可以分別通過式(1)和式(2)計算得到

(1)

(2)

其中，I為特征圖的寬，J為其高，P(i,j)為(i,j)處的特征值。

圖3 通道選擇前后對比

1.2 位置濾波器的訓練及預測

在跟蹤過程中按照上一步得到的通道標號直接抽取卷積特征，訓練位置濾波器，預測目標位置。將目標圖像塊中的像素在(m,n)處的高斯標簽設為y(m,n)，其定義參見文獻[3]，目標中心位置的高斯標簽y(m,n)=1，距離目標中心越遠，高斯標簽的值越趨近于0。通過式(3)可以求得一個相關濾波分類器W*

(3)

其中，λ(λ≥0)是一個正則化參數，W*為滿足上式的第l層的相關濾波分類器。當前卷積層中通道d對應的濾波器為

(4)

發布會上，昆明供電局黨委發布的《“三個導向”助推責任落實，黨的建設督導構建“昆供模式”》，解決責任“層層衰減”的案例，是推動黨的建設工作責任制有效落實落地，進一步構建完善大監督體系的有力體現。該項目有效地實現黨的建設工作重在日常、抓在時常、嚴在經常，書記項目、黨員突擊隊等載體成為了黨的建設融入中心、重點項目攻堅、推動生產經營的有力抓手，不僅帶動了一批黨的建設業務能手，還起到了助推企業發展的效果。

在新的一幀中計算通道特征與濾波器之間的相關響應

(5)

其中，F-1代表逆傅里葉變換。Zd和Wd分別代表通道d對應的卷積特征和濾波器。第l層中目標的位置即為響應圖中最大響應的位置

(6)

1.3 目標重檢機制

通過對所得響應圖的分析發現，在跟蹤穩定的情況下，響應圖中的分布與正態分布類似，響應峰值大，響應均值小；當跟蹤與實際情況出現偏差時，響應圖出現一定程度的振蕩，無明顯峰值，響應均值也隨之增大。目標跟蹤過程中響應圖內各個位置上響應的變化情況如圖4所示[12]。為了提高每一幀中跟蹤的準確率，使用目標重檢機制對跟蹤不準確的幀進行目標位置的重新檢測。

圖4 跟蹤偏移過程中的響應變化

在目標重檢中，首先設置一個可以衡量當前幀跟蹤情況的閾值τa，對每一幀響應圖里的響應均值fmean進行約束

(7)

(8)

其中,fmax，fmin分別代表響應矩陣f中的最大值、最小值。模板記錄見表1，它會對跟蹤模板進行更新記錄，其中p代表記錄下的模板個數，其取值根據跟蹤視頻的實際情況而定。最優模板T的APCE值為max_APCE，其計算公式為max_APCE=max{APCE(1)，APCE(2)，…，APCE(p)}，使用穩定性較強的最優模板T再次檢測目標位置。重新檢測后得到的最大響應均值為f′mean，若f′mean>fmean，則使用模板T替代當前模板并對下一幀中的目標進行跟蹤，否則直接使用當前模板進行后續跟蹤。

表1 模板記錄

1.4 尺度濾波器訓練

獲得目標位置后，使用尺度濾波器預測目標尺度。以位置濾波器預測出的目標位置為中心點，獲取不同尺度的候選塊，進而找到最匹配的尺度。圖像候選塊的選取依據為

(9)

其中，P和Q表示當前幀目標框的寬和高，α表示尺度因子，S表示尺度個數。尺度濾波器用33種不同的尺度獲取候選框的HOG特征，計算不同尺度下的響應，最大響應對應的尺度即為預測的目標尺度，由此實現對目標尺度的自適應預測。

1.5 模板條件更新

為提高模板的可信度，采用模板條件更新策略。在對位置濾波器的訓練過程中，可以得到分辨率最高的卷積層上的響應圖。使用響應圖中的數據計算出對應的APCE值，它可以較好地反應出當前跟蹤的穩定性。根據跟蹤場景設置閾值τt來判斷是否更新跟蹤模板，若APCE≥τt則說明當前的跟蹤較為穩定，可以對跟蹤模板進行更新。使用移動平均值分別更新濾波器的分子Ad和分母Bd，即按照如下公式更新跟蹤模板參數

(10)

(11)

(12)

其中，μ代表學習率，k是當前幀的索引。將每次更新的模板及對應的APCE記錄在模板記錄表中，應用于目標重檢部分。若APCE<τt則說明此時的跟蹤不穩定，直接使用原有模板進行后續跟蹤。

2 實驗結果分析

實驗在MATLAB R2016a環境下完成，使用MatConvNet[13]工具對網絡層進行預訓練。CPU為Intel(R) Core(TM) i3-4160 CPU @ 3.60 GHz，內存為12 GB RAM。數據集為OTB50(object tracking benchmark)[14]，該數據集中含有50個不同的視頻序列，包含了各種具有挑戰性的場景，如尺度變化、光照變化、背景雜波、快速運動、遮擋、旋轉等。

OTB50通過距離精確度和成功重疊率來對跟蹤結果進行評估。距離精確度是指預測的目標中心位置與實際中心位置的誤差小于某一閾值的幀數的百分比，本實驗中將這一閾值設為20px。成功重疊率是指預測的邊界框與實際邊界框的交并比超過某一閾值的幀數所占的百分比，本實驗中將這一閾值設為0.5，只有當預測的位置和預測的尺度都準確時成功重疊率的分數才會高。在預訓練中，設閾值αM=0，αV=0.02，在模板記錄表中記錄連續更新的p=10個模板。

2.1 卷積層的選擇

MobileNet網絡包含多個卷積層，在HCF跟蹤算法[6]的基礎下，將原來VGG-Net中3個卷積層的特征替換為MobileNet中單個卷積層的特征對相關濾波器進行訓練。將其在OTB數據集上進行測試，表現最好的前6個卷積層的跟蹤結果如圖5所示。從圖中可以看出，conv5-5-dw、conv5-4-dw、conv5-3-dw這3個卷積層產生的跟蹤精確度均達到了80%以上，成功率高出其它層約2%。且兩個圖中這3個卷積層跟蹤結果圖的走勢非常接近，幾乎重疊在一起，表現穩定，因此選擇這3個卷積層的特征對濾波器進行訓練。

圖5 MobileNet在OTB50上的跟蹤精確度和成功率前6名

2.2 跟蹤結果分析

從影響因素、OPE成功率與精確度、跟蹤過程3個方面將新算法與其它8種算法進行比較。這8種算法分別是HCF跟蹤算法[11]、多層卷積相關濾波跟蹤算法[15](HDT)、LCT跟蹤算法[4]、SRDCF跟蹤算法[16]、基于全卷積孿生網絡的目標跟蹤算法[17](SiamFC)、多特征融合的實時跟蹤算法[18](Staple)、KCF跟蹤算法[3]以及DSST跟蹤算法[19]。這些算法中除LCT、KCF、Staple、DSST外其它算法均使用卷積特征，而除SiamFC外均為相關濾波類算法。

2.2.1 不同挑戰因素下成功率對比

表2為這9種算法在背景雜波(BC)、形變(DEF)、光照變化(IV)、遮擋(OCC)、平面內旋轉(IPR)、平面外旋轉(OPR)和尺度變化(SV)影響下的成功率，表現最好的算法已用下劃線標出。從表中可以看出，當遭遇形變時，所提算法的成功率高達88.5%，說明卷積特征可以較好的緩解由于目標形狀改變而對跟蹤結果造成的影響。在遭遇遮擋時，所提算法的成功率為83.4%，比第二名高了約3%，這說明在目標丟失時重檢機制可以較好完成目標找回。在遭遇尺度變化時，由于新算法僅使用HOG特征訓練尺度濾波器，跟蹤成功率為75.7%，比SiamFC低約2%。在其它挑戰因素的影響下新算法也取得了較好的跟蹤效果。

表2 不同算法在不同影響因素下的跟蹤成功率/%

2.2.2 OPE成功率與精確度對比

9種算法的OPE成功率與精確度結果如圖6所示。實驗結果表明，使用卷積特征的算法表現普遍優于其它使用傳統特征的算法，說明卷積網絡對抽象特征的表達能力有助于提高跟蹤的魯棒性。雖然針對長時跟蹤的LCT算法使用的也是傳統特征，但是由于加入了檢測模塊和尺度估計，算法的跟蹤性能也表現突出。所提算法的OPE精確度為90.6%，相比KCF算法提高了16.6%，相比LCT算法提高了5.8%，相比HCF算法提高了1.5%。所提算法的OPE成功率為83.2%，相比KCF算法提高了20.9%，相比HCF算法提高了9.2%，相比LCT算法提高了1.9%。

2.2.3 跟蹤過程對比

所提算法與HCF、HDT、KCF和Staple等算法的跟蹤過程如圖7所示。在圖7(a)中使用HOG特征的KCF算法最早丟失跟蹤目標，其余算法在第91幀鏡頭抖動時跟丟目標。但加入目標重檢機制的新算法在第96幀就將目標找回，剩余算法在第101幀找回。圖7(b)是目標被遮擋時各算法跟蹤過程，在第346幀目標被遮擋時大部分算法都丟失了目標、將背景信息學入模板，所提算法此時停止對跟蹤模板的更新。第368幀目標從遮擋物后離開，新算法使用最優模板重新檢測目標位置，將目標成功找回。圖7(c)為目標尺度發生變化時各算法的比較。從第66幀中可以看出，隨著目標尺度的變化，只有所提算法和Staple算法的跟蹤框尺度隨著目標發生變化。即便是在光照變化較大的第118幀中也跟蹤良好。在圖7(d)中目標發生了圖像外的旋轉變化，Staple算法在第1093幀丟失目標，隨后HCF和KCF也逐漸丟失目標，只有所提算法和使用卷積特征的HDT跟蹤良好。

圖6 9種算法在OTB50上的精確度和成功率

圖7 不同算法在典型視頻上的部分跟蹤結果

3 結束語

基于通道選擇與目標重檢的跟蹤算法以相關濾波類算法的理論框架為基礎，使用卷積通道特征對位置濾波器進行訓練。通過對卷積通道的選擇降低特征的冗余度并降低由于使用卷積特征增加的計算量。使用目標重檢機制有效減少跟蹤過程中目標的丟失。借助尺度濾波使算法實現了尺度自適應跟蹤。通過跟蹤模板條件更新將穩定性差、可信度低的模板去掉，提升了算法精度和速度。從實驗結果中可以看出，在應對遮擋、尺度變化以及目標丟失等問題時所提算法都跟蹤良好，總體性能超過了目前最新的跟蹤算法。需要指出的是，雖然所提算法利用通道選擇降低了計算復雜度，但在本實驗環境下的跟蹤速度僅能達到4.5幀/秒，因此繼續提高算法速度使其達到實時跟蹤要求是下一步的工作。