基于自適應空間正則化的視覺目標跟蹤算法

譚建豪 張思遠

(湖南大學電氣與信息工程學院 長沙 410082)(機器人視覺感知與控制技術國家工程實驗室(湖南大學) 長沙 410082)(tanjianhao@hnu.edu.cn)

Fig. 1 Flow chart of tracking algorithm圖1 跟蹤算法流程圖

視覺跟蹤技術是計算機視覺領域中一個重要的研究方向，在視覺制導、人機交互、視頻監控等多個領域都有廣泛應用.隨著MOSSE(minimum output sum of squared error)算法將相關濾波引入視覺跟蹤中，這種從時域計算轉換到頻域計算的方法大大提升了運算速度.基于相關濾波的視覺跟蹤技術由此得到迅速發展[1]，出現很多經典的跟蹤算法，如Henriques等人[2]提出的核相關濾波(kernelized correlation filter, KCF)算法，速度在CPU上達到172fps；Danelljan等人[3]提出的DSST(discriminative scale space tracking)算法，采用了33種不同尺度，大大提高了尺度估計的精度；Li等人[4]提出的SAMF(scale adaptive with multiple features)算法，引入了多特征融合和尺度自適應策略，對遮擋具有良好的抵抗能力.

而隨著相關濾波類視覺跟蹤算法性能的不斷提升，因循環移位采樣導致的邊界效應問題引起了學者的關注.邊界效應產生的錯誤樣本會導致模型判別力下降，尤其是在目標快速變形和快速運動的場景下更為明顯.為解決這一問題，Galoogahi等人[5]提出了BACF(background-aware correlation filter)算法，使用真實的負樣本代替正樣本循環移位生成的負樣本，這些樣本包括了更大的搜索區域和真實的背景,取得了不錯的效果；Danelljan等人[6]提出了SRDCF(spatially regularized discriminative correla-tion filters)算法，在模型中加入了空間正則化項，讓邊界附近濾波器系數接近零，一定程度上緩解了邊界效應問題，但該方法為了形成合適的正則化權重，必須仔細調整一組超參數，否則會導致較差的跟蹤性能，且算法整體速度較慢；Dai等人[7]提出了基于自適應空間正則化的ASRCF(adaptive spatially-regularized correlation filters)算法，此算法可以學習到空間正則化權重的變化，對非目標區域的懲罰更為準確，但在遇到目標有較大形變時，濾波器對不準確目標的學習容易導致跟蹤漂移；Li等人[8]提出了基于時空正則化的STRCF(spatial-temporal regularized correlation filters)算法，利用時間正則化來建立相鄰濾波器之間的關系，但空間正則化權重沒有學習能力，在遇到相似背景干擾時跟蹤容易發生漂移.

為此，本文提出了一種基于自適應空間正則化的視覺跟蹤算法，該算法通過建立正則化權重在相鄰幀之間的關聯，降低算法模型在處理不準確樣本時發生過擬合的風險，減小邊界效應的影響；采用一種自適應寬高比的尺度估計策略，靈活適應目標寬高尺度比的變化；利用基于顏色直方圖相似度的模型更新策略，阻止模型在跟蹤不準確時進行更新，降低模型漂移風險.

1 基于自適應空間正則化的視覺跟蹤算法

1.1 算法整體流程

本文提出的基于自適應空間正則化的視覺跟蹤算法流程如圖1所示.算法的主要步驟為：

1) 根據第1幀圖像中標記的跟蹤目標訓練濾波器；

2) 提取輸入圖像的方向梯度直方圖(histogram of oriented gradients， HOG)特征，并利用VGG Net-16的Conv1和Conv5分別提取圖像淺層和深層特征；

3) 提取的特征與濾波器進行相關運算,得到多個特征響應，經過融合得到相關濾波響應圖，進而獲取目標位置；

4) 利用自適應寬高比的尺度估計方法得到目標尺度；

5) 判斷估計的目標與前一幀目標顏色直方圖相似度是否高于閾值，若滿足，則進行濾波器更新，否則不更新濾波器.

1.2 自適應空間正則化模型

經典的相關濾波模型采用循環移位的方式進行采樣，雖然大大提高了樣本數量但也帶來了邊界位置周期性重復的問題，導致模型使用了一些非真實樣本進行訓練.同時，由于正樣本周圍不可避免地包含一些背景信息，在訓練過程中分類器容易將這些緊鄰目標的背景視作目標進行特征學習，降低了整體的跟蹤性能.為解決這個問題，本文提出一種引入自適應空間正則化的算法模型.在經典的相關濾波模型中引入自適應空間正則化項，通過建立正則化權重在相鄰幀之間的關聯，自適應調整模型的正則約束.目標函數定義如式(1)：

(1)

其中，X=(x1,x2,…,xK)是用于訓練的樣本數據，H=(h1,h2,…,hK)表示濾波器.y是預期的高斯響應，P是二元對角矩陣，用于使相關算子能直接應用于真實前景和背景樣本.*表示卷積運算，⊙表示哈達瑪積.λ1和λ2是空間正則化參數，wt是第t幀(當前幀)需要優化的自適應權重，wt -1是第t-1幀(前一幀)的自適應權重.初始時，將w0設為負高斯形的分布，之后根據目標的變化學習更準確的權重.根據帕塞瓦爾定理，將目標函數轉換到頻域中，并轉換為如式(2)的等式約束優化形式，以方便進一步地求解.

(2)

(3)

(4)

其中，S=(s1,s2,…,sK).對式(4)采用方向交替乘子法(alternating direction method of multipliers, ADMM)來求解，即迭代求解以下子問題：

1) 求H的最優解H*.

(5)

(6)

其中，W=diag(wt)，p=(P11,P22,…,PTT)T是矩陣P中對角元素組成的列向量.

(7)

(8)

(9)

3) 求wt的最優解wt*.

(10)

其中，nk=diag(hk).

4) 更新拉格朗日乘子.

(11)

通過反復執行上述4個步驟來進行優化，待到收斂后，可獲得一組最優的濾波器和空間正則化權重.

1.3 自適應寬高比的尺度估計

尺度金字塔方法是視覺跟蹤中常用的尺度估計策略，其基本原理是將原有的目標框尺度進行不同比例地放大和縮小，并計算對應的響應，選擇響應值最大的作為跟蹤目標框，從而達到尺度自適應追蹤.在實際跟蹤任務中，目標的寬高比可能發生大的變化，這時尺度金字塔方法的缺點就凸顯出來:無法適應目標寬高尺度比的改變，導致跟蹤變得不再精準，經過多幀以后出現模型漂移，極易導致目標完全跟丟.

針對這一問題，本文提出一種自適應寬高比的尺度估計策略：保持前一幀預測目標的高不變，以前一幀的寬乘以n個不同的縮放因子作為候選寬，組合得到n個候選尺度；根據這些候選尺度來提取圖像塊，并獲得每個圖像塊對應的HOG特征描述；與濾波器進行相關運算后，對輸出響應進行排序，取前q名的寬尺寸作為新的候選寬尺度；以前一幀的高乘以m個不同的縮放因子作為候選高，組合得到q×m個新的候選尺度;根據這些新的候選尺度提取圖像塊，并提取每個圖像塊對應的HOG特征描述；再次與濾波器進行相關運算后，取響應最大的圖像塊作為當前幀的預測目標圖像，其對應的尺度即為當前幀的預測尺度，如圖2所示.使用該策略能靈活適應目標寬高比的變化，在發生形變、旋轉等情況時仍保持良好的跟蹤精度.

Fig. 2 Schematic diagram of scale estimation圖2 尺度估計示意圖

1.4 基于顏色直方圖相似度的更新

相關濾波類視覺跟蹤算法中的更新策略一般有2種：一種是對每一幀都進行模型更新，這樣能保證模型很好地適應目標的形變，但存在模型漂移的問題[9-12]；另一種是每間隔一段時間更新一次，這樣的好處是能一定程度上減少計算量和抑制模型漂移[13]，但若目標在短時間內發生大的形變，這種更新策略會使模型難以準確跟蹤目標.

本文采用一種基于顏色直方圖相似度的更新策略，其主要思想是:利用顏色直方圖相似度的大小來判斷是否更新模型，僅當預測的目標和前一幀目標的顏色直方圖相似度高于設定閾值時，才進行模型更新.當前，巴氏距離在相似性度量方面的研究已經十分成熟，尤其在直方圖相似度計算時，巴氏距離獲得的效果最好，因此本文中通過計算2幀圖像顏色直方圖概率分布之間的巴氏距離來判斷2幀圖像的相似性.巴氏距離越小，則顏色直方圖相似度越高.計算顏色直方圖相似度時，對彩色圖像分為紅(red,R)、綠(green,G)、藍(blue,B)3個顏色通道分別計算相似度，每個通道都以8等分進行像素劃分，最后取3個通道的平均值作為最終的相似度.對灰度圖像則只進行灰度值的直方圖相似度計算，同樣劃分為8等分.采用這種基于顏色直方圖相似度的更新策略能阻止模型在跟蹤不準確時進行更新，防止模型漂移，并在一定程度上提高算法運行速度.

Fig. 3 Success plots of OPE圖3 OPE成功率比較

2 實驗結果分析

2.1 實驗環境與參數設置

實驗采用英特爾酷睿i5-8300H處理器，內存為16 GB，操作系統環境為64位Windows10系統.基于MATLAB R2016a軟件平臺及工具箱MatConvNet實現程序編寫.

淺層網絡提取的特征有較高的分辨率，有利于對目標進行精準地定位，而深層網絡提取的特征則包含更多的語義信息，魯棒性更強.故實驗中利用VGG Net-16 Conv1提取的淺層特征，VGG Net-16 Conv5提取的深層特征和HOG特征進行對象表示.由正則化的基本原理可知正則化參數太小則無法消除模型的過擬合，太大容易產生欠擬合，經過多次實驗調整，本文將正則化參數分別設置為λ1=0.1和λ2=0.001.模型的學習率通過迭代實驗的方式進行調整，最終設置為0.015.交替方向乘子法優化過程使用3步迭代.設置尺度相關因子時，考慮到尺度跟蹤因子的值和計算量呈正相關，為保證算法速度，尺度跟蹤因子不宜取過大的值.本文尺度跟蹤因子設置為n=m=5，設置q=3.通過多次調整實驗，將縮放增量設置為0.08.

本文分別在UAV123[14]，OTB2013[15]，OTB 2015[16]這3個公開數據集上對跟蹤算法進行測試和對比.其中，UAV123是由低空無人機捕獲視頻組成的數據集，共包含123個視頻序列；OTB2013數據集由51個視頻序列組成，其中包含一定量的灰度序列；OTB2015數據集由100個視頻序列組成，其中包含多種視覺跟蹤過程中可能出現的復雜情況，能較為全面地評估算法的整體性能.

2.2 結果與分析

在2.1節所述的實驗設置下，本文提出的跟蹤算法跟蹤速度平均為17.15 fps.實驗中，使用一次通過評估(one-pass evaluation, OPE)的方式，對本文提出的算法(our)進行性能評估，并與DSST[3]，SAMF[4]，BACF[5]，SRDCF[6]，ECO-HC(efficient convolution operators with hand-crafted feature)[17]，Staple(sum of template and pixel-wise learners)[18]，Staple_CA(Staple with context-aware)[19]這7種目前跟蹤效果領先的相關濾波類算法進行對比，生成成功率曲線圖和精確度曲線圖.在此基礎上，對算法進行成功率和精確度排序，其中成功率排序的依據是成功率曲線下面積(area under curve, AUC)，精確度排序的分數閾值設置為20像素.評估結果分別如圖3和圖4所示，本文所提出的跟蹤算法在UAV123，OTB2013，OTB2015數據集上的成功率得分分別為：0.484，0.658，0.652，精確度得分分別為：0.656，0.863，0.855，排名均為第1.較排名第2的ECO-HC算法在成功率上平均提升了3.12個百分點，精確度上平均提升了1.36個百分點.圖3和圖4顯示各算法在UAV123數據集上的成功率和精確度明顯低于OTB2013，OTB2015，這是由于UAV123數據集中的視頻序列都是無人機在空中拍攝的，目標較小，角度更多，跟蹤難度相對更大.盡管如此，本文提出的算法在該數據集上的表現依舊優于其他7種算法，進一步驗證了本算法的有效性和可靠性.

Fig. 4 Precision plots of OPE圖4 OPE精確度曲線圖

為更全面地分析所提出的算法的性能，本文還在OTB2015數據集上測試了上述8種算法在快速運動、運動模糊、目標形變、光照變化、平面內旋轉、目標遮擋、平面外旋轉、出視野、尺度變化、背景雜亂和低分辨率這11種復雜場景下的跟蹤成功率，結果如圖5所示.

Fig. 5 Success plots in 11 complex scenes圖5 11種復雜場景下的成功率曲線圖

由圖5可知，本文所提出的算法在快速運動、運動模糊、形變、光照變化、平面內旋轉、遮擋、平面外旋轉、出視野和尺度變化這9種復雜場景下的跟蹤成功率均高于其他算法.在背景雜亂和低分辨率2種場景下，本文提出算法跟蹤成功率排名第2.為更直觀地分析本文算法在各場景下的性能，計算本文算法在各個場景下相對其他算法中排名最佳的一種的性能提升百分點，具體數據見表1.由表1可知，本文算法在運動模糊和旋轉場景下的成功率提升相對更大，分別提升9.72個百分點、9.03個百分點(平面內旋轉)和7.98個百分點(平面外旋轉)，說明本文提出的跟蹤算法對運動模糊和旋轉帶來的干擾有更強的抵抗力，能有效減少跟蹤過程中的模型漂移，提高復雜場景下跟蹤的準確性和穩定性.對于尺度變化場景，本文算法成功率提高了6.59個百分點，說明自適應寬高比的尺度估計策略能更好地跟蹤目標的尺度變化.

Table 1 Improvement of Algorithm Success Rate inVarious Scenes

圖6為綜合排名領先的4種算法(本文，ECO-HC，Staple_CA，SRDCF)對部分復雜場景序列跟蹤結果，可以看到在這4種復雜場景下，本文算法都有良好的表現.在對Biker序列跟蹤到第100幀時，只有本文算法和ECO-HC算法能在目標快速抖動并轉向后依舊保持準確跟蹤，其余2種算法模型已經漂移到其他位置，無法再進行正常跟蹤；對Diving序列進行跟蹤時，其他采用固定的寬高比估計的算法都在形變過程中逐漸丟失了目標，只有本文算法一直保持著跟蹤；對Girl2序列跟蹤到第790幀時，女孩被遮擋后再次出現，只有本文算法和ECO-HC算法能重新定位到目標，但本文算法定位得更精準；對Liquor序列跟蹤到第890幀時，一直表現良好的ECO-HC算法已經完全漂移到干擾物體上了，而此時本文算法的定位準確度也略低于SRDCF算法.由此可見本文提出的算法對大部分復雜場景具有較好的適應性，但在出現與目標相似的干擾時跟蹤準確性會略有下降.

Fig. 6 Tracking results of some complex scene sequences圖6 部分復雜場景序列跟蹤結果

3 結 論

針對相關濾波類視覺跟蹤算法中存在的邊界效應問題，本文提出一種基于自適應空間正則化的視覺跟蹤算法，在經典濾波模型中引入了自適應空間正則化項，建立正則權重在相鄰幀之間的關聯，從而自適應調整當前幀的模型正則化權重，有效緩解了邊界效應的影響；使用自適應寬高比的尺度估計策略，提高了復雜場景下尺度估計的準確性；采用基于顏色直方圖相似度判別的模型更新策略，抑制模型漂移并加快跟蹤速度.多個數據集上的測試結果表明，本文提出的算法的整體跟蹤精確度和成功率均優于對比的其他算法，驗證了算法的有效性.11種復雜場景下的針對性實驗表明，該算法能夠較好地實現在快速運動等多種復雜情況下的目標跟蹤，具有較強的適應性.但該算法在背景雜亂和低分辨率場景下的目標跟蹤不夠穩定，未來將對此展開進一步研究.