基于背景直方圖的Staple 目標跟蹤算法

孟令軍，尚椏朝

(中北大學 電子測試技術國防科技重點實驗室，山西 太原 030051)

0 引言

目標跟蹤作為計算機視覺的重要組成部分，在視頻監控、軍事應用、人機交互、無人駕駛[1]等領域都有廣泛的應用。目標跟蹤算法利用首幀目標位置對目標進行建模，在后續幀實現目標位置的定位。由于在目標跟蹤過程中會出現目標遮擋、尺度變化、形變等，使得目標跟蹤的效果受到極大挑戰[2]。

相關濾波作為目標跟蹤領域的一大熱點，受到廣大學 者的廣泛關注[3]。2010 年，Bolme 提出的MOSSE算法首次將相關濾波應用到目標跟蹤領域，獲得了每秒數百幀的運行速度和相當高的準確率[4]。Henriques 提出CSK算法將循環矩陣應用到相關濾波算法提升樣本的多樣性[5]。2014 年，Hebroiques 將單通道的灰度特征擴展到多通道的梯度直方圖(HOG)，并通過核技巧將特征映射到高維空間提出KCF 算法[6]。Danelljan 提出DSST 算法引入尺度金字塔并訓練一個一維相關濾波器來檢測目標的尺度[7]。Li 等提出SAMF 算法將梯度直方圖(HOG)和顏色名(CN)特征進行融合并實現多尺度檢測，有效提升跟蹤精度，在許多算法中均有應用[8]。Bertinetto 等人提出Staple 算法將顏色直方圖分類器應用到相關濾波，提升了跟蹤效果[9]。2019 年，戴偉聰等引入局部敏感直方圖用于Staple 算法的分類器，提出一種改進的Staple算法[10]。

本文針對Staple 算法使用直方圖分類器，忽略直方圖特征的空間性和沒有充分利用背景信息，提出基于背景權重直方圖的Staple 算法，不同位置的相同RGB 值的像素給予不同的權重，同時利用背景區域的直方圖生成抑制因子，抑制在目標直方圖中的背景直方圖部分，從而實現目標的準確跟蹤。

1 跟蹤算法

1.1 相關濾波器

相關濾波器可以使用一個嶺回歸方程[11]求解獲得，對于一個d 維特征組成的樣本x，可以通過最小化式(1)來獲得一個d 維的相關濾波器f，即：

式中，g 表示相關濾波器需要的輸出，是一個高斯函數；*表示循環相關；λ 是正則化系數，用于防止過擬合。

最小化式(1)，轉換到頻域計算可以得到濾波器f 在頻域的表達式：

式中，η 是一個常數學習率。在第t 幀，將濾波器作用在樣本Z 上可以得到確定目標位置的響應，其在頻域的表達式為：

1.2 直方圖特征

直方圖分類器通過利用統計的方法實現分類目的。然而在目標跟蹤中，距離目標中心越遠，其作為目標的概率越小；同時在一些跟蹤場景會出現目標和背景直方圖相似的情況。針對這兩點，通過引入權重背景直方圖提升分類器的魯棒性。

首先將目標區域圖像根據距離中心位置的遠近，給予不同的權重，如下式：

式中，Ho(b)表示目標區域圖像X的權重直方圖，C 為歸一化系數，b 為通道數。

背景區域同樣進行加權，越接近目標邊界的部分成為目標一部分的概率也更大，對背景加權。

計算背景的權重直方圖：

式中，HB(b)表示背景區域圖像B的權重直方圖，B 為歸一化系數。

1.3 背景權重直方圖

為了增強背景和目標區域的區分度，抑制背景中與目標相同顏色像素對跟蹤效果的影響，使用背景區域的直方圖對目標區域的直方圖進行修正，HB={nb|b=1，…，bins}和Ho={nb|b=1，…，bins}分別表示目標和背景的權重直方圖。提取背景直方圖最小值n*，定義修正系數。

利用修正系數對目標權重直方圖進行修正，可得背景權重直方圖為：

原圖、傳統直方圖和背景權重直方圖訓練分類器在原圖上概率圖如圖1 所示。背景權重直方圖對背景雜斑的抑制效果明顯，同時目標區域和背景區域對比明顯。

圖1 原圖、傳統直方圖和背景權重直方圖獲得的概率圖

直方圖分類器求解，直方圖分類器β 可以通過最小化如下損失函數求得，即：

式中，p 表示標簽目標區域為1，背景區域為0；Ψ 表示目標和背景圖像中提取的顏色直方圖特征；|O|和|B|分別表示目標區域和背景區域的像素總數。Ho′(j)和HB(j)分別表示在目標區域直方圖和背景區域直方圖第j 個直方柱的值。上式中問題的解為：

其中，ρj(O)=Ho′(j)/|O|表示目標直方圖中第j 個直方柱的值與目標區域元素數目的比值。利用可以獲得待檢測區域圖像中每個像素屬于目標的概率，即像素級概率圖P。對概率圖進行積分圖計算，積分圖每個位置(x，y)處元素的意義表示輸入圖像所有該位置左上角元素之和，即：

可獲得用于目標定位的直方圖響應圖Rhist，即：

式中，w、h 分別表示搜索框的長和寬，然后以固定的學習率ηhist對直方圖模型進行更新：

最后將相關濾波模型和直方圖模型得到的響應進行加權融合，得到確定目標位置的響應圖，即：

其中，δ 為融合因子。響應圖的最大值位置就是目標的位置。整個算法流程如下：

(1)訓練階段：在第t 幀圖像的目標中心位置post提取目標區域的HOG 特征xt并計算相關濾波器H；然后更新相關濾波器的分子和分母Bt-1，得到t 時刻的和Bt；另外提取目標區域和背景區域的權重直方圖Ho′和HB，利用式(12)求解直方圖模型，并更新得到最終跟蹤模型βt。

(2)跟蹤階段：在第t+1 幀圖像中post位置提取目標區域HOG 特征，利用式(4)獲得相關濾波的響應Rcf，再提取post位置處與上一幀目標大小一致的區域的直方圖，將直方圖與模型βt進行映射得到圖像的像素概率圖Pt，再利用式子(14)求得直方圖的響應圖Rhist，最后將兩種響應根據式(16)融合，融合后響應值最大的位置就是目標的中心位置post。

2 實驗結果與分析

本次算法的實驗平臺為MATLAB2016a，計算機參數為i5-2320cpu@3.00 GHz，8 GB RAM。實驗參數和Staple算法一致，將本文算法(BWHSTAPLE)與Staple、KCC[12]、BACF[13]、ASMS[14]算法進行實驗比較，實驗的數據集為OTB2015[15]中的65 個視頻序列，其中包含光照、運動模糊、遮擋和形變等屬性。

2.1 定量分析

此次實驗使用的評價指標為距離精度(Distance Precision，DP)和準確率(Overlap Score，OS)，距離精度指中心誤差小于閾值的幀數占總幀數的比例，其中，(x，y)為算法跟蹤到的目標的位置，(xg，yg)表示人工標注的目標的位置。準確率是重疊率op=(S∩Sg)/(S∪Sg)大于閾值的幀數占總幀數的比例，其中S 和Sg分別表示算法跟蹤到的目標框和人工標注的目標框，在本次實驗選用20 和0.5 分別作為距離精度和準確率的閾值。實驗結果如圖2 所示，圖2 左右兩邊分別為算法對測試集的綜合實驗準確率曲線和距離精度曲線，可以看出BWHSTAPLE 在距離精度上為所有對比算法最高，準確率為第二高，相比Staple 算法分別提升3.7%和2%。圖3～圖5 則分別表示5種算法應對背景雜亂、運動模糊和快速運動挑戰時跟蹤的準確率和距離精度，實驗曲線顯示，BWHSTAPLE 算法在Staple 算法的基礎上有所提升。

圖2 5種算法綜合距離精度和成功率曲線圖

圖3 5種算法背景雜波屬性成功率和距離精度曲線圖

圖4 5種算法運動模糊屬性成功率和距離精度曲線圖

圖5 5種算法快速移動屬性成功率和距離精度曲線圖

2.2 定性分析

為進一步顯示算法的跟蹤效果，提取在5種算法在測試集中的一些典型跟蹤結果進行分析，如圖6 所示。在序列Blurowl中，由于相機快速晃動，導致目標圖像出現模糊，在166 幀、394 幀，BACF、Staple 和KCC 算法分別都出現跟蹤丟失，只有BWHSTAPLE 和ASMS 算法可以持續跟蹤，在629 幀仍然可以穩定跟蹤；在序列Couple中，同樣由于相機晃動，使得目標快速移動，導致ASMS 算法和Staple 算法出現跟蹤丟失，BACF、KCC 和BWHSTAPLE可以穩定跟蹤；在Deer 序列中，目標后面背景出現雜波，同時目標快速移動導致除BWHATSPLE 和ASMS 算法外其他算法都出現了目標跟蹤丟失的現象；在Panda 序列中，目標翻轉，背景雜波使得KCC、ASMS和Staple 算法先后丟失目標，只有BACF 和BWHSTAPLE 算法繼續跟蹤目標。在Shaking 出現目標背景雜，目標與背景相似以及局部遮擋，使得依賴顏色直方圖的ASMS算法和沒有背景抑制的Staple 算法出現目標丟失的現象。

圖6 5種算法在5 個視頻序列中跟蹤效果對比圖

3 結論

本文以Staple 目標跟蹤算法為框架，針對傳統直方圖忽略特征的空間性和原算法對與背景區域直方圖利用的不充分等問題，首先，對與目標區域加入位置權重，在位置權重的基礎上再進行直方圖的統計，然后利用背景區域的直方圖計算抑制因子，抑制在目標直方圖中和背景直方圖相似性大的部分。該策略可以很好地應對目標跟蹤過程出現背景雜波、運動模糊和快速移動。在OTB2015 數據集上實驗表明，本文算法距離精度和成功率相較Staple 算法分別提升了3.7%和2%。