判別相關濾波融合深度信息的目標跟蹤算法

楊海清，唐怡豪，許倩倩，孫道洋

(浙江工業大學 信息工程學院，杭州 310023)

1 引 言

在計算機視覺領域，目標跟蹤在最近幾年已經成為重要的課題和研究熱點.面臨著多種挑戰，例如，尺度變換、遮擋、形變和旋轉等.在本文中，考慮短時單目標無模型的跟蹤[1]，在第一幀中用矩形框表示被跟蹤的目標，跟蹤過程中沒有目標形狀和類別等先驗信息.

在過去的幾十年里，已經提出許多跟蹤方法，主要分為生成類和判別類方法[2，3].生成類方法是根據初始視頻幀中的目標建立模型，然后在后續幀中尋找相似度最高的區域.判別類方法是根據初始視頻幀中的目標和背景訓練分類器，通過在后續幀中的搜索和判別實現目標和背景的區分.近年來，基于判別相關濾波的跟蹤方法在標準的數據集中速度和精度方面均表現出良好的性能.

但是，對于RGB圖像，具有相似紋理特征的圖像塊難以區分.在另一方面，深度傳感器近來已經成功應用到許多計算機視覺應用中.可以根據深度傳感器采集的深度信息提高RGB跟蹤算法的性能.

Song等人[4]為RGBD跟蹤提出第一個公開的數據集，普林斯頓跟蹤數據集.作者提出將深度信息作為額外的維度加入到梯度方向直方圖特征空間中和基于3D點云進行跟蹤.對支持向量機進行訓練，用來區分目標和背景.由目標的深度直方圖進行遮擋檢測，遮擋期間用光流法對遮擋物進行跟蹤直到目標重新出現.它們的方法計算量較大，難以達到實時(0.26 FPS).Hannuna等人[5]提出一種在核相關濾波器框架中結合深度和顏色特征的跟蹤算法，深度信息用來處理遮擋、尺度和形狀變化，同樣對遮擋區域進行了跟蹤.Leng等人[6]提出一種基于核相關濾波的實時RGBD目標跟蹤算法.利用深度信息的空間連續性和相機的成像原理進行尺度估計，通過將目標劃分為區域并結合核相關濾波器在每個區域的最大響應來處理遮擋.An等人[7]提出檢測學習分割(Detection-Learning-Segmentation)跟蹤框架，RGBD跟蹤任務被DLS分解為檢測、學習和分割，同時構建目標2D外觀模型和3D分布模型.大多數的跟蹤方法在訓練相關濾波器時將深度信息作為顏色通道，構建更加魯棒的外觀模型.

傳統判別相關濾波由于對輸入樣本進行循環假設和所有像素對于濾波器學習同樣可靠而遭受邊界效應.可通過為相關濾波器提出有效的空間可靠性圖來解決這個問題[8].

Kart等人[9]提出DM-DCF(Depth Masked Discriminative Correlation Filter)將2D的空間可靠性圖運用到3D的跟蹤中，在深度圖中根據前景和背景的概率表示構建可靠性圖.在本文中，引入深度圖分割進行可靠性圖計算、遮擋檢測和尺度估計.首先，對通道檢測響應值進行可靠性加權，得到目標的位置，根據目標區域的深度分布和相關濾波器無通道加權的最大響應檢測遮擋，在遮擋期間不更新濾波器模型，減少模型漂移問題.其次，通過深度圖分割獲得比顏色分割更精確的可靠性圖，計算約束濾波器避免傳統相關濾波的邊界效應.最后，根據相機模型計算連續的尺度因子，提高尺度估計準確性，同時降低計算量.在普林斯頓數據集中進行實驗驗證了本文算法的有效性.

2 基于判別相關濾波的目標跟蹤

相關濾波將跟蹤轉化為嶺回歸問題，通過最小化通道相關輸出與期望輸出之差的平方和計算，在學習階段獲得多通道的相關濾波器.

(1)

(2)

檢測階段:

(3)

(4)

在學習階段，判別相關濾波器訓練樣本通過循環移位獲得，利用循環矩陣的性質在頻域進行高效計算，但是也帶來了邊界效應的問題[11].

3 本文算法

CSR-DCF[8](Discriminative Correlation Filter with Channel and Spatial Reliability)利用2D先驗和顏色分割獲得空間可靠性圖，減少邊界效應.但是，當目標出現遮擋或前景和背景顏色相似時，CSR-DCF算法學習的相關濾波器會偏離目標而發生漂移.在另一方面，深度信息可以用于區分相似紋理的前景和背景以及檢測遮擋.為了獲得更準確的二值掩膜，對深度圖進行分割得到可靠性圖，利用可靠性圖計算約束濾波器.同時，利用深度分布進行遮擋和尺度處理.本文算法的流程如圖1所示，目標跟蹤算法如表1所示.

圖1 算法流程Fig.1 Algorithm pipeline

表1 目標跟蹤算法Table 1 Object tracking algorithm

3.1 獲得空間可靠性圖

第一階段用K均值聚類方法在深度圖目標圖像塊的一維深度直方圖上進行處理.深度直方圖由圖像塊內的深度分布計算.在目標未被遮擋時，目標是最近的對象，K均值聚類算法收斂后，目標區域對應具有最小平均深度的簇，如圖2所

示.第二階段是在相同的深度平面區分物體，去除對應小區域的簇.

圖2 深度圖分割Fig.2 Depth image segmentation

目標的空間分布由對應目標區域深度值的均值μobj和σobj標準差表征.一旦新的目標位置被估計，用兩步深度分割算法重新估計目標物體的深度，得到目標的深度分布信息.選擇深度值在目標區域范圍內的所有點作為目標二值掩膜的候選點，目標和背景分別為1和0.

3.2 計算約束濾波器

空間可靠性圖用于減少循環位移假設帶來的邊界效應問題，由于通道間濾波器的學習相互獨立，考慮單個通道.m∈[0,1]標識濾波器在學習中被忽略的像素，可以表示為h≡m⊙h，⊙表示元素點乘.引入變量hd，定義約束:

hd-m⊙h≡0

(5)

根據目標函數(2)，以及augmented Lagrangian方法構建Lagrange表達式:

(6)

ξ表示Lagrange乘數，hm=m⊙h，字母上—表示共軛矩陣，＾表示傅里葉變換，μ>0.Lagrange表達式可以通過ADMM(alternating direction method ofmultipliers)迭代求解，將目標轉化為在每次迭代中依次求解兩個子問題.

(7)

(8)

Lagrange乘數更新:

(9)

公式(7)中的最小化具有封閉解:

(10)

(11)

3.3 通道可靠性估計

假設特征通道是相互獨立，響應是所有特征通道之和.DCF跟蹤中加入通道可靠性權重wk，最終響應由加權后的特征通道和計算.

(12)

fk*hk表示特征通道響應，wk表示對應權重,wk由通道學習可靠權重和通道檢測可靠權重計算.通道學習可靠權重在濾波器學習階段由通道濾波器最大響應計算.

(13)

通道檢測可靠權重在檢測階段由響應圖中兩個最大峰值比值計算.當相似物體出現在目標附近時，會出現多峰，在這種情況下將比率約束為0.5.

(14)

ρmax1,ρmax2表示響應圖中兩個最大的峰值.

3.4 尺度估計

3.5 遮擋檢測處理

(15)

(16)

如果發生遮擋則不進行尺度和模型更新，在后續幀中繼續搜索.當目標重新出現在跟蹤框內時，遮擋消失，滿足公式(17).

(17)

4 實 驗

為了評價跟蹤器的性能，在具有RGB和深度數據的普林斯頓數據集(Princeton RGBD Tracking Benchmark)中進行實驗.普林斯頓數據集包含5個驗證序列和95個測試序列，其中驗證序列中包含標注好的信息.使用成功率圖和精度圖來評估跟蹤器的總體表現[14].

中心位置誤差是跟蹤目標的中心位置與標注位置之間的平均歐氏距離.精度圖顯示了估計位置在標注位置給定閾值距離內的幀數所占的百分比.使用閾值等于20像素(P20)作為跟蹤器的代表精度分數.為了測量幀序列的性能，我們計算重疊大于給定的閾值的成功幀數所占的百分比，并計算成功率曲線與坐標軸圍成的面積(AUC)，表示成功分數.通過每秒處理幀的數量(FPS)來評價跟蹤器的計算量.

實驗在64位Win7操作系統，Matlab 2016a上進行，電腦配置參數為Intel(R)i7-4510U(2.60GHz)，內存配置4GB.正則化參數λ=0.01，濾波器更新率η=0.02，augmented Lagrangian優化參數β=3，μ0=5，與文獻[8]設置相同.λ1=0.65，λ2=0.35，根據經驗值進行設定，參數在實驗中保持固定.

表2 本文方法與基準算法對比
Table 2 Comparision of our proposed method with the baseline

方法基準方法深度圖掩膜深度圖掩膜和尺度估計深度圖掩膜和遮擋檢測深度圖掩膜、遮擋檢測和尺度估計P2070.982.682.696.696.1AUC56.363.266.774.477.1FPS5.811.37.310.111.4

表2是深度圖分割計算掩膜、尺度估計和遮擋檢測對結果的影響.CSR-DCF為基準方法，尺度估計用DSST中的尺度濾波器.深度圖分割計算掩膜比基準方法中RGB圖顏色分割更準確，在精度上提升11.7%，AUC提升6.9%.深度圖掩膜和尺度估計，AUC提升3.5%.深度圖掩膜和遮擋檢測，減少遮擋時更新模型導致的模型漂移，精度提升14.0%，AUC提升11.2%.深度圖掩膜、遮擋檢測和尺度估計組合與基準方法相比，總體的精度和AUC都有較大提升，精度提升25.2%,AUC提升20.8%.FPS是在普林斯頓數據集中較長的跟蹤序列bear_front上進行估計的，其中遮擋占25%左右.在具有尺度估計沒有遮擋檢測的組合中，每一幀都更新濾波器模型，因此跟蹤過程中速度下降較大.同時具有遮擋檢測和尺度估計時，雖然尺度估計增加一些計算時間，但是遮擋檢測在模型更新方面減少計算量.

表3 本文算法與其他算法的對比
Table 3 Comparision between our and other trackers

算法CSR-DCFKCFCNSAMFOURP2070.981.067.181.796.1AUC56.362.250.866.777.1FPS5.874.716.513.411.4

進一步驗證算法的有效性，將提出的方法與其他算法CSR-DCF，KCF[11]，CN[15]，SAMF[16]進行對比.表3是不同跟蹤算法在普林斯頓數據集中的結果.CSR-DCF算法使用Hog[17]和ColorNames[18]特征.SAMF算法(Scale Adaptive Kernel Correlation Filter Tracker)，特征采用矢量相加的原始像素、Hog和ColorNames，尺度池方法進行尺度估計.本文算法使用的特征與CSR-DCF特征相同，在精度方面，AUC和P20均高于其他算法.速度方面，利用深度信息計算尺度與基準算法相比，計算量更小，能基本達到實時處理.圖3表示了成功率圖和精度圖，從成功率圖和精度圖可以看到本文方法高于其他算法.

圖3 成功率圖和精度圖 Fig.3 Precision plot and success plot

圖4 定性評估Fig.4 Qualitative evaluation

圖4對本文所提的算法進行效果演示，bear_front(a)和new_ex_occ4(b)兩個視頻序列具有遮擋.在bear_front序列中，本文算法能夠在目標面臨短時間的遮擋后重新跟蹤到目標，其他算法丟失跟蹤目標.在new_ex_occ4序列中，在出現遮擋后，SAMF和OUR算法能繼續跟蹤目標.zcup_move_1(c)和child_no1(d)兩個視頻序列具有尺度變化.SAMF和CSR-DCF在面臨較長時間跟蹤和目標尺度快速變化時，跟蹤精度有所降低.本文算法能夠較精確的估計目標的位置和尺寸.

5 結 論

本文提出了一種在判別相關濾波框架中融合深度信息對目標進行深度圖分割、遮擋檢測和尺度估計的跟蹤算法.對深度圖進行分割構建空間可靠性圖，利用可靠性圖計算約束濾波器，避免傳統判別相關濾波器的邊界效應.提高判別相關濾波跟蹤的魯棒性.同時結合深度信息進行遮擋檢測和尺度估計.利用深度圖的距離信息估計目標的尺寸，減少計算量.根據目標區域的深度分布和無通道加權的濾波器最大響應檢測遮擋.在遮擋期間，不更新濾波器模型.在訓練階段，根據通道響應值計算可靠權重.在定位階段，對通道檢測響應值進行可靠加權后得到目標的位置，提高跟蹤精度.算法的自身對比實驗表明，與基準算法相比速度和精度均有提升.與其他算法進行定性與定量的對比，本文提出的算法，在遮擋和尺度變化等挑戰中能表現較好的跟蹤效果.