基于多特征融合的相關(guān)濾波跟蹤算法?

茅正沖 沈雪松

（江南大學(xué)輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室 無(wú)錫 214122）

1 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的重要組成部分，它在監(jiān)控、人機(jī)交互、機(jī)器人和醫(yī)療圖像等領(lǐng)域應(yīng)用廣泛［1］。

近年來(lái)基于相關(guān)濾波的目標(biāo)跟蹤受到了較大地關(guān)注。Bolm等［2］將相關(guān)濾波器引入目標(biāo)跟蹤中，取得了良好的效果。Henrique 等［3］將單通道的相關(guān)濾波器擴(kuò)展到多通道，提出了核化相關(guān)濾波器（KCF），取得了良好的性能。Danelljan 等［4］提出了空間正則化判別相關(guān)濾波器（SRDCF），它通過(guò)引入空間權(quán)重函數(shù)對(duì)目標(biāo)邊界框外的非零濾波器值施加懲罰，可以有效的抑制背景區(qū)域的響應(yīng)，從而可以擴(kuò)大搜索區(qū)域。Galoogahi 等［5］提出的背景感知相關(guān)濾波器（BACF），算法在循環(huán)采樣地基礎(chǔ)上進(jìn)行裁剪，獲得了更大的搜索區(qū)域和真實(shí)的背景，取得了良好的效果。

雖然上述算法已經(jīng)取得了很好的效果，但是在具有光照變化、遮擋、運(yùn)動(dòng)模糊等情況時(shí)，算法容易跟蹤失敗。本文在BACF 算法的基礎(chǔ)上，提出了一種改進(jìn)的算法，算法引入了時(shí)間正則化，并進(jìn)行了自適應(yīng)多特征融合，在模型更新時(shí)采用自適應(yīng)更新策略，有效地解決了BACF 算法在光照變化、遮擋、變形等因素下跟蹤失敗的問(wèn)題。

2 BACF跟蹤算法

傳統(tǒng)的相關(guān)濾波跟蹤利用大量訓(xùn)練樣本來(lái)學(xué)習(xí)相關(guān)濾波器，其目標(biāo)函數(shù)可表示為

其中h 表示濾波器模板，x 為目標(biāo)特征，L 為目標(biāo)特征通道數(shù)，y為目標(biāo)期望響應(yīng)，λ 為正則化系數(shù)。

由于相關(guān)濾波跟蹤使用循環(huán)結(jié)構(gòu)來(lái)提高效率，導(dǎo)致其存在邊界效應(yīng)的問(wèn)題［3］，只能使用相對(duì)有限的搜索區(qū)域，影響了訓(xùn)練結(jié)果。為了解決此問(wèn)題，Galoogahi 等［5］提 出 的 背 景 感 知 相 關(guān) 濾 波 器（BACF），算法通過(guò)對(duì)循環(huán)樣本進(jìn)行裁剪，獲得了更多真實(shí)的負(fù)樣本，而這些樣本中具有更大的搜索區(qū)域和真實(shí)的背景。通過(guò)對(duì)樣本進(jìn)行裁剪，BACF 算法最終的目標(biāo)函數(shù)為

其中T 為訓(xùn)練樣本的數(shù)量，H 為矩陣共軛轉(zhuǎn)置，P 為裁剪矩陣。

在頻域計(jì)算可以提高效率，所以將上式轉(zhuǎn)換到頻域就可以得到：

其中g(shù) 是一個(gè)輔助變量，X 為訓(xùn)練樣本，?表示Kronecker積操作，F(xiàn)為傅里葉矩陣。

利用增廣拉格朗日乘子法（ALM）［6］可以得到：

其中ζ 表示拉格朗日系數(shù)，μ 表示懲罰因子。

由于式（4）無(wú)封閉解，可以通過(guò)交替方向乘子法（ADMM）［］來(lái)優(yōu)化求解，原問(wèn)題可以轉(zhuǎn)化成求解以下子問(wèn)題：

其中i 為迭代次數(shù)。

在目標(biāo)跟蹤階段，通過(guò)訓(xùn)練的目標(biāo)模板g?與特征x?求取濾波器響應(yīng)，響應(yīng)最大處即為目標(biāo)中心所在位置。

目標(biāo)模型的更新策略為

其中η 為學(xué)習(xí)率，i 為幀數(shù)。

3 本文算法

BACF 算法僅使用目標(biāo)的HOG 特征作為判別特征，對(duì)目標(biāo)的表達(dá)能力不足。在目標(biāo)運(yùn)動(dòng)模糊時(shí)，容易跟蹤失敗，而且缺少自適應(yīng)的模型更新策略，當(dāng)目標(biāo)跟蹤失敗時(shí)，模型會(huì)繼續(xù)更新，導(dǎo)致跟蹤漂移。為了解決上述問(wèn)題，本節(jié)引入了自適應(yīng)多特征融合來(lái)進(jìn)行跟蹤，并在此基礎(chǔ)上加入了時(shí)間正則化和自適應(yīng)更新策略。

3.1 時(shí)間正則化

在在線分類(lèi)中，當(dāng)新的實(shí)例出現(xiàn)時(shí)，算法首先預(yù)測(cè)其標(biāo)簽，然后根據(jù)新的實(shí)例標(biāo)簽來(lái)更新分類(lèi)器。一方面，學(xué)習(xí)算法應(yīng)該是被動(dòng)的，使更新的分類(lèi)器與更新前類(lèi)似；另一方面，學(xué)習(xí)算法應(yīng)該是積極的，以保證新的實(shí)例能夠被校正分類(lèi)［8］。受此啟發(fā)，我們將時(shí)間正則化引入到目標(biāo)函數(shù)（2）中，并轉(zhuǎn)換到頻域可得：

其中g(shù)為輔助變量，ht-1為上一幀濾波器模板，t 為幀數(shù)，最后一項(xiàng)為時(shí)間正則化項(xiàng)，λ、γ 為正則化系數(shù)。

加入時(shí)間正則化項(xiàng)的目標(biāo)函數(shù)是凸的，可以通過(guò)交替方向乘子算法（ADMM）來(lái)得到全局最優(yōu)，最終求解得到：

3.2 多特征融合

BACF 僅采用HOG 特征作為判別特征，對(duì)目標(biāo)的表達(dá)能力不足，無(wú)法適應(yīng)復(fù)雜多變的環(huán)境。Danelljan 等［9］將顏色空間特征（CN）引入到目標(biāo)跟蹤中，取得了很好的效果，它將顏色劃分成11 種，分別是紅、橙、黃、綠、藍(lán)、紫、灰、白、黑、棕、粉，在背景較為復(fù)雜時(shí)，具有較強(qiáng)的目標(biāo)分辨能力。事實(shí)上，HOG 和CN 特征是互補(bǔ)的，所以本文采用HOG、CN 特征進(jìn)行自適應(yīng)加權(quán)融合，從而增強(qiáng)在復(fù)雜情況下的特征判別力。

文獻(xiàn)［10］提出了一種衡量檢測(cè)可靠性的指標(biāo)，通過(guò)計(jì)算次峰值和主峰值之比，比值越小，響應(yīng)圖越干凈，跟蹤效果越好，同時(shí)為了防止相似目標(biāo)的干擾，比率被限制在0.5。則檢測(cè)的可靠性表示為

在用HOG 和CN 特征跟蹤得到各自的響應(yīng)圖時(shí)，分別計(jì)算對(duì)應(yīng)的可靠性指標(biāo)wh、wc，當(dāng)wh大于wc時(shí)，說(shuō)明使用HOG 特征跟蹤的更可靠，因此，HOG 特征應(yīng)該被賦予更大的權(quán)重；相反，則說(shuō)明使用CN特征跟蹤的更可靠，CN特征應(yīng)該被賦予更多的權(quán)重。在第t幀，兩種特征的權(quán)重計(jì)算如下：

權(quán)重的更新策略為

其中τ 為更新系數(shù)，初始幀兩種特征權(quán)重初始化為wt，HOG=wt，CN=0.5。

在t+1 幀，分別求取HOG、CN 兩種特征得到的響應(yīng)圖Mt，h、Mt，c，融合后的響應(yīng)圖為

融合后響應(yīng)圖最大值處即為目標(biāo)的中心。

3.3 自適應(yīng)更新策略

傳統(tǒng)的相關(guān)濾波算法在目標(biāo)模型更新時(shí)，無(wú)論跟蹤結(jié)果好壞，每一幀都進(jìn)行模型更新，當(dāng)目標(biāo)跟蹤出現(xiàn)偏差時(shí)，如果模型繼續(xù)更新，跟蹤誤差會(huì)逐漸積累，最終導(dǎo)致模型漂移［11～13］。為了解決上述問(wèn)題，本文設(shè)計(jì)了一種自適應(yīng)更新策略。更新策略有兩個(gè)指標(biāo)，其中一個(gè)是前面所述檢測(cè)可靠性指標(biāo)：

第二個(gè)就是平均峰值相關(guān)能量（APCE）［14］，它所反映的是響應(yīng)圖的振蕩程度，其定義如下：

其中Fmax、Fmin、F（x，y）分別表示響應(yīng)最大值、最小值和（x，y）位置上的響應(yīng)。APCE 反映了響應(yīng)圖的波動(dòng)程度和目標(biāo)的置信度，當(dāng)APCE 減小時(shí)，說(shuō)明目標(biāo)被遮擋，這時(shí)就應(yīng)該不更新模型。只有當(dāng)APCE和w分別以比例α、β 大于歷史均值的時(shí)候，模型才進(jìn)行更新。這樣一來(lái)大大減少了模型漂移的情況，二來(lái)減少了模型更新的次數(shù)，達(dá)到了加速的效果。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性，本文對(duì)OTB數(shù)據(jù)集中50 組視頻進(jìn)行跟蹤測(cè)試，這些視頻中包含了光照變化、顏色變化、快速移動(dòng)、遮擋、尺度變化等一些跟蹤過(guò)程中常見(jiàn)的問(wèn)題，采用文獻(xiàn)［15］的方法作為跟蹤算法的評(píng)價(jià)指標(biāo)，除本文算法外，我們將與核相關(guān)濾波跟蹤（KCF）［3］、BACF［5］、Staple［16］、空間正則化相關(guān)濾波跟蹤（SRDCF）［4］進(jìn)行比較實(shí)驗(yàn)。

4.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文實(shí)驗(yàn)仿真平臺(tái)為Matlab2014a，所有實(shí)驗(yàn)都在Intel（R）Core（TM）i5-7200U CPU，主頻 為2.5GHz，內(nèi)存為4G 的筆記本電腦上進(jìn)行。正則化參數(shù)λ 為0.001，懲罰因子μ 為1，學(xué)習(xí)率η 為0.013等。本文算法中γ 為15，α、β 分別為0.6、0.45。

4.2 定性分析

為了直觀地看出本文算法的性能，我們將不同算法的跟蹤結(jié)果進(jìn)行對(duì)比，圖1 為OTB 數(shù)據(jù)集中不同算法的視頻跟蹤結(jié)果。

圖1（a）為Skating1 視頻序列的跟蹤結(jié)果。在Skating1視頻中，目標(biāo)除了存在光照變化，還存在遮擋和背景干擾等問(wèn)題。在第79 幀時(shí)，由于光照、快速運(yùn)動(dòng)等因素，BACF 算法出現(xiàn)了誤跟，在第363 幀時(shí)，SRDCF 也出現(xiàn)了跟蹤失敗，本文算法能夠持續(xù)進(jìn)行跟蹤。

圖1 不同算法的跟蹤結(jié)果對(duì)比

圖1（b）為Soccer 視頻序列跟蹤結(jié)果。在此視頻序列中，目標(biāo)存在光照變化、背景干擾及遮擋等因素，由圖可知，在第126 幀，由于光照變化、背景干擾，Staple 和BACF 算法都出現(xiàn)了跟蹤漂移，本文算法能夠持續(xù)保持跟蹤。圖1（c）為Basketball跟蹤結(jié)果，在第492 幀，目標(biāo)出現(xiàn)快速移動(dòng)和變形，BACF 開(kāi)始出現(xiàn)漂移，在第532 幀時(shí)，除了BACF 算法，其它算法都能保持跟蹤。

圖1（d）為Jogging-2 視頻序列跟蹤結(jié)果。在Jogging-2 視頻中，目標(biāo)存在遮擋、出視野等情況，在第49 幀時(shí)，目標(biāo)發(fā)生了遮擋，在第61 幀時(shí)，目標(biāo)重新出現(xiàn)在視野時(shí)，本文算法和SRDCF 算法能夠繼續(xù)跟蹤，而其它算法都跟蹤失敗。

4.3 定量分析

為了驗(yàn)證本文算法的有效性，采用文獻(xiàn)［15］的評(píng)價(jià)方法對(duì)OTB 數(shù)據(jù)庫(kù)中50 組視頻進(jìn)行成功率和距離精度的評(píng)估，并與KCF、DSST、BACF、SRDCF、Staple 算法進(jìn)行對(duì)比實(shí)驗(yàn)。圖2 為不同算法評(píng)估曲線圖。

圖2（a）、（d）分別為本文算法和對(duì)比算法在所有視頻序列跟蹤結(jié)果的平均距離精度和成功率曲線圖，本文算法的距離精度為0.883，成功率為0.845，分別比BACF 提了4.7%、2.1%。圖3（b）、（e）分別具有光照變化情況的視頻序列的距離精度和成功率曲線圖，本文算法的距離精度為0.862，成功率為0.803，分別比BACF提高了4.7%、2.1%。

圖2 跟蹤結(jié)果評(píng)估曲線

圖2（c）、（d）分別為具有遮擋情況的視頻序列的距離精度和成功率曲線圖。本文算法在遮擋情況下，距離精度為0.829，成功率為0.774，分別比BACF 提高了8.1%、3.4%。從各種算法的對(duì)比曲線可以看出本文算法的有效性。表1 為不同算法的平均跟蹤速度，在加入了相關(guān)策略后，本文算法雖然較BACF 算法跟蹤速度有所下降，但仍然滿足實(shí)時(shí)性。

表1 不同算法跟蹤的平均速度

5 結(jié)語(yǔ)

針對(duì)背景感知相關(guān)濾波算法在光照變化、遮擋、快速運(yùn)動(dòng)等情況效果很差的問(wèn)題，本文算法在原算法基礎(chǔ)上加入了時(shí)間正則化和自適應(yīng)更新策略，并進(jìn)行了多特征融合，通過(guò)與現(xiàn)有的多個(gè)跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn)，算法整體性能有所提升，雖然速度有所下降，但仍然滿足實(shí)時(shí)性，同時(shí)驗(yàn)證了本文算法在光照變化、部分遮擋、背景干擾等情況下的有效性。