一種多特征融合的背景感知相關(guān)濾波跟蹤算法

黃曉冬，曾科軍，李 冬

(中國人民解放軍92124部隊(duì)，遼寧 大連 116023)

1 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺中的一項(xiàng)重要課題和研究熱點(diǎn)，在視頻監(jiān)控、精確制導(dǎo)等領(lǐng)域有著廣泛應(yīng)用。目標(biāo)跟蹤通過給定的初始信息，在后續(xù)的圖像序列中對目標(biāo)的位置或形狀進(jìn)行估計(jì)，進(jìn)而實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)的速度、方向和軌跡等運(yùn)動(dòng)信息的分析和理解[1]。目標(biāo)跟蹤的困難和挑戰(zhàn)主要有以下幾個(gè)方面：①目標(biāo)情況復(fù)雜多變，如形狀和尺度發(fā)生變化；②光照、遮擋或背景噪聲干擾，造成目標(biāo)特征信息發(fā)生變化；③目標(biāo)快速運(yùn)動(dòng)導(dǎo)致圖像模糊，無法準(zhǔn)確定位目標(biāo)。

目前，基于相關(guān)濾波和基于深度學(xué)習(xí)的方法是目標(biāo)跟蹤領(lǐng)域研究的主要方向。其中，基于深度學(xué)習(xí)的方法[2-5]雖然跟蹤精度很高，但由于深度神經(jīng)網(wǎng)絡(luò)的特征計(jì)算和模型更新相對復(fù)雜，導(dǎo)致計(jì)算代價(jià)大，影響了算法速度。相關(guān)濾波方法憑借其精度高、速度快的特點(diǎn)得到廣泛關(guān)注，一系列基于相關(guān)濾波的改進(jìn)方法也被相繼提出，算法精度得到大幅度提升。Bolme等[6]在目標(biāo)跟蹤中首次引入相關(guān)濾波理論，提出的MOSSE(miniInum output sum of squared error)算法通過輸出結(jié)果最小均方誤差的方式訓(xùn)練得到最優(yōu)濾波器模板，與新一幀圖像的目標(biāo)區(qū)域進(jìn)行相關(guān)運(yùn)算，得到最大響應(yīng)的位置即為新一幀圖像的目標(biāo)位置。由于采用快速傅里葉變換方法，將空域的卷積轉(zhuǎn)化為頻域的點(diǎn)乘，因此算法運(yùn)算量得到了極大減少，速度超過了600幀/s。隨后，在MOSSE框架的基礎(chǔ)上，Henriques等[7,8]提出CSK(circulant structure of tracking-by-detection with kernels)算法和KCF(kernelized correlation filters)算法，引入循環(huán)矩陣和嶺回歸策略，跟蹤性能得到進(jìn)一步提升。針對目標(biāo)跟蹤中復(fù)雜背景問題，Danelljan等[9]提出自適應(yīng)顏色屬性(color names,CN)策略，利用11個(gè)通道數(shù)的CN空間對CSK算法進(jìn)行了顏色擴(kuò)展，提高了跟蹤效果。為應(yīng)對遮擋問題，李健寧等[10]基于CN框架下，融合灰度特征和梯度直方圖(histogram of oriented gradient,HOG)特征，同時(shí)引入尺度池，一定程度上提高了遮擋情況下的跟蹤精度。SAMF(scale adaptive with multiple features)算法[11]和DSST(discriminative scale space tracking)算法[12]在KCF的基礎(chǔ)上進(jìn)行了改進(jìn)，前者對目標(biāo)進(jìn)行7個(gè)尺度的采樣，將平移濾波器在多尺度圖像塊上進(jìn)行相關(guān)運(yùn)算，選取響應(yīng)值最大的位置和對應(yīng)尺度；后者使用33個(gè)尺度，訓(xùn)練了平移檢測和尺度檢測2個(gè)濾波器，先利用平移濾波器進(jìn)行位置檢測，然后在響應(yīng)值最大位置處使用尺度濾波器進(jìn)行尺度檢測。針對目標(biāo)形變問題，Bertinetto等[13]提出Staple(sum of template and pixel-wise learners)方法，將HOG特征和顏色直方圖特征進(jìn)行有效結(jié)合，分別對2種特征進(jìn)行訓(xùn)練得到2個(gè)濾波器模板，對目標(biāo)區(qū)域得到的2個(gè)響應(yīng)圖進(jìn)行線性融合，提高了跟蹤的精度，同時(shí)速度超過80幀/s。戴偉聰?shù)萚14]在Staple算法基礎(chǔ)上進(jìn)行了改進(jìn)，利用局部敏感直方圖訓(xùn)練直方圖分類器，同時(shí)基于相對置信度實(shí)現(xiàn)對特征融合系數(shù)的自適應(yīng)調(diào)整，相比Staple算法性能有所提高，但處理遮擋等復(fù)雜場景時(shí)仍有不足。

上述相關(guān)濾波算法從不同方面提高了目標(biāo)跟蹤的性能，但是用于相關(guān)濾波訓(xùn)練的負(fù)樣本只通過正樣本循環(huán)移位得到，訓(xùn)練的分類器對背景的判別能力有限，在背景噪聲干擾、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、脫離視野等情況下容易產(chǎn)生漂移。為提高目標(biāo)跟蹤的效果并兼顧跟蹤實(shí)時(shí)性，本文提出一種多特征融合的背景感知相關(guān)濾波跟蹤算法，在分類器訓(xùn)練階段引入背景感知框架，從目標(biāo)和周圍背景區(qū)域分別提取HOG特征、CN特征和顏色直方圖特征，基于自適應(yīng)加權(quán)融合策略將HOG特征和CN特征的響應(yīng)圖進(jìn)行融合，融合結(jié)果與顏色直方圖特征響應(yīng)圖以固定系數(shù)融合，利用最大響應(yīng)值估計(jì)目標(biāo)位置，再引入一維尺度相關(guān)濾波器估計(jì)目標(biāo)尺度，并實(shí)時(shí)更新模型參數(shù)。

2 背景感知相關(guān)濾波框架

傳統(tǒng)相關(guān)濾波算法大多采用加余弦窗的方式抑制邊界效應(yīng)，負(fù)樣本只通過正樣本循環(huán)移位得到，導(dǎo)致濾波器模板學(xué)習(xí)的背景信息有限，當(dāng)目標(biāo)發(fā)生快速運(yùn)動(dòng)或者復(fù)雜背景干擾時(shí)，容易跟丟。文獻(xiàn)[15]提出一種背景感知相關(guān)濾波框架，如圖1所示。該框架在濾波器訓(xùn)練階段引入目標(biāo)周圍背景信息，包括分類器訓(xùn)練、目標(biāo)位置預(yù)測和模型更新3個(gè)部分。

圖1 背景感知相關(guān)濾波跟蹤算法整體框架圖

2.1 分類器訓(xùn)練

(1)

(2)

2.2 目標(biāo)位置預(yù)測與模型更新

用訓(xùn)練得到的分類器對檢測區(qū)域圖像塊的每個(gè)循環(huán)移位樣本進(jìn)行傅里葉域的相關(guān)操作，計(jì)算得到的所有響應(yīng)值構(gòu)成一幅響應(yīng)圖，最大響應(yīng)點(diǎn)即目標(biāo)的預(yù)測位置。在第t幀圖像的第t-1幀預(yù)測的目標(biāo)位置處，提取候選圖像塊樣本z，得到濾波器的響應(yīng)圖為：

(3)

式(3)中，F(xiàn)-1為逆傅里葉變換，取yt最大值對應(yīng)的位置作為當(dāng)前幀的目標(biāo)預(yù)測位置。

為適應(yīng)目標(biāo)外觀的變化，一般采用線性內(nèi)插法對模型進(jìn)行更新：

(4)

3 基于多特征融合的背景感知相關(guān)濾波跟蹤算法

本文算法在背景感知相關(guān)濾波框架下，結(jié)合HOG、CN和顏色直方圖等3種特征進(jìn)行目標(biāo)跟蹤。首先對HOG和CN特征的特征響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)融合，然后將融合結(jié)果與顏色直方圖特征響應(yīng)圖進(jìn)行固定系數(shù)融合。利用最終融合后的響應(yīng)圖進(jìn)行目標(biāo)位置估計(jì)，并基于估計(jì)的目標(biāo)位置采用尺度相關(guān)濾波器進(jìn)行目標(biāo)尺度估計(jì)。

3.1 特征性能分析

HOG特征是一種操作在局部區(qū)域單元的特征描述子，將目標(biāo)圖像區(qū)域劃分成多個(gè)細(xì)胞單元，計(jì)算每個(gè)細(xì)胞單元中各像素點(diǎn)的梯度方向直方圖組合構(gòu)成目標(biāo)圖像的特征，能有效應(yīng)對目標(biāo)光照變化、運(yùn)動(dòng)模糊和局部遮擋等場景，但不適合處理目標(biāo)形變問題。CN是一種顏色特征，相比灰度特征更能充分利用圖像的顏色信息，可以很好地應(yīng)對目標(biāo)尺度和形變問題，因此HOG和CN特征可以互補(bǔ)。但是兩者都屬于模板特征，仍然在相關(guān)濾波框架中，具有相關(guān)濾波算法存在邊界效應(yīng)的固有缺陷。顏色直方圖特征是一種像素級概率特征，能有效應(yīng)對目標(biāo)形變和快速運(yùn)動(dòng)情況，不屬于相關(guān)濾波框架，在一定程度上能夠緩解邊界效應(yīng)。因此，本文將模板特征和顏色直方圖特征進(jìn)行有效融合，充分利用兩類特征的優(yōu)點(diǎn)，提高算法的準(zhǔn)確性和魯棒性。

3.2 多特征融合

本文在背景感知相關(guān)濾波框架下，分別利用HOG和CN特征訓(xùn)練相關(guān)濾波器，根據(jù)各自輸出的最大響應(yīng)值作歸一化處理，對2種特征進(jìn)行權(quán)重分配。HOG特征和CN特征在第t幀的歸一化權(quán)重分別為：

(5)

特征權(quán)重更新公式為：

(6)

式(6)中，τ為權(quán)重更新因子，將第1幀HOG特征和CN特征的權(quán)重初始化為0.5。

在第t幀時(shí)，將2種特征的響應(yīng)圖進(jìn)行線性加權(quán)融合為：

(7)

模板特征響應(yīng)圖與顏色直方圖特征響應(yīng)圖進(jìn)行融合中采用文獻(xiàn)[13]中的固定系數(shù)線性加權(quán)方法，融合公式為：

(8)

3.3 尺度估計(jì)

尺度變化是目標(biāo)跟蹤中常見的問題，當(dāng)相關(guān)濾波器無法準(zhǔn)確估計(jì)目標(biāo)尺度時(shí)，如果目標(biāo)縮小，濾波器會(huì)學(xué)習(xí)到大量背景信息，如果目標(biāo)變大，濾波器就只能學(xué)習(xí)到目標(biāo)局部特征，2種情況都會(huì)導(dǎo)致跟蹤漂移或失敗。DSST算法[12]提出了一種精確的尺度估計(jì)方法，將目標(biāo)跟蹤看成目標(biāo)中心平移和尺度變化2個(gè)獨(dú)立問題，首先用二維相關(guān)濾波器檢測目標(biāo)中心平移，然后利用一維的尺度濾波器檢測目標(biāo)尺度變化。本文算法采用DSST算法的尺度估計(jì)策略。

尺度相關(guān)濾波器的時(shí)域輸出響應(yīng)結(jié)果為：

(9)

尺度相關(guān)濾波器在頻域的更新公式為：

(10)

3.4 算法流程

本文提出的基于多特征融合的背景感知相關(guān)濾波跟蹤算法具體流程如下：

輸入：圖像序列I1,I2,…,IN，初始化第一幀要跟蹤的目標(biāo)初始位置p0；

輸出：每幀圖像的目標(biāo)位置pt和目標(biāo)尺度St，t=1,2,…,N。

位置預(yù)測：

步驟1在第t-1幀圖像的目標(biāo)預(yù)測位置pt-1處和尺度St-1上提取HOG特征和CN特征，利用文獻(xiàn)[13]中方法提取顏色直方圖特征。

尺度估計(jì)：

步驟4在第t幀圖像的pt處，提取HOG特征的候選樣本，利用式(9)得到尺度響應(yīng)yscale，利用其最大值得到第t幀的目標(biāo)估計(jì)尺度St。

模型更新：

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)環(huán)境及參數(shù)

本文實(shí)驗(yàn)硬件配置環(huán)境為Intel Core i7-4790 CPU@3.6GHz，16GB內(nèi)存的PC機(jī)，軟件環(huán)境為Matlab R2018a。實(shí)驗(yàn)中濾波器采用的正則化系數(shù)λ1為10-3，λ2為0.5，位置濾波器學(xué)習(xí)速率η取0.01，權(quán)重更新因子τ為0.2，融合系數(shù)α為0.3。顏色直方圖特征提取和尺度估計(jì)采用的參數(shù)與Staple和DSST算法設(shè)置相同。

4.2 算法整體性能

本文實(shí)驗(yàn)采用包含51個(gè)視頻序列，具有光照變化、尺度變化、旋轉(zhuǎn)、遮擋、形變、快速運(yùn)動(dòng)、脫離視野、背景雜亂等11種屬性挑戰(zhàn)的OTB-2013數(shù)據(jù)集[16]，基于一次性評估(one-pass evaluation,OPE)方法的精確度、成功率和跟蹤速度3個(gè)指標(biāo)來評估算法整體性能。將本文所提算法與KCF[8],CN[9],SAMF[11],DSST[12],Staple[13]進(jìn)行對比分析，如圖2和表1所示，表1中最優(yōu)結(jié)果用加粗表示。

表1 不同跟蹤算法的跟蹤性能對比

圖2 本文算法與5種跟蹤算法在OTB-2013數(shù)據(jù)集上的精確度和成功率曲線

圖2顯示了本文算法和其他算法的跟蹤精確度和成功率對比曲線圖。可以看出，本文算法的跟蹤精確度(0.835)和成功率(0.764)均優(yōu)于其他算法，相比于Staple算法，在精確度和成功率上分別提高了6.51%和3.80%。第一個(gè)原因是本文算法在濾波器訓(xùn)練階段引入背景感知框架，增加訓(xùn)練的負(fù)樣本數(shù)量，使得濾波器模板對相似背景的干擾具有更強(qiáng)的判別能力。第二個(gè)原因是本文提出的多特征融合策略將模板特征和顏色直方圖特征進(jìn)行融合，較好地彌補(bǔ)了各自的缺點(diǎn)，提高了算法的準(zhǔn)確性和魯棒性。

表1顯示了不同算法的跟蹤性能和跟蹤速度對比。可以看出，在跟蹤速度上，本文算法在采用背景感知和3種特征融合策略后，相比Staple算法，每幀的計(jì)算量增加，跟蹤速度有所下降，但仍然能夠保持較好的實(shí)時(shí)性。

4.3 具體分析與評價(jià)

為進(jìn)一步對比不同算法在具體場景中的表現(xiàn)，表2選取OTB-2013數(shù)據(jù)集中幾個(gè)代表性視頻序列，分別是Couple,Jumping,Lemming。這些序列包含光照變化、尺度變化、形變、遮擋、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、脫離視野、背景雜亂等復(fù)雜場景。選取中心位置誤差(center location error,CLE)和成功率來比較本文算法與5種跟蹤算法的性能。CLE定義為目標(biāo)真實(shí)中心和預(yù)測中心位置的平均歐氏距離，CLE的值越小，算法的性能越高。圖3表示3個(gè)測試序列的逐幀中心位置誤差。可以看出，在這3個(gè)測試序列上，本文算法的平均CLE均為最小，與次優(yōu)算法相比，分別減少了20.27,19.98和70.79像素，顯著提高了跟蹤精度，改善了跟蹤算法的性能。

表2 OTB-2013部分視頻序列屬性

圖3 本文算法與5種跟蹤算法在3個(gè)測試視頻序列的CLE曲線

圖4表示了不同跟蹤算法在3個(gè)測試視頻序列的成功率，可以看出,本文算法的跟蹤成功率在3個(gè)序列上均為最優(yōu)，與次優(yōu)算法相比，分別提高了30.2%,103.7%和102.6%。

圖4 本文算法與5種跟蹤算法在3個(gè)測試視頻序列的成功率曲線

為了更加直觀地進(jìn)行對比分析，圖5給出了不同算法在3個(gè)測試視頻序列和1個(gè)光學(xué)跟蹤測量圖像序列的跟蹤可視化結(jié)果。

圖5(a)的視頻序列Couple包含形變、尺度變化、快速運(yùn)動(dòng)和背景雜亂等，第16幀之后只有Staple和本文算法能夠準(zhǔn)確跟蹤目標(biāo)，在第98幀遇到相似背景的干擾時(shí)，Staple算法出現(xiàn)了跟蹤漂移，只有本文算法能夠一直準(zhǔn)確穩(wěn)定地跟蹤目標(biāo)，這得益于本文引入的背景感知框架能夠?qū)δ繕?biāo)周圍的區(qū)域進(jìn)行學(xué)習(xí)，增強(qiáng)了濾波器的判別能力，能夠較好地應(yīng)對背景干擾問題。

圖5(b)的視頻Jumping可以看出，當(dāng)目標(biāo)出現(xiàn)快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊時(shí)，Staple,SAMF,DSST,KCF和CN算法均跟丟目標(biāo)，這是因?yàn)槟繕?biāo)快速運(yùn)動(dòng)出現(xiàn)邊界效應(yīng)，導(dǎo)致邊緣樣本割裂，產(chǎn)生的錯(cuò)誤樣本造成濾波器判別力不夠強(qiáng)，只有本文算法能夠始終準(zhǔn)確地跟蹤目標(biāo)，也驗(yàn)證了背景感知相關(guān)濾波框架能夠在一定程度上解決邊界效應(yīng)問題。

圖5(c)的Lemming包含光照變化、尺度變化、旋轉(zhuǎn)、遮擋、快速運(yùn)動(dòng)、脫離視野等，在第302～373幀目標(biāo)受到背景遮擋，第373幀時(shí)，Staple,SAMF,DSST,KCF和CN算法丟失目標(biāo)，第552～558幀目標(biāo)部分脫離視野，之后一直伴隨光照、尺度變化和快速運(yùn)動(dòng)，本文算法在面對這些復(fù)雜場景時(shí)仍能魯棒地跟蹤目標(biāo)直到結(jié)束，驗(yàn)證了本文提出的基于背景感知的多特征融合策略的有效性。

圖5(d)的aircraft是某型航空飛行器試驗(yàn)光測圖像序列，目標(biāo)經(jīng)歷了尺度變化、形變、脫離視野和旋轉(zhuǎn)等情況，第186幀之前，各算法基本能夠穩(wěn)定跟蹤，在第186～196幀目標(biāo)逐漸脫離視野，當(dāng)目標(biāo)再次出現(xiàn)時(shí)，只有本文算法能夠準(zhǔn)確定位目標(biāo)并持續(xù)穩(wěn)定跟蹤，其他算法均丟失目標(biāo)，進(jìn)一步驗(yàn)證了本文算法在面對實(shí)際工程背景下的復(fù)雜場景時(shí)，相比其他算法能夠取得更加準(zhǔn)確和魯棒的跟蹤結(jié)果。

圖5 本文算法與5種跟蹤算法的跟蹤可視化圖形

5 結(jié)論

在目標(biāo)跟蹤中，通常會(huì)面臨各種復(fù)雜場景，本文提出一種多特征融合的背景感知相關(guān)濾波跟蹤算法。針對傳統(tǒng)相關(guān)濾波跟蹤算法背景信息學(xué)習(xí)不充分的問題，該算法在濾波器訓(xùn)練階段引入背景感知框架，增加了訓(xùn)練的負(fù)樣本數(shù)量，提高了分類器的判別能力；針對單一特征無法有效應(yīng)對多種復(fù)雜場景的問題，提出了一種自適應(yīng)的多特征融合策略，實(shí)現(xiàn)模板特征和顏色直方圖特征響應(yīng)圖的最優(yōu)融合，有效克服了兩類特征各自的缺點(diǎn)；同時(shí)引入一維尺度相關(guān)濾波器用于檢測目標(biāo)尺度變化。本文算法能夠有效應(yīng)對光照變化、運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、脫離視野、背景雜亂等干擾因素的影響，在保證跟蹤準(zhǔn)確性的同時(shí)，具有較好的實(shí)時(shí)性和魯棒性。