自適應(yīng)融合的長(zhǎng)期目標(biāo)跟蹤算法

劉巧玲， 劉一達(dá)(成都大學(xué) 信息科學(xué)與工程學(xué)院， 四川 成都 610106)

0 引 言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的重要組成部分之一，主要用于監(jiān)控、人機(jī)交互和醫(yī)療圖像等方面[1].近年來(lái), 基于相關(guān)濾波的實(shí)時(shí)目標(biāo)跟蹤得到了廣泛關(guān)注，研究者們提出了大量相關(guān)目標(biāo)跟蹤算法.Bolme等[2]首次提出了以均方誤差和最小為目標(biāo)的相關(guān)濾波跟蹤方法,其最大優(yōu)點(diǎn)是快速傅里葉變換求解相關(guān)操作,跟蹤速度快，但由于采樣數(shù)據(jù)有限,跟蹤算法容易受環(huán)境和目標(biāo)表觀特征變化的影響.Henriques等[3]設(shè)計(jì)了一種基于循環(huán)結(jié)構(gòu)的稠密采樣策略,可以盡可能多地采集樣本，又不影響目標(biāo)跟蹤的執(zhí)行速度,取得了很好的效果，但該算法只采用灰度特征來(lái)表征目標(biāo)的表觀模型,當(dāng)遇到灰度特征相近的目標(biāo)時(shí)，容易造成跟蹤失敗.Danelljan等[4]使用顏色屬性(Color name,CN)擴(kuò)展稠密采樣相關(guān)濾波跟蹤器,應(yīng)用主成分分析對(duì)原本11維的顏色屬性進(jìn)行降維，得到2維的顏色特征,改進(jìn)了目標(biāo)的表觀特征.Henriques等[5]采用方向梯度直方圖(Histogram of oriented gradient,HOG)特征和核函數(shù)技術(shù)來(lái)改進(jìn)稠密采樣相關(guān)濾波跟蹤器,得到基于HOG特征的核相關(guān)濾波跟蹤算法,跟蹤魯棒性有了較大提高.Li等[6]將CN和HOG進(jìn)行組合后用于相關(guān)濾波(Correlation filter，CF)框架,提出了SAMF跟蹤算法,實(shí)驗(yàn)結(jié)果表明特征融合能夠有效提高跟蹤性能.此外，Ma等[7]提出了基于相關(guān)濾波的LCT算法，因引入再檢測(cè)模塊在長(zhǎng)期跟蹤中性能良好.這些基于相關(guān)濾波器的跟蹤器性能優(yōu)于經(jīng)典算法，但并不總是如此有效地應(yīng)對(duì)復(fù)雜的視頻環(huán)境.

當(dāng)目標(biāo)受尺度變化、嚴(yán)重遮擋、出視野或快速運(yùn)動(dòng)等因素影響時(shí)，基于相關(guān)濾波的跟蹤算法會(huì)出現(xiàn)跟蹤失敗的情況.針對(duì)這一問(wèn)題，本研究在稀疏核相關(guān)濾波器(Sparse-kernel correlation filter,S-KCF)[8]的基礎(chǔ)上，引入顏色模型跟蹤，進(jìn)行自適應(yīng)融合，同時(shí)，應(yīng)用了一種跟蹤失敗情況下的再檢測(cè)模塊，以響應(yīng)圖最大值作為判斷跟蹤失敗和再檢測(cè)成功的標(biāo)準(zhǔn)，解決了KCF跟蹤器在跟蹤過(guò)程中目標(biāo)因嚴(yán)重遮擋、出視野等因素而造成的跟蹤失敗問(wèn)題，實(shí)現(xiàn)了長(zhǎng)期的目標(biāo)跟蹤.為驗(yàn)證本研究方法的有效性，本研究利用OTB-2015評(píng)估基準(zhǔn)[9]的100組完全標(biāo)注的視頻序列進(jìn)行測(cè)試，并與目前熱門(mén)的10種跟蹤算法進(jìn)行對(duì)比.

1 基礎(chǔ)模型

1.1 S-KCF模型

核相關(guān)濾波器KCF[5]在實(shí)時(shí)跟蹤中取得了很大的成功,利用循環(huán)結(jié)構(gòu)，將視覺(jué)跟蹤表述為相關(guān)濾波問(wèn)題.首先，利用初始幀中目標(biāo)區(qū)域的循環(huán)移位來(lái)訓(xùn)練KCF模型，KCF模型用于預(yù)測(cè)下一幀的響應(yīng)圖，具有最大響應(yīng)值的位置即為新目標(biāo)的位置.隨著跟蹤的進(jìn)行，KCF模型逐步更新以適應(yīng)背景變化.然而， 對(duì)于復(fù)雜場(chǎng)景， 傳統(tǒng)的KCF模型會(huì)由于許多相似的干擾物、嚴(yán)重的遮擋和光照變化而導(dǎo)致跟蹤失敗.

為了增強(qiáng)KCF模型對(duì)背景變化的魯棒性，文獻(xiàn)[8]提出了使用一個(gè)l0稀疏項(xiàng)來(lái)調(diào)整響應(yīng)圖，從而抑制干擾物、遮擋和光照變化引起的高響應(yīng).典型的相關(guān)濾波器[10-11]是嶺回歸問(wèn)題，

(1)

式中，f(xi)=WTφ(xi)是回歸函數(shù)，用特征空間投影器φ(·)訓(xùn)練得到，{yi}是高斯形狀的響應(yīng)圖，λ>0是控制過(guò)擬合的參數(shù).

高斯型目標(biāo)響應(yīng)圖是稀疏的，由于干擾物在人群場(chǎng)景中具有相似的外觀，跟蹤器通常會(huì)生成多峰值響應(yīng)圖.因此，在響應(yīng)映射上添加稀疏正則化項(xiàng)，以便抑制不相關(guān)的響應(yīng)并保留目標(biāo)響應(yīng)[8]，

(2)

式中，Φ=[Φ(x1),…,Φ(xi)]；y=[y1,…,yi]T;τ>0是控制響應(yīng)圖稀疏性的參數(shù).

在訓(xùn)練過(guò)程中，稀疏約束使跟蹤器濾波器W考慮上下文變化，并將分類器的弱正響應(yīng)推到0.因此，稀疏約束訓(xùn)練的濾波器可以在測(cè)試集上生成稀疏響應(yīng)映射.式(2)是一個(gè)NP困難問(wèn)題，因?yàn)樗幸粋€(gè)l0項(xiàng).為了使式(2)易于處理，添加輔助二次約束，并重寫(xiě)式(2)為，

(3)

式中，β是控制r和ΦTW相似度的參數(shù)，當(dāng)β足夠大，r接近等于ΦTW.式(3)的解可以通過(guò)交替求解W和R找到，

(4)

(5)

對(duì)于核回歸(非線性)，W=∑iαiφ(xi)，因此，優(yōu)化下的變量是α[5],可以用閉合形式求解，

(6)

式中，k是核矩陣K的第一行，矩陣K的元素為kij=φ(xi)Tφ(xi)，∧表示向量的DFT，分?jǐn)?shù)意味著元素級(jí)劃分，式(6)最優(yōu)解r為，

(7)

式中，σ是軟閾值函數(shù).

σ(ε,x)=sign(x)max(0,|x|-ε)

(8)

(9)

1.2 顏色模型

顏色模型[12]一般是基于廣泛使用的檢測(cè)跟蹤原理，它從邊界框集合中選擇得分最高的邊界框(給出目標(biāo)位置)作為最終的測(cè)試結(jié)果，在幾幀內(nèi)定位感興趣的對(duì)象.與其他基于分類器方法相比，顏色模型通過(guò)學(xué)習(xí)正樣本和負(fù)樣本來(lái)獲得參數(shù).

本研究采用基于RGB的顏色特征，在32×32×32的箱子空間中計(jì)算bins顏色直方圖.為了加快計(jì)算速度，在顏色模型中，Staple算法[12]將RGB空間表示的每個(gè)像素u映射到圖像32×32×32個(gè)分隔空間的索引特征j=φ(u)中.如圖1所示，在區(qū)域中的實(shí)線框內(nèi)是前景區(qū)域O，實(shí)線邊框外虛線框內(nèi)的區(qū)域是背景區(qū)域B.

圖1 訓(xùn)練塊Td,t

假設(shè)矩陣框Td,t是從t幀估計(jì)的目標(biāo)位置T周圍采樣得到的，Staple算法將Td,t分為前景區(qū)域O、背景區(qū)域B，分別計(jì)算前景區(qū)域O(與先前幀的估計(jì)目標(biāo)共享大小)和背景區(qū)域B里每個(gè)特征比例.假設(shè)區(qū)域Ω∈{O,B},每個(gè)特征32×32×32個(gè)空格的比例可以用ρj(Ω)=Nj(Ω)/|Ω|來(lái)表示，其中Nj(Ω)=|{u∈Ω∶φ(u)=j}|表示區(qū)域Ω特征數(shù)量，|Ω|表示區(qū)域Ω里的總像素.因此，在線模型的ρj(O)和ρj(B)遵循以下公式，

(10)

(11)

(12)

圖2 顏色模型的響應(yīng)

稱之為每一像素得分，如圖2(b)中的熱圖所示.

(13)

然后，利用固定尺寸st的滑動(dòng)邊框的得分矩陣St+1,β，利用式(13)可以計(jì)算所有在Y集合中邊界框的顏色.由此，得到其他得分矩陣，

2 改進(jìn)算法

2.1 自適應(yīng)融合

本研究在S-KCF和顏色模型的基礎(chǔ)上，提出從濾波響應(yīng)圖層面進(jìn)行模型融合，以提升跟蹤性能，同時(shí)，為了增加融合的適應(yīng)性，在對(duì)不同視頻序列進(jìn)行跟蹤時(shí)對(duì)2個(gè)模型得到的響應(yīng)圖進(jìn)行自適應(yīng)加權(quán)，以突出視頻幀中更具判別力的特征[10].

第t幀訓(xùn)練中，損失差的計(jì)算簡(jiǎn)寫(xiě)如下，

(14)

式中,sum()表示對(duì)矩陣內(nèi)每一項(xiàng)求和,F表示模型的集合.模型f對(duì)應(yīng)的歸一化權(quán)重為，

(15)

式中,{F-f}表示F中不同于f的另一模型.

(16)

(17)

2.2 在線檢測(cè)

在跟蹤失敗的情況下，魯棒的長(zhǎng)期跟蹤算法需要重新檢測(cè)模塊.當(dāng)對(duì)每個(gè)幀進(jìn)行再檢測(cè)時(shí)，計(jì)算復(fù)雜度很高，因此本研究提出了一種新的方法來(lái)檢測(cè)跟蹤失敗以確定何時(shí)需要激活再檢測(cè)模塊.

2.2.1 失敗檢測(cè).

CCT跟蹤器[11]使用邊界框的重疊率來(lái)檢測(cè)跟蹤故障，但是平移估計(jì)的不準(zhǔn)確性會(huì)導(dǎo)致結(jié)果不準(zhǔn)確.本研究利用響應(yīng)圖最大值來(lái)檢測(cè)，響應(yīng)圖的最大響應(yīng)值Rmax定義為，

Rmax=maxR

(18)

式中，R為響應(yīng)圖.當(dāng)前幀的準(zhǔn)則Rmax大于其歷史平均值，并且具有一定比率時(shí)，當(dāng)前幀中的跟蹤結(jié)果被認(rèn)為是高置信度的.

2.2.2 對(duì)象重新檢測(cè).

類似于CUR跟蹤器，本研究采用一個(gè)在線的CUR濾波器來(lái)重新檢測(cè)對(duì)象.但與CCT跟蹤器不同，本研究使用Rmax來(lái)確定是否更新過(guò)濾器，并且使用多通道特征來(lái)表示對(duì)象候選.CUR分解算法尋求矩陣A∈Rm×n的c列的子集以形成矩陣C∈Rm×c，r行的子集以形成矩陣R∈Rr×n，以及交矩陣U∈Rc×r，使得‖A-CUR‖ζ最小化，其中‖‖ζ是2范數(shù)或F范數(shù).在跟蹤過(guò)程中，本研究將目標(biāo)外觀表示為向量，數(shù)據(jù)矩陣A的一列.A也可以被視為歷史目標(biāo)表示矩陣.根據(jù)文獻(xiàn)[11]中的理論，本研究用隨機(jī)抽樣的方法對(duì)數(shù)據(jù)矩陣A的c列進(jìn)行抽樣，生成列矩陣C，然后對(duì)列矩陣C進(jìn)行平均，從而實(shí)現(xiàn)目標(biāo)檢測(cè)濾波器.矩陣C的列c可以從近似c=(2k/ε)(1+O(1))得到，其中，k是目標(biāo)秩，ρ是A的秩,0<ε<1.

3 結(jié)果與分析

為驗(yàn)證本研究算法的有效性，在配置為Matlab2016a、Intel(R)Core(TM)i5-7300 CPU、主頻2.6 GHz及8 GiB內(nèi)存的平臺(tái)上，利用OTB-2015中[9]的100個(gè)完全標(biāo)注的視頻數(shù)據(jù)集包含11種屬性進(jìn)行評(píng)估，與目前熱門(mén)的跟蹤算法[4-15]進(jìn)行了對(duì)比.OTB-2015視頻數(shù)據(jù)集[9]包含了以下11個(gè)屬性：光照變化(Illumination variation)、尺度變化(Scale variation)、遮擋(Occlusion)、形變(Deformation)、運(yùn)動(dòng)模糊(Motion blur)、快速運(yùn)動(dòng)(Fast motion)、平面內(nèi)旋轉(zhuǎn)(In-plane rotation)、平面外旋轉(zhuǎn)(Out-of-plane rotation)、出視野(Out-of-view)、復(fù)雜背景(Background clutter)與低分辨率(Low resolution).

為了評(píng)估跟蹤算法的性能，本實(shí)驗(yàn)采用了OTB-2015中的2種評(píng)估方法作為定量評(píng)價(jià)指標(biāo)[9]：精確度圖(Precision plot)和成功率圖(Success plot).在跟蹤精度評(píng)估中，廣泛應(yīng)用的是中心位置誤差(CLE).中心位置誤差定義為跟蹤目標(biāo)的中心位置和手工標(biāo)定的準(zhǔn)確中心位置之間的平均歐式距離.精確度圖能夠顯示目標(biāo)中心位置誤差小于閾值的幀數(shù)占視頻總幀數(shù)的百分比.實(shí)驗(yàn)中閾值選定為20 pixels.成功率圖能夠顯示重疊率S大于給定閾值t0的幀數(shù)占視頻總幀數(shù)的百分比.其中，重疊率S定義為S=|Rt∩Ra|/|Rt∪Ra|,Rt為跟蹤的目標(biāo)框，Ra為準(zhǔn)確的目標(biāo)框.成功率給出了閾值t0從0到1變化時(shí)，成功的幀數(shù)所占的比例，利用成功率圖曲線下的面積(AUC)作為跟蹤算法性能的評(píng)價(jià)準(zhǔn)則.

3.1 整體性能分析

圖3為整體性能排名前10的跟蹤算法分別在SRE、TRE、OPE 3種方法下的.在OPE的精確度圖中，可以看到本研究的算法精確度為0.890，相比于KCF和LCT算法分別提高了21%和5.82%.在OPE的成功率圖中，本研究的算法成功率為0.861，相比于KCF和LCT算法分別提高了41.1%和7.48%.

圖3 排名前10跟蹤算法SRE、TRE、OPE的精確度圖和成功率圖

3.2 基于數(shù)據(jù)集屬性的性能分析

為充分評(píng)估本研究的算法跟蹤性能,利用OTB-2015視頻數(shù)據(jù)集的11個(gè)屬性進(jìn)一步評(píng)估本研究算法的性能.圖4為排名前10的跟蹤算法在包含11個(gè)屬性數(shù)據(jù)集上的精確度圖.由圖4可知，本研究的算法除了在低分辨率這個(gè)屬性精度圖上排名第3位，其余10個(gè)屬性的精度圖上都排名第1位，對(duì)比其他算法中效果最好的LCT算法，在遮擋、出視野、變形和快速運(yùn)動(dòng)屬性精度圖上，本研究的算法分別提高了6.3%、4.5%、4.7%和15.1%.

圖4 排名前10跟蹤算法在11個(gè)屬性的精確度圖

通過(guò)整體性能、數(shù)據(jù)集屬性對(duì)比，可以看出本研究算法相對(duì)于其他算法具有更強(qiáng)的魯棒性.

4 結(jié) 論

本研究探討了一種有效的長(zhǎng)期目標(biāo)跟蹤算法，提出了稀疏核相關(guān)濾波和顏色模型的自適應(yīng)融合.此外，本研究使用相關(guān)響應(yīng)最大值來(lái)檢測(cè)完全遮擋和視野之外的跟蹤失敗，并使用在線CUR濾波器來(lái)重新檢測(cè)目標(biāo).實(shí)驗(yàn)數(shù)據(jù)表明，在目標(biāo)發(fā)生尺度變化、遮擋及快速運(yùn)動(dòng)等復(fù)雜場(chǎng)景下,與近年出現(xiàn)的幾種優(yōu)秀跟蹤方法相比，本研究的算法具有更強(qiáng)的魯棒性.