基于核相關(guān)濾波器的高置信度自適應(yīng)融合目標(biāo)跟蹤算法研究

夏 婷 謝維信 陳富健 黃梓桐

(深圳大學(xué)ATR國(guó)防科技重點(diǎn)實(shí)驗(yàn)室, 廣東深圳 518060)

1 引言

視頻目標(biāo)跟蹤的方法有很多,一般總結(jié)為生成式方法和鑒別式方法[1]。生成式模型利用的是稀疏編碼,即線性系數(shù)向量的分量稀疏表示成多個(gè)0,相當(dāng)于求解問題的近似過程。這類方法中比較經(jīng)典的代表有基于概率密度分布的Meanshift算法、基于粒子分布的Particle Filter算法、基于特征點(diǎn)的光流算法等。此類算法不足是未全面利用視頻序列的信息,導(dǎo)致跟蹤不夠穩(wěn)定。鑒別式模型是目前常用的目標(biāo)跟蹤算法,它改進(jìn)了生成式模型算法的不足,充分利用圖像的整個(gè)信息,將整張圖像中的前景與背景的信息相比較,然后將需要的信息提取出來獲得目標(biāo)的準(zhǔn)確位置。目前此類算法中得到廣泛應(yīng)用的是基于核相關(guān)濾波器的目標(biāo)跟蹤算法[2]。

核相關(guān)濾波最早期比較注重速度,Bolme的MOSSE算法和Martins的CSK算法最具有代表性[3]。Martins在算法CSK基礎(chǔ)上改進(jìn)的算法KCF中又引進(jìn)快速傅里葉變換(FFT)[4],進(jìn)一步降低計(jì)算量。但是僅注重速度的目標(biāo)跟蹤在實(shí)際的應(yīng)用中是存在問題的,因?yàn)槟繕?biāo)跟蹤是一個(gè)十分復(fù)雜的過程,可以概括成11種挑戰(zhàn)[5- 6]:亮度變化(Illumination Variation,IV)、背景雜波(Background Clutter,BC)、形狀變化(Deformation,DEF)、目標(biāo)尺度變化(Scale Variation,SV)、快速運(yùn)動(dòng)(Fast Motion,FM)、受到遮擋(Occlusion,OCC)、運(yùn)動(dòng)模糊(Motion Blur,MB)、分辨率較低(Low Resolution,LR),超出視野(Out-of-View,OV),平面內(nèi)外旋轉(zhuǎn)(out-of-plane Rotation&in-plane Rotation)等。同時(shí)解決這11種甚至更多的目標(biāo)跟蹤場(chǎng)景中的復(fù)雜問題并不容易,研究者往往針對(duì)不同的情況進(jìn)行專門完善或者對(duì)幾種情況進(jìn)行綜合完善與改進(jìn)。例如KCF算法中引進(jìn)循環(huán)采樣來增加樣本數(shù)量以此解決稀疏采樣問題以及利用FFT快速傅里葉變換降低計(jì)算量;DSST算法利用兩個(gè)獨(dú)立的濾波器(位置濾波器和尺度濾波器)專門解決目標(biāo)尺度變化問題[7];SAMF[8]算法利用顏色和梯度的互補(bǔ)特性簡(jiǎn)單引入尺度池方法以及雙線性插值方法,其目的也是專門針對(duì)目標(biāo)尺度變化問題進(jìn)行改進(jìn)。但是在實(shí)際的應(yīng)用中目標(biāo)的位置變化是比尺度變化要更加明顯,因此在位置變化方面的跟蹤效果不是很穩(wěn)定。DAT算法是利用貝葉斯方法計(jì)算出前景和背景的顏色概率圖,單純利用統(tǒng)計(jì)顏色特征方法進(jìn)行目標(biāo)跟蹤。Staple[9]算法打破單一模板特性,利用兩種獨(dú)立模板單獨(dú)訓(xùn)練和測(cè)試,在響應(yīng)階段進(jìn)行線性融合,相當(dāng)于DSST算法和DAT算法的優(yōu)勢(shì)聯(lián)合,達(dá)到高跟蹤速度同時(shí)有效改善了跟蹤的性能。

由于目標(biāo)跟蹤中目標(biāo)形態(tài)以及所處的環(huán)境很復(fù)雜,研究者仍然對(duì)基于核相關(guān)濾波的目標(biāo)跟蹤領(lǐng)域不斷完善和突破,大致方向一般趨向于提出一種新的針對(duì)性算法,或者幾個(gè)算法的融合,或者將算法自適應(yīng)等。例如,楊曉輝等人提出的《A Joint Multi-Feature and Scale-Adaptive Correlation Filter Tracker》[10],利用位置相關(guān)濾波器和比例相關(guān)濾波器的相結(jié)合,通過梯度直方圖特征(HOG)和顏色特征來計(jì)算目標(biāo)的位置,利用比例濾波器識(shí)別響應(yīng)的大小判斷,兩者的結(jié)合提高了跟蹤的性能;Kenan Dai, Dong Wang等人提出《Visual Tracking via Adaptive Spatially-Regularized Correlation Filters》[11],利用自適應(yīng)空間正則化相關(guān)濾波器模型優(yōu)化濾波器系數(shù)和空間正則化權(quán)重,在多個(gè)算法支持下取得效果;李大雷、陸瑞濤、楊小剛等人提出的《Object Tracking Based on Kernel Correlation Filter and Multi-feature Fusion》[12],首先將圖像的灰度特征、梯度直方圖特征和LAB特征相結(jié)合提高跟蹤器的魯棒性,其次利用當(dāng)前幀模型與初始幀模型的相似度值來解決目標(biāo)被遮擋問題,最后引入多尺度濾波器改善尺度變化以此緩解跟蹤漂移的問題。總之,核相關(guān)濾波跟蹤在向自適應(yīng)和融合方向發(fā)展。

以上算法同時(shí)使用的方法均是針對(duì)每一幀目標(biāo)實(shí)時(shí)更新濾波器模板,這種方法的優(yōu)點(diǎn)在于,隨著目標(biāo)外觀的不斷變化,濾波器不可能僅僅只學(xué)習(xí)前幾幀的外觀統(tǒng)計(jì)特性,因?yàn)槟繕?biāo)跟蹤過程中的非平穩(wěn)信號(hào)的噪聲會(huì)隨著目標(biāo)統(tǒng)計(jì)特性的變化而變化,濾波器模板不更新,跟蹤的效果就會(huì)越來越差。而每一幀實(shí)時(shí)性的模板更新也會(huì)帶來更大的問題,通過目標(biāo)的位置獲得新一幀的特征圖,再用新特征圖更新濾波器模板,并沒有完全考慮新特征圖的可靠性,當(dāng)目標(biāo)受到遮擋、強(qiáng)烈光照或者運(yùn)動(dòng)模糊等情況時(shí),當(dāng)前幀獲得的特征圖實(shí)際上是不準(zhǔn)確的,用不準(zhǔn)確的特征圖獲得不準(zhǔn)確的濾波器模板,隨著跟蹤幀數(shù)的疊加就會(huì)導(dǎo)致跟蹤的漂移甚至失敗。針對(duì)此種情況Wang M, Liu Y等提出了LMCF算法[13],通過檢測(cè)圖像響應(yīng)值的最大峰值以及多峰響應(yīng)值的平均能量來約束濾波器模板的更新,從而降低因更新不準(zhǔn)確的濾波器模板造成目標(biāo)丟失的情況。但是LMCF算法仍然是建立在單一模板基礎(chǔ)上進(jìn)行改進(jìn)的,對(duì)于算法的融合以及自適應(yīng)等跟蹤問題并不能夠解決。

針對(duì)上面的問題,本文提出將LMCF算法和雙模板特征的Staple算法相融合的LMCF-Staple算法。文章思路為首先利用貝葉斯公式分別計(jì)算出當(dāng)前幀的前景和背景的概率圖[14-15],對(duì)前景直方圖和背景直方圖進(jìn)行均衡化,以去除一部分噪聲;其次,利用直方圖匹配方法消減目標(biāo)和背景過于相似的問題,通過巴氏系數(shù)計(jì)算出當(dāng)前幀的背景和前景的直方圖的相似度值;再次,利用數(shù)據(jù)分析設(shè)定閾值,根據(jù)閾值將直方圖的bin值進(jìn)行自適應(yīng),以此提高跟蹤的分辨率;然后利用LMCF算法求出當(dāng)前幀圖像與當(dāng)前幀的前五幀圖像的平均相關(guān)峰值能量(APCE)以及求取出目標(biāo)響應(yīng)值的最大值,根據(jù)數(shù)據(jù)分析設(shè)定閾值,閾值范圍內(nèi)的繼續(xù)更新濾波器模板,閾值范圍外的停止更新模板;最后,將閾值范圍內(nèi)的最大值和APCE值與融合系數(shù)相結(jié)合,使算法同時(shí)又達(dá)到了自適應(yīng)的最優(yōu)融合。

2 核相關(guān)濾波目標(biāo)跟蹤算法

2.1 Staple目標(biāo)跟蹤算法

Staple算法融合了KCF算法中的核相關(guān)濾波器模板以及顏色直方圖特征的模板。算法在訓(xùn)練和測(cè)試階段均單獨(dú)運(yùn)行。相關(guān)濾波器模型中利用HOG特征進(jìn)行訓(xùn)練和測(cè)試目標(biāo)模板,并將當(dāng)前幀圖像和之前幀的圖像通過給定的學(xué)習(xí)率進(jìn)行結(jié)合來更新濾波器模板;顏色直方圖特征分類器利用貝葉斯公式計(jì)算出目標(biāo)的概率直方圖,來提取目標(biāo)特征,以此匹配更好的響應(yīng)目標(biāo),然后訓(xùn)練與更新直方圖分類器;最后將核相關(guān)濾波器和直方圖分類器的響應(yīng)按照固定的比例進(jìn)行線性融合,得到最終的響應(yīng)。

融合響應(yīng)公式如下:

f(x)=γtmplftmpl(x)+γhistfhist(x)

(1)

ftmpl(x)表示濾波器模板響應(yīng),γtmpl表示濾波器模板的權(quán)重系數(shù),fhist(x)表示直方圖特征的響應(yīng),γhist表示直方圖特征的權(quán)重系數(shù)。

訓(xùn)練濾波器的公式為:

(2)

訓(xùn)練直方圖分類器的公式為:

(3)

濾波器模板更新的函數(shù)為:

(4)

(5)

直方圖分類器更新的函數(shù)為:

(6)

(7)

其中使用的損失函數(shù)為:

L(θ;χt)=(1-η)L(θ;χt-1)+ηl(xt,pt,θ)

(8)

令α=γhist,稱作算法的融合系數(shù),則最終融合公式為:

f(x)=ftmpl(x)(1-α)+fhist(x)α

(9)

公式中各個(gè)符號(hào)含義見文獻(xiàn)[9]。

Staple算法將兩個(gè)特征按照一定權(quán)重進(jìn)行融合,最終的跟蹤效果不僅增強(qiáng)了跟蹤的穩(wěn)定性、準(zhǔn)確性以及重合率,同時(shí)提高了跟蹤的速度,其跟蹤速度高達(dá)80 fps,由此引起研究者們的強(qiáng)烈關(guān)注,對(duì)后續(xù)的跟蹤算法領(lǐng)域產(chǎn)生很大的影響。

2.2 LMCF目標(biāo)跟蹤算法

LMCF算法結(jié)合了Struck算法的結(jié)構(gòu)化支持向量機(jī)(SVM)和KCF算法中的循環(huán)矩陣以及FFT的優(yōu)點(diǎn),既保留跟蹤的高速度又提高跟蹤的性能。LMCF算法主要提出了兩個(gè)創(chuàng)新點(diǎn),第一個(gè)創(chuàng)新點(diǎn)是利用多峰檢測(cè)來解決目標(biāo)被相似物體或者背景干擾的問題,作者設(shè)定目標(biāo)函數(shù)的響應(yīng)為:

(10)

當(dāng)下一幀到來,通過KCF中的循環(huán)采樣獲得圖像的響應(yīng)值:

(11)

算法計(jì)算出響應(yīng)值的峰值,當(dāng)無任何干擾時(shí),響應(yīng)值為單一的峰值,即目標(biāo)所在的中心位置;當(dāng)有相似物體干擾或者遮擋時(shí)出現(xiàn)多個(gè)峰值,此時(shí)的干擾物的峰值很有可能高于目標(biāo)的峰值,容易引起誤判。因此,此算法設(shè)定了閾值θ,當(dāng)多個(gè)峰值和最高峰之間的比率大于預(yù)定義的閾值θ時(shí),通過等式進(jìn)行重新檢測(cè)以這些峰值為中心的響應(yīng)圖的區(qū)域,最終確定這些響應(yīng)圖中的最大峰值作為目標(biāo)的響應(yīng)值。

第二個(gè)創(chuàng)新點(diǎn)是將響應(yīng)的最大峰值和平均峰值相關(guān)能量結(jié)合,判斷濾波器模型是否需要更新。平均峰值相關(guān)能量(average peak-to correlation energy, APCE)表示為:

(12)

僅利用最大峰值判據(jù)目標(biāo)的位置和濾波器的更新容易引起目標(biāo)的漂移甚至丟失。當(dāng)目標(biāo)受到干擾時(shí),響應(yīng)圖會(huì)產(chǎn)生劇烈波動(dòng),使得模型和真正的響應(yīng)存在極大偏差,如果繼續(xù)使用不確定的響應(yīng)來更新濾波器模型將會(huì)使跟蹤的性能越來越差。因此,算法中規(guī)定當(dāng)響應(yīng)的最大值和APCE值均以一定比率大于前面所有幀的平均值時(shí),目標(biāo)的模型才更新。最終LMCF算法在數(shù)據(jù)集上進(jìn)行測(cè)試的實(shí)驗(yàn)結(jié)果顯示,其運(yùn)行速度高于Staples算法的80 fps,跟蹤的精度和穩(wěn)定性也有一定提高。

3 LMCF-Staple目標(biāo)跟蹤算法

為了解決目標(biāo)跟蹤過程中的目標(biāo)漂移甚至丟失的情況,我們提出LMCF-Staple算法。和LMCF算法的不同之處在于,首先,我們?cè)黾恿酥狈綀D匹配方法,并對(duì)直方圖進(jìn)行均衡化,以去除一部分噪聲;其次,利用貝葉斯公式計(jì)算出當(dāng)前幀的前景和背景的概率直方圖,通過巴氏系數(shù)求解出當(dāng)前幀的前景和背景的相似度值;再通過數(shù)據(jù)分析設(shè)定閾值,按照所設(shè)定的閾值與前面求得的直方圖的相似度值結(jié)合,將直方圖bin值自適應(yīng)化,來提高跟蹤的分辨率;然后,為了降低計(jì)算量,這里僅計(jì)算了前五幀視頻序列的響應(yīng)最大值和APCE值,并根據(jù)數(shù)據(jù)分析設(shè)定閾值,當(dāng)響應(yīng)最大值和APCE值均大于前五幀的平均值時(shí),濾波器模板才進(jìn)行更新,此種方法被稱作高置信度計(jì)算;最后,將最大峰值和APCE值根據(jù)一定的線性比例和Staple算法中的融合系數(shù)α相結(jié)合,使跟蹤達(dá)到自適應(yīng)融合。

3.1 直方圖匹配

在直方圖計(jì)算中,Staple算法將直方圖bin值固定為32,利用貝葉斯公式計(jì)算出目標(biāo)似然圖:

PO=Pfg./(Pfg+Pbg)

(13)

“./”表示矩陣之間相除;PO表示目標(biāo)似然圖,Pfg表示前景似然圖;Pbg表示背景似然圖。然后利用目標(biāo)似然圖計(jì)算出前景和背景的概率函數(shù):

POfg=PO.*fgmask

(14)

PObg=PO.*bgmask

(15)

POfg表示前景占比目標(biāo)的概率;PObg表示背景占比目標(biāo)的概率,fgmask、bgmask表示前景和背景的面積中每一點(diǎn)所構(gòu)成的矩陣,這點(diǎn)在文獻(xiàn)[3]中有詳細(xì)說明。

然后為了降低噪聲,這里增加了直方圖均衡化,偽代碼如下:

fghist=histeq(fghist)

(16)

bghist=histeq(bghist)

(17)

巴氏系數(shù)在文獻(xiàn)[3]中講到,可迭代或者積分出兩個(gè)函數(shù)之間的重疊部分的面積,一般用來測(cè)量樣本間的距離,很適合應(yīng)用于圖像相似度的測(cè)量計(jì)算。在本文中,將一張圖片的前景和背景的直方圖分別求解出來,然后利用巴氏系數(shù)分別計(jì)算每張視頻序列內(nèi)容中前景和背景的值,當(dāng)值比較大時(shí),說明顏色十分相似,當(dāng)值比較小時(shí),說明顏色區(qū)分明顯。以下給出巴氏系數(shù)的主要公式:

(18)

本文“⊙”表示相乘,設(shè)定閾值為β1,當(dāng)H在閾值范圍內(nèi)時(shí),說明顏色相似度可以區(qū)分,跟蹤不易出錯(cuò),bin值保持不變,當(dāng)H超過閾值,說明顏色相似度值比較高,跟蹤容易產(chǎn)生錯(cuò)誤,bin值變化。利用此種方法提高了跟蹤的分辨率。

3.2 高置信度計(jì)算

通過觀察目標(biāo)的響應(yīng)峰值,發(fā)現(xiàn)當(dāng)目標(biāo)受到干擾時(shí),峰值從單一峰變?yōu)槎喾?響應(yīng)圖如下:

第一幀沒有擾動(dòng),峰值和APCE值為:

Mcf1=0.70,APCEcf1=64.05

(19)

后面開始有干擾,第13幀可以看到穿白色球衣的球員遮擋了目標(biāo)的一部分,加上目標(biāo)本身的形態(tài)在不斷變化,導(dǎo)致出現(xiàn)多個(gè)峰值,此時(shí)的峰值和APCE值為:

Mcf13=0.15,APCEcf13=4.25

(20)

很明顯,當(dāng)目標(biāo)受到各種干擾時(shí),APCE值急劇下降。因此,通過APCE值來評(píng)判目標(biāo)的位置是很好的一種方法[16-18]。

為了降低計(jì)算量,LMCF-Staple算法并沒有將當(dāng)前幀之前的所有幀數(shù)的響應(yīng)峰值和APCE值求取平均值,通過實(shí)驗(yàn)驗(yàn)證,僅提取當(dāng)前幀的前五幀的平均值誤差就極其微小。響應(yīng)峰值表示為:M_cf、M_pwp、M,APCE值表示為:APCE_cf、APCE_pwp、APCE,其中cf、pwp分別表示HOG特征和顏色直方圖特征。當(dāng)當(dāng)前幀的峰值和APCE值同時(shí)大于當(dāng)前幀的前五幀的平均值時(shí),更新直方圖濾波器和尺度濾波器,否則停止更新所有濾波器,進(jìn)一步降低了因之前模板不準(zhǔn)確而繼續(xù)使用其模板的累積誤差[19]。

圖1 第一幀圖和對(duì)應(yīng)的峰值圖Fig.1 The first frame image and the corresponding peak image

圖2 第13幀圖和對(duì)應(yīng)的峰值圖Fig.2 The 13th frame image and the corresponding peak image

3.3 自適應(yīng)融合

Staple算法將融合系數(shù)α固定,而HOG特征適合于顏色變化的跟蹤,但對(duì)于形變和模糊就不那么理想;直方圖特征適合于形變和運(yùn)動(dòng)模糊的跟蹤,對(duì)于顏色變化就十分敏感。因此,固定的權(quán)重并不能很好的利用HOG特征和顏色直方圖特征。在LMCF-Staple算法中,融合系數(shù)是動(dòng)態(tài)調(diào)整的,算法將當(dāng)前幀的兩個(gè)特征的APCE值與已經(jīng)融合后的APCE值進(jìn)行線性結(jié)合,然后通過數(shù)據(jù)分析設(shè)定閾值β2,β3,以及給融合系數(shù)適合的比率γ1,γ2。公式如下:

(21)

(22)

(23)

當(dāng)M小于β2且M大于β3時(shí),

α=γ1⊙r

(24)

當(dāng)M小于β3時(shí),

α=γ2⊙r

(25)

其他情況α值不變化,最后將α應(yīng)用于Staple算法的融合公式中為:

(26)

LMCF-Staple算法通過直方圖匹配、高置信度以及自適應(yīng)的融合大大降低了算法的漂移特性,不僅提高了算法的穩(wěn)定性,同時(shí)算法的精確度、成功率以及跟蹤的速度都有一定的提高。算法的大致流程如圖3所示。

圖3 算法流程圖Fig.3 Algorithm flow chart

4 實(shí)驗(yàn)結(jié)果和分析

LMCF-Staple算法的實(shí)驗(yàn)平臺(tái)為:處理器是Inter(R) Core(TM) i5-3470 CPU @3.20 GHz,內(nèi)存是8.00 GB,64位操作系統(tǒng),2018a版MATLAB。實(shí)驗(yàn)中固定的參數(shù)有,HOG特征的cell為4*4,模板學(xué)習(xí)率ηtmpl=0.01,直方圖學(xué)習(xí)率ηhist=0.04,γ1=0.12,γ2=0.15。跟蹤針對(duì)的情況為前文提到的11種挑戰(zhàn)。實(shí)驗(yàn)對(duì)比的算法有,Staple、DSST、SAMF、KCF、CSK,測(cè)試的數(shù)據(jù)集為OTB50、OTB100、VOT2016,實(shí)驗(yàn)在OTB上的評(píng)估指標(biāo)為成功率和精確度,成功率公式為:

(27)

rt指候選框,ro指人工標(biāo)注的跟蹤框。

精度公式為:

(28)

Nt、Ns分別指第t幀幀數(shù)和總幀數(shù)。

實(shí)驗(yàn)在VOT2016數(shù)據(jù)集上的評(píng)估指標(biāo)為精度和魯棒性[20-22],精度的衡量方式是平均重疊率,利用了前一幀和下一預(yù)測(cè)幀圖像的ground truth面積的交并比,其公式為:

(29)

魯棒性指跟蹤器的穩(wěn)定性,一般指跟蹤器在數(shù)據(jù)集測(cè)試中跟丟的目標(biāo)次數(shù),數(shù)值越大,穩(wěn)定性越差。而一般在繪制魯棒性圖時(shí)取遞減的自然對(duì)數(shù)來描述,所以A-R圖中的魯棒性值越大表示越穩(wěn)定。公式如下:

RS=e-SF

(30)

F指跟丟的次數(shù),S是人為標(biāo)定的數(shù)值,只是影響A-R圖歸一化時(shí)數(shù)值所處的范圍。

4.1 OTB數(shù)據(jù)集實(shí)驗(yàn)測(cè)試的綜合性能分析

LMCF-Staple算法通過在大型數(shù)據(jù)集OTB50和OTB100上與當(dāng)前主流的五個(gè)算法Staple、DSST、SAMF、KCF、CSK進(jìn)行對(duì)比測(cè)試;兩個(gè)數(shù)據(jù)集一共有100個(gè)具有跟蹤挑戰(zhàn)性的視頻序列,情況包含背景雜波、尺度變化、移除視野、形變、遮擋等11種挑戰(zhàn)。測(cè)試的最終精確度圖和成功率圖為:

圖4是LMCF-Staple算法在OTB50數(shù)據(jù)集上的測(cè)試結(jié)果,由圖可知LMCF-Staple算法的精度和成功率分別為:0.702、0.634,而排在第二位的Staple算法的精度和成功率為:0.674、0.606,LMCF-Staple算法的精度比排在第二的Staple算法高出2.8%,準(zhǔn)確率高出2.8%。圖5是LMCF-Staple算法在OTB100數(shù)據(jù)集上的測(cè)試結(jié)果,其精度和成功率分別為:0.781、0.705,排在第二位的Staple算法分別為:0.767,0.703,因此精度和成功率分別提高了1.4%、0.2%。由此可以看出LMCF-Staple算法得到了優(yōu)化,尤其是在精確度方面提升比較高,這主要得益于利用最大峰值和高置信度估計(jì)與Staple算法的結(jié)合,去掉了不確定的更新模板,使算法更加穩(wěn)定可靠。

另外,實(shí)驗(yàn)中針對(duì)11種挑戰(zhàn)情況下的數(shù)據(jù)進(jìn)行了大量的分析,然后設(shè)定了合適的閾值和比率,這里列出具有代表性的OTB100的數(shù)據(jù)表格如下所示:

圖4 OTB50數(shù)據(jù)集的綜合評(píng)價(jià)曲線圖Fig.4 Comprehensive evaluation curve of OTB50 data set

圖5 OTB100數(shù)據(jù)集的綜合評(píng)價(jià)曲線圖Fig.5 Comprehensive evaluation curve of OTB100 data set

表格中的黑色代表最大的數(shù)值,斜體代表排在第二位的數(shù)值。從表格中可以看出在精確度方面LMCF-Staple算法的OPR/SV/OCC/DEF/OV/BC均排在第一位,其他幾種情況分別排在第二或者第三位,在成功率方面OPR/SV/OCC/OV/BC/LR排在第一位,其他幾種分別排在第二和第三位。綜合情況是6個(gè)算法中最優(yōu)的。在出現(xiàn)背景雜波、尺度變化、移除視野和平面外旋轉(zhuǎn)的四種情況下,均表現(xiàn)出最優(yōu)的跟蹤性能,在遮擋、形變情況下的精確度也是最高,同時(shí)分辨率也得到很大的提高,但是也可以看到在快速運(yùn)動(dòng)下的模糊目標(biāo)跟蹤仍然不是過于理想,這是因?yàn)镠OG特征和直方圖特征本身的缺陷性,當(dāng)快速運(yùn)動(dòng)出現(xiàn)模糊時(shí),HOG特征就會(huì)超出它本身的極限性,同時(shí)直方圖特征對(duì)于顏色的分辨能力也不足,就會(huì)造成目標(biāo)的稍微漂移,后續(xù)對(duì)于這種情況需要進(jìn)一步研究。

表1 OTB100 的OPE精度值表

表2 OTB100 的OPE重合閾值

LMCF-Staple算法較其他算法更優(yōu)化的原因有以下幾點(diǎn):1.增加了直方圖匹配,將前后景的相似度值計(jì)算出來,以此來影響直方圖的bin值,這樣就會(huì)自適應(yīng)的提高算法的分辨率,表格中的數(shù)據(jù)也表明了這點(diǎn);2.利用最大峰值和APCE值來約束模板的更新條件,大大降低了模板更新的不準(zhǔn)確性,提高跟蹤的穩(wěn)定性和精確度;3.利用數(shù)據(jù)分析設(shè)定了合適的閾值,將原本固定的融合系數(shù)變?yōu)樽赃m應(yīng),以此可以檢測(cè)每一幀圖像所需要的權(quán)重,使得算法的融合達(dá)到最優(yōu)化。

4.2 OTB數(shù)據(jù)集實(shí)驗(yàn)測(cè)試的特定情況性能分析

選取具有代表性的9個(gè)典型視頻序列進(jìn)行實(shí)驗(yàn)的定性分析,視頻序列為:Box(IV/SV/OCC/MB/IPR/OPR/OV/BC/LR)、ClifBar(SV/OCC/MB/FM/IPR/OV/BC)、Human3(SV/OCC/DEF/OPR/BC)、Liquor(IV/SV/OCC/MB/FM/OPR/OV/BC)、Panda(SV/OCC/DEF/IPR/OPR/OV/LR)、Shaking(IV/SV/IPR/OPR/BC)、Skating2_1(SV/OCC/DEF/FM/OPR)、Board(OPR/SV/MB/FM/OV/BC)、Human5(SV/OCC/DEF)。視頻的跟蹤效果圖如圖6。

圖6 六種算法在九個(gè)典型視頻序列上的跟蹤效果圖Fig.6 Tracking effect diagram of six algorithms on nine typical video sequences

Box主要是遮擋、背景雜波和尺度變化等的問題,而且在受到嚴(yán)重遮擋時(shí)同時(shí)伴有背景和目標(biāo)極其相似的情況,在這種情況下LMCF-Staple算法和SAMF算法一直保持穩(wěn)定的跟蹤;ClifBar主要是在背景和目標(biāo)相似的情況下快速旋轉(zhuǎn)和尺度變化,此種情況下Staple、SAMF、KCF、CSK四種算法均出現(xiàn)漂移和最后丟失情況,而LMCF-Staple和DSST算法一直保持穩(wěn)定跟蹤;Human3在第54幀時(shí)出現(xiàn)嚴(yán)重遮擋并且遮擋物為白色,此種情況的噪聲很難去除,但是LMCF-Staple算法仍然一直穩(wěn)定的跟蹤目標(biāo),而其他五種算法全部丟失;Liquor是一個(gè)具有長(zhǎng)期跟蹤的視頻,在被相同顏色的瓶子遮擋以后,SAMF、CSK立刻跟丟,在被綠色瓶子再次遮擋時(shí),DSST算法也出現(xiàn)丟失最后由LMCF-Staple算法、Staple算法和KCF算法跟上;Panda主要是分辨率低的情況下伴有遮擋、形變和平面內(nèi)外旋轉(zhuǎn)等復(fù)雜情況,最后也只有LMCF-Staple算法跟上,其他五種算法均丟失;Shanking主要是光照影響十分強(qiáng)烈,最后也只有LMCF-Staple算法和DSST算法平穩(wěn)跟蹤,CSK雖然一直試圖跟上目標(biāo)但是還是出現(xiàn)多次漂移;Skating2_1主要是在快速運(yùn)動(dòng)的情況下同時(shí)伴有多次遮擋、形變以及尺度變化,整個(gè)過程僅有LMCF-Staple算法一直平穩(wěn)跟蹤目標(biāo);Board是在超出視野情況時(shí)伴有旋轉(zhuǎn),當(dāng)出現(xiàn)旋轉(zhuǎn)時(shí)僅有LMCF-Staple、Staple兩個(gè)算法平穩(wěn)跟蹤,其他算法漂移;Human5視頻的目標(biāo)距離攝像機(jī)十分遠(yuǎn),分辨率會(huì)要求比較苛刻同時(shí)伴有相機(jī)的抖動(dòng),此種情況也只有LMCF-Staple、Staple兩個(gè)算法平穩(wěn)跟蹤。

以上幾個(gè)視頻可以看出LMCF-Staple算法的綜合性能遠(yuǎn)強(qiáng)于其他五種算法,尤其是在出現(xiàn)背景雜波、形變、遮擋、光照以及低分辨率情況下跟蹤仍然十分穩(wěn)定,而其他幾種算法僅局限于尺度變化的跟蹤或者顏色跟蹤,尤其是在低分辨率和遮擋或者強(qiáng)烈的光照時(shí)就會(huì)產(chǎn)生跟蹤不穩(wěn)定,直至累計(jì)誤差超出極限出現(xiàn)跟蹤丟失。

4.3 VOT2016數(shù)據(jù)集實(shí)驗(yàn)測(cè)試分析

LMCF-Staple算法通過在數(shù)據(jù)集VOT2016上與當(dāng)前主流的四個(gè)算法Staple、DSST、SAMF、KCF進(jìn)行對(duì)比測(cè)試,數(shù)據(jù)集共60個(gè)視頻序列,數(shù)據(jù)集的精度和魯棒性精確到每一幀圖像,實(shí)驗(yàn)得到的A-R效果圖以及數(shù)據(jù)表格如下:

圖7 VOT2016數(shù)據(jù)集的 A-R效果圖Fig.7 Tracking effect diagram of accuracy-robustness of VOT2016 data set

表3 VOT2016A-R數(shù)據(jù)表

A-R數(shù)據(jù)表格中的魯棒性值指的是跟蹤器在測(cè)試中跟丟的次數(shù),而不是Rs值,此處的值越小表示穩(wěn)定性越好。從A-R效果圖和A-R數(shù)據(jù)表格中數(shù)據(jù)得知,我們的LMCF-Staple算法的精確度和魯棒性在原算法Staple算法基礎(chǔ)上均有一定的提高,并且同時(shí)高于其他四種主流算法。所以,可以證明LMCF-Staple算法具有良好的跟蹤性能。

5 結(jié)論

本文算法LMCF-Staple結(jié)合了LMCF和Staple兩個(gè)算法,利用響應(yīng)最大值和APCE值來綜合約束濾波器模板的更新條件,降低了因模板不準(zhǔn)確而繼續(xù)更新模板從而導(dǎo)致跟蹤漂移直至丟失的情況。另外,增加了直方圖匹配,通過巴氏系數(shù)計(jì)算出當(dāng)前幀的前景和背景的直方圖相似度值,以此影響直方圖的bin值,使其自適應(yīng),提高跟蹤的分辨率。最后將核相關(guān)濾波器和直方圖分類器的響應(yīng)最大峰值、APCE值與融合響應(yīng)中的系數(shù)α進(jìn)行線性結(jié)合,并通過數(shù)據(jù)分析設(shè)定合適的閾值,使算法達(dá)到最優(yōu)的自適應(yīng)融合跟蹤。LMCF-Staple算法通過在大型數(shù)據(jù)集OTB50、OTB100和VOT2016上和其他五種主流的核相關(guān)濾波器算法進(jìn)行對(duì)比測(cè)試,其綜合結(jié)果的精確度和成功率均為最優(yōu),穩(wěn)定性也得到了一定的提高。