結(jié)合掩膜機(jī)制的間隔最大化相關(guān)濾波跟蹤算法

馮學(xué)鋼，周大可，楊 欣

南京航空航天大學(xué) 自動(dòng)化學(xué)院，南京211100

1 引言

目標(biāo)跟蹤技術(shù)如今已被成功地應(yīng)用于許多計(jì)算機(jī)視覺系統(tǒng)中，如視頻監(jiān)控、無(wú)人機(jī)導(dǎo)航、智能交通系統(tǒng)等。其任務(wù)要求在僅給定目標(biāo)初始的狀態(tài)信息條件下能夠持續(xù)地識(shí)別出后續(xù)幀圖像中目標(biāo)的位置大小等狀態(tài)信息[1]。

在過(guò)去幾年的跟蹤算法發(fā)展中，基于相關(guān)濾波（Correlation Filter，CF）的跟蹤方法已然取代核結(jié)構(gòu)化輸出方法（Struck）[2]等傳統(tǒng)方法在當(dāng)前單目標(biāo)跟蹤領(lǐng)域中的地位。相關(guān)濾波方法中利用循環(huán)采樣的方式來(lái)近似密集采樣的效果，從而可以在保證模型訓(xùn)練計(jì)算復(fù)雜度很低的前提下，達(dá)到像素級(jí)別的定位精度。其中，Henrique 等人[3]提出的核化相關(guān)濾波器（Kernelized Correlation Filter，KCF）能夠利用多個(gè)特征通道的相關(guān)濾波響應(yīng)。Li 等人[4]在KCF 的基礎(chǔ)上提出了一種跟蹤多尺度變化目標(biāo)的方法，并融合了多種類型的特征如顏色屬性（Color Naming，CN）[5]以及梯度直方圖（Histo‐gram of Oriented Gradients，HOG）[6]。

本文是在后者SAMF 方法（Scale Adaptive with Multiple Features tracker）的基礎(chǔ)上做出了改進(jìn)。由于相關(guān)濾波類方法中的循環(huán)采樣方式引入了樣本的強(qiáng)周期性假設(shè)，使得帶有非真實(shí)邊界的訓(xùn)練樣本會(huì)影響到濾波器的決策平面。除去該因素以外，服從高斯函數(shù)分布的樣本標(biāo)簽設(shè)定也會(huì)導(dǎo)致訓(xùn)練樣本中存在有過(guò)多的負(fù)樣本，考慮到正樣本是否訓(xùn)練充分，相關(guān)濾波類方法中的正負(fù)樣本比例不均衡問(wèn)題也不容忽視。為了解決上述兩點(diǎn)問(wèn)題，本文先采用了一種掩膜機(jī)制[7]來(lái)過(guò)濾掉移位樣本中的部分非真實(shí)邊界，以降低相關(guān)濾波器中邊界效應(yīng)的影響，再結(jié)合最大化間隔約束條件來(lái)有效地改善相關(guān)濾波器的訓(xùn)練過(guò)程。

2 結(jié)合掩膜機(jī)制的最大化間隔相關(guān)濾波器

2.1 多通道相關(guān)濾波器與尺度自適應(yīng)

多尺度相關(guān)濾波器SAMF 先通過(guò)最小化相關(guān)濾波損失學(xué)習(xí)到目標(biāo)特征對(duì)應(yīng)的相關(guān)濾波器，再對(duì)多尺度檢測(cè)區(qū)域提取出金字塔特征并進(jìn)行尺度縮放，根據(jù)每個(gè)尺寸對(duì)應(yīng)特征圖的相關(guān)濾波響應(yīng)，找出目標(biāo)當(dāng)前所處的置信度最大的位置以及尺寸變化情況[8]。多尺度檢測(cè)部分如圖1所示。

圖1 多尺度檢測(cè)示意圖

設(shè)由目標(biāo)模板x 循環(huán)移位得到的樣本集為X=[ x1, x2,…,xN]，其中xi為N×1×D 大小的循環(huán)移位樣本，樣本集對(duì)應(yīng)的所有標(biāo)簽通過(guò)一個(gè)可調(diào)節(jié)帶寬的高斯函數(shù)y 來(lái)表示。相關(guān)濾波器f 可通過(guò)最小化一個(gè)正則化平方和誤差函數(shù)來(lái)求解，其目標(biāo)函數(shù)一般表示為：

其中，λ為模型的結(jié)構(gòu)化損失懲罰系數(shù)。

2.2 間隔最大化

判別式模型訓(xùn)練過(guò)程中，常用到間隔最大化的約束條件來(lái)提升模型的難例判別能力以及泛化能力[9]。Hare等人[2]將輸入圖像到標(biāo)簽之間映射函數(shù)h:x →y 的求解問(wèn)題替換為輸入圖像以及標(biāo)簽的聯(lián)合分布與真實(shí)分布之間的相似性最大化問(wèn)題：

然而該方法需要先進(jìn)行候選框提取再通過(guò)序貫最小化方法（Sequential Minimal Optimization，SMO）來(lái)迭代地進(jìn)行求解，無(wú)法達(dá)到很好的實(shí)時(shí)性與準(zhǔn)確性。Ning等人[9]提出了一種對(duì)偶線性結(jié)構(gòu)化支持向量機(jī)，相比Struck 方法損失項(xiàng)雖然能夠更快地達(dá)到收斂，但由于采樣問(wèn)題仍無(wú)法滿足實(shí)時(shí)性要求。

為了進(jìn)一步加快計(jì)算速度并提高定位精度，Zuo 等人[10]基于循環(huán)結(jié)構(gòu)提出了一種支持相關(guān)濾波器，并證明該濾波器求解僅需通過(guò)幾次迭代便可以達(dá)到很好的收斂效果。Wang 等人[11]在此算法的基礎(chǔ)上將各個(gè)樣本對(duì)應(yīng)的間隔由原本的候選框之間的重疊率（Intersection of Union，IOU）替換成更符合循環(huán)樣本的高斯函數(shù)值，并提出了一個(gè)新的響應(yīng)判別標(biāo)準(zhǔn)（Average Peak-to-Correlation Energy，APCE）來(lái)輔助解決跟蹤丟失的問(wèn)題。

結(jié)合間隔最大化的約束條件，更改式（1）表示的目標(biāo)函數(shù)得：

其中，ψ( xi,yi)為移位樣本xi與狀態(tài)信息yi的聯(lián)合表示，間隔Δ( yi,y0)為對(duì)應(yīng)的狀態(tài)信息yi被誤判成y0時(shí)的損失閾值，ξ=[ ξ0ξ1… ξN-1]為實(shí)際計(jì)算損失時(shí)超出間隔Δ( yi,y0)的部分。本文中定義間隔閾值為：

其中G 為期望的高斯閾值函數(shù)。

結(jié)合循環(huán)矩陣的性質(zhì)，將式（3）內(nèi)所有樣本的約束條件整合至一個(gè)表達(dá)式中可得：

其中，Ψ( X,y )表示循環(huán)移位得到的樣本矩陣與真實(shí)狀態(tài)信息的聯(lián)合表示，Ψ( X,y0)為樣本矩陣與假設(shè)模板狀態(tài)信息的聯(lián)合表示，所有樣本的間隔閾值為：

2.3 引入掩模機(jī)制

閉式求解得到的相關(guān)濾波器由于易受邊界效應(yīng)的影響而往往導(dǎo)致判別性能大打折扣，因此加入間隔最大化約束條件后甚至?xí)霈F(xiàn)性能倒退的現(xiàn)象。本文采用了一種掩膜機(jī)制[7]通過(guò)濾除樣本中的非真實(shí)邊界來(lái)改善濾波器的訓(xùn)練過(guò)程，如圖2以及圖3所示，循環(huán)移位的樣本中存在有很明顯的非真實(shí)邊界，而經(jīng)過(guò)掩膜處理過(guò)后將不再有多余的邊界保留。

被掩模處理過(guò)后的樣本矩陣可表示為( P ? ID)X，其中?代表Kronecker 乘積，表示對(duì)樣本的每個(gè)通道特征都做一致的掩膜處理。將輸入替換為重新處理過(guò)后的樣本矩陣，可得改進(jìn)樣本過(guò)后相關(guān)濾波器的目標(biāo)函數(shù)為：

圖2 邊界效應(yīng)

圖3 掩膜過(guò)后的樣本

訓(xùn)練的同時(shí)考慮抑制過(guò)多的負(fù)移位樣本的權(quán)重，向式（6）中加入最大化間隔約束條件。結(jié)合式（6）表示的目標(biāo)函數(shù)以及公式（5）內(nèi)的約束條件可得：

其中，Ψ=Ψ( X,y)。

2.4 目標(biāo)優(yōu)化

為了便于求解該優(yōu)化問(wèn)題，本文通過(guò)設(shè)置一個(gè)對(duì)偶變量z先將目標(biāo)函數(shù)轉(zhuǎn)換成較易求解的形式：

此時(shí)目標(biāo)函數(shù)將被替換為：

由于引入掩模矩陣P 后濾波器的閉式解形式將會(huì)遭到破壞，本文采用了交叉迭代的思想對(duì)濾波器進(jìn)行求解。首先定義加入掩模矩陣過(guò)后訓(xùn)得的相關(guān)濾波器頻域表示為，再通過(guò)濾波器的直接頻域表示與不斷地相互逼近來(lái)求得最終解。的相關(guān)濾波響應(yīng)為：

式中定義的各個(gè)變量交替求解的步驟如下：

（1）z的求解

通過(guò)對(duì)偶變量轉(zhuǎn)換為目標(biāo)損失最小化問(wèn)題之后，期望的相關(guān)濾波響應(yīng)為。代入新目標(biāo)函數(shù)后可得式（12）中關(guān)于的優(yōu)化函數(shù)。利用舍曼-莫里森求逆公式[13]對(duì)閉式解中的矩陣求逆運(yùn)算進(jìn)行化簡(jiǎn)，得到每個(gè)像素對(duì)應(yīng)的*為：

（3）f 的求解

令式（15）對(duì)f 的偏導(dǎo)為0，可得濾波器f 的解為：

3 算法流程

綜合上述算法分析，本文在SAMF跟蹤算法的基礎(chǔ)上，得到的改進(jìn)相關(guān)濾波跟蹤流程圖可參考圖4。其中訓(xùn)練過(guò)程中對(duì)樣本的密集采樣是通過(guò)相關(guān)運(yùn)算來(lái)隱式實(shí)現(xiàn)的，而對(duì)于樣本的掩膜處理P 也只是作為求取濾波器前定義的中間變量，對(duì)實(shí)際優(yōu)化過(guò)程不產(chǎn)生影響，改進(jìn)后具體的跟蹤流程可如下所示：

（1）初始化參數(shù)，開始處理第一幀圖像。

（2）若當(dāng)前幀不是第一幀圖像：

①計(jì)算多尺度搜索區(qū)域的金字塔響應(yīng)圖；

②利用插值方法推算出當(dāng)前幀中響應(yīng)最大值所處的位置以及目標(biāo)尺寸大小。

（3）根據(jù)預(yù)測(cè)信息提取當(dāng)前幀中搜索區(qū)域的特征。

③根據(jù)公式（16）求出空域中的相關(guān)濾波器f；

④更新拉格朗日乘子ζ,μ；

⑤當(dāng)?shù)螖?shù)到達(dá)上限時(shí)退出迭代過(guò)程，否則返回到①步。

（5）輸出當(dāng)前幀中目標(biāo)預(yù)測(cè)的大小、位置等狀態(tài)信息，取下一幀圖像，并返回第（2）步，否則結(jié)束退出。

4 實(shí)驗(yàn)環(huán)節(jié)

4.1 實(shí)驗(yàn)簡(jiǎn)介

本文算法在對(duì)圖像塊進(jìn)行特征提取時(shí)采用的是HOG 特征、顏色屬性以及灰度值的融合特征。考慮到不同目標(biāo)尺寸大小不一致對(duì)同一跟蹤算法的運(yùn)行速率影響差異過(guò)大，本文將所有提取到的特征圖統(tǒng)一縮放到2 500～10 000 個(gè)像素點(diǎn)以內(nèi)。由于增大ADMM 迭代次數(shù)后相關(guān)濾波器可能會(huì)有潛在的過(guò)擬合風(fēng)險(xiǎn)，經(jīng)多次實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)2 次迭代過(guò)后相關(guān)濾波器的跟蹤性能最好。本文還對(duì)比了幾個(gè)常用的參數(shù)在選取不同值時(shí)的跟蹤效果，最終結(jié)合實(shí)時(shí)性以及定位精確度準(zhǔn)則選取的參數(shù)如表1所示。

表1 本文算法中參數(shù)的選擇

4.2 可行性對(duì)比實(shí)驗(yàn)

為了驗(yàn)證掩膜矩陣以及最大化間隔約束對(duì)相關(guān)濾波器跟蹤性能的提升作用，本文設(shè)計(jì)了四組不同的跟蹤器來(lái)進(jìn)行對(duì)比。其中RR 為標(biāo)準(zhǔn)的多尺度相關(guān)濾波器SAMF、SSVM 中僅加入最大化間隔約束，RR+Mask 中加入了掩膜機(jī)制，SSVM+Mask 同時(shí)加入了掩膜機(jī)制與最大化間隔約束。在均取如表1 所示參數(shù)條件下，四組跟蹤器在一次通過(guò)OTB2015 數(shù)據(jù)集上所有視頻序列后得出的性能比較如表2所示。

圖4 改進(jìn)的相關(guān)濾波跟蹤算法流程圖

表2 四組跟蹤器在OTB2015上的性能對(duì)比

圖5 與其他幾種跟蹤算法在OTB2015上的性能對(duì)比

結(jié)果表明，加入掩膜機(jī)制的跟蹤器RR+Mask 可以達(dá)到0.802的Mean OP和0.585的AUC，比跟蹤器RR分別高出了31.3%和20.6%。然而值得注意的是，只加入了最大化間隔約束的跟蹤器SSVM 在效果上反不如RR，這是由于對(duì)非真實(shí)樣本直接進(jìn)行最大化間隔約束反而會(huì)加重非真實(shí)樣本對(duì)訓(xùn)練過(guò)程帶來(lái)的負(fù)面影響。而結(jié)合掩膜矩陣凈化過(guò)的樣本以及最大化間隔約束后，由表2 可知，相比較RR+Mask，跟蹤器SSVM+Mask 能夠進(jìn)一步提升2.6%的定位精確度和3.5%的AUC值。

4.3 跟蹤算法對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法的實(shí)際跟蹤效果，本文還設(shè)計(jì)了SSVM+Mask跟蹤器與10種最先進(jìn)跟蹤算法之間的對(duì)比實(shí) 驗(yàn) ，包 括 Struck[2]、DSST[5]、SAMF、SRDCF[14]、SAMF_AT[15]、DLSSVM[8]、BACF[7]、ECO-HC[16]、LM‐CF[11]。其中，Struck 和DLSSVM 是基于SVM 的跟蹤算法，LMCF 是結(jié)合了最大化間隔的相關(guān)濾波算法，其余算法均是相關(guān)濾波類算法，實(shí)驗(yàn)對(duì)比結(jié)果如圖5 所示。對(duì)比同樣結(jié)合了相關(guān)濾波與SVM 的方法LMCF，在沒有加入響應(yīng)檢測(cè)標(biāo)準(zhǔn)APCE 的前提下，本文算法能高出4.3%的定位精確度以及4.5%的平均通過(guò)率。表3 為實(shí)驗(yàn)用機(jī)器上測(cè)得的各算法跟蹤效果，對(duì)比同樣采用掩模機(jī)制的BACF 方法，本文算法的精準(zhǔn)度更高；相比ECOHC、SRDCF 等空域正則化跟蹤算法，本文算法由于采取了改進(jìn)樣本策略，可以很好地維持實(shí)時(shí)性。

表3 幾種算法在OTB2015上的平均通過(guò)率與速度對(duì)比

為了便于直觀地與其他算法作對(duì)比，圖6 還列出了部分幀的跟蹤結(jié)果。可看到在trellis 中出現(xiàn)光照變化，coke 以及dragonbaby、freeman1 中出現(xiàn)平面外翻轉(zhuǎn)、遮擋情況，dog1與human9中出現(xiàn)尺寸變化情況時(shí)，本文算法仍能精確地檢測(cè)出目標(biāo)。

圖6 幾種算法的跟蹤效果對(duì)比

5 結(jié)語(yǔ)

本文提出了一種結(jié)合掩膜矩陣以及最大化間隔約束的策略來(lái)解決相關(guān)濾波方法中的邊界效應(yīng)問(wèn)題。經(jīng)由交叉乘子方向法對(duì)模型進(jìn)行求解，該算法可以在保證實(shí)時(shí)性的同時(shí)進(jìn)一步提升相關(guān)濾波器的跟蹤性能。通過(guò)與其他先進(jìn)的跟蹤算法之間的對(duì)比，結(jié)果表明本文算法能夠很好地應(yīng)對(duì)目標(biāo)形變、平面外翻轉(zhuǎn)、遮擋等復(fù)雜情況。本文方法不足之處在于，由于交叉乘子方向法收斂的不確定性以及手工特征的局限性，本文在求解過(guò)程中不能進(jìn)一步提升相關(guān)濾波器的性能。因此，后續(xù)將對(duì)ADMM 優(yōu)化方法的收斂性以及卷積特征方面作進(jìn)一步研究。