跟蹤-學(xué)習(xí)-檢測(cè)框架下改進(jìn)加速梯度的目標(biāo)跟蹤

楊 欣,夏斯軍,劉冬雪,費(fèi)樹岷,胡銀記

(1.南京航空航天大學(xué) 自動(dòng)化學(xué)院,南京210016;2.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,河南 洛陽(yáng)471000;3.東南大學(xué)自動(dòng)化學(xué)院,南京210096)

0 引 言

視頻目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)研究領(lǐng)域中的一個(gè)關(guān)鍵技術(shù),已廣泛應(yīng)用到國(guó)防和民用的各個(gè)領(lǐng)域中,如智能監(jiān)控、導(dǎo)航制導(dǎo)、醫(yī)學(xué)診斷、人機(jī)交互等。同時(shí)視頻跟蹤在實(shí)際的應(yīng)用中面臨著多種問(wèn)題,比如:跟蹤對(duì)象的角度、姿態(tài)發(fā)生改變以及被遮擋等情況,而長(zhǎng)時(shí)間目標(biāo)跟蹤更是一個(gè)富有挑戰(zhàn)性的工作。傳統(tǒng)的跟蹤方法可分為兩類:基于跟蹤器的跟蹤算法和基于檢測(cè)器的跟蹤算法,前者主要在于目標(biāo)特征的選取,代表性的特征包括目標(biāo)的質(zhì)點(diǎn)[1]、目標(biāo)的輪廓[2-4]、鏈?zhǔn)侥Ｐ蚚5]和光流[6]。此類方法都是假設(shè)目標(biāo)始終可見,一旦目標(biāo)消失就會(huì)導(dǎo)致跟蹤失敗。同樣,檢測(cè)跟蹤方法通常都是基于局部圖像特征或者滑動(dòng)窗口,對(duì)每一幀單獨(dú)處理檢測(cè)出目標(biāo)位置,此類方法需要離線的學(xué)習(xí)過(guò)程,并且檢測(cè)器的性能與學(xué)習(xí)樣本多樣性直接相關(guān),因此基于檢測(cè)的跟蹤算法難以有效地解決過(guò)擬合問(wèn)題。在此背景下,研究者提出了大量的解決方案,例如:Mean-shift[7-9]、粒子濾波[10,11]、L1跟蹤器[12]、視覺(jué)顯著性特征[13,14]、實(shí)時(shí)壓縮感知跟蹤(Real-time compressive tracking)[15]。這些算法雖然能較好地實(shí)現(xiàn)對(duì)無(wú)遮擋目標(biāo)的跟蹤,但無(wú)法有效地解決跟蹤過(guò)程中的遮擋和相似背景及目標(biāo)姿態(tài)變化問(wèn)題,或者對(duì)全部遮擋效果不理想,因此無(wú)法實(shí)現(xiàn)持久的跟蹤。多特征融合粒子濾波算法[16,17]對(duì)目標(biāo)遮擋以及背景混淆等諸多問(wèn)題具有較高的魯棒性,但當(dāng)視頻序列的尺寸較大或者背景較復(fù)雜需要數(shù)量較多的粒子時(shí),算法處理的時(shí)間較長(zhǎng),會(huì)導(dǎo)致實(shí)時(shí)性變差。為實(shí)現(xiàn)持久的目標(biāo)跟蹤,Kalal等[18]提出了一種新的TLD(Tracking-learning-detection)跟蹤算法,采用跟蹤器與檢測(cè)器并行處理的框架,并通過(guò)學(xué)習(xí)模塊不斷更新檢測(cè)器相應(yīng)參數(shù)值,最終由整合模塊輸出跟蹤結(jié)果。如過(guò)跟蹤器跟蹤失敗,由檢測(cè)器修正跟蹤器的目標(biāo)模型[19]。該方法能有效地實(shí)現(xiàn)對(duì)目標(biāo)的持久跟蹤,并能在一定程度上克服目標(biāo)姿態(tài)變化問(wèn)題。但當(dāng)遮擋前景與跟蹤目標(biāo)灰度特征相似時(shí),會(huì)導(dǎo)致跟蹤出現(xiàn)偏差,尤其當(dāng)相似干擾與跟蹤目標(biāo)交叉運(yùn)動(dòng)時(shí),會(huì)出現(xiàn)漂移現(xiàn)象,無(wú)法再次跟蹤到初始目標(biāo),導(dǎo)致跟蹤失敗。

根據(jù)上述分析,本文提出了一種改進(jìn)的TLD目標(biāo)跟蹤算法,用改進(jìn)L1APG(L1 tracker using accelerated proximal gradient approach)[20]跟蹤器來(lái)取代傳統(tǒng)TLD算法中基于光流法的跟蹤器,同時(shí)加入遮擋檢測(cè)判斷,設(shè)定遮擋閾值,并根據(jù)遮擋程度實(shí)時(shí)更新目標(biāo)模板和背景模板系數(shù)權(quán)重,進(jìn)一步解決遮擋問(wèn)題,從而抑制漂移問(wèn)題。

1 TLD跟蹤算法

傳統(tǒng)TLD算法中跟蹤模塊主要是用中值流跟蹤算法[18],中值流跟蹤算法就是在光流法的基礎(chǔ)上加了個(gè)限制,一個(gè)“好”的跟蹤應(yīng)具有正反連續(xù)性,即無(wú)論是按照時(shí)間上的正序追蹤還是反序追蹤,產(chǎn)生的軌跡應(yīng)該是一樣的。根據(jù)這個(gè)性質(zhì)規(guī)定了任意一個(gè)追蹤器的FB誤差(Forwardbackward error):從時(shí)間t的初始位置x(t)開始追蹤產(chǎn)生時(shí)間t＋p的位置x(t＋p),再?gòu)奈恢脁(t＋p)反向追蹤產(chǎn)生時(shí)間t的預(yù)測(cè)位置x′(t),初始位置和預(yù)測(cè)位置之間的歐氏距離就作為追蹤器在t時(shí)間的FB誤差。選取前、后兩幀誤差點(diǎn)較小的一半作為追蹤點(diǎn),以此來(lái)估計(jì)目標(biāo)運(yùn)動(dòng)位置,一旦目標(biāo)消失就會(huì)導(dǎo)致跟蹤失敗。檢測(cè)器是將方差檢測(cè)器、集成分類器和最近鄰分類器采用級(jí)聯(lián)的方式,逐次通過(guò)每個(gè)檢測(cè)器,得到最終的目標(biāo)。根據(jù)初始的目標(biāo)模型,對(duì)每一幀圖像進(jìn)行全面的掃描,根據(jù)每個(gè)掃描框與目標(biāo)的相識(shí)度來(lái)估計(jì)目標(biāo)可能出現(xiàn)的位置。這種檢測(cè)方法也會(huì)發(fā)生錯(cuò)誤,即錯(cuò)誤地分類正、負(fù)樣本。而學(xué)習(xí)模塊中P-N學(xué)習(xí)主要對(duì)這兩種錯(cuò)誤(錯(cuò)誤的正樣本和錯(cuò)誤的負(fù)樣本)進(jìn)行評(píng)估,同時(shí)生產(chǎn)新的樣本集來(lái)更新目標(biāo)模型,實(shí)現(xiàn)目標(biāo)的實(shí)時(shí)更新,并且對(duì)跟蹤模塊所選取的“關(guān)鍵點(diǎn)”(使用的光流法)進(jìn)行更新,避免再次出現(xiàn)類似的錯(cuò)誤。綜合模塊主要就是擬合過(guò)程:比較跟蹤器和檢測(cè)器的結(jié)果,選擇置信度較大者或綜合得到目標(biāo)在下一幀最有可能出現(xiàn)的位置。

2 基于改進(jìn)L1APG的TLD跟蹤

2.1 L1APG跟蹤器

傳統(tǒng)TLD算法跟蹤器的置信度計(jì)算依賴于檢測(cè)器,因此最終跟蹤結(jié)果受檢測(cè)器的影響較大,并且TLD算法在復(fù)雜背景下的跟蹤效果較差,處理遮擋的能力有待提高。

當(dāng)目標(biāo)在相對(duì)靜止的背景中運(yùn)動(dòng)時(shí),TLD算法跟蹤效果較好。但當(dāng)背景產(chǎn)生變化時(shí)會(huì)出現(xiàn)誤判,并且對(duì)于相似目標(biāo)更是無(wú)法準(zhǔn)確區(qū)別。此外,TLD方法對(duì)復(fù)雜條件下目標(biāo)的跟蹤處理能力不足,而L1跟蹤器由于具有靜態(tài)原子,對(duì)漂移有一定的抑制能力,基于此本文對(duì)傳統(tǒng)TLD進(jìn)行改進(jìn),采用改進(jìn)的L1 APG跟蹤器模塊,該模塊能夠快速地求解L1最小問(wèn)題。并加入遮擋檢測(cè),使其能夠有效處理復(fù)雜情況,增加算法的魯棒性和實(shí)時(shí)性,進(jìn)而能夠?qū)δ繕?biāo)進(jìn)行持久跟蹤。

候選目標(biāo)的選擇:假設(shè)在第t幀時(shí),目標(biāo)所在的位置為x t,對(duì)目標(biāo)的預(yù)測(cè)的觀測(cè)結(jié)果定義為y1:t－1＝{y1,y2,…,y t－1},可以用下面的兩個(gè)公式來(lái)選取目標(biāo)在下一幀中的位置:

對(duì)于t幀的最佳目標(biāo)位置,近似于后驗(yàn)概率取最大值時(shí):。

目標(biāo)模型的建立:建立目標(biāo)模型是為了計(jì)算樣本在下一時(shí)刻所在位置觀察可能性p(y t|x t)。表示t幀的目標(biāo)模板;表示采樣的狀態(tài);為目標(biāo)模板空間相應(yīng)的候補(bǔ)目標(biāo)圖像塊集?？梢缘玫较∈璞磉_(dá)模型:

式中:I為瑣碎的模板集(單位矩陣),表示遮擋和噪聲;為系數(shù)。同時(shí),對(duì)于非負(fù)約束有利于提高L1跟蹤器的魯棒性。因此,對(duì)于每個(gè)候補(bǔ)的目標(biāo)塊,其稀疏表達(dá)都可以通過(guò)求解下式的L1規(guī)范最小化得到:

式中:A＝[T t,I,－I];β為平衡因子。

通過(guò)觀察,可以得:

式中:α為常量,用來(lái)控制高斯核的形狀;Γ為常量;為式(4)的最小值;z t為對(duì)t幀的預(yù)估;為樣本的觀測(cè)可能性上限,并且當(dāng),樣本就排除在樣本集里,以此來(lái)減少計(jì)算量,提高實(shí)時(shí)性。

2.2 遮擋檢測(cè)

本文算法將跟蹤過(guò)程分為如下兩種情況:

(1)當(dāng)沒(méi)有遮擋時(shí),目標(biāo)在下一幀中的狀態(tài)應(yīng)主要由目標(biāo)模板的稀疏線性組合表示,并且背景模板只占很小的一部分。

(2)當(dāng)有遮擋時(shí),根據(jù)遮擋的程度增大或減小背景模板所占的比例。能夠根據(jù)不同的情形來(lái)改變各自所占的比重。而式(4)顯然無(wú)法區(qū)分這兩種情形,因此將其改進(jìn)為:

式中:A′＝[T t,I],a＝[a T;a I];u t為用來(lái)控制背景模板的權(quán)重。

為了更好地處理遮擋情況,引入遮擋檢測(cè)判斷,并且根據(jù)遮擋程度自適應(yīng)調(diào)節(jié)稀疏矩陣系數(shù),具體如下:設(shè)稀疏系數(shù),對(duì)模板和背景系數(shù)分別進(jìn)行轉(zhuǎn)置可以得到,同樣,根據(jù)式(10)(11),可以得到判斷遮擋的目標(biāo)模板閾值σT以及背景模板閾值σI:

式中:m為常數(shù),表示無(wú)遮擋情況下的初始幀數(shù),通過(guò)實(shí)驗(yàn)來(lái)確定。

最終跟蹤目標(biāo)是由目標(biāo)模板和背景模板的稀疏表達(dá),因此,目標(biāo)區(qū)域中任意像素點(diǎn)的灰度值可由目標(biāo)模板與背景模板相應(yīng)點(diǎn)的線性之和來(lái)表示,改變兩者系數(shù)值與改變其一皆可以達(dá)到同等的效果,即:

在后面每一幀都計(jì)算相應(yīng)的參數(shù)值,與σT、σI進(jìn)行比較,當(dāng)滿足判斷遮擋條件時(shí),更新稀疏表達(dá)式的參數(shù)所占權(quán)重:

(1)當(dāng)i＞m時(shí),分別計(jì)算。

式中:學(xué)習(xí)率λ是個(gè)固定的參數(shù),本文算法設(shè)定為0.95,該參數(shù)主要更新稀疏表達(dá)式中背景模板的比重,通過(guò)線性疊加來(lái)更改最終跟蹤目標(biāo)模型,使其能更好地處理遮擋情況。

2.3 總體算法

本文算法的整體思路為:通過(guò)對(duì)跟蹤器的有效改進(jìn),同時(shí)檢測(cè)器和跟蹤器并行處理,并且學(xué)習(xí)模塊不斷更新,最終結(jié)果由綜合模塊對(duì)比輸出。具體算法步驟如下:

Step1設(shè)定初始圖像中目標(biāo)所在位置矩陣框參數(shù)[x,y,w,h]。

Step2通過(guò)仿射變換,在目標(biāo)周圍選取正負(fù)樣本,以此來(lái)初始化檢測(cè)器相關(guān)參數(shù),并將目標(biāo)模板保存起來(lái)。

Step3檢測(cè)是否有遮擋,若有,則更新跟蹤器的參數(shù)u t(根據(jù)式(8)),否則執(zhí)行下一步。

Step4用改進(jìn)的L1APG跟蹤器進(jìn)行跟蹤,并對(duì)跟蹤結(jié)果計(jì)算其置信度pt;同時(shí)檢測(cè)器并行處理,得到目標(biāo)在下一幀的位置及其置信度p d。

Step5當(dāng)pt＞δ1&pd＞δ2時(shí)(δ1、δ2分別是跟蹤器和檢測(cè)器設(shè)定的閾值,初始值為0.5),對(duì)比跟蹤器和檢測(cè)器的置信度,當(dāng)|pt－pd|＞ε(ε為設(shè)置參數(shù),初始值為0.4)時(shí),其較大者作為最終的跟蹤結(jié)果。反之,對(duì)其加權(quán)處理,作為目標(biāo)位置在下一幀的輸出,并調(diào)到步驟Step2。

3 實(shí) 驗(yàn)

3.1 定性分析

圖1 圖像序列跟蹤結(jié)果Fig.1 Image sequences tracking results

對(duì)于部分遮擋情況,用FaceOcc1作為測(cè)試圖像序列,觀察圖1(a)的跟蹤結(jié)果:開始的幾十幀圖像跟蹤效果相當(dāng),但隨后L1APG跟蹤框發(fā)生畸變,無(wú)法準(zhǔn)確跟蹤到目標(biāo)。傳統(tǒng)TLD在目標(biāo)靜止而遮擋運(yùn)動(dòng)時(shí)發(fā)生偏移現(xiàn)象,但隨后又恢復(fù)跟蹤。在部分遮擋基礎(chǔ)上加入目標(biāo)姿態(tài)變化,用FaceOcc2作為測(cè)試圖像序列,L1 APG用紅色框表示,TLD用黃色框表示,本文算法用藍(lán)色框表示。從圖1(b)中可以得出:L1APG在目標(biāo)遮擋之后跟蹤框發(fā)生畸變,并且無(wú)法恢復(fù),導(dǎo)致跟蹤失敗。傳統(tǒng)TLD算法在目標(biāo)姿態(tài)發(fā)生變化及目標(biāo)和背景較為相似時(shí)會(huì)導(dǎo)致跟蹤失敗,直到目標(biāo)姿態(tài)恢復(fù)到初始狀態(tài)時(shí),檢測(cè)器才能重新檢測(cè)到目標(biāo)。在目標(biāo)遮擋及姿態(tài)變化的基礎(chǔ)上,加入快速運(yùn)動(dòng)這一因素來(lái)對(duì)比跟蹤效果。用Football作為測(cè)試圖像序列,從圖1(c)中可以得出:當(dāng)有相似目標(biāo)出現(xiàn)時(shí),L1APG跟蹤算法無(wú)法區(qū)分目標(biāo)。傳統(tǒng)的TLD算法隨著目標(biāo)與相似背景的交叉運(yùn)動(dòng)會(huì)發(fā)生偏移現(xiàn)象,導(dǎo)致跟蹤失敗。而本文的算法在以上3種情況下都具有良好的穩(wěn)定性和健壯性。

3.2 定量分析

定量分析實(shí)驗(yàn)將中心位置誤差作為精度標(biāo)準(zhǔn),中心誤差定義為跟蹤目標(biāo)的中心位置與標(biāo)準(zhǔn)目標(biāo)位置的中心誤差,采用歐式距離進(jìn)行比較。從圖2的誤差結(jié)果可以看出,本文的算法在穩(wěn)定性和健壯性上都要優(yōu)于其他兩種算法。

圖2 誤差結(jié)果圖Fig.2 Error result diagrams

4 結(jié)束語(yǔ)

提出了一種基于TLD框架的跟蹤算法,通過(guò)引入改進(jìn)的L1APG跟蹤器來(lái)替換傳統(tǒng)TLD中的光流跟蹤器。由于L1APG跟蹤器具有靜態(tài)模板,并加入遮擋檢測(cè)能自適應(yīng)地更改系數(shù)權(quán)重,以此來(lái)抑制漂移問(wèn)題,從而在目標(biāo)遮擋、姿態(tài)變化以及快速運(yùn)動(dòng)的情況下能很好地跟蹤目標(biāo),提高了穩(wěn)定性,但實(shí)時(shí)性略低,以后研究重點(diǎn)將是在保證準(zhǔn)確率的基礎(chǔ)上,盡可能地減少粒子數(shù)量,減小計(jì)算量,提高實(shí)時(shí)性,能更快速地跟蹤目標(biāo)。

[1]Beaudry C,Péteri R,Mascarilla L.Action recognition in videos using frequency analysis of critical point trajectories[C]∥2014 IEEE International Conference on Image Processing(ICIP),Paris,France,2014:1445-1449.

[2]Dondo D G,Redolfi J A,Griffa M,et al.Target tracking system using multiple cameras and Bayesian estimation[J].IEEE Latin America Transactions,2016,14(6):2713-2718.

[3]郝志成,高文.多模跟蹤技術(shù)在輪式偵察車圖像處理器的應(yīng)用[J].中國(guó)光學(xué),2011,4(5):480-488.Hao Zhi-cheng,Gao Wen.Application of multi-pattarn tracking in wheel type scout car image processor[J].Chinese Optics,2011,4(5):480-488.

[4]熊晶瑩,戴明.適應(yīng)移動(dòng)智能設(shè)備的目標(biāo)跟蹤器[J].光學(xué)精密工程,2017,25(12):3152-3159.Xiong Jing-ying,Dai Ming.Design of tracker for mobile smart devices[J].Optics and Precision Engineering,2017,25(12):3152-3159.

[5]Buehler P,Everingham M,Huttenlocher D P,et al.Long term arm and hand tracking for continuous sign language TV broadcasts[C]∥Proceedings of the 19th British Machine Vision Conference,Leeds,UK,2008:1105-1114.

[6]Xu J,Li J.Moving target tracking algorithm based on scale invariant optical flow method[C]∥Information Science and Control Engineering(ICISCE),Beijing,China,2016:468-472.

[7]楊欣,費(fèi)樹岷,李剛,等.基于復(fù)雜特征融合的改進(jìn)mean shift目標(biāo)跟蹤[J].控制與決策,2014(7):1297-1300.Yang Xin,Fei Shu-min,Li Gang,et al.Improved mean shift target tracking based on complex feature fusion[J].Control and Decision,2014(7):1297-1300.

[8]王田,劉偉寧,韓廣良,等.基于改進(jìn)MeanShift的目標(biāo)跟蹤算法[J].液晶與顯示,2012,27(3):396-400.Wang Tian,Liu Wei-ning,Han Guang-liang,et al.Target tracking algorithm based on improved Meanshift[J].Chinese Journal of Liquid Crystals and Displays,2012,27(3):396-400.

[9]許佳佳.基于MeanShift算法的航空影像聯(lián)合分割[J].液晶與顯示,2014,29(4):586-591.Xu Jia-jia.Joint segmentation using MeanShift algorithm for high resolution aerial images[J].Chinese Journal of Liquid Crystals and Displays,2014,29(4):586-591.

[10]夏楠,邱天爽,李景春,等.一種卡爾曼濾波與粒子濾波相結(jié)合的非線性濾波算法[J].電子學(xué)報(bào),2013,41(1):148-152.Xia Nan,Qiu Tian-shuang,Li Jing-chun,et al.A nonlinear filtering algorithm combining Kalman filter with particle filter[J].Journal of Electronics,2013,41(1):148-152.

[11]杜超,劉偉寧,劉戀.一種基于卡爾曼濾波及粒子濾波的目標(biāo)跟蹤算法[J].液晶與顯示,2011,26(3):384-389.Du Chao,Liu Wei-ning,Liu Lian.Target tracking algorithm based on Kalman filter and particle filter[J].Chinese Journal of Liquid Crystals and Displays,2011,26(3):384-389.

[12]Mei X,Ling H.Robust visual track-ing using?1 minimization[C]∥IEEE International Conference on Computer Vision,Xi′an,China,2009:1436-1443.

[13]張亞紅,楊欣,沈雷,等.基于視覺(jué)顯著特征的自適應(yīng)目標(biāo)跟蹤[J].吉林大學(xué)學(xué)報(bào):信息科學(xué)版,2015,33(2):195-200.Zhang Ya-hong,Yang Xin,Shen Lei,et al.Adaptive target tracking based on salient features of vision[J].Journal of Jilin University(Information Science Edition),2015,33(2):195-200.

[14]李靜宇,王延杰.基于子空間的目標(biāo)跟蹤算法研究[J].液晶與顯示,2014,29(4):617-622.Li Jing-yu,Wang Yan-jie.Subspace based target tracking algorithm[J].Chinese Journal of Liquid Crystals and Displays,2014,29(4):617-622.

[15]Zhang K,Zhang L,Yang M H.Real-time Compressive Tracking[M].Florence,Italy:Springer,2012:864-877.

[16]楊欣,劉加,周鵬宇,等.基于多特征融合的粒子濾波自適應(yīng)目標(biāo)跟蹤算法[J].吉林大學(xué)學(xué)報(bào):工學(xué)版,2015,45(2):533-539.Yang Xin,Liu Jia,Zhou Peng-yu,et al.Particle filter adaptive target tracking algorithm based on multi-featurefusion[J].Journal of Jilin University(Engineering and Technology Edition),2015,45(2):533-539.

[17]王暐,王春平,李軍,等.特征融合和模型自適應(yīng)更新相結(jié)合的相關(guān)濾波目標(biāo)跟蹤[J].光學(xué)精密工程,2016,24(8):2059-2066.Wang Wei,Wang Chun-ping,Li Jun,et al.Correlation filter tracking based on feature fusing and model adaptive updating[J].Optics and Precision Engineering,2016,24(8):2059-2066.

[18]Kalal Z,Mikolajczyk K,Matas J.Tracking-learning-detection[J].IEEE Trans Pattern Anal Mach Intell,2012,34(7):1409-1422.

[19]Kalal Z,Mikolajczyk K,Matas J.Forward-backward error:automatic detection of tracking failures[C]∥International Conference on Pattern Recognition,Japan,2010:2756-2759.

[20]周鑫,錢秋朦,葉永強(qiáng),等.改進(jìn)后的TLD視頻目標(biāo)跟蹤方法[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(9):1115-1123.Zhou Xin,Qian Qiu-meng,Ye Yong-qiang,et al.The improved TLD video target tracking method[J].Journal of Image and Graphics,2013,18(9):1115-1123.