基于幀間差分與時(shí)空上下文的自動(dòng)檢測(cè)跟蹤算法

于德鑫 王文強(qiáng) 曹曉杰

摘 要：為了改善時(shí)空上下文（STC）跟蹤算法不能自動(dòng)檢測(cè)跟蹤目標(biāo)的缺點(diǎn)，提出一種幀間差分與STC相結(jié)合的自動(dòng)檢測(cè)跟蹤算法。該算法將幀間差分法檢測(cè)到的含有前景目標(biāo)輪廓及位置的矩形框傳送給STC跟蹤器，可達(dá)到自動(dòng)檢測(cè)與跟蹤目標(biāo)的目的，并且提高了跟蹤精確度，降低了手動(dòng)選定目標(biāo)框的繁瑣程度。通過(guò)實(shí)驗(yàn)對(duì)改進(jìn)前后的STC算法進(jìn)行分析比較，結(jié)果表明，改進(jìn)后的算法具有更高的跟蹤精度，可實(shí)現(xiàn)對(duì)目標(biāo)的穩(wěn)定跟蹤。

關(guān)鍵詞：時(shí)空上下文;目標(biāo)跟蹤;幀間差分;自動(dòng)檢測(cè)

DOI：10. 11907/rjdk. 181770

中圖分類號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）001-0091-04

Abstract：An automatic detection and tracking algorithm based on frame difference and STC was put forward to improve the spatio-temporal context（STC） tracking algorithms failure to detect and track the target automatically. This algorithm transmits the rectangular box detected by the frame difference algorithm and contains the outline and position of the foreground object to the STC tracker. After the analysis and the comparison of the STC algorithm before and after improvement in the experiment，we conclude that the improved algorithm enjoys higher accuracy and achieves stable tracking of the target.

0 引言

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域非常熱門的研究課題[1-3]，在智能機(jī)器人、智能視頻監(jiān)控、工廠自動(dòng)化、人機(jī)界面、車輛跟蹤、視頻壓縮等領(lǐng)域應(yīng)用廣泛[4-5]。近年來(lái)，研究者們提出了大量目標(biāo)跟蹤算法，如TLD[6]、ASMS[7]、KCF[8]、MEEM[9]、HCF[10]、STRUCK[11]、MDNET[12]、MCPF[13]及LMCF[14]算法等，但是目標(biāo)跟蹤技術(shù)還有很大提升空間。如何克服目標(biāo)形變、光照變化、復(fù)雜背景、目標(biāo)尺度變化以及目標(biāo)遮擋等因素影響，從而穩(wěn)定、實(shí)時(shí)地進(jìn)行目標(biāo)跟蹤是一個(gè)亟待解決的問(wèn)題[15]。

為了達(dá)到穩(wěn)定跟蹤的目的，一些研究者利用目標(biāo)周圍的上下文環(huán)境輔助跟蹤目標(biāo)定位，取得了良好的跟蹤效果。Zhang等[16]提出一種簡(jiǎn)單但速度快、魯棒性好的時(shí)空上下文（Spatio-Temporal Context，STC）跟蹤算法。該算法利用稠密時(shí)空上下文進(jìn)行目標(biāo)跟蹤，基于貝葉斯框架將目標(biāo)和周邊稠密環(huán)境的關(guān)系用公式表達(dá)出來(lái)，對(duì)目標(biāo)底層特征（圖像密度、位置）與周邊環(huán)境的統(tǒng)計(jì)特性進(jìn)行建模，然后綜合這種時(shí)空建模關(guān)系與視覺(jué)特性獲得下一幀目標(biāo)對(duì)象周圍區(qū)域的置信圖，置信圖中最大的位置即對(duì)應(yīng)目標(biāo)在下一幀中可能出現(xiàn)的位置。

STC算法存在一個(gè)缺點(diǎn)，即不能自動(dòng)檢測(cè)目標(biāo)位置及大小，必須在人為給出目標(biāo)位置及大小的前提下才能進(jìn)行跟蹤，因而在實(shí)際應(yīng)用過(guò)程中會(huì)帶來(lái)不便，且人為給出的目標(biāo)位置可能與實(shí)際存在偏差。為了解決該問(wèn)題，本文在原始STC跟蹤算法基礎(chǔ)上加入幀間差分檢測(cè)方法[17-19]，以達(dá)到自動(dòng)檢測(cè)與跟蹤的目的。

1 幀間差分法目標(biāo)檢測(cè)

幀間差分法是一種簡(jiǎn)單且有效的目標(biāo)檢測(cè)方法。其基本原理是：在采集的圖像序列中，相距較近的幾幀圖像在運(yùn)動(dòng)目標(biāo)附近區(qū)域會(huì)發(fā)生較大變化，選取相鄰的兩幀或多幀圖像作差分運(yùn)算，即能得到運(yùn)動(dòng)目標(biāo)變化區(qū)域亮度的絕對(duì)值，通過(guò)判斷其與閾值的大小關(guān)系確定目標(biāo)位置及輪廓[20]。差分運(yùn)算公式為：

3 本文算法流程

本文算法在STC目標(biāo)跟蹤算法基礎(chǔ)上引入幀間差分法，可達(dá)到自動(dòng)檢測(cè)目標(biāo)位置及其大小的目的。首先，利用相鄰兩幀圖像作差分運(yùn)算，如果絕對(duì)值差[Dk>Tn]，說(shuō)明該圖像塊含有前景目標(biāo)，反之，當(dāng)前圖像塊為背景圖像;然后將得到前景目標(biāo)位置及大小的矩形框傳遞給STC跟蹤器;最后，STC跟蹤器根據(jù)檢測(cè)器的輸出結(jié)果進(jìn)行跟蹤。

本文算法流程如圖1所示。

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法能否進(jìn)行自動(dòng)檢測(cè)跟蹤及其跟蹤效果，將本文算法與原始STC跟蹤算法在4個(gè)已公開的測(cè)試序列上進(jìn)行對(duì)比實(shí)驗(yàn)。表1給出了4個(gè)測(cè)試序列情況，方框標(biāo)記的為跟蹤目標(biāo)。本文實(shí)驗(yàn)環(huán)境為：CPU為Inter（R）i7-4770，主頻為3.40GHz，內(nèi)存為8GB，軟件環(huán)境為：Matlab 2014a。

測(cè)試序列Backdoor比較簡(jiǎn)單，本文算法與STC原算法跟蹤效果并無(wú)明顯區(qū)別，都能夠?qū)崿F(xiàn)穩(wěn)定跟蹤。測(cè)試序列Sofa中目標(biāo)姿態(tài)與大小發(fā)生了一定程度變化，背景復(fù)雜程度一般。在STC原算法跟蹤過(guò)程中，目標(biāo)框在第7幀開始向左漂移，當(dāng)目標(biāo)不停變換姿態(tài)和大小時(shí)，目標(biāo)框不斷自適應(yīng)變大且向目標(biāo)右上方逐漸漂移。本文算法不受姿態(tài)與大小變化影響，能夠有效進(jìn)行跟蹤，具有很好的跟蹤效果。

為定量評(píng)估本文算法的跟蹤性能，本文基于中心位置誤差（Center Location Error）評(píng)價(jià)指標(biāo)對(duì)本文算法與原始STC跟蹤算法進(jìn)行定量對(duì)比分析，中心位置誤差主要是指跟蹤所得目標(biāo)框的中心與真實(shí)基準(zhǔn)中心之間的歐式距離[21]。表2給出了兩種算法在4個(gè)測(cè)試序列中的中心位置誤差。為了能夠更直觀地分析兩種算法跟蹤性能，圖4給出了兩種算法在測(cè)試序列Sofa中心位置誤差的對(duì)比結(jié)果。

5 結(jié)語(yǔ)

本文針對(duì)STC跟蹤算法不能自動(dòng)檢測(cè)目標(biāo)位置及大小的問(wèn)題，提出將幀間差分法與STC跟蹤算法相結(jié)合，共同實(shí)現(xiàn)對(duì)目標(biāo)的自動(dòng)檢測(cè)跟蹤。幀間差分法運(yùn)算簡(jiǎn)單、檢測(cè)速度快，對(duì)不同場(chǎng)景變化不太敏感，因此能夠穩(wěn)定檢測(cè)出目標(biāo)輪廓大小，并準(zhǔn)確得到目標(biāo)中心位置。實(shí)驗(yàn)結(jié)果表明，本文算法能夠準(zhǔn)確、穩(wěn)定跟蹤測(cè)試序列中的目標(biāo)，并能實(shí)現(xiàn)對(duì)目標(biāo)的自動(dòng)檢測(cè)跟蹤，相較于STC原算法中心位置誤差有所減少，且提高了跟蹤精確度。此外，由于加入幀差檢測(cè)部分，跟蹤速度有所下降，但仍能滿足實(shí)時(shí)性要求，故接下來(lái)會(huì)將提高跟蹤速度作為下一步研究重點(diǎn)。

參考文獻(xiàn)：

[1] WU Y，LIM J，YANG M H. Online object tracking：a benchmark[C]. IEEE Conference on Computer Vision and Pattern Recognition，2013：2411-2418.

[2] 尹宏鵬，陳波，柴毅，等. 基于視覺(jué)的目標(biāo)檢測(cè)與跟蹤綜述[J]. 自動(dòng)化學(xué)報(bào)，2016，42（10）：1466-1489.

[3] 高文，朱明，賀柏根，等. 目標(biāo)跟蹤技術(shù)綜述[J]. 中國(guó)光學(xué)，2014，7（3）：365-375.

[4] LEE D Y，SIM J Y，KIM C S. Visual tracking using pertinent patch selection and masking[C]. IEEE Conference on Computer Vision & Pattern Recognition，2014：3486-3493.

[5] 代順鋒，秦曉飛. STC目標(biāo)跟蹤算法及改進(jìn)[J]. 軟件導(dǎo)刊，2017，16（10）：51-53.

[6] KALAL Z，MIKOLAJCZYK K，MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（7）：1409-1422.

[7] VOJIR T，NOSKOVA J，MATAS J. Robust scale-adaptive mean-shift for tracking[J].Pattern Recognition Letters，2014，49：250-258.

[8] HENRIQUES J F，CASEIRO R，MARTINS P，et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：583-596.

[9] ZHANG J M，MA S G，SCLAROFF S. MEEM：robust tracking via multiple experts using entropy minimization[C]. European Conference on Computer Vision，2014：188-203.

[10] MA C，HUANG J B，YANG X K，et al. Hierarchical convolutional features for visual tracking[C]. IEEE International Conference on Computer Vision，2015：3074-3082.

[11] HARE S，GOLODETZ S，SAFFARI A，et al. Struck：structured output tracking with kernels[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（10）：2096-2109.

[12] NAM H，HAN B. Learning multi-domain convolutional neural networks for visual tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition，2016：4293-4302.

[13] ZHANG T Z，XU C S，YANG M H. Multi-task correlation particle filter for robust object tracking[C]. IEEE Conference on Computer Vision & Pattern Recognition，2017：4819-4827.

[14] WANG M M，LIU Y，HUANG Z Y. Large margin object tracking with circulant feature maps[C]. IEEE Conference on Computer Vision and Pattern Recognition，2017：4800-4808.

[15] 劉萬(wàn)軍，董帥含，曲海成. 時(shí)空上下文抗遮擋視覺(jué)跟蹤[J]. 中國(guó)圖象圖形學(xué)報(bào)，2016，21（8）：1057-1067.

[16] ZHANG K H，ZHANG L，LIU Q S，et al. Fast visual tracking via dense spatio-temporal context learning[C]. European Conference on Computer Vision，2014：127-141.

[17] 金漢均，梅洪洋. Sobel算子在提取視頻運(yùn)動(dòng)目標(biāo)輪廓中的應(yīng)用研究[J]. 電子測(cè)量技術(shù)，2014，37（11）：29-32.

[18] 郝慧琴，王耀力. 基于幀間差分和金字塔光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 電視技術(shù)，2016，40（7）：134-138.

[19] 巨志勇，彭彥妮. 基于AdaBoost算法與改進(jìn)幀差法的動(dòng)態(tài)行人檢測(cè)[J]. 軟件導(dǎo)刊，2017，16（9）：50-54.

[20] 李萌，鄭娟毅，門瑜. 基于幀差法的運(yùn)動(dòng)車輛陰影去除算法[J]. 電視技術(shù)，2016，40（10）：11-14.

[21] 徐建強(qiáng)，陸耀. 一種基于加權(quán)時(shí)空上下文的魯棒視覺(jué)跟蹤算法[J]. 自動(dòng)化學(xué)報(bào)，2015，41（11）：1901-1912.

（責(zé)任編輯：黃 ?。?/p>