在線特征選擇的目標(biāo)跟蹤

摘 要:為提高目標(biāo)與背景對(duì)比度低、相似物體干擾等復(fù)雜環(huán)境下目標(biāo)跟蹤的效果，提出將在線學(xué)習(xí)選擇最優(yōu)顏色特征嵌入跟蹤算法中，以改善跟蹤的穩(wěn)定性。以當(dāng)前時(shí)刻目標(biāo)的區(qū)域?yàn)槟繕?biāo)區(qū)域，利用卡爾曼濾波預(yù)測(cè)目標(biāo)的下一時(shí)刻位置，在卡爾曼濾波預(yù)測(cè)的位置為中心取某一區(qū)域作為背景區(qū)域進(jìn)行在線特征選擇作為下一時(shí)刻的跟蹤特征，以卡爾曼濾波預(yù)測(cè)的位置為初始位置利用Mean-shift搜索目標(biāo)位置，此位置作為量測(cè)進(jìn)行卡爾曼濾波校正。通過實(shí)驗(yàn)表明，該方法在目標(biāo)與背景的對(duì)比度低、相似物體干擾等復(fù)雜環(huán)境下極大地改善了跟蹤的穩(wěn)定性。

關(guān)鍵詞:在線學(xué)習(xí);最優(yōu)顏色特征;均值向量平移;卡爾曼濾波

中圖分類號(hào):TP273 文獻(xiàn)標(biāo)志碼:A

文章編號(hào):1001-3695(2010)03-1180-03

doi:10.3969/j.issn.1001-3695.2010.03.105

Online select feature target tracking

YANG Hui-xian1，YANG Xin-li1，ZENG Jin-fang1，YU Hong2

(1.Faculty of Material Photoelectronic Physics， Xiangtan University，Xiangtan Hunan 411105， China;2.Dept. of Physics， Qiongzhou University，Wuzhishan Hainan 572200， China)

Abstract:In order to improve robustness of tracking system under complex surrounding such as low-contrast， similar to object interference， this paper proposed that online select optimal color feature mechanism was embedded in target tracking algorithm. The target region of current moment was seen as the target region， employed Kalman filter predict the target position in next moment， and selected a region in the predicted position as the background region. Employ this two region online learning and select the optimal color feature as tracking feature of the next moment. The Kalman filter predicted position as initial position，utilized Mean-shift search the target position.Used this searched position as measurement correct the Kalman filter.Experimental results show that this method can greatly improve the robustness of target tracking method under complex surrounding such as low-contrast， similar to object interference.

Key words:online learning; optimal color feature; Mean-shift; Kalman filter

0 引言

視頻目標(biāo)跟蹤是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究課題，在視頻監(jiān)控、機(jī)器人視覺導(dǎo)航、人機(jī)交互、智能交通等領(lǐng)域都有廣泛應(yīng)用。在跟蹤領(lǐng)域已經(jīng)產(chǎn)生了很多跟蹤算法，有粒子濾波法[1]、水平集法[2]、活動(dòng)模板法[3]和Mean-shift法[4]等，文獻(xiàn)[5]作了詳細(xì)調(diào)查。眾多算法中，Mean-shift是一個(gè)很優(yōu)秀的算法，該算法以其無須參數(shù)、快速模式匹配的特性被廣泛應(yīng)用到目標(biāo)跟蹤領(lǐng)域[6，7]，但是該算法也有其缺陷[8]。為了提高均值向量平移跟蹤算法的穩(wěn)定性，很多學(xué)者對(duì)均值向量平移算法進(jìn)行了改進(jìn)，如利用均值向量平移算法改進(jìn)活動(dòng)模板法的能量函數(shù)[9]、粒子濾波中采樣后利用Mean-shift修正粒子后再重采樣[10]，把Gabor變換嵌入到均值向量平移算法里以確定目標(biāo)的旋轉(zhuǎn)參數(shù)[11]，利用顏色概率模型來計(jì)算目標(biāo)出現(xiàn)的位置以減少均值向量平移方法的迭代次數(shù)[12]等。

現(xiàn)有的改進(jìn)方法仍然面臨在目標(biāo)與背景的對(duì)比度低、相似干擾物體靠近目標(biāo)等復(fù)雜環(huán)境下會(huì)導(dǎo)致跟蹤失敗的問題。目標(biāo)跟蹤的速度和穩(wěn)定性很大程度上取決于目標(biāo)特征與背景特征區(qū)分性的大小。為了提高目標(biāo)與背景的對(duì)比度低、相似干擾物體靠近目標(biāo)等復(fù)雜環(huán)境下目標(biāo)跟蹤的穩(wěn)定性，提出在線學(xué)習(xí)選擇目標(biāo)與背景差別最大的顏色特征。在當(dāng)前的目標(biāo)窗口計(jì)算RGB顏色空間各分量的顏色直方圖。利用卡爾曼濾波器預(yù)測(cè)目標(biāo)在下一時(shí)刻要出現(xiàn)的區(qū)域作為背景區(qū)域，計(jì)算該區(qū)域選取RGB顏色空間的各分量的顏色直方圖。對(duì)目標(biāo)和背景的RGB三分量的直方圖加權(quán)求和分別得到目標(biāo)和背景的加權(quán)顏色直方圖，求其差別最大的權(quán)值，利用這些權(quán)值對(duì)RGB顏色分量進(jìn)行組合作為目標(biāo)跟蹤的顏色特征，這就是鑒別性顏色特征在線選擇的過程。把在線選擇鑒別性顏色特征機(jī)制嵌入到跟蹤算法中。通過實(shí)驗(yàn)表明該方法在目標(biāo)與背景的對(duì)比度低、相似目標(biāo)干擾等復(fù)雜環(huán)境下穩(wěn)定性很好。

1 在線選擇最優(yōu)的顏色特征

本文在RGB空間離散化為8×8×8 bins。目標(biāo)區(qū)域內(nèi)的像素{xi}，i=1，2，…，n(n為目標(biāo)區(qū)域像素個(gè)數(shù))，將顏色的每一個(gè)分量離散為m=8 bins，函數(shù)bR(xi)(bG(xi)或bB(xi))將像素xi處的顏色的R分量(G分量或B分量)量化并將其分配到相應(yīng)的u bins，目標(biāo)的中心為x0，目標(biāo)區(qū)域顏色直方圖為

ql(u)=ni=1k(‖x-x0h‖)δ[bl(xi)-u](1)

其中:l=R，G，B;u=1，2，…，m;h=h2x+h2y，hx、hy分別為目標(biāo)區(qū)域的寬和長;δ是Kronecker delta函數(shù);核函數(shù)k(x)是一個(gè)凸的單調(diào)遞減函數(shù)，離目標(biāo)中心越遠(yuǎn)可靠性降低，分配的權(quán)值越小。加核函數(shù)減小了目標(biāo)區(qū)域內(nèi)非目標(biāo)的干擾。

背景區(qū)域內(nèi)的像素{xi}，i=1，2，…，nb(nb為背景區(qū)域像素個(gè)數(shù))，背景區(qū)域的直方圖為

qbl(u)=nbi=1δ[bl(xi)-u]，l=R，G，B(2)

對(duì)三分量的每一個(gè)量化等級(jí)進(jìn)行加權(quán)組合:

qu=w1，uqR(u)+w2，uqG(u)+w3，uqB(u)

(3)

qb(u)=w1，uqbR(u)+w2，uqbG(u)+w3，uqbB(u)(4)

max f(w1，w2，w3)={w1，u[qR(u)-qbR(u)]}2+{w2，u[qG(u)-qbG(u)]}2+{w3，u[qB(u)-qbB(u)]}2(5)

約束條件:w1，u+w2，u+w3，u=k

w1，u≥0，w2，u≥0，w3，u≥0(6)

要使f(w1，w2，w3)取最大值，w1，u，w2，u，w3，u的取值為:

如果|qR(u)-qbR(u)|=max{|qR(u)-qbR(u)|，qG(u)-qbG(u)|，|qB(u)-qbB(u)|}，則w1，u=k，w2，u=0，w3，u=0;

如果|qG(u)-qbG(u)|=max{|qR(u)-qbR(u)|，qG(u)-qbG(u)|，|qB(u)-qbB(u)|}，則w1，u=0，w2，u=k，w3，u=0;

如果|qB(u)-qbB(u)|=max{|qR(u)-qbR(u)|，qG(u)-qbG(u)|，|qB(u)-qbB(u)|}，則w1，u=0，w2，u=0，w3，u=k;

其中:w1，uR+w2，uG+w3，uB為第u級(jí)上的最優(yōu)顏色特征;u=1，2，…，m，m為每個(gè)顏色分量所分的量化級(jí)數(shù)，m=8;k的取值根據(jù)目標(biāo)的顏色直方圖的峰值而定，根據(jù)大量試驗(yàn)表明k取值如表1效果比較好。

表1 k的取值與顏色直方圖峰值位置的關(guān)系表

峰值位置12345678

k321.510.80.60.40.2

如圖1(a)所示，方框框起的目標(biāo)相對(duì)于背景對(duì)比度很低，利用最優(yōu)顏色特征后，目標(biāo)從背景中突出，如(b)所示(圖1(a)(b)中k=3)。

2 目標(biāo)跟蹤

定義 Kalman濾波的狀態(tài)為xt=(x，y，vx，vy)T，觀測(cè)為zt=(x，y)。其中:x和vx分別是目標(biāo)圖像在水平方向的位置和運(yùn)動(dòng)速度;y和vy分別是目標(biāo)圖像在垂直方向的位置和運(yùn)動(dòng)速度。Kalman濾波跟蹤的基本過程如圖2所示。

其中:A=10ΔT0

010ΔT

0010

0001是狀態(tài)轉(zhuǎn)移矩陣，它將過去t-1時(shí)刻的狀態(tài)和當(dāng)前時(shí)刻t的狀態(tài)聯(lián)系起來;H=1 0 0 00 1 0 0是量測(cè)矩陣，它將量測(cè)zt與狀態(tài)聯(lián)系起來;ΔT為相鄰兩幀的時(shí)間間隔;P-t是t時(shí)刻的先驗(yàn)估計(jì)誤差的協(xié)方差;P+t-1是t-1時(shí)刻的后驗(yàn)估計(jì)誤差的協(xié)方差。

2.1 Mean-shift算法

核函數(shù)密度估計(jì)式為

h，K(x)=1nhdni=1K(x-xih)(7)

其中:K(x)為核函數(shù)，n為估計(jì)向量的維數(shù)，h搜索窗口的寬度。如果K(x)中心對(duì)稱，且滿足K(x)=Ck，dk(‖x‖2)，則稱k(x)為K(x)的輪廓函數(shù)，Ck，d為標(biāo)準(zhǔn)化的常量系數(shù)。

引入輪廓函數(shù)后，核密度估計(jì)可改寫為

h，k(x)=Ck，dnhdni=1k(‖x-xih‖2)(8)

對(duì)式(8)求梯度，經(jīng)化簡(jiǎn)可得到Mean-shift向量mh，G(x):

mh，G(x)=ni=1xig(‖(x-xi)/h‖2)ni=1g(‖(x-xi)/h‖2)-x(9)

2.1.1 目標(biāo)模型描述

利用式(3)建立的直方圖作為目標(biāo)模型。

2.1.2 候選模型描述

在以后的各幀中可能包含運(yùn)動(dòng)目標(biāo)的區(qū)域，稱為候選區(qū)域，其中心坐標(biāo)為y，即核函數(shù)的中心坐標(biāo)。該區(qū)域中的像素用{xi}i=1，2，…，nh(huán)表示，對(duì)候選區(qū)域的描述稱為目標(biāo)候選模型，候選模型的特征值u=1，2，…，m的概率密度是

pu，R(y)=Ch(huán)nki=1k(‖(y-xi)/h‖2)δ[bR(xi)-u](10)

pu，G(y)=Ch(huán)nki=1k(‖(y-xi)/h‖2)δ[bG(xi)-u](11)

pu，B(y)=Ch(huán)nki=1k(‖(y-xi)/h‖2)δ[bB(xi)-u](12)

pu(y)=w1，upu，R(y)+w2，upu，G(y)+w3，upu，B(y)(13)

其中:Gh(huán)=1nki=1k(‖(y-xi)/h‖2)是標(biāo)準(zhǔn)化常量系數(shù)。

2.1.3 相似性函數(shù)

在Mean-shift算法中，選Bhattacharyya系數(shù)作為相似性函數(shù)，其系數(shù)表示為

B(y)=mu=1pu(y)qu(14)

B(y)越大表示兩個(gè)模型越相似。目標(biāo)最可能出現(xiàn)的位置是使B(y)最大的候選區(qū)域。為使B(y)最大，在當(dāng)前幀中以前一幀中目標(biāo)中心的位置y0為起始位置開始，尋找最優(yōu)匹配位置，其中心為y。Bhattacharyya系數(shù)在(y)處泰勒展開:

B(y)≈12mu=1u(y0)u+Ch(huán)2nki=1ωik(‖(y-xi)/h‖2)(15)

其中:ωi=mu=1δ[b(xi)-u]u/u(0)

fh，k=Ch(huán)2nki=1ωik(‖(y-xi)/h‖2)(16)

要使B(y)最大等價(jià)于fh，k最大，對(duì)式(16)求梯度，經(jīng)化簡(jiǎn)可得到:

mh，G(x)=ni=1xiwig(‖(x-xi)/h‖2)ni=1wig(‖(x-xi)/h‖2)-x(17)

wi=nu=1δ[b(xi)-u]u/u(18)

目標(biāo)跟蹤過程是利用Mean-shift向量梯度下降在當(dāng)前幀圖像中搜索與目標(biāo)模板特征概率分布相似的目標(biāo)區(qū)域。

2.2 跟蹤和在線特征選擇框架

本文提出的在線特征選擇跟蹤方法的框架如圖3所示。

利用卡爾曼濾波預(yù)測(cè)目標(biāo)運(yùn)動(dòng)，依此來確定背景區(qū)域。如圖4所示:黑色框?yàn)楸尘皡^(qū)域，白色框?yàn)橐罁?jù)卡爾曼濾波器預(yù)測(cè)目標(biāo)下一時(shí)刻的位置確定的背景區(qū)域。利用第1章中敘述的方法選擇最優(yōu)顏色特征，作為下一時(shí)刻跟蹤的特征。以Kalman filter預(yù)測(cè)的位置為初始位置，利用Mean-shift方法搜索Bhattacharyya系數(shù)最大的區(qū)域作為目標(biāo)所在的區(qū)域，區(qū)域中心作為量測(cè)量，利用量測(cè)量進(jìn)行Kalman filter校正。依次循環(huán)即可實(shí)現(xiàn)在線特征選擇和目標(biāo)跟蹤。

3 實(shí)驗(yàn)和結(jié)論

本實(shí)驗(yàn)在Windows XP環(huán)境下利用VC++ 6.0和OpenCV(open source computer vision library)的圖像處理工具包編寫的程序。實(shí)驗(yàn)對(duì)低對(duì)比度的視頻圖像中的汽車進(jìn)行跟蹤，本文提出的在線選擇鑒別性特征的跟蹤法能在線提取鑒別性大的時(shí)變顏色特征作為下一時(shí)刻目標(biāo)跟蹤的特征，所以在目標(biāo)和背景的對(duì)比度較低，相似目標(biāo)干擾的情況下能穩(wěn)定地跟蹤目標(biāo)，如圖5(a)所示，而利用非在線特征選擇的Mean-shift跟蹤法在目標(biāo)與背景對(duì)比度較低或相似物體干擾的情況下導(dǎo)致跟蹤錯(cuò)誤，如圖5(b)所示。

實(shí)驗(yàn)表明，本文提出在線特征選擇的目標(biāo)跟蹤算法在目標(biāo)與背景對(duì)比度低、相似物體干擾等復(fù)雜情況下能實(shí)時(shí)穩(wěn)定地跟蹤目標(biāo)。

參考文獻(xiàn):

[1]GUNNARSSON F，BERGMAN N.Particle filter for positioning，navigation，and tracking[J].IEEE Trans on Signal Processing，2002，50(2):425-437.

[2]于慧敏，徐藝，劉繼忠，等.基于水平集的多運(yùn)動(dòng)目標(biāo)時(shí)空分割與跟蹤[J].中國圖象圖形學(xué)報(bào)，2007，12(7):1218-1223.

[3]NIKOS P，RACHID D.Geodesic active contours and level sets for the detection and tracking of moving objects[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2000，22(3):266-280.

[4]COMANICIU D，MEER P.Mean-shift:a robust approach toward feature space analysis[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2002，24(5):603-619.

[5]YILMAZ A.Object tracking:a survey[J].ACM Computing Surveys，2006，38(4):1-45.

[6]ELGAMMAL A，DURAISWA R，DAVIS L.Probabilistic tracking in joint feature-spatial spaces[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2003:781-788.

[7]YANG C，DURAISWAMI R，DAVIS L.Efficient Mean-shift tracking via a new similarity measure[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2005:176-183.

[8]DAI Guo-jun，ZHANG Yun.A novel auto-camshift algorithm used in object tracking [C]//Proc of the 27th Chinese Control Conference.2008:369-373.

[9]LIU Yu-lan，PENG Si-long.A new motion dection algorithm based on snake and Mean-shift[C]//Proc of Congress on Image and Signal Processing.Madison，WI:IEEE Press，2008:140-144.

[10]BAI Ke-jia，LIU Wei-ming.Improved object tracking with particle filter and Mean-shift[C]//Proc of IEEE International Conference on Automation and Logistics.2007:18-21.

[11]ZHANG Li-ke，ZHAO Hong-guang.Real-time Mean-shift tracking using the Gabor wavelet[C]//Proc of IEEE International Conference on Mechatronics and Automation.2007:5-8.

[12]STOLKIN R，F(xiàn)LORESCU I，BARON M，et al.Efficient visual servoing with the ABCshift tracking algorithm[C]//Proc of IEEE International Conference on Robotics and Automation.2008:3219-3224.

[13]PORIKLI F.Integral histogram:a fast way to extract histograms in Cartesian spaces[C]//Proc of IEEE Computer Society Conference on CVPR’05.Washington DC:IEEE Computer Society，2005:829-836.

[14]李國友，董敏.基于PSO和Level Set的快速曲線演化算法[J].測(cè)試技術(shù)學(xué)報(bào)，2008，22(2):150-154.

[15]COLLINS R T，LIU Yan-xi，LEORDEANU M.Online selection of discriminative tracking features[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2005，27(10):1578-1591.

[16]LEICHTER I，LINDENBAUM M M，RIVLIN E.Tracking by affine kernel transformations using color and boundary cues[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2009，31(1):164-171.

[17]HUA J S，JUAN Chung-wei.A spatial-color Mean-shift object tracking algorithm with scale and direction estimation[J].Pattern Recognition Letters，2008，29(16):2165-2173.

[18]MAGGIO E，CAVALLARO A.Accurate appearance-based Bayesian tracking for maneuvering targets[J].Computer Vision and Image Understanding，2009，113(4):544-555.