基于梯度特征與彩色特征相融合的mean shift跟蹤方法

李平生，李小霞

（西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621010）

基于梯度特征與彩色特征相融合的mean shift跟蹤方法

李平生，李小霞

（西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621010）

針對(duì)mean shift跟蹤方法中存在的光照變化不穩(wěn)定問(wèn)題，提出了基于梯度特征與彩色特征相融合的mean shift跟蹤方法。首先分別提取目標(biāo)的梯度特征和彩色特征，利用多尺度的相似度計(jì)算方法進(jìn)行特征的匹配，然后通過(guò)最大化相似度對(duì)目標(biāo)進(jìn)行跟蹤。通過(guò)物體和人體等運(yùn)動(dòng)目標(biāo)的跟蹤，驗(yàn)證了改進(jìn)的跟蹤算法在光照變化情況下的魯棒性優(yōu)于原有的算法，顯著降低了跟蹤位置誤差。

目標(biāo)跟蹤；mean shift；梯度圖像；多尺度相似度量

目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱門(mén)研究課題，在軍事制導(dǎo)、視覺(jué)導(dǎo)航、安全監(jiān)控、視頻編碼等方面有著廣泛的應(yīng)用。基于mean shift的目標(biāo)跟蹤[1]方法由于其計(jì)算速度快、模型簡(jiǎn)單和較好的跟蹤性能，近年來(lái)一直受到廣大研究者的重視。這種方法采用加權(quán)顏色直方圖的形式對(duì)目標(biāo)進(jìn)行特征描述，在每幀圖像中通過(guò)求解目標(biāo)模型和候選模型相似度的最大值來(lái)確定目標(biāo)的位置。雖然mean shift跟蹤方法采用的模型比較簡(jiǎn)單，對(duì)目標(biāo)的形變、旋轉(zhuǎn)有一定的穩(wěn)定性，但是這種方法只利用了目標(biāo)的顏色信息，當(dāng)場(chǎng)景中光照發(fā)生變化時(shí)，目標(biāo)的顏色分布也會(huì)隨之變化，從而導(dǎo)致跟蹤過(guò)程的不穩(wěn)定性。同時(shí)，mean shift跟蹤方法中采用單層直方圖的目標(biāo)特征描述，在光照變化時(shí)，會(huì)帶來(lái)較大的誤差。

針對(duì)mean shift跟蹤方法跟蹤過(guò)程中的光照不穩(wěn)定的問(wèn)題，Hager[2]提出了建立精確的模型來(lái)對(duì)光照變化建模；Freedman[3]結(jié)合了光流信息，采用 Graph-Cut算法提出了一種光照魯棒的跟蹤方法；針對(duì)目標(biāo)直方圖丟失了目標(biāo)的空間信息的缺點(diǎn)，Yang[4]等人提出了一種新的目標(biāo)表示方法及其對(duì)應(yīng)的mean shift跟蹤算法，以反映目標(biāo)的空間信息；李培華[5]提出了將圖像的位置信息加入到顏色直方圖中；針對(duì)原始算法只采用一個(gè)特征的缺點(diǎn)，王永忠[6]等人提出將顏色信息和紋理信息進(jìn)行自適應(yīng)融合的跟蹤方法；針對(duì)跟蹤過(guò)程中單層相似度存在匹配不準(zhǔn)確的問(wèn)題，Rubner[7]提出了一種cross-bin直方圖度量，考慮了不同位置的特征量化級(jí)（bin）之間的相關(guān)性；Granman[8]提出了一種用于物體類別識(shí)別的匹配方法（Pyramid Match），將特征空間劃分為多層次的Pyramid直方圖，在不同尺度下計(jì)算bin之間的相似度，融合了多尺度的bin之間的關(guān)系。雖然這些方法都在一定程度上改進(jìn)了原有的mean shift算法，但是都存在計(jì)算量大的問(wèn)題，不能滿足實(shí)時(shí)性的要求。

為了提高跟蹤算法的魯棒性，本文提出的方法首先融合了目標(biāo)的梯度特征。該特征計(jì)算簡(jiǎn)單，描述了目標(biāo)的邊緣特性，對(duì)光照的變化具有較強(qiáng)的魯棒性。其次，在目標(biāo)匹配的過(guò)程中，采用多尺度直方圖特征進(jìn)行目標(biāo)的匹配，這種匹配方法避免了由于光照變化引起的單尺度直方圖匹配的誤差。

1 梯度圖像

梯度特征描述了圖像的邊緣、角點(diǎn)等局部區(qū)域變化的信息，對(duì)于光照的變化具有較強(qiáng)的魯棒性，廣泛運(yùn)用在目標(biāo)特征描述、圖像匹配和目標(biāo)檢測(cè)中。本文采用了梯度特征的幅度信息，首先用Sobel算子分別計(jì)算圖像在 0°、45°、90°和 135°的幅值 I1、I2、I3、I4，然后合并各個(gè)方向的梯度幅值圖像，其計(jì)算如下：

其中I為合并后的圖像。

Sobel算子模板如圖1所示。

2 目標(biāo)模型

設(shè){xi}i=1…n為目標(biāo)區(qū)域的像素點(diǎn)集，區(qū)域中心位于x0點(diǎn)。用凸核函數(shù)對(duì)各點(diǎn)進(jìn)行加權(quán)。定義函數(shù)b（x），b（xi）是像素xi在量化的特征空間{t=1…T}的量化級(jí)。則量化特征t在目標(biāo)模型中出現(xiàn)的概率可表示為：

在得到了目標(biāo)模型后的每一幀中，假定候選目標(biāo)的位置在y，可以通過(guò)計(jì)算y的特征分布和目標(biāo)分布的相似度判斷y是否是真實(shí)位置。設(shè)候選目標(biāo)的像素點(diǎn)集為{yi}i=1…n，以 y為中心，使用相同的核函數(shù)對(duì)候選目標(biāo)的各個(gè)像素進(jìn)行加權(quán)，則特征t在候選目標(biāo)中出現(xiàn)的概率為：

3 分層相似度量

原始的mean shift采用單層的Bhattacharyya系數(shù)來(lái)表示相似度：

但是由于光線的變化，目標(biāo)的特征分布，特別是目標(biāo)的顏色分布也會(huì)發(fā)生變化。因此，這種單層的相似度量就會(huì)出現(xiàn)比較大的誤差，進(jìn)而出現(xiàn)跟蹤的失敗。為了解決這個(gè)問(wèn)題，本文采用了多層的相似度量。首先要得到多尺度的顏色特征分布和的多尺度描述。第l層（l=1…L）將特征空間劃分為 2l個(gè) bin，每層可以分別得到直方圖：q1，q2，q3…qL和 p1（y），p2（y），p3（y）…pL（y），而和（y）之間的相似度由不同尺度下的Bhattacharyya系數(shù)加權(quán)計(jì)算得到：

其中，βl隨著每層 bin數(shù)的增加而增大，從而給精細(xì)層更大的權(quán)值，以保證精細(xì)特征在整個(gè)特征空間中具有較大的分量。這種匹配方法考慮了多尺度之間的關(guān)系，在光照變化情況下具有更好的魯棒性。

4 改進(jìn)的mean shift算法

本文中采用了梯度圖像和彩色圖像相融合的mean shift跟蹤方法，在得到目標(biāo)模板和候選模板的相似度后，目標(biāo)的位置由最大化相似度得到：

其中α表示了梯度特征所占的比重。

為了求取 y的最大值，把式（6）在初始位置 pu（y0）處用Taylor公式展開(kāi)得到：

其中y0為上一幀的真實(shí)位置。

式（7）右邊第一項(xiàng)是一個(gè)常數(shù)，要想求取式（7）的最大值，等價(jià)于求取右邊第二項(xiàng)的最大值，通過(guò)對(duì)y求偏導(dǎo)，利用mean shift理論，可以得到目標(biāo)的新位置：

整個(gè)算法的步驟如下：

5 試驗(yàn)結(jié)果

仿真環(huán)境為：聯(lián)想臺(tái)式機(jī)電腦，其CPU為Intel（R）Pentium（R）D2.80 GHz，內(nèi)存 1 GB；操作系統(tǒng)為 Windows XP Professional，SP2，軟件采用 VC6.0 及 OPENCV1.0。

實(shí)驗(yàn)用到的視頻序列是在實(shí)驗(yàn)室環(huán)境下采集到的物體運(yùn)動(dòng)的視頻和人體運(yùn)動(dòng)的視頻，序列圖像的尺寸為640×480，在圖像序列一中，人手拿的一支筆在視野中做無(wú)規(guī)則的運(yùn)動(dòng)，如圖2所示。視頻序列二是人體在視野中做無(wú)規(guī)則的運(yùn)動(dòng)，在跟蹤的過(guò)程中陽(yáng)光從窗戶照進(jìn)來(lái)，目標(biāo)在靠近窗戶和遠(yuǎn)離窗戶的時(shí)候，其外觀特征會(huì)跟隨光照的變化而變化，如圖3所示。實(shí)驗(yàn)由人工手動(dòng)捕捉目標(biāo)。

實(shí)驗(yàn)比較了原始的mean shift算法和改進(jìn)的mean shift算法，兩種算法都用到圖像的RGB色彩空間。其中原始的 mean shift算法采用 16×16×16的直方圖，改進(jìn)的mean shift算法則采用3尺度的顏色模型，每個(gè)尺度的直方圖的 bin 分別為 16×16×16、8×8×8、4×4×4。

梯度圖像采用16×16×16的直方圖。在通過(guò)大量的實(shí)驗(yàn)得出的取值范圍在0.3～0.6之間最好，本文中α取0.5。

從圖2、3可以看出，原始的mean shift跟蹤方法由于受到光照的影響，當(dāng)目標(biāo)從光線弱的區(qū)域進(jìn)入到光線較強(qiáng)的區(qū)域時(shí)，目標(biāo)的顏色特征發(fā)生了變化，導(dǎo)致了目標(biāo)的跟蹤不穩(wěn)定，以至于最后失去了目標(biāo)。改進(jìn)的mean shift跟蹤方法由于融合了目標(biāo)的光照不變特征描述，在光照變化時(shí)，還是能夠匹配到目標(biāo)，因此在整個(gè)過(guò)程中始終能夠跟蹤到目標(biāo)。而且在相似度量的計(jì)算上采用多尺度的顏色特征描述，在一定程度上增加了色彩特征匹配的魯棒性。

分別計(jì)算兩種算法中每一幀的跟蹤結(jié)果與參考位置的誤差，圖4為兩種算法在實(shí)驗(yàn)中的位置誤差比較的結(jié)果。可以看出，在光線變化緩慢的區(qū)域兩種算法的誤差接近，但是當(dāng)光線變化顯著時(shí)，原始算法的誤差就會(huì)大大地增加，以至于最后失去目標(biāo)，而改進(jìn)的mean shift跟蹤方法仍能夠跟蹤目標(biāo)。

表1 運(yùn)動(dòng)目標(biāo)跟蹤性能比較∑S（A，B）

從表1可以看出，本文提出的算法在跟蹤過(guò)程中平均相似度比原始算法提高了0.252 8，這說(shuō)明了本文的算法在跟蹤過(guò)程中比原始算法更加精確。

由于mean shift算法本身存在速度的限制，在跟蹤過(guò)程中，目標(biāo)的運(yùn)動(dòng)速度不能過(guò)快。通過(guò)實(shí)驗(yàn)得出在前后兩幀中，目標(biāo)的運(yùn)動(dòng)速度不能超過(guò)目標(biāo)區(qū)域長(zhǎng)度的一半。

本文將圖像梯度特征引入到mean shift跟蹤算法中，同時(shí)，該方法采用了多尺度的相似度量，物體和人體的跟蹤實(shí)驗(yàn)驗(yàn)證了改進(jìn)的跟蹤算法在光線的變化時(shí)具有魯棒性，顯著降低了跟蹤位置誤差，相似度提高了0.252 8。mean shift跟蹤算法本質(zhì)上是梯度下降跟蹤方法，對(duì)目標(biāo)的運(yùn)動(dòng)速度有較大的限制，在以后的研究中將嘗試采用粒子濾波的方法來(lái)解決這個(gè)問(wèn)題。

[1]COMANICIUD，RAMESHV，MEERP.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25：564-577.

[2]HAGER G D，BELHUMEUR P N.Efficient region tracking with parametric models of geometry and illumination[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（10）：1025-1039.

[3]FREEDMAN D，TUREK M.Illumination-invariant tracking via graph cuts[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Sna Diego：IEEE Press，2005：10-17.

[4]YANG C J，DURAISWAMI R，DAVISL S.Efficient meanshift tracking via a new similarity measure[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.San Diego，USA：IEEE，2005：176-183.

[5]李培華.一種改進(jìn)的 Mean Shift跟蹤算法[J].自動(dòng)化學(xué)報(bào)，2007，33（4）：347-354.

[6]王永忠，梁彥，趙春暉，等.基于多特征自適應(yīng)融合的核跟蹤方法[J].自動(dòng)化學(xué)報(bào)，2008，34（4）：393-399.

[7]RUBNER Y，TOMASI C，GUIBAS L J.The earth mover's distance as a metric for image retrieval[J].International Journal of Computer Vision，2000，40（2）：99-121.

[8]GRAUMAN K，DARRELL T.The pyramid match kernel：discriminative classification with sets of image features[C].IEEE International Conference on Computer Vision.Beijing：IEEE Press，2005：1458-1465.

[9]LI L Y，HUANG W M，GU I Y H，et al.Statistical modeling of complex backgrounds forforeground object detection[J].IEEE Transactions on Image Processing，2004，13（11）：1459-1472.

Mean shift tracking algorithm based on gradient feature and color feature fusion

Li Pingsheng，Li Xiaoxia

（School of Information Engineering，Southwest University of Science and Technology，Mianyang 621010，China）

A novel mean shift algorithm based on object tracking gradient feature and color image fusion is proposed for the illumination unstable problem in traditional mean shift method.Firstly，gradient features and color features of the target are extracted separately，the features are matched using multi-scale similarity calculation method.Then，the target can be tracked by maximizing the similarity.Experiments on the tracking of moving targets such as object and human demonstrate that the proposed algorithm has more robust than the original algorithm under the situation of illumination changes and reduces the tracking position error obviously.

object tracking；mean shift；gradient image；multi-scale similarity

TP391.41

A

1674-7720（2011）03-0035-04

2010-09-07）

李平生，男，1983年生，碩士研究生，主要研究方向：目標(biāo)跟蹤。

李小霞，女，1976年生，副教授，碩士研究生導(dǎo)師，主要研究方向：模式識(shí)別，生物特征識(shí)別。