一種基于特征自動選取的跟蹤算法

黎 蔚， 楊凱鵬， 陳家新， 冀治航

0 引言

視覺跟蹤技術(shù)是機(jī)器視覺領(lǐng)域的核心課題之一，它是對圖像序列中運(yùn)動目標(biāo)進(jìn)行檢測，提取、識別和跟蹤，獲得運(yùn)動目標(biāo)的運(yùn)動參數(shù)（如位置、速度、加速度等），以及運(yùn)動軌跡，從而進(jìn)行進(jìn)一步處理和分析，實(shí)現(xiàn)對運(yùn)動目標(biāo)的行為理解，以完成更高一級的任務(wù)。它從早期的目標(biāo)跟蹤領(lǐng)域衍生出來，被廣泛應(yīng)用在視頻編碼、智能交通、監(jiān)控、圖像檢索及軍工等眾多領(lǐng)域中。

一個(gè)良好的跟蹤系統(tǒng)要求能夠?qū)崟r(shí)處理目標(biāo)由于自身運(yùn)動導(dǎo)致的姿態(tài)變化，外部環(huán)境光照變化、部分遮擋及全部遮擋造成目標(biāo)暫時(shí)消失等問題。為了實(shí)現(xiàn)準(zhǔn)確的跟蹤,近年來研究者已經(jīng)提出了許多跟蹤算法[1-4]。基于實(shí)際場景內(nèi)容，將目標(biāo)的多個(gè)視覺特征自適應(yīng)地融合在跟蹤方法中,則可以利用不同特征之間的互補(bǔ)性, 更好地適應(yīng)場景的變化, 實(shí)現(xiàn)更為魯棒的跟蹤結(jié)果。一些研究者已經(jīng)注意到集成多特征對于魯棒跟蹤的重要性, 并建立了各種模型，在視覺跟蹤中加以運(yùn)用[5-7]。左軍毅等[6]利用目標(biāo)外觀的先驗(yàn)知識, 為目標(biāo)建立多個(gè)顏色模型, 在此基礎(chǔ)上設(shè)計(jì)目標(biāo)函數(shù), 通過從多個(gè)組合中選取最優(yōu)模型,與單一固定模型相比，算法對目標(biāo)外觀的快速變化適應(yīng)性很強(qiáng)。但在實(shí)際應(yīng)用中，目標(biāo)的先驗(yàn)信息是很難獲取的，其次對于顏色分布相似的目標(biāo)也不容易區(qū)分，而且許多形狀明顯不同的目標(biāo)也會有相似的直方圖。

我們可以根據(jù)不同情況，在不同時(shí)期選用不同的特征對目標(biāo)進(jìn)行跟蹤，這樣既可以保留原算法簡單快速等特點(diǎn)，同時(shí)又增加了跟蹤的穩(wěn)健性。在多個(gè)典型場景實(shí)驗(yàn)中, 我們利用目前廣泛使用的Mean Shift跟蹤算法[1]，驗(yàn)證了本文提出的自動特征選擇策略的有效性。

1 目標(biāo)的多特征建模

在對目標(biāo)進(jìn)行建模的時(shí)候，一個(gè)重要的問題就是所采用模型的復(fù)雜度。簡單的模型易于實(shí)現(xiàn)，并且可以很好地應(yīng)用于實(shí)時(shí)性系統(tǒng)中。但是簡單的模型一般不適合精確地描述物體復(fù)雜的變化。采用復(fù)雜的模型在某種程度上可以解決這個(gè)問題，并且所表現(xiàn)的結(jié)果更加精確和可靠，但這往往是靠犧牲系統(tǒng)性能來獲得的，過高的計(jì)算復(fù)雜度往往不適合實(shí)時(shí)系統(tǒng)的開發(fā)，而且有可能帶來某些不確定因素。在對目標(biāo)進(jìn)行建模的時(shí)候，必須對這些因素進(jìn)行折中。

本文是分別利用多個(gè)特征構(gòu)造目標(biāo)的子模型, 然后選擇合適的子模型來描述目標(biāo)。這樣帶來的好處是：既可以從多角度來描述目標(biāo)，又不會帶來過多的計(jì)算。在新算法中，目標(biāo)模型和候選模型定義如下：

目標(biāo)模型：

候選模型：

其中m為候選特征的個(gè)數(shù)，iq和ip分別表示用第i個(gè)特征描述的目標(biāo)模型。

2 自適應(yīng)特征選擇策略

2.1 特征相似度的評價(jià)指標(biāo)

何時(shí)選擇最合適的特征，是決定本算法的關(guān)鍵。“合適”的特征保證可以能夠持續(xù)有效地用于后續(xù)特征匹配，同時(shí)應(yīng)該保證目標(biāo)和背景有良好的可分性。匹配和區(qū)分都涉及到相似度度量問題。一般Mean shift跟蹤采用的Bhattacharyya相似性度量。它實(shí)際上是兩個(gè)模為1的m維矢量之間的夾角余弦。但是這種相似度測度在實(shí)際運(yùn)用中存在著一些問題。首先它涉及到開方運(yùn)算，不適合實(shí)時(shí)性要求比較高的跟蹤。其次巴氏系數(shù)的“區(qū)分性”不是很好，一些差別顯著的圖像用巴氏系數(shù)不能很好的區(qū)分。在應(yīng)用巴氏系數(shù)指標(biāo)進(jìn)行匹配的時(shí)候，可能會出現(xiàn)匹配有偏，甚至出現(xiàn)匹配錯(cuò)誤的現(xiàn)象。

如圖1所示的8個(gè)二值圖像，如果用巴氏系數(shù)指標(biāo)來評價(jià)，是完全一樣的圖像。這是因?yàn)橛冒褪舷禂?shù)作為相似度測量，丟失了目標(biāo)的空間信息，因而對目標(biāo)的判別能力不強(qiáng)。為了評價(jià)特征的好壞，必須選擇一種具有“區(qū)分”性強(qiáng)的度量指標(biāo)。這里我們引入了Minkowski廣義距離[8]作為判斷標(biāo)準(zhǔn)，Minkowski廣義距離與巴氏距離相比，新的度量有著更好的區(qū)分性，參照表1。

需要補(bǔ)充說明的是，采用何種相似度度量，并不是固定不變的。可以根據(jù)具體情形選擇不同的相似度度量。

圖1 差別顯著的8個(gè)二值圖像

表1 Minkowski廣義距離與巴氏距離結(jié)果的比較

2.2 特征的更換策略

根據(jù)前面的分析，我們更換特征需要考慮以下兩個(gè)因素：實(shí)際目標(biāo)和目標(biāo)模板有著較高的相似性；其次是目標(biāo)模板和背景區(qū)域有著較高的可區(qū)分性。根據(jù)跟蹤的特點(diǎn)，我們把對于背景的分析限于比目標(biāo)候選區(qū)域較大的區(qū)域稱之為跟蹤區(qū)域。跟蹤區(qū)域不同于傳統(tǒng)算法定義的背景區(qū)域，只有這些區(qū)域的特征才能真正影響跟蹤。目前的跟蹤算法在計(jì)算背景的時(shí)候，通常把整個(gè)目標(biāo)之外的區(qū)域（或包括目標(biāo)區(qū)域）都作為背景，既增加了計(jì)算量，又引入了許多與跟蹤無關(guān)的因素。其次，考慮到特征的比較不能影響跟蹤的性能，我們對于由于相似性指標(biāo)1ρ和區(qū)分性指標(biāo)2ρ都采取的是同一種度量，好的特征應(yīng)該滿足1ρ足夠大，而2ρ足夠小，這里我們定義：

根據(jù)這個(gè)公式可以看出，ρ越高，特征的性能就越好。實(shí)際跟蹤中，我們還可以考慮特征獲取效率等因素：

其中k是效率因子，計(jì)算復(fù)雜度越低的特征對應(yīng)的效率因子越高，在區(qū)別能力相近的情況下，我們傾向選擇效率因子較高的特征。

3 算法實(shí)現(xiàn)及結(jié)果分析

3.1 具體實(shí)現(xiàn)思路

根據(jù)前面提供的跟蹤框架，本節(jié)給出了基于目標(biāo)的顏色特證和紋理等特征的具體實(shí)現(xiàn)（在實(shí)際運(yùn)用中，目標(biāo)的其他特征都可以引入到算法中），并對室內(nèi)外多個(gè)場景上的試驗(yàn)結(jié)果進(jìn)行分析。下面是關(guān)于本文實(shí)驗(yàn)中所采取的兩種特征的介紹。

在室內(nèi)對人臉進(jìn)行跟蹤的時(shí)候，我們用目標(biāo)在HSV空間的H分量作為目標(biāo)的顏色特征,目標(biāo)的顏色特征被量化為256個(gè)區(qū)間。由于其計(jì)算簡單，我們把該特征的效率因子k設(shè)為1。 紋理特征同樣是一個(gè)重要的穩(wěn)定的特征。目標(biāo)的紋理同樣具有旋轉(zhuǎn)不變性和尺度不變性等特征。我們選取進(jìn)來比較流行的LBP（Local Binary Pattern）算子對目標(biāo)進(jìn)行描述。

假定目標(biāo)在上一幀的位置為0y,目標(biāo)的顏色模型和紋理模型分別為0q和1q，兩者效率因子分別為1k和2k,基于顏色和紋理特征的自動選取算法流程如下：

① 根據(jù)式（4）選擇跟蹤的選擇合適的特征；

② 根據(jù)選擇的特征進(jìn)行跟蹤，選擇候選目標(biāo)中心1?y；

③ 在1?y處，比較兩種特征的選擇度ρ，選擇ρ大的特征繼續(xù)跟蹤，轉(zhuǎn)流程②。

3.2 實(shí)驗(yàn)結(jié)果

為了測試本文的算法，我們在多個(gè)視頻序列中進(jìn)行了測試。下面選取一個(gè)典型的試驗(yàn)進(jìn)行說明，如圖 2所示。初始目標(biāo)為手動選擇，效率因子k分別選取為1和0.8，顏色及紋理特征的模型均采用Epanechnikov核[1]作為空間加權(quán)核函數(shù)。由圖 2可以看出，在燈光沒有變化的情形下，基于顏色的跟蹤取得了很好的效果（幀15，26，46，90）。但是當(dāng)燈光突然熄滅的時(shí)候，目標(biāo)開始丟失（幀 99，100），這時(shí)根據(jù)上述公式，換取基于LBP的特征繼續(xù)跟蹤（幀112，115），由于LBP特征受光照變化影響較小，這時(shí)仍能獲取良好的跟蹤效果。

圖2 算法改進(jìn)后的實(shí)驗(yàn)結(jié)果

4 結(jié)語

針對復(fù)雜場景下的目標(biāo)跟蹤問題，本文提出了一種特征自動選擇的跟蹤方法；該方法可以根據(jù)實(shí)際場景的變化，選擇恰當(dāng)?shù)奶卣鲗δ繕?biāo)進(jìn)行跟蹤，實(shí)現(xiàn)對場景的自適應(yīng)。實(shí)驗(yàn)中選擇顏色特征及LBP紋理作為目標(biāo)特征，通過對多次比較試驗(yàn)，驗(yàn)證了本文方法對復(fù)雜場景具有良好的自適應(yīng)性，能夠?qū)崿F(xiàn)魯棒實(shí)時(shí)的目標(biāo)跟蹤。

[1] Dorin Comaniciu,Visvanathan Ramesh,Peter Meer. Kernel-based Object Tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003, 25(05)：564-57.

[2] Huang J. Image Indexing Using Color Correlograms[M].USA：IEEE,1998：156-163.

[3] 王永忠,梁彥,趙春暉,等.基于多特征自適應(yīng)融合的核跟蹤方法[J].自動化學(xué)報(bào)，2008，34(04)：393-399.

[4] 李川.基于 Kalman的濾波目標(biāo)精確跟蹤技術(shù)研究[J].通信技術(shù),2009,42(06)：205-207.

[5] 左軍毅，梁彥，潘泉，等.基于多個(gè)顏色分布模型的Camshift跟蹤算法[J].自動化學(xué)報(bào)，2008, 34(07)：736-742.

[6] Collins R T, Liu Y X, Leordeanu M. Online Selection of Discriminative Tracking Features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10)：1631-1643.

[7] 杜虎強(qiáng)，梁衛(wèi)星，周杰.AKF與 EFRLS在動態(tài)目標(biāo)跟蹤性能上的比較[J].通信技術(shù),2009,42(11)：208-210.

[8] 時(shí)永剛. Minkowski廣義距離與多模態(tài)圖像配準(zhǔn)[J].北京理工大學(xué)學(xué)報(bào), 2005,25(10)：913-918.