基于自適應(yīng)多特征融合的均值遷移紅外目標(biāo)跟蹤

劉 晴 唐林波 趙保軍 劉嘉駿 翟威龍

(北京理工大學(xué)信息與電子科學(xué)學(xué)院 北京 100081)

1 引言

紅外序列圖像中目標(biāo)跟蹤是視覺跟蹤研究的一個熱點(diǎn)，在智能交通、智能監(jiān)控、機(jī)器人視覺導(dǎo)航和精確制導(dǎo)系統(tǒng)等領(lǐng)域有廣泛的應(yīng)用。相比于可見光圖像，紅外圖像不受光照度和光影等因素影響，但信噪比低、背景雜波強(qiáng)以及目標(biāo)信息單一，要實現(xiàn)穩(wěn)健、高效地跟蹤目標(biāo)仍具挑戰(zhàn)性[1]。在各種目標(biāo)跟蹤算法中，Mean Shift(MS)算法[2-4]因其實時性好，易于其他算法集成，對目標(biāo)形變、旋轉(zhuǎn)和遮擋有一定適應(yīng)性而引起了極大的重視。

MS算法采用核函數(shù)加權(quán)的顏色直方圖建模，當(dāng)目標(biāo)和背景相似程度較大時容易造成跟蹤的不穩(wěn)定，因此出現(xiàn)了許多改進(jìn)的MS算法。文獻(xiàn)[5]利用顏色和紋理特征表示目標(biāo)，通過均值遷移和粒子濾波算法進(jìn)行特征融合實現(xiàn)目標(biāo)跟蹤。文獻(xiàn)[6]將目標(biāo)的顏色特征和目標(biāo)角點(diǎn)信息相結(jié)合，先由MS得到目標(biāo)位置，然后利用仿射矩陣對目標(biāo)位置和大小進(jìn)行修正實現(xiàn)目標(biāo)跟蹤。文獻(xiàn)[7]提出了基于梯度特征與顏色特征相融合的跟蹤方法。首先分別提取目標(biāo)的梯度特征和顏色特征，利用多尺度的相似度計算方法進(jìn)行特征的匹配，然后通過最大化相似度對目標(biāo)進(jìn)行跟蹤。但紅外目標(biāo)一般沒有豐富的紋理、色彩信息，也缺乏突出、穩(wěn)健的外形輪廓，因此本文提出一種基于自適應(yīng)多特征融合的MS紅外目標(biāo)跟蹤算法。該算法提取局部均值對比度和灰度特征進(jìn)行目標(biāo)建模，并根據(jù)紅外圖像的特點(diǎn)對局部均值對比度特征進(jìn)行改進(jìn)，提高區(qū)分目標(biāo)和背景的能力；在特征融合時，為了減少計算量，分別利用目標(biāo)特征建立子模型對目標(biāo)進(jìn)行跟蹤，并引入不確定性度量特征的準(zhǔn)確度計算多特征加權(quán)的權(quán)重，增強(qiáng)算法的魯棒性；為了適應(yīng)尺度變化目標(biāo)的跟蹤，分別提取兩種尺度算子，并利用最優(yōu)尺度算子進(jìn)行尺度更新。

2 跟蹤框架

MS算法[2]是一種半自動的跟蹤算法，起始幀由人工或其他識別算法確定目標(biāo)窗口，計算核函數(shù)加權(quán)的目標(biāo)特征直方圖分布作為目標(biāo)模型，用同樣的方法在第N幀計算候選目標(biāo)模型，以兩個分布相似性最大為原則使跟蹤窗口沿直方圖分布密度變化最快的方向移動，從而定位目標(biāo)。MS算法有 3個基本步驟：(1)建立目標(biāo)特征的核函數(shù)直方圖作為目標(biāo)模型；(2)測量目標(biāo)模型和候選目標(biāo)模型之間的相似性；(3)應(yīng)用均值移位向量的迭代搜索目標(biāo)的位置，實現(xiàn)目標(biāo)跟蹤。下面分別介紹這3個基本步驟。

2.1 核函數(shù)直方圖建模

MS算法以目標(biāo)特征的核函數(shù)加權(quán)直方圖作為目標(biāo)模型。設(shè)目標(biāo)中心為x0，其中共有n個像素點(diǎn)，用{xi}i=1…n表示，則目標(biāo)特征值u=1…m的概率分布為

式中k(x)為核函數(shù)的輪廓函數(shù)，h為核函數(shù)的帶寬，δ[b(xi)-u]的作用是判斷xi的灰度值是否屬于第u個量化等級。C為歸一化常數(shù)，以保證

2.2 相似性度量

目標(biāo)模型和候選模型之間的相似程度用相似性函數(shù)描述，MS算法中用Bhattacharyya系數(shù)作為相似性函數(shù)[8]，Bhattacharyya系數(shù)定義為

其中，根號內(nèi)的兩項分別為候選模型的概率密度估計和目標(biāo)模型概率密度估計。概率密度的估計模型即為式(1)所求得的核函數(shù)直方圖模型，m為直方圖柱的個數(shù)。系數(shù)取值在0~1之間，值越大，表示兩個模型越相似。

2.3 沿梯度變化最大的方向趨向目標(biāo)位置

文獻(xiàn)[9]證明了MS算法迭代過程對于目標(biāo)跟蹤的應(yīng)用具有空域位置上的收斂性，這表明MS算法在某點(diǎn)的梯度方向上一定能找到與目標(biāo)模板最相似的候選者。均值移位向量定義為

式中y0是第N幀搜索窗口的中心坐標(biāo)，y1表示尋找到的新的搜索窗口的中心的坐標(biāo)。wi為權(quán)重，h為核函數(shù)的帶寬。

3 特征融合

采用單一的特征對目標(biāo)進(jìn)行跟蹤，當(dāng)該特征區(qū)分度不佳時，容易跟蹤不穩(wěn)定。為了增強(qiáng)跟蹤的穩(wěn)定性，越來越多的跟蹤算法采用多特征對目標(biāo)進(jìn)行跟蹤，本文根據(jù)紅外圖像的特點(diǎn)選取圖像的局部均值對比度特征和灰度特征作為目標(biāo)特征。

3.1 局部均值對比度特征的提取

[10]中方法，引入局部均值對比度特征作為目標(biāo)的特征描述。為了適應(yīng)MS算法的跟蹤，對局部灰度均值對比度進(jìn)行改進(jìn)，并將局部灰度均值對比度圖量化為m等級，得到局部均值對比度核函數(shù)直方圖模型。下面介紹改進(jìn)的局部均值對比度特征的提取。

(1)以像素點(diǎn)為中心的 3×3鄰域作為內(nèi)窗口Win，對Win內(nèi)的像素點(diǎn)求均值。Win均值的公式如下：

(2)以像素點(diǎn)為中心的 5×5鄰域作為外窗口Wout，對Wout內(nèi)的像素點(diǎn)求均值。為了簡化計算，在Wout中25個點(diǎn)中抽取9個點(diǎn)求簡化的Wout的均值。Wout均值的公式如下：

(3)局部均值對比度的公式如下：

其中I(i,j)為圖像的像素點(diǎn)，f(i,j)為局部均值對比度的值，σ為跟蹤窗口內(nèi)圖像的均值，k1,k2為比例系數(shù)。k1,k2是根據(jù)目標(biāo)的灰度值和背景的灰度值來確定的。k1為目標(biāo)的灰度最大值，k2為背景的灰度均值。閾值σ為跟蹤窗口內(nèi)所有灰度的均值。

3.2 基于不確定性的特征融合

考慮到目標(biāo)的多特征融合，如果直接將目標(biāo)的多個特征組合在一起，那么隨著特征空間維數(shù)的增加，運(yùn)算量會大大增加。本文分別建立目標(biāo)的灰度直方圖子模型G和局部均值對比度直方圖子模型M，以降低特征維數(shù)。子模型的建模示意圖如圖1所示。

圖1 子模型的建模示意圖

目標(biāo)跟蹤過程中，針對不同的場景，每種特征對目標(biāo)位置估計的準(zhǔn)確度是不一樣的。Bhattacharyya系數(shù)表示候選模型和目標(biāo)模型的相似度，值越大，表示兩個模型越相似，也就是說該模型對目標(biāo)位置估計的準(zhǔn)確度越高。在信息論中，熵是不確定性的度量[11]：

其中pi為目標(biāo)第i種特征對應(yīng)的Bhattacharyya系數(shù)。H(pi)值越小，表示目標(biāo)第.i.種特征對目標(biāo)位置估計的準(zhǔn)確度越高。

將不確定性度量引入目標(biāo)融合中，對每個子模型分別運(yùn)行一次MS迭代(均值移位向量)，求得子模型的y1g和y1m；利用目標(biāo)位置估計的不確定性對子模型的結(jié)果進(jìn)行融合得到一次迭代的結(jié)果y1。在多特征融合時給每個子模型賦予一個權(quán)值，不確定性小，則賦予大的權(quán)值；反之，則賦予小的權(quán)值。多特征融合的公式如下：

其中k為子模型的個數(shù)。為了避免單個特征不確定性過大造成目標(biāo)定位偏差，對特征進(jìn)行判定，若H(pi)≥0.5，則認(rèn)為該特征無效，不參與特征融合。

4 尺度更新

文獻(xiàn)[6]證明了傳統(tǒng)的MS算法采用固定的核函數(shù)帶寬，當(dāng)目標(biāo)尺寸變化時存在跟蹤不穩(wěn)定的問題，當(dāng)目標(biāo)尺度變大時，甚至跟蹤失敗。為了適應(yīng)尺度變化目標(biāo)的跟蹤，本文引入尺度更新因子對搜索窗口的尺度參數(shù)進(jìn)行更新。

4.1 CAMShift提取尺度更新因子S1

在CAMShift算法[12]中，對圖像的反投影圖像，計算局部圖像的零階距，并根據(jù)局部圖像的零階距更新搜索窗口的尺度參數(shù)S1。本文直接對紅外圖像計算窗口內(nèi)像素的零階距，并求得尺度參數(shù)S1。計算公式如式(9)所示：

4.2 迭代投影提取尺度更新因子S2

CAMShift算法中尺度更新方法是針對人臉目標(biāo)提出的，當(dāng)目標(biāo)的面積較小時更新效果不好，本文采用文獻(xiàn)[13]中的迭代投影算法提取當(dāng)前幀目標(biāo)外階四邊形面積，近似表示目標(biāo)的面積A1。設(shè)初始幀目標(biāo)的面積為A0，則尺度更新因子S2定義為

4.3 最優(yōu)尺度因子判決

分別利用尺度更新因子S1和S2更新跟蹤窗口，按式(11)更新當(dāng)前幀跟蹤窗口的高度H和寬度W。在更新后的跟蹤窗口內(nèi)比較目標(biāo)模型的相似性，得到 Bhattacharyya系數(shù)Pg1,Pm1,Pg2和Pm2,Bhattacharyya系數(shù)最大者對應(yīng)的尺度算子作為最終的更新的跟蹤窗口。

其中S為Bhattacharyya系數(shù)最大者。

5 算法步驟

綜上所述，本文提出的基于自適應(yīng)多特征融合的MS目標(biāo)跟蹤算法步驟如下：

步驟 1 初始化跟蹤目標(biāo)的位置和跟蹤窗的大小，并按式(1)提取該目標(biāo)的特征直方圖子模型G和M，令y0為該目標(biāo)的中心位置。

步驟 2 以上一幀圖像得到的位置為中心開窗；

步驟 3 提取跟蹤窗口的尺度更新因子，對跟蹤窗口進(jìn)行尺度更新；

步驟 4 在新的跟蹤窗口內(nèi)執(zhí)行一次MS算法的迭代，得到子模型的搜索窗口坐標(biāo)y1g和y1m，利用式(8)進(jìn)行特征融合，得到新的目標(biāo)位置y1，如迭代結(jié)束執(zhí)行步驟5，否則繼續(xù)執(zhí)行步驟4；

步驟 5 若跟蹤視頻未結(jié)束讀取下一幀圖像，轉(zhuǎn)步驟2；否則結(jié)束算法。

本文算法的流程圖如圖2所示。

6 實驗結(jié)果與分析

本文提到的算法均在 Pentium E5800雙核CPU,2 G內(nèi)存配置的電腦上，Windows XP系統(tǒng)下用Matlab9.0編程實現(xiàn)的。為驗證算法的有效性，使用在復(fù)雜背景中的多個紅外視頻序列進(jìn)行測試。在試驗中，灰度、局部均值對比度的特征空間分別量化為32等級。

圖2 自適應(yīng)多特征融合的MS目標(biāo)跟蹤算法的流程圖

首先應(yīng)用于以飛機(jī)為目標(biāo)的紅外視頻序列，k1=255,k2=64，紅外序列圖像共231 幀，其中由于成像器材的自身抖動，目標(biāo)平移運(yùn)動較為劇烈；目標(biāo)的尺度在整個序列中變化近3倍；拍攝場景則由起初的天空背景迅速進(jìn)入復(fù)雜的地物背景。通過對比采用灰度特征的原始MS算法與固定權(quán)重融合方案的尺度自適應(yīng)的MS算法，對本文提出的算法進(jìn)行評估。圖3給出了在第5,10,170,190和210幀的跟蹤結(jié)果。灰線框表示原始MS算法的跟蹤結(jié)果，黑線框表示固定權(quán)重融合方案的MS算法的跟蹤結(jié)果(權(quán)重w1=w2=0.5)，白線框表示本文算法的跟蹤結(jié)果。由圖3可知，采用本文的尺度更新算法，固定權(quán)重融合方案的的MS算法和本文算法均能自適應(yīng)地更新跟蹤窗口的大小。

圖4給出了3種方法從120幀開始的跟蹤的軌跡圖及誤差的對比圖。可見原始MS算法誤差最大，本文MS算法跟蹤誤差普遍較固定權(quán)重融合MS算法低。從165幀處目標(biāo)迅速進(jìn)入復(fù)雜的地物背景，跟蹤誤差突然增大，隨著自適應(yīng)的調(diào)節(jié)，誤差有減小的趨勢。

表1給出了不同跟蹤算法X坐標(biāo)和Y坐標(biāo)的誤差統(tǒng)計結(jié)果。

表1 跟蹤誤差統(tǒng)計結(jié)果(像素)

以人體為目標(biāo)的紅外視頻序列進(jìn)行仿真，k1=255,k2=32，紅外序列圖像共30幀，目標(biāo)在運(yùn)動過程中發(fā)生形變和部分遮擋。圖5是對過路行人的紅外視頻跟蹤的結(jié)果。第01幀白色跟蹤框內(nèi)的行人為跟蹤的目標(biāo)，當(dāng)多個行人進(jìn)入跟蹤窗時，跟蹤窗的中心始終在最初的行人(目標(biāo))身上；當(dāng)其他目標(biāo)消失后，仍對最初的行人(目標(biāo))進(jìn)行穩(wěn)定跟蹤。由圖5可以看到，本文所述算法能對非剛性的運(yùn)動物體進(jìn)行跟蹤，并對目標(biāo)的交叉運(yùn)動和遮擋具有一定的魯棒性。

7 結(jié)論

本文提出一種基于多特征子模型融合的紅外目標(biāo)跟蹤方法，在MS框架下實現(xiàn)目標(biāo)特征自適應(yīng)融合。選用局部均值對比度和灰度兩種特征建立目標(biāo)的子模型，利用特征不確定性自適應(yīng)調(diào)節(jié)特征對跟蹤結(jié)果的貢獻(xiàn)，對復(fù)雜場景的目標(biāo)跟蹤具有良好的效果。實驗表明，在復(fù)雜場景的紅外圖像中，該算法能有效地適應(yīng)場景變化和目標(biāo)的形變和部分遮擋，其性能優(yōu)于僅采用單一特征描述的MS算法和固定權(quán)重融合算法；但當(dāng)目標(biāo)存在無規(guī)則的大位移運(yùn)動時影響算法的穩(wěn)定性。

圖3 不同跟蹤算法的結(jié)果示例

圖4 不同跟蹤算法的誤差對比

圖5 人體目標(biāo)跟蹤算法的結(jié)果示例

參 考 文 獻(xiàn)

[1]張輝,趙保軍,唐林波,等.基于自適應(yīng)多特征整合的紅外目標(biāo)跟蹤[J].光學(xué)學(xué)報,2010,30(5): 1291-1296.Zhang Hui,Zhao Bao-jun,Tang Lin-bo,et al..Infrared object tracking based on adaptive multi-features integration[J].Acta Optica Sinica,2010,30(5): 1291-1296.

[2]Comaniciu D,Ramesh V,and Meer P.Kernel-based object tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5): 564-577.

[3]Jiang Z L,Li S F,and Gao D F.An adaptive mean shift tracking method using multiscale image[C].Wavelet Analysisand Pattern Recognition,Beijing,China,Nov.2-4,2007,Vol.3: 1060-1066.

[4]Han Ri-sheng,Jing Zhong-liang,et al..Kernel based visual tracking with scale invariant features[J].Chinese Optics Letters,2008,6(3): 168-171.

[5]李遠(yuǎn)征,盧朝陽,高全學(xué),等.基于多特征融合的均值遷移粒子濾波跟蹤算法[J].電子與信息學(xué)報,2010,32(2): 411-415.Li Yuan-zheng,Lu Zhao-yang,Gao Quan-xue,et al..Particle filter and mean shift tracking method based on multi-feature fusion[J].Journal of Electronics＆Information Technology,2010,32(2): 411-415.

[6]康一梅,謝晚冬,胡江,等.目標(biāo)尺度自適應(yīng)的mean shift跟蹤算法[J].兵工學(xué)報,2011,32(2): 210-216.Kang Yi-mei,Xie Wan-dong,Hu Jiang,et al..Target scale adaptive mean shift tracking algorithm[J].Acta Armamentarii,2011,32(2): 210-216.

[7]李平生,李小霞.基于梯度特征與彩色特征相融合的 mean shift 跟蹤方法[J].圖形、圖像與多媒體,2011,30(3): 35-38.Li Ping-sheng and Li Xiao-xia.Mean shift tracking algorithm based on gradient feature and colorfeature fusion[J].Image Processing and Multimedia Technology,2011,30(3): 35-38.

[8]Comanuciu D and Meer P.Mean-Shift: a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.

[9]Comaniciu D.Nonparametric robust methods for computer vision[D].[Ph D.dissertation],New Jersey: The State University of New Jersey,2000.

[10]馬東輝,朱斌,樊祥,等.基于粒子濾波的目標(biāo)圖像多特征融合跟蹤方法[J].探測與控制學(xué)報,2009,31(4): 39-43.Ma Dong-Hui,Zhu Bin,Fan Xiang,et al..Method of tracking target images based on multi-feature fusion and particle filter[J].Journal of Detection＆Control,2009,31(4): 39-43.

[11]顧鑫,王海濤,汪凌峰,等.基于不確定性度量的多特征融合跟蹤[J].自動化學(xué)報,2011,37(5): 550-559.Gu Xin,Wang Hai-tao,Wang Ling-feng,et al..Fusing multiple features for object tracking based on uncertainty measurement[J].Acta Automatica Sinica,2011,37(5):550-559.

[12]Bradski G R.Computer video face tracking for use in a perceptual user interface[EB/OL].http://developer.intel.com/technology/itj/ q21998/pdf/camshift.pdf.

[13]葉有時,唐林波,趙保軍,等.基于SOPC的深空目標(biāo)實時跟蹤系統(tǒng)[J].系統(tǒng)工程與電子技術(shù),2009,31(12): 3002-3006.Ye You-shi,Tang Lin-bo,Zhao Bao-jun,et al..Real-time deep space target track system based on SOPC[J].Systems Engineering and Electronic,2009,31(12): 3002-3006.