多特征提取的紅外和可見光目標跟蹤方法

趙高鵬，薄煜明，陳益

(南京理工大學 自動化學院，江蘇 南京210094)

可見光傳感器具有分辨率高、成本低的特點，因此大量跟蹤算法的研究［1-3］都是針對可見光傳感器的，然而其性能易受光照變化、陰影的影響。紅外傳感器的成像依賴于物體的輻射，對光照和陰影變化具有魯棒性，但也存在自身的缺點，如信噪比低，在明暗對比強烈處存在光暈現象，缺乏紋理特征。將2 種傳感器結合用于圖像序列的目標跟蹤，可以降低跟蹤難度，擴大跟蹤系統的應用范圍，提高跟蹤系統的準確性和穩定性。

在復雜環境條件下，基于單一特征的目標描述很難對所有場景的變化都保持魯棒，從而影響跟蹤算法的穩定性;利用多個具有互補性的目標特征描述同時對目標進行觀測，可靠的得到目標狀態，可以更好的適應場景的變化，得到魯棒的跟蹤結果。很多學者進行了這方面的研究［4-6］，從這些研究成果中可知，基于多特征融合的跟蹤方法較單一特征的跟蹤算法具有明顯的優勢。

核概率密度估計的Mean Shift 跟蹤方法具有特征穩定、實時性好、魯棒性強等優勢，在圖像序列目標跟蹤中得到了廣泛的應用［3，7-8］，但基本的Mean Shift 方法及其改進方法大多僅采用了單一的特征。文獻［7］提出了一種在線選擇多特征的均值漂移目標跟蹤方法，但該方法本質上只利用了目標的顏色信息; 文獻［8］利用顏色和紋理特征來提高均值漂移方法的魯棒性，該方法權值選取困難，算法復雜度較高。

在以上研究的基礎上，利用紅外和可見光雙傳感器進行跟蹤，采用從紅外和可見光圖像中提取多種特征信息來描述目標，提高了目標模型的可靠性;將基于多特征信息描述的目標模型集成到均值漂移跟蹤框架中，根據相似性度量自適應的融合定位目標，同時給出了一種選擇性的目標模板模型更新方法，提高了長時間跟蹤的穩定性。采用多組實際場景下序列實驗表明了本文方法的有效性。

1 特征提取和目標描述

本節給出了目標的多特征模型描述方法，以及考慮紅外和可見光傳感器的特性，給出具體特征的提取方法。

在起始幀，通過手動標定或運動目標檢測算法確定包含運動目標的候選區域，該區域即為被跟蹤的目標區域，對目標區域提取特征建立目標模板模型。Mean Shift 跟蹤方法［3］采用特征的核函數加權直方圖來描述目標，定義目標模板模型和以y 為中心的候選目標模型分別為

在目標模板模型和候選目標模型中，第u =1，…，m 級概率密度表示為

式中:C、C'為標準化的常量系數;K 為核函數;X*i為以目標中心位置為坐標原點的第i 個像素的相對坐標;H、H' 為核函數的帶寬;δ 為Kronecker delta 函數。

對于目標的多特征描述，如果采用直接組合目標的多個特征，形成一個多維特征向量，在目標的高維特征空間用其特征直方圖來描述目標，則隨著特征空間維數的增加，運算復雜度會呈現指數級增長。因此，本文采用單個特征單獨描述目標，然后將各個特征模型組成一個集合來描述目標，每個特征均單獨采用核函數量化的直方圖進行描述，參照(1)式～(4)式，定義目標模板模型的多特征描述為

式中:qk為第k 個特征單獨描述的目標模板模型;N為提取的特征總個數;mk為第k 個特征對應的直方圖的量化級數;為目標模板模型第k 個特征的核直方圖各級概率密度，定義見(3)式。

同樣可定義中心位置在y 處的候選目標的多特征模型為

考慮紅外和可見光傳感器的特性，本文特征提取的具體方法如下:

對于可見光圖像，采用顏色特征作為目標的一個特征描述，實驗中顏色直方圖量化為16 ×16 ×16級。顏色信息是目標最主要的特征之一，然而目標表面顏色常常會由于光照變化、遮擋或目標發生非平面旋轉運動等因素而發生改變。

為彌補顏色特征的不足，從可見光圖像中提取局部二進制模式［9］(LBP)紋理特征，構建紋理特征直方圖作為目標的一個特征描述。LBP 紋理特征的優點是計算簡單，對全局的灰度變化不敏感，能夠減弱陰影的影響。具體計算參見文獻［9］，實驗中紋理特征直方圖量化為16 級。

紅外圖像的灰度值反映物體的溫度，成像不受光照變化和陰影的影響，因此選取紅外圖像的灰度特征用于跟蹤，存在的問題是目標與背景亮度差異不大時，難以區分，且當跟蹤框內出現類目標干擾時，容易產生跟蹤錯誤。實驗中紅外灰度特征直方圖量化為16 級。

2 基于多特征的均值漂移跟蹤方法

均值漂移跟蹤方法［3］在每幀中對目標模板模型和候選目標進行相似性度量，并沿著核直方圖相似性的梯度方向迭代搜索目標位置，最終定位目標。本文在得到多特征信息描述的目標模型后，將其與均值漂移跟蹤框架結合來進行跟蹤，以下進行詳細描述。

2.1 相似性度量

在獲得目標模板和候選目標的多特征模型描述后，需要度量目標模板模型和候選目標模型間的相似性。度量2 個模型間的相似性實質上是度量2 個離散概率分布之間的相似性，本文選用Bhattacharyya 系數來實現，對第k 個特征，其相似性系數值為

其值在(0，1)之間。ρk(y)的值越大，表示相似性越大。

2.2 目標定位

設上一幀的目標位置為y0，目標定位就是在y0的鄰域內尋找當前幀的最優目標位置y1.首先利用第k 個特征進行定位就是在當前幀的不同位置計算ρk(y)，尋找使得ρk(y)最大的位置yk1; 然后根據Bhattacharyya 系數進行特征選擇和自適應加權確定目標位置y1.

對第k 個特征而言，假設相鄰幀特征直方圖變化不大，將ρk(y)在y0處泰勒展開，相似性函數可近似為

至此問題轉化為求(10)式最大化，右邊第1項為常量，不再考慮，使用均值漂移算法確定第2 項的局部極大值點，推導迭代公式如(11)式所示，具體推導過程參見文獻［10］.

式中:y1k為利用第k 個特征定位計算得到的新位置。

由于Mean Shift 算法的收斂性，通過若干次反復迭代，會得到目標的最優位置yk1，使得相似性度量ρk達到最大，記為max (ρk)，令BCk=max (ρk).

第k 個特征定位迭代結束時，Bhattacharyya 系數的最大值BCk反映了該特征跟蹤結果的有效性。本文方法首先對k 個特征的跟蹤結果根據BCk的值進行可靠性判斷，如果BCk得小于閾值T1(本文實驗取0.7)，則表明該特征的本次跟蹤結果受到了劇烈干擾，結果不可靠，確定目標位置y1時不應該考慮該特征，該特征選擇過程公式化為

假定經過(12)式運算，共有l (l≤N)個特征可信度較高，則根據這l 個特征單獨跟蹤的結果來自適應加權確定目標位置y1，權系數由這l 個特征的BCk歸一化自適應確定，過程如(13)式所示。從式中可以看出，本文方法當前幀的跟蹤結果綜合考慮了每個特征的跟蹤結果，如果某個特征的BCk值為0，則該特征不參與定位目標; 如果某個特征的BCk值較大，則最終定位結果更依賴于該特征。

為了說明多特征相結合這一策略的有效性，圖1(a)、(b)給出了一組相對應的可見光和紅外圖像，取圖中矩形方框的位置和尺寸作為模板，分別在圖中沿十字線的水平方向從左向右和垂直方向從上向下移動矩形中心，計算在各中心時，矩形區域與模板的相似性系數，可得到下列性能曲線，如圖1(c)、(d)所示。多個特征的結合能夠克服單一特征不穩定的缺點，從圖中可以看出，利用多個特征得到的相似性系數曲線更加平滑穩定，且峰值唯一，在復雜環境下有利于Mean Shift 算法迭代找到準確的目標中心。

2.3 目標模板模型更新

基本均值漂移跟蹤算法［3］是基于目標模板模型基本不發生改變這一假設的，跟蹤過程中一直采用初始目標模板模型，并無模型更新機制。但在實際場景中，由于目標自身的運動、視角的變化以及環境條件的改變，都會使得固定的目標模板模型不能長時間穩定地跟蹤目標，因此需要對目標模板模型進行及時動態更新，以適應目標的變化。目標模板模型更新存在的問題是如果前一幀的目標模板模型不能準確的描述目標，在當前幀獲得的跟蹤結果往往也不可靠，用不準確的跟蹤結果去更新目標模板模型會導致跟蹤結果的進一步惡化，最終丟失目標。

圖1 特征相似性系數曲線Fig.1 Feature similarity coefficient

本文目標模板模型采用多個特征進行描述，利用特征間的互補性，降低了模型更新處理的難度。在每一幀中不更新整個模型，而是對k 個特征分別處理，有選擇的進行更新，這樣既避免了錯誤更新造成的模型漂移，又保證了模型對目標及場景變換有足夠的適應性。

首先在當前幀(記為第t 幀)跟蹤結果y1處，以y1為中心取目標區域，對該區域計算k 個特征對應的目標模型pk(t)，并按(9)式計算該模型與目標模板模型的相似度BHCk(t)，具體更新方法分為:

1)如果BHCk＜T1，如(12)式所示，說明該特征的本次更新結果受到了干擾，不更新該特征的模型，仍采用前一幀該特征的模型。

2)如果當前幀第k 個特征對應的BHCk(t)值與前一幀該特征對應的BHCk(t -1)值的差值大于閾值T2(本文實驗取0.1)，則表明目標的該特征已發生變化，更新該特征對應的模型。

更新策略可將公式化為

式中:α 為模型更新速度因子，其取值范圍為α∈［0，1］.

則本文方法流程概括如下:

1)初始幀手動選擇或通過目標檢測方法得到目標位置，計算目標模板的多特征模型描述。

2)假定前一幀目標位置為y0，按(11)式，利用k 個特征單獨進行定位。

3)按照(13)式，計算當前幀的跟蹤結果y1.

4)根據(14)式，更新目標模板模型。

5)將y1賦值給y0，返回步驟2)，實現視頻序列的跟蹤。

3 實驗結果與分析

為了測試本文方法的有效性，采用實際拍攝的多個真實場景視頻序列進行測試。視頻序列來源于OTCBVS 數據庫中Dataset 03 圖像序列，具體參數為:紅外傳感器為Raytheon PalmIR 250D，可見光傳感器為Sony TRV87 Handycam; 紅外圖像為8 位灰度表示，大小為320 像素×240 像素; 可見光圖像為24 位彩色表示，大小為320 像素×240 像素。實驗中核函數選用Epanechnikov 核函數，初始目標在第1 幀中手動選擇。

實驗1 對序列A 進行跟蹤，跟蹤對象為行人，實驗中對比了采用單個特征進行跟蹤的結果。方法1為可見光序列僅采用顏色特征的均值漂移跟蹤方法; 方法2 為可見光序列僅采用紋理特征的均值漂移跟蹤方法; 方法3 為紅外序列僅采用灰度特征的均值漂移跟蹤方法。表1給出了跟蹤結果的部分圖像幀，各行依次為方法1、方法2、方法3 和本文方法的部分跟蹤結果，本文方法同時在可見光序列和紅外序列中標出目標;各列依次為第74 幀、第110 幀、第145 幀和第170 幀。

表1 序列A 在不同方法下的跟蹤結果Tab.1 Tracking results by using different methods

從表1可以看出，跟蹤初始時各種方法均能夠跟蹤到目標;在第110 幀時基于顏色特征的方法1跟蹤錯誤，隨后丟失目標;在第145 幀時目標被樹枝遮擋，基于紋理特征的方法2 產生很大的誤差，隨著遮擋程度逐漸加劇，最終丟失目標; 在跟蹤過程中，方法3 利用紅外序列的灰度特征，在發生遮擋時，目標特征產生較大變化，依然能夠跟蹤到目標;而本文方法在此過程中始終能夠穩定地跟蹤到目標。

以上方法在實驗1 序列前100 幀均能夠有效跟蹤目標，因此表2比較了以上方法對于序列前100幀的平均計算時間。從表2可以看出，本文方法由于采用了多個特征和模型更新，計算時間有所增加，在MATLAB 7 環境下仿真，平均每幀耗時約10 ms.在實際系統應用中，可參考文獻［11］的研究，對核函數估計、Bhattacharyya 系數和迭代權值的計算進行優化，避免開方、除法等大量浮點運算，減少計算量，進一步提高跟蹤性能。

表2 不同方法的時間性能比較Tab.2 Performance comparison of different methods

實驗2 對另一場景的序列B 進行跟蹤，對象為行人，背景變化包括了光照變化、陰影和類目標干擾(指其他行人干擾)，對比方法與實驗1 相同，選取序列第301 幀作為跟蹤的起始幀。表3給出了跟蹤結果的部分圖像幀，各行依次為方法1、方法2、方法3 和本文方法的部分跟蹤結果，本文方法同時在可見光序列和紅外序列中標出目標; 各列依次為第350 幀、第405 幀、第503 幀和第590 幀。

表3 序列B 在不同方法下的跟蹤結果Tab.3 Tracking results by using different methods

從表3可以看出，跟蹤初始時各種方法均能夠跟蹤到目標; 在第405 幀時，目標進入陰影區域，基于顏色特征的方法1 跟蹤錯誤，隨后丟失目標;在第503 幀時，搜索區域內出現其他行人目標干擾，基于紅外序列的亮度特征的方法3 無法區分，隨后跟蹤到其他行人目標，產生錯誤;而本文方法在此過程中始終能夠穩定地跟蹤到目標。

從以上實驗可以看出，本文方法利用從紅外和可見光傳感器提取的多個特征進行跟蹤，能夠適應跟蹤過程中目標及背景的變化，實現復雜環境條件下的目標穩定跟蹤。需要說明的是，本文方法要求圖像序列在跟蹤處理前已經過圖像配準，圖像配準屬于另一個研究方向，在此不做討論，本文選用的實驗序列已經過配準。

4 結論

本文提出了一種紅外和可見光圖像目標跟蹤方法，利用雙感器的互補性，提高跟蹤的穩定性。采用紅外圖像灰度、可見光圖像顏色和紋理3 個具有一定互補性的特征，建立目標的多特征模型描述，提高目標模型的可靠性; 在均值漂移跟蹤算法框架內，根據相似性度量進行自適應融合得到跟蹤結果;通過選擇性的目標模型更新方法，實現了對長時間跟蹤中目標自身變化的自適應。實驗結果表明，在光照變化、陰影、背景紋理復雜及存在類目標干擾等復雜情況下，本文方法能夠實現有效穩定的跟蹤。

References)

［1］侯志強，韓崇昭.視覺跟蹤技術綜述［J］.自動化學報，2006，32(4):603 -617.HOU Zhi-qiang，HAN Chong-zhao.A survey of visual tracking［J］.Acta Automatic Sinica，2006，32(4): 603 -617.(in Chinese)

［2］Nummiaro K，Koller-Meier E，Van-Gool L.An adaptive colorbased particle filter［J］.Image and Vision Computing，2003，21(1):99 -110.

［3］Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Patten Analysis and Machine Intelligence，2003，25(5): 564 -575.

［4］Serby D，Koller-Meier E，Van-Gool L.Probabilistic object tracking using multiple features［C］∥Proceedings of 17th International Conference on Pattern Recognition，Cambridge: UK，2004:184 -187.

［5］Brasnett P，Mihayhova L，Bull D.Sequential monte carlo tracking by fusing multiple cues in video sequences［J］.Image Vision Computing，2007，25(8): 1217 -1227.

［6］Perez P，Vermaak J，Blake A.Data fusion for visual tracking with particles［C］.Proceedings of the IEEE，2004，92(3): 495 -513.

［7］Collins R T，Liu Y X，Leordeanu M.Online selection of discriminative tracking features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10): 1631 -1643.

［8］王永忠，梁彥，趙春暉，等.基于多特征融合自適應融合的核跟蹤方法［J］.自動化學報，2008，34(4): 393 -399.WANG Yong-zhong，LIANG Yan，ZHAO Chun-hui，et al.Kernel-based tracking based on adaptive fusion of multiple cues［J］.Acta Automatic Sinica，2008，34(4): 393 -399.(in Chinese)

［9］Ojala T，Pietikainen M，Maenpaa T.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(7): 971 -987.

［10］Comaniciu D，Meer P.Mean shift: a robust approach toward feature space analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24(5): 603 -619.

［11］邸男，朱明.一種復雜背景下的實時目標跟蹤方法［J］.中國圖象圖形學報，2009，13(9):1758 -1765.DI Nan，ZHU Ming.An algorithm for real-time tracking target in complex environment［J］.Journal of Image and Graphics，2009，13(9):1758 -1765.(in Chinese)