基于特征融合的粒子濾波紅外目標跟蹤算法

楊智雄，余春超，嚴 敏，袁小春，曾邦澤，粟宇路

?

基于特征融合的粒子濾波紅外目標跟蹤算法

楊智雄，余春超，嚴 敏，袁小春，曾邦澤，粟宇路

（昆明物理研究所，云南 昆明 650223）

復雜環境中穩健的紅外目標跟蹤在自主導航、無人機探測、預警等方面具有重要研究意義。就經典粒子濾波紅外目標跟蹤算法中單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標跟蹤算法。結果表明，該算法能夠從跟蹤魯棒性、準確性和實時性3個方面實現穩健的紅外目標跟蹤。

特征融合；粒子濾波；紅外目標跟蹤

0 引言

基于可見光圖像的目標跟蹤理論及實際應用研究比較成熟，能有效地處理目標較小、目標形態尺寸及光照變化、復雜背景和遮擋等問題[1-3]。但在夜間以及煙幕干擾等復雜的環境中，可見光圖像可能存在目標丟失的情況，在這種情況下基于可見光圖像的目標跟蹤算法均會失效。而紅外圖像基于熱成像實現，受惡劣環境影響相對較小，但基于紅外圖像的目標跟蹤理論及應用研究不如可見光多，在紅外目標跟蹤中能用于目標建模的特征較少，當存在噪聲、相似性干擾等問題時跟蹤難度大。此外，紅外圖像獲得的場景信息較可見光圖像少[4-6]。

紅外目標跟蹤算法研究在2個方面展開，一是紅外目標特征描述，二是跟蹤算法改進。Dorin Comaniciu[7]提出Meanshift跟蹤算法，利用灰度核函數構建目標特征表達，Bhattacharyya系數計算目標模板與后續區域的相似性決定移動步長，不斷迭代收斂至目標質心位置。該算法計算量小，能滿足實時跟蹤性能要求，對邊緣遮擋、目標旋轉、變形和背景運動不敏感。但缺乏必要的模板更新，跟蹤窗口尺寸恒定不能適應目標尺寸變化制約著Meanshift跟蹤算法的廣泛應用。由此研究學者對其提出了很多改進方法：空間顏色直方圖描述目標[8]、尺度自適應[9]、目標多特征描述[10]等。

本文就經典粒子濾波紅外目標跟蹤算法中，單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標跟蹤算法。該算法利用三幀差分、OTSU分割和形態學濾波提取目標運動特征，融合目標灰度特征和運動特征提高目標模型的魯棒性，實現在復雜環境中紅外目標的穩健跟蹤。

1 基于特征融合的粒子濾波紅外目標跟蹤算法

1.1 目標狀態模型

定義紅外目標的狀態變量為＝{,,v,v}，其中(,)為紅外目標質心位置的橫縱坐標，(v,v)為目標水平和豎直方向的運動速率。建立目標運動模型：

S＋1＝(S)＝AS＋W＋1(1)

式中：為狀態轉移矩陣；W＋1為＋1置和速度的隨機噪聲。假定目標勻速運動，定義狀態轉移矩陣和隨機噪聲W＋1如下：

式中：p和v為恒定常量，其中p表示水平方向的狀態常量，v表示豎直方向的狀態常量。經實驗測試，本文設定p＝5，v＝2。

1.2 基于灰度和運動特征融合求解粒子權重

式中：為恒定參數，用于調整高斯函數形狀，本文取＝10。

灰度核函數直方圖在紅外目標跟蹤中應用十分廣泛，但僅利用灰度信息不能保證跟蹤的穩健性，當場景中出現相似背景干擾時，可能出現目標丟失的情況。

為此，本節融合目標灰度和運動特征計算粒子的權重。運動特征的求解過程包括：三幀差獲得運動目標輪廓、OTSU閾值分割提取目標輪廓、中值濾波去除噪聲和形態學膨脹填充目標區域，如圖1所示。其中，圖1(b)的三幀差分圖像中存在部分運動的背景信息，經OTSU閾值分割得圖1(c)，其仍可能存在一定的孤立噪聲點，直接進行形態學膨脹會形成一些孤立的小面積區域。為此，在膨脹之前對其進行中值濾波圖像平滑操作。圖1(d)和(e)分別為中值濾波前后進行形態學膨脹操作處理效果。

最簡單的兩幀差分也能獲得運動目標邊緣，但是對于紅外小目標，由于目標面積較小，兩幀獲得的運動目標輪廓信息比較少。因此，本文采取相鄰三幀差分方法，其計算公式如下：

此外，還有很多精度較高的改進三幀差分算法，如參考文獻[11]計算相鄰兩幅圖像的差分圖像公式如下，其利用3×3區域像素進行加權獲得中心像素點的差分結果：

在求得1(pre,now)和2(pre,next)后，兩者平均求得三幀差分結果：

該方法獲得的運動目標輪廓信息優于簡單三幀差分，但由于每個像素點計算都利用到像素點周圍3×3區域，計算量增大，算法實時性差。

最大類間方差（OTSU）算法由Otsu[12]于1979年提出，其計算簡單，不受圖像亮度和對比度的影響，是圖像分割中閾值求取常用的方法。OTSU算法將圖像分為前景和背景2部分，當類間方差取得最大值時，則前景與背景錯分概率越小，對應的分割閾值即為最優閾值，計算式如下：

經閾值分割后，圖像中可能仍然存在一些孤立的噪聲點，而中值濾波在去除孤立噪聲點的同時，能很好地保留圖像邊緣和細節信息，效果優于形態學腐蝕和閉運算。

因此，以3×3的中值濾波去除孤立噪聲點。

圖1 目標的運動特征提取

以3×3的窗口依次覆蓋圖像(2:－1,2:－1)區域中所有像素，對于窗口中的9個像素點的像素值排序后，取中間值，即第5個像素值作為結果替代中心像素值。

最后由形態學膨脹操作填充運動目標輪廓，獲得包含運動目標特征的圖像BW，其中運動區域的像素值為1，背景區域的像素值為0，定義某粒子所在的候選區域的運動特征為：

MF越大，則該候選區域為目標的概率越大，假定目標區域的運動特征為×，則候選區域粒子權重定義為：

融合目標灰度和運動特征計算候選區域的粒子權重：

＝mf*gray(12)

1.3 改進粒子濾波紅外目標跟蹤步驟

依據以上分析，基于灰度和運動特征融合的粒子濾波跟蹤算法主要分初始化、粒子預測、更新、重采樣和目標位置估計等5個步驟，圖2給出了改進算法流程圖。

圖2中表示序列幀總數，基于灰度和運動特征融合的粒子濾波跟蹤算法具體步驟如下：

2）預測：依據目標運動模型，將粒子集更新到新的采樣點{x,＝1,2,…,}；

3）更新：以粒子位置坐標為中心，計算候選區域灰度核函數直方圖和區域運動特征，融合灰度和運動特征計算粒子集權值{,＝1,2,…,}；

6）判斷是否結束，不結束則＝＋1，返回步驟。

2 實驗仿真與分析

仿真實驗在Inter Pentium CPU G630@2.7GHz、4.00G RAM的硬件平臺進行，開發環境為Matlab 2013a，融合圖像庫來源于微光灰度和紅外圖像的測試數據庫。

實驗從跟蹤的魯棒性、準確性和快速性3個方面分析比較了經典的Meanshift、基本的粒子濾波、本文提出的基于特征融合的粒子濾波3種跟蹤算法。

圖2 基于特征融合的粒子濾波紅外跟蹤算法流程圖

第1組實驗數據來源于OTCBVS Dataset 03中的第4組，序列圖像中存在相似目標干擾，圖3依次為經典的Meanshift、基本的粒子濾波、基于特征融合的粒子濾波3種跟蹤算法的跟蹤效果。

定義跟蹤誤差為跟蹤算法中目標質心與標定的目標質心之間的歐式距離，即：

圖4給出了3種跟蹤算法90幀的跟蹤誤差曲線。3種跟蹤算法中的目標灰度核函數直方圖均取64級，比較粒子濾波算法中粒子數目取100、200、300、400和500的跟蹤效果，差別不大，圖中粒子數目為300。對比3種算法的跟蹤效果與跟蹤誤差，相似目標干擾對粒子濾波跟蹤算法影響不大，其中經典的Meanshift跟蹤算法跟蹤穩健性最差，當出現相似目標干擾時會出現目標丟失的問題；當相似目標靠近跟蹤目標時，經典的粒子濾波和基于特征融合的粒子濾波跟蹤算法會受到一定干擾，質心位置有所偏移，基于CPCT彩色融合圖像粒子濾波跟蹤算法受相似目標干擾影響最小。3種算法90幀平均跟蹤誤差依次為8.6748、2.2916、1.7882，跟蹤耗時依次為5.0014s、6.0012s、8.6704s。可以看出，基于特征融合的改進粒子濾波跟蹤算法與基本的粒子濾波算法相比，盡管跟蹤的實時性有所降低，但在一定程度上提高了跟蹤的精度。

第2組實驗數據來源于OTCBVS Dataset 03中的第5組，序列圖像中存在相似背景干擾，圖5依次顯示了經典Meanshift、基本粒子濾波、基于特征融合粒子濾波3種算法的跟蹤效果。

圖3 相似目標干擾3種算法跟蹤效果對比

對比圖5中3種跟蹤算法實驗結果，經典的Meanshift跟蹤算法，從第57幀開始目標丟失，跟蹤窗口在圖中60幀和85幀所在的位置基本不動，經典的粒子濾波跟蹤算法從跟蹤初始時刻由于相似背景的干擾目標丟失，而基于特征融合的粒子濾波跟蹤算法不受相似背景的干擾，能實現穩健的目標跟蹤。圖6給出了經典Meanshift、粒子濾波、基于特征融合的粒子濾波3種算法90幀跟蹤誤差曲線，其平均跟蹤誤差依次為4.6351、57.2581、2.4134，3種算法跟蹤耗時依次為5.3814s、6.1751s、8.9910s。

第3組實驗數據來源于OTCBVS Dataset 03中的第6組，序列圖像中存在相似背景干擾，圖7給出了經典的Meanshift、經典的粒子濾波、基于特征融合的粒子濾波3種算法的跟蹤效果。

圖4 相似目標干擾3種算法跟蹤誤差曲線

圖5 相似背景干擾下3種算法跟蹤效果對比

圖6 相似背景干擾3種算法跟蹤誤差曲線

經典的Meanshift算法能跟蹤目標，但跟蹤質心波動較大，跟蹤精度較低；基本的粒子濾波算法初始跟蹤時丟失目標；基于特征融合的粒子濾波跟蹤算法能實現穩健的目標跟蹤。圖8給出了3種算法90幀跟蹤誤差曲線，其跟蹤平均誤差依次為3.0244、26.7416、2.0098，跟蹤耗時依次為4.6490s、5.1803s、7.7205s。

從上述3組實驗可以得出，基于特征融合的粒子濾波跟蹤算法能有效地處理復雜環境中相似目標、相似背景干擾等問題，與基本的粒子濾波算法相比，實時性稍微有所降低，但跟蹤的魯棒性和準確性有所改善，尤其是遇到相似干擾時，能實現穩健的目標跟蹤。

3 結論

就經典粒子濾波紅外目標跟蹤算法中，單一的灰度特征缺乏魯棒性引起跟蹤失效的問題，提出了一種基于特征融合的粒子濾波紅外目標跟蹤算法。結果表明，通過實驗從魯棒性、準確性和實時性3個方面比較了本文提出的算法和經典Meanshift、基本粒子濾波算法跟蹤性能的優劣，基于特征融合的粒子濾波紅外目標跟蹤算法能有效地在復雜環境中實現穩健的目標跟蹤。

圖7 相似背景干擾3種算法跟蹤效果對比

圖8 3種算法跟蹤誤差對比

[1] Yang H X, Shao L, Zheng F, et al. Recent advances and trends in visual tracking: A review[J]., 2011, 74(18): 3823-3831.

[2] He S F, Yang Q X, Lau R W H. Visual tracking via locality sensitive histograms[C]//, 2013: 2427-2434.

[3] Fan J L, Shen X H, Wu Y. Scribble tracker: A matting-based approach for robust tracking[J]., 2012, 34(8): 1633-1644.

[4] 朱金華. 基于信息融合的目標跟蹤算法研究[D]. 南京: 南京理工大學, 2013.

Zhu Jinhua. The study of target tracking algorithm based on information fusion[D]. Nanjing: Nanjing University of Science and Technology, 2013.

[5] 趙鵬, 浦昭邦, 張田文, 等. 一種新的紅外與可見光圖像融合與跟蹤方法[J]. 光電工程, 2005, 32(2): 37-40, 92.

Zhao Peng, Pu Zhaobang, Zhang Tianwen. Fusion and tracking for IR and viaible images[J]., 2005, 32(2): 37-40, 92.

[6] 陳少華. 基于紅外與可見光圖像融合的目標跟蹤[D]. 南京: 南京航空航天大學, 2012.

Chen Shaohua. Target tracking based on infrared and visible image fusion[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2012.

[7] Birchfield S T, Rangarajan S. Spatiograms versus histograms for region-based tracking[C]//, 2005, 2: 1158-1163.

[8] Zivkovic Z, Krose B. An EM-like algorithm for color-histogram-based object tracking[C]//, 2004, 1: 798-803

[9] Collins R T, Liu Y, Leordeanu M. Online selection of discriminative tracking features[J]., 2005, 27(10): 1631-43.

[10] 楊悅, 劉興淼, 郭啟旺, 等. 基于改進互信息的紅外目標匹配跟蹤算法[J]. 紅外技術, 2013, 35(6): 350-354.

Yang Yue, Liu Xingmiao, Guo Qiwang, et al. Infrared object matching tracking algorithm based on improved mutual information[J]., 2013, 35(6): 350-354.

[11] 高文, 朱明, 賀柏根, 等. 目標跟蹤技術綜述[J]. 中國光學, 2014, 7(3): 365-275.

Gao Wen, Zhu Ming, He Baigen, et al. Overview of target tracking technology[J]., 2014, 7(3): 365-275.

[12] Otsu N. A threshold selection method from gray-level histograms[J].,,, 1979, 9(1): 62-66

Particle Filter Infrared Target Tracking Algorithm Based on Feature Fusion

YANG Zhixiong，YU Chunchao，YAN Min，YUAN Xiaochun，ZENG Bangze，SU Yulu

（，650223，）

Steady target tracking in complex environment is applied widely in guidance, unmanned aerial vehicles detection, and warning, etc. To solve the single gray robustness failure in infrared target tracking, particle filter tracking algorithm based on feature fusion is proposed, and the result shows particle filter tracking algorithm based on feature fusion can handle tracking in complex scene well in robustness, accuracy and real-time performance.

feature fusion，particle filter，infrared target tracking

TP391

A

1001-8891(2016)03-0211-07

2015-04-23；

2015-06-11.

楊智雄（1987-），碩士研究生，工程師，主要從事光譜處理及圖像處理技術。

余春超（1977-），碩士，高級工程師，主要從事光譜技術及軟件設計。