基于粒子濾波后驗概率分布的多特征融合跟蹤*

顧 鑫,李 喆,王 華,張 堯,張 鳳,岑小鋒

(中國運載火箭技術研究院研究發展中心,北京 100076)

?

基于粒子濾波后驗概率分布的多特征融合跟蹤*

顧 鑫*,李 喆,王 華,張 堯,張 鳳,岑小鋒

(中國運載火箭技術研究院研究發展中心,北京 100076)

在光照和目標形變等外部條件變化的情況下,僅利用目標的單一特征難以魯棒的跟蹤目標。提出了一種基于粒子濾波后驗概率分布的多特征融合跟蹤算法,在粒子濾波跟蹤框架下,用直方圖模型表征目標的顏色和邊緣特征,通過兩種特征后驗概率之間的“協作”與“學習”實現特征融合,各種場景的試驗結果比較表明,新的融合跟蹤算法比僅用單一特征跟蹤、現有的多特征融合算法具有更好的穩定性和魯棒性,特別是針對環境光照和目標背景變化較大的情況更具有優勢。

目標跟蹤;粒子濾波;特征融合;后驗概率分布

目標跟蹤是眾多現代工程技術的一個重要組成部分,在很多領域都有應用,如:視頻監控、運動目標捕捉、飛行器自主導航等[1]。在實際跟蹤過程中,目標通常會面臨很多復雜的場景,如:遮擋、光照變化等,因此如何提高跟蹤魯棒性成為目標跟蹤的一個難點。

常用的跟蹤算法主要包括兩大類:基于特征匹配的跟蹤和基于動態模型的跟蹤,基于特征匹配的跟蹤通過目標的顯著特征及上一幀位置來定位目標,常用算法有:模板匹配、Mean-Shift等,該類算法在目標運動較快或分布復雜時魯棒性較差。基于動態模型的跟蹤算法通過引入動態模型,能夠較好的處理目標運動快的問題,其經典的算法是基于遞歸貝葉斯框架的卡爾曼濾波、粒子濾波等[2]。粒子濾波通過序列蒙特卡洛算法,能夠較好的處理非線性、非高斯問題,其核心是通過一組隨機樣本及其重要性權值離散表示所求解問題的后驗概率分布,并依據這些樣本及其重要性權值估計目標狀態的統計特征[3]。

跟蹤的一個關鍵是目標特征的選擇,很多跟蹤算法僅選取顏色[4]、邊緣[5]、紋理[6]、SIFT點[7]等單一特征作為目標描述子。在實際應用中,背景的變化難以預測,目標特征會隨時隨地變化,如顏色會隨環境光照、目標表面形變而變化;目標邊緣易受背景邊緣信息的影響,使用單一特征通常難以魯棒的跟蹤目標[8]。

為了提高跟蹤的魯棒性,研究人員提出了大量多特征融合算法[9-12],這些算法都是基于不同特征觀測似然概率的融合,文章[9]提出的乘性融合策略提高了概率密度的鑒別能力,但放大了系統的噪聲;文章[10]提出的加性融合策略抑制了噪聲的干擾,但并不能提高系統的鑒別能力。本文選擇顏色和邊緣作為特征描述子,在粒子濾波跟蹤框架下,通過不同特征后驗概率之間的相互“協作”、“學習”,融合不同特征對應后驗概率中的“優秀粒子”以提高跟蹤系統的鑒定能力,且不放大系統的噪聲。

1 粒子濾波

定義貝葉斯跟蹤中目標狀態如下:

xt=ft(xt-1,εt)

(1)

xt是目標在t時刻的狀態向量,目標的狀態遞歸估計如下:

zt=ht(xt,et)

(2)

zt是狀態xt的觀測值,假設過程噪聲εt和觀測噪聲et獨立同分布。

從貝葉斯估計角度說,跟蹤問題就是根據給定觀察序列遞歸估計目標狀態,構造目標狀態的后驗概率分布p(xt|z1:t)。粒子濾波是基于序列蒙特卡洛和遞歸貝葉斯的估計方法,它將貝葉斯估計中無法數值解的積分運算轉化為有限樣本點的求和[13],即后驗概率分布p(xt|z1:t)可近似表示為:

(3)

2 多特征融合

在粒子濾波算法中,后驗概率分布是用一系列加權的粒子來表征的[13]。在同一個候選區域,不同特征后驗概率分布是不一致的。基于粒子濾波后驗概率分布的多特征融合是將不同特征后驗概率分布中的粒子進行“協作”和“融合”,是一種決策級的融合。

(4)

(5)

圖1 基于后驗概率分布的多特征融合

(6)

(7)

(8)

其中,η是學習率,在實際應用中η取經驗值0.25。

3 特征提取及算法實現

在算法實現中用橢圓來描述目標的狀態x:

x={cx、cy、lx、lx、θ}

(9)

其中cx、cy、lx、lx、θ分別表示橢圓的中心坐標、長軸、短軸和偏轉角度。選取顏色和邊緣兩種特征來描述目標的特性。用顏色直方圖來表征顏色信息,Pérez給出了一種求解顏色直方圖的方法[4]:

(10)

其中I(x,y)是候選區域的像素點值,Bc表示顏色直方圖的長度,δ(·)是狄拉克函數。

用加權梯度方向直方圖(Histogram of Oriented Gradients)來表征目標的邊緣特征[7],首先計算目標區域內每個像素點的邊緣強度G和方向角φ:

(11)

φ(x,y)=arctan(Ix/Iy)

(12)

以橢圓的長軸和短軸為對稱軸,將其分為4個部分,對每個部分求出區域的方向直方圖,并將目標區域內每個點的邊緣強度信息融入其中求得梯度方向直方圖并做歸一化處理。

用Bhattacharyya距離來度量兩種特征與模板之間的相似概率[15],具體算法流程如下:

⑤求出對給定區域內特征1和特征2下粒子的位置方差σ1和σ2,計算兩特征不確定性β1、β2,并將兩者作歸一化處理;

⑩轉向步驟②。

4 實驗分析

為了驗證算法的有效性,分別將本文算法和單一顏色特征跟蹤、單一邊緣特征跟蹤進行比較,選擇顏色和邊緣兩種特征采用加性融合策略和乘性融合策略與本文算法進行對比。為了驗證算法的普適性,在數據源的選取上,本文選擇在兩段公共視頻集上進行驗證,兩段視頻分別為可見光數據源和紅外數據源,圖像的大小為320×240,粒子數目都選為100。本文所有算法均在Intel(R)Core(TM)i7 CPU 2.93 GHz,4 G內存的計算機上用MATLAB R2010a編程實現,在人工標定初始位置的前提下,分別進行各種算法的仿真。

實驗1是單一特征跟蹤與本文算法結果的對比。如圖2所示,試驗數據源是光學視頻序列,跟蹤對象是戶外的汽車,第1行為顏色特征跟蹤結果,第2行為邊緣特征跟蹤結果,第3行為本文算法跟蹤結果。該視頻序列跟蹤的難點是目標所處的背景中存在樹枝等較強邊緣信息的干擾,目標不斷的進出有樹蔭的陰影區,導致其顏色特征變化較大。當目標進入有樹蔭遮擋的陰影區時,其所處環境的光照發生較大變化,在第206幀顏色跟蹤的結果和目標實際所處的位置相差很大。當目標出陰影區后再次進入有樹蔭遮擋的區域時(346幀),顏色跟蹤完全失效。邊緣跟蹤過程中,由于背景中較強邊緣信息的干擾,導致邊緣跟蹤失效(第246幀)。該試驗結果表明,在復雜光照和背景情況下,單一特征對目標的跟蹤結果較差,本文的跟蹤算法在跟蹤過程中根據外部環境的變化,通過不同特征后驗概率中的粒子進行“學習”和“協作”實現對目標的全程跟蹤。

實驗2是不同融合策略結果的對比。如圖3所示,第1行是加性融合算法跟蹤的結果,第2行為乘性融合算法跟蹤的結果,第3行為本文算法跟蹤結果。該試驗視頻序列跟蹤的難點是目標在運動過程中受到路燈的部分遮擋,此外該視頻源是紅外數據,其噪聲大,在跟蹤過程中目標容易受到其所處背景的干擾。第1行是采用加性融合策略的跟蹤結果,在目標被路燈部分遮擋時(456幀),兩者的灰度信息和邊緣信息都比較相似,加性融合并不能提高系統的鑒別能力導致跟蹤失效。乘性融的結果放大了系統噪聲,在第456幀時對目標的位置估計已經有較大的偏差,但是仍然可以部分跟蹤到目標,在第486幀時乘性融合完全失效。本文算法在跟蹤過程中可通過對兩種特征對應的后驗概率分布進行融合,使顏色特征“學習”邊緣特征的“優秀”粒子,可以對目標全程穩定跟蹤。

表1給出了單一特征跟蹤、不同融合策略跟蹤與本文算法結果的對比。實驗1結果表明:由于存在交叉遮擋、背景邊緣等外界因素干擾,單一特征的跟蹤易失效,而本文算法可以通過融合不同特征的后驗概率分布,實現對目標的有效跟蹤。試驗2結果表明:加性融合并不能提高系統的鑒別能力,不能很好的處理目標被部分遮擋等問題,乘性融合會放大系統的噪聲易受背景中噪聲的影響,會對跟蹤的結果造成偏差,本文算法通過融合不同特征的后驗概率分布,在不提高系統噪聲的前提下,提高了鑒別能力,可以一直對目標穩定跟蹤。

表2給出了不同算法的跟蹤速度(幀/s),由試驗結果可知本文算法的復雜度比單一特征跟蹤的復雜度要高,與加性融合和乘性融合的計算復雜度基本一致。

圖2 實驗1跟蹤結果

圖3 實驗2跟蹤結果

表1 試驗結果對比

表2 5種算法的計算代價對比

5 結論

本文提出了一種基于粒子濾波后驗概率分布的多特征融合跟蹤,該算法通過對不同特征后驗概率的粒子進行相互“學習”融合不同特征對應后驗概率中的“優秀粒子”進而提高目標跟蹤的準確性,本文算法對部分遮擋、背景干擾、光照變化等復雜環境中目標的跟蹤均具有較好的魯棒性。此外,本文跟蹤算法亦可應用于其他跟蹤,如計算機視覺的其他領域,如融合識別、檢測等。

[1] 潘翔,童丸丸,姜哲圣. 用于UAV視覺導航的跑道檢測與跟蹤[J]. 傳感技術學報,2010,23(6):820-824.

[2]余振華,周乾偉,謝東峰,等. 車輛磁場跟蹤問題的幾種非線性濾波方案研究[J]. 傳感技術學報,2014,27(4):505-511.

[3]Crisan D,Doucet A. A Survey of Convergence Results on Particle Filtering Methods for Practitioners[J]. IEEE Transactions on Signal Processing,2002,50(3):736-746.

[4]Pérez P,Hue C,Vermaak J,et al. Color-Based Particle Filter[C]//Proceedings of the 7th European Conference on Computer Vision. 2002:661-675.

[5]Kim B G,Park D J. Unsupervised Video Object Segmentation and Tracking Based on New Edge Features[J]. Pattern Recognition Letters,2004,25(15):1731-1742.

[6]Bastos R,Dias J M S. Fully Automated Texture Tracking Based on Natural Features Extraction and Template Matching[C]//Proceedings of the ACM SIGCHI International Conference on Advances in Computer Entertainment Technology. New York,USA:ACM,2005:180-183.

[7]杜金輝,管業鵬,時勇杰,等. 基于快速SIFT匹配的行人信息檢測[J]. 電子器件,2012,35(5):601-605.

[8]Yilmaz A,Javed O,Shah M. Object Tracking:A Survey[J]. ACM Computing Surveys,2006,38(4):13-58.

[9]Li P H,Chaumette F. Image Cues Fusion for Object Tracking Based on Particle Filter[C]//Proceedings of the 3rd International Workshop on Articulated Motion and Deformable Objects. Palma de Mallorca,Spain:Springer,2004:99-107.

[10]王歡,王江濤,任明武,等. 一種魯棒的多特征融合目標跟蹤新算法[J]. 中國圖象圖形學報,2009,14(3):489-498.

[11]Perez P,Vermaak J,Blake A. Data Fusion for Visual Tracking with Particles[C]//Proceedings of the IEEE. 2004,92(3):495-513.

[12]Wang X,Tang Z M. Modied Particle Filter-Based Infrared Pedestrian Tracking[J]. Infrared Physics and Technology,2010,53(4):280-287.

[13]李紅春,趙曉光,譚民. 無線傳感器網絡中基于粒子濾波的人員跟蹤方法[J]. 傳感技術學報,2012,25(6):807-814.

[14]劉晴,唐林波,趙保軍,等. 基于自適應多特征融合的均值遷移紅外目標跟蹤[J]. 電子與信息學報,2012,34(5):1137-1141.

[15]鄭玉鳳,馬秀榮,趙曉琳,等. 基于顏色和邊緣特征的均值遷移目標跟蹤算法[J]. 光電子·激光,2011,22(8):1231-1235.

顧鑫(1986-),男,河南南陽人,碩士學位,工程師,2011年畢業于南京航空航天大學,主要研究方向為自動目標檢測、目標跟蹤,nync396@126.com;

李喆(1986-),男,山東菏澤人,碩士學位,工程師,2011年畢業于東南大學,主要研究方向為無線通信、傳感器信號處理、傳感器應用等,zheli@163.com。

FusingMultipleFeaturesforObjectTrackingBasedonthePosteriorProbabilitiesofParticleFilter*

GUXin*,LIZhe,WANGHua,ZHANGYao,ZHANGFeng,CENXiaofeng

(China Academy of Launch Vehicle Technology Research and Development Center,Beijing 100076,China)

The object tracking only using single feature is apt to make errors or lose the target if the illumination and size scale-change. This paper presents a novel adaptive tracking algorithm that fuses multiple features based on posterior probabilities of the particle filter. In this paper uses histogram to characterize color and edge in particle filter algorithms framework. The posterior probabilities of all features are different from each other,which further promotes the fault tolerance ability by cooperation and learning from each other. An extensive number of comparative experiments show that the proposed tracking algorithm is more stable and robust than the single feature and other feature fusion tracking algorithms especially in the case of the illumination and background-change.

object tracking;particle filter;multiple features fusion;the posterior probabilities

項目來源:國家自然科學基金項目(61305049,61370039)

2014-09-03修改日期:2014-11-04

TP391

:A

:1004-1699(2014)12-1676-05

10.3969/j.issn.1004-1699.2014.12.017