基于模糊測度的多特征融合魯棒粒子濾波跟蹤

郝 帥，程詠梅，馬 旭，趙建濤，劉虎成

（1.西安科技大學電氣與控制工程學院，陜西西安710054；2.西北工業大學自動化學院，陜西西安710072）

基于模糊測度的多特征融合魯棒粒子濾波跟蹤

郝 帥1，程詠梅2，馬 旭2，趙建濤2，劉虎成2

（1.西安科技大學電氣與控制工程學院，陜西西安710054；2.西北工業大學自動化學院，陜西西安710072）

針對基于單一顏色特征的粒子濾波跟蹤算法易受光照變化、部分遮擋及相似干擾物的影響，而利用多特征融合的粒子濾波方法存在各特征權值、跟蹤模板及窗口大小自適應選取問題，提出了一種基于模糊測度的多特征融合魯棒粒子濾波跟蹤算法。采用顏色及邊緣方向直方圖來描述目標量測模型，通過分別計算這兩類特征在候選目標與參考目標之間的Bhattacharyya距離來確定其各自特征的模糊測度，通過查取模糊規則表來自適應地確定兩類特征的權重；將連續幀的多特征聯合模板更新機制用于對初始目標模板的更新；針對目標發生尺度變化造成跟蹤窗口難以自適應的問題，通過引入粒子離散度實現了跟蹤窗尺寸的自適應調整。實驗結果表明：所提出的跟蹤算法位置平均誤差小于8個像素，相比于傳統方法可以有效克服光照、部分遮擋以及相似目標干擾等影響，具有較高的跟蹤精度及較強的魯棒性。

粒子濾波；模糊測度；多特征融合；粒子離散度；目標跟蹤

0 引 言

目標跟蹤是計算機視覺領域中一個研究熱點，在視頻監控、軍事偵察以及無人機視覺著陸／著艦相對導航［15］等領域有著廣泛的應用。在目標跟蹤領域中，粒子濾波跟蹤算法以其處理非線性、非高斯問題能力受到研究人員的重視。文獻［6］首先提出了基于顏色特征的粒子濾波跟蹤算法，并驗證了算法的有效性。文獻［7］和文獻［8］都采用顏色特征進行粒子濾波跟蹤，通過實驗驗證了算法對目標平移、旋轉、尺度變化具有不變性，且對部分遮擋也具有較好的魯棒性。然而采用單一的顏色特征進行目標跟蹤其魯棒性不高，當目標和背景顏色相似或是光照不穩定的時候，往往導致跟蹤精度下降甚至跟蹤失敗［9］。而利用多個特征在不同條件下的互補性可以實現魯棒跟蹤，因此很多研究人員采用多特征融合的方式進行目標跟蹤，以增強跟蹤的魯棒性。文獻［10］將顏色特征和紋理特征進行融合，并在壓縮感知理論框架下實現目標的跟蹤。文獻［11］利用一種改進的粒子濾波算法進行目標跟蹤，目標特征采用顏色和邊緣方向進行融合。文獻［12］在mean shift框架下將顏色特征和紋理特征進行融合跟蹤。他們的實驗都證明了多特征跟蹤相比于單一特征跟蹤的優勢。然而上述方法在進行特征融合時主要是通過調整各個特征的權系數來實現的，但是這些系數一般取為固定的經驗值。由于跟蹤過程中目標周圍環境的變化，導致各種特征在不同時刻、不同地點的可靠程度是不同的，因此如果能根據各特征的可靠程度自適應的調整權值，跟蹤算法的魯棒性及精度將會進一步提高。此外，由于目標尺寸及環境的變化，使得初始目標模板難以準確描述當前目標而且初始的跟蹤窗口也難以自適應目標尺寸的變化，從而使得跟蹤精度變差，魯棒性變弱。

針對上述問題，本文提出一種基于模糊測度的多特征融合粒子濾波跟蹤算法，原理圖如圖1所示，其中虛線框為本文重點解決的問題。本文選取目標的顏色特征和邊緣方向直方圖對目標進行描述。首先分別計算參考目標中這兩類特征與候選目標特征之間的Bhattacharyya距離來確定其各自特征的模糊測度，并利用構造的隸屬度函數進行模糊融合從而自適應的確定兩類特征的權重。然后提出了基于連續幀的多特征聯合模板更新策略并引入粒子離散度來解決初始目標模板更新及跟蹤窗尺寸自適應的問題。最后通過實驗驗證了本文算法在各種環境下的跟蹤精度及魯棒性。

圖1 跟蹤算法流程圖

1 粒子濾波跟蹤算法

假設動態時變系統的狀態向量為Xk，觀測向量為Zk，狀態轉移模型和觀測模型如下：

式中，F為系統的狀態轉移模型；Vk為系統的噪聲；H表示觀測模型；Wk表示觀測噪聲。

式中，δ（·）為Dirac delta函數。然后將先驗轉移概率作為重要性采樣函數進行采樣［13］，則可得到粒子在k時刻的更新權值公式為

歸一化權值為

k時刻的系統狀態估計可以表示如下：

2 基于模糊測度的多特征融合

圖像中目標跟蹤的實質就是從視頻序列搜索感興趣的目標。而目標通常可以用一些狀態變量來描述，如目標的位置、速度、尺度、角度及形狀等。因此，圖像中對目標的跟蹤也可以等效為估計目標狀態變量的問題，也就是一個濾波問題。

2.1 系統動態模型的選取

系統的動態模型是描述目標狀態隨時間的轉移過程。在粒子濾波跟蹤問題中，目標的狀態就是粒子，系統的動態模型也就是粒子的傳播過程。考慮到相鄰幀間目標機動性較小，所以本文采用勻速模型來描述狀態方程，如式（6）所示：

2.2 多特征融合的概率觀測模型

觀測模型主要是對粒子的狀態量進行觀測，計算每個粒子代表目標的可能狀態與目標真實狀態之間的相似程度，并且使與真實目標相似性大的粒子獲得較大的權重，而與目標相似性小的粒子獲得較小的權重。由于顏色直方圖特征具有尺度不變性、旋轉不變性而且抗部分遮擋，但是易受光照變化影響；而邊緣方向直方圖具有較好的抗光照特性，與顏色直方圖特征具有較好的互補性。因此，本文將這兩種特征進行融合來構造概率觀測模型。

2.2.1 基于顏色直方圖特征的概率觀測模型

本文將紅綠藍（red green blue，RGB）顏色空間的R、G和B子空間分別分成8個相等的空間，構成8×8×8的特征空間，其中特征值的個數為83＝512。考慮到像素點距離所跟蹤目標中心的遠近不同，其可靠程度也不同，因為離目標中心遠的像素更有可能是背景像素或是被其他物體遮擋所以應該賦以小權值，故構造帶有核函數加權顏色直方圖特征qc＝｛｝u＝1，2，…，512來描述目標：

式中，Y為區域中心點狀態，通過Bhattacharyya系數來描述候選目標模型與目標模型之間的相似度：

進一步可得Bhattacharyya距離為

從而可以計算出顏色直方圖特征的概率密度函數為

2.2.2 基于邊緣方向直方圖特征的概率觀測模型

為了計算邊緣方向直方圖，首先需要統計目標區域的梯度幅值Mag（x，y）和方向θ（x，y）。利用Sobel算子計算像素在x和y方向上的梯度值：

式中，I（x，y）表示圖像函數；Sobelx和Sobely分別為水平和垂直方向上的Sobel算子。則梯度幅值g（x，y）和梯度方向θ（x，y）表示如下［14］：

進一步可得Bhattacharyya距離為

但是邊緣方向直方圖特征不具備旋轉不變性，當目標發生旋轉時用該特征對目標進行跟蹤可能會產生較大的誤差。本文通過尋找邊緣直方圖相鄰量化區間相似度的最小值來解決邊緣方向直方圖不具備旋轉不變性這個問題。首先假設目標在相鄰幀間的形變不會太大，認為相鄰幀之間的形變不超過45°，則邊緣方向直方圖de（qe，）可以表述為

式中，n＝－1，0，1。當n＝－1時，表示候選區域邊緣直方圖向左循環移位45°；當n＝0時，表示當前候選區域邊緣直方圖；當n＝1時，表示候選區域邊緣直方圖向右循環移位45°。從而可以計算出邊緣方向直方圖特征的概率密度函數為

2.3 基于模糊測度的多特融合觀測模型

當得到兩個特征的觀測概率密度后，將兩個特征進行融合有

為了增強目標跟蹤的魯棒性及提高跟蹤精度，本文利用模糊原理自適應分配α和β值的大小，步驟如下。

步驟1根據dc（qc，）（簡記為dc）和de（qeoh，）（簡記為de）構造模糊測度函數分別記為Fcol和FEOH，這兩個函數用來表征各特征跟蹤時的可靠程度。按照模糊邏輯規則對于可靠程度大的特征應該賦予較大的權值，可靠度小的賦予較小的權值，所以本文設計出模糊測度函數如式（23）和式（24）所示：

步驟2根據模糊測度函數制定權值系數規則表，如表1所示。在得到α權值系數后，通過式（14）就可以得到β。

表1 權值系數α的模糊控制規則表

2.4 自適應目標模板更新機制

在進行目標跟蹤時，由于目標受光照、遮擋等因素的影響，其自身也會發生變化，造成從初始幀中選擇的目標特征難以適應環境變化。因此，引入目標模板更新機制是非常必要的。模型更新可以采用如下形式：

式中，qt為第t幀目標顏色／邊緣方向特征的直方圖；pt為第t幀目標跟蹤結果計算出的特征直方圖；η為更新系數。

基于連續幀的多特征聯合模板更新機制原理如下：設目標第t幀的顏色和便邊緣方向直方圖分別為和，目標跟蹤結果直方圖分別記為和。在計算出各特征的模糊測度函數值后，比較這兩個值的大小，只有當其中一個測度函數值大于另一個特征的模糊測度函數值且大于固定閾值K（本文取為0.6）時，才對較小相似度的特征模板進行更新。此外，為了消除目標特征瞬間跳變造成的影響，只有當連續3幀圖像都滿足上述條件時才對相似度較小的目標進行更新。給出算法實現的偽代碼如下：

然而當顏色特征和邊緣方向特征的模糊測度函數值都小于0.4時，說明用兩個特征描述目標的相似度都較低，目標很有可能被遮擋。在這種情況下，文本主要通過增大系統的噪聲方差來增加搜索范圍。

2.5 基于粒子離散度的自適應跟蹤窗口

為了實現跟蹤窗口的自適應調整，本文通過粒子離散度（記為D）進行描述，它定義如下：

式中，N為粒子個數；（xi，yi）為第i個粒子的橫、縱坐標；（x，y）為目標中心的橫、縱坐標。考慮到權值小的粒子對粒子離散度確定貢獻度也較小，所以本文將粒子按權值大小排列后，只選其中的前95%×N個粒子進行粒子離散度的計算。通過求取前后兩幀的粒子離散度就可以建立窗口自適應調整模型：

式中，H和W為跟蹤窗的高度和寬度；k表示第k幀圖像。

3 算法流程

基于模糊測度的多特征融合跟蹤算法步驟如下。

步驟3權值更新。根據式（13）分別求取顏色特征觀測概率密度pc（Zk｜）和邊緣直方圖特征觀測概率密度pe（Zk｜），并由式（12）和式（21）分別求取兩種特征各自的模糊測度。然后根據表1的模糊控制規則表求取各個特征的權值系數，代入式（22）求得每個粒子的權值。

步驟5根據式（26）求取更新系數后，按照式（5）進行目標模板的跟新。

步驟7根據式（27）和式（28）求出跟蹤窗口的尺寸，進行輸出顯示。

步驟8轉入步驟2中執行。

4 實驗結果及分析

實驗是在聯想筆記本電腦（型號為T410）上用MATLAB2011實現的。為了驗證本文算法（記為FCEPF）的有效性，選取了有相似目標干擾、遮擋以及有光照和尺度影響的3段視頻進行實驗，并與基于顏色的粒子濾波跟蹤方法（記為CPF）以及融合了顏色和邊緣特征（其中特征權值系數固定）的粒子濾波跟蹤方法（記為CEPF）進行比較。

（1）存在干擾物的實驗

用CMU標準數據庫中航拍小汽車的視頻，截取其中一段長度為301幀的視頻進行測試。實驗中在第105幀的時候，從圖2中可以看出所用的3種跟蹤方法都能較好的跟蹤目標。但是在第108幀的時候由于出現顏色相近的干擾目標，導致CPF方法目標跟蹤錯誤，而CEPF和FCEPF方法依然能夠對合作目標進行準確跟蹤。在第275幀，由于CPF已經跟蹤了錯誤的目標，所以該方法離真實目標位置越來越遠，而FCEPF相比于CEPF方法跟蹤精度較高，如圖2所示。

圖2 汽車視頻跟蹤結果

3種方法的跟蹤誤差用跟蹤目標的中心坐標與實際目標位置的歐式距離來描述，其跟蹤誤差結果如圖3所示。

（2）遮擋實驗

采用CMU標準數據庫中小汽車被樹遮擋的視頻，截取其中一段長度為第105幀的視頻進行測試。第43幀和第59幀分別為目標半遮擋和全遮擋情況，當目標被遮擋時FECPF算法計算出兩個特征描述目標的相似度都較低，因此將系統噪聲加大從而擴大粒子的搜索范圍，并通過粒子離散度的計算擴大了跟蹤窗，所以相比于其他兩種跟蹤方法其跟蹤精度較高。而在第96幀目標未被遮擋情況，3種方法都能較好的跟蹤目標，結果如圖4所示。

圖3 汽車視頻跟蹤誤差曲線

圖4 遮擋實驗跟蹤結果

3種方法的跟蹤誤差結果如圖5所示。

圖5 遮擋實驗跟蹤誤差曲線

（3）尺度＋光照實驗

利用機載相機拍攝了一段無人機跟蹤航母上合作目標的視頻，合作目標大小為5.5 cm×5.5 cm，并將其置于航母模型上，其合作目標的具體設計過程可參考文獻［15］，最后選取其中80幀進行實驗。實驗是在光照條件下進行的，可以看出紅色的合作目標由于受太陽光照影響亮度較高，而且為了模擬飛機著艦，實驗是一個由遠及近的過程，合作目標存在尺度的變化。從圖6的第2幀可以看出，起始時刻3種方法都能較好的跟蹤艦上合作目標，第30幀時可以看出由于受光照影響CPF的跟蹤誤差大于其他兩種方法。第65幀時由于目標有明顯的尺度變化，CPF法的跟蹤誤差增大，ECPF法也同樣具有一定的誤差而且跟蹤窗不能自適應調整。本文提出FECPF跟蹤方法則具有較高的精度，而且能夠實現跟蹤窗口的自適應調整，較為準確的跟蹤合作目標。

圖6 合作目標跟蹤結果

3種方法的跟蹤誤差結果如圖7所示。

圖7 合作目標跟蹤誤差曲線

3種算法的位置平均誤差結果如表2所示。

表2 跟蹤精度 像素

從以上3個實驗的跟蹤結果及跟蹤精度表的分析可知，本文提出的FECPF方法不僅可以抗遮擋、相似物干擾以及抗光照、尺度的影響，而且相比于CPF法和CEPF法具有較高的精度及較強的魯棒性，誤差不超過8個像素。

5 結 論

本文針對基于單一顏色特征的粒子濾波跟蹤算法易受光照變化、部分遮擋及相似干擾物的影響，而利用多特征融合的粒子濾波方法存在各特征權值、跟蹤模板及窗口大小自適應選取問題，提出了一種基于模糊測度的多特征融合魯棒粒子濾波跟蹤算法。通過構造的隸屬度函數來確定顏色特征和邊緣方向特征各自的模糊測度值，從而自適應地確定這兩類特征的權重進行特征融合。并在此基礎上提出了基于連續幀的多特征聯合模板更新機制來解決傳統模板更新魯棒性弱的問題。最后通過引入粒子離散度來實現跟蹤窗尺寸的自適應調整。實驗結果表明本文所提出的方法可以有效解決光照及復雜環境下目標跟蹤問題，3組實驗位置平均誤差小于8個像素，具有較高的跟蹤精度和較強的魯棒性。如何進一步提高跟蹤算法的實時性將是本文后續研究的重點。

［1］He S F，Yang Q X，Lau R W H，et al.Visual tracking via locality sensitive histograms［C］∥Proc.of the IEEE International Conference on Computer Vision and Pattern Recognition，2013：2427- 2434.

［2］Coutard L，Chaumette F.Visual detection and 3D model-based tracking for landing on an aircraft carrier［C］∥Proc.of the IEEE International Conference on Robotics and Automation，2011：1746- 1751.

［3］Cheng J，Zhou Y，Cai N，et al.Infrared object tracking based on paricle filters［J］.Journal of Infrared and Millimeter Waves，2006，25（2）：113- 117（程建，周越，蔡念，等.基于粒子濾波的紅外目標跟蹤［J］.紅外與毫米波學報，2006，25（2）：113- 117.）

［4］Arora S，Jain S，Scherer S，et al.Infrastructure-free shipdeck tracking for autonomous landing［C］∥Proc.of the IEEE International Conference on Robotics and Automation，2013：323- 330.

［5］Li S J，Xiao L P，Gao L.Detection and tracking of moving targets in photoelectric imaging guidance［J］.Systems Engineering and Electronics，2014，36（1）：23- 30（李少軍，肖利平，高磊.光電成像制導中地面運動目標檢測與跟蹤［J］.系統工程與電子技術，2014，36（1）：23- 30.）

［6］Katja N，Esther K M，Luc V G.An adaptive color-based filter［J］.Image Vision Computing，2003，21（1）：99- 110.

［7］Han Z Y，Xu T R，Chen Z H.An improved color-based tracking by particle filter［C］∥Proc.of the International Conference on Transportation，Mechanical，and Electrical Engineering，2011：2512- 2515.

［8］Satoshi H，Nozomu H.A model update scheme of color-based particle filter for multi-color object tracking［C］∥Proc.of theIEEE International Symposium on Intelligent Signal Processing and Communication Systems，2012：102- 107.

［9］Li Y Z，Lu Z Y，Gao Q X，et al.Particle filter and mean shift tracking method based on multi-feature fusion［J］.Journal of Electronics&Information Technology，2010，32（2）：411- 415.（李遠征，盧朝陽，高全學，等.基于多特征融合的均值遷移粒子濾波跟蹤算法［J］.電子與信息學報，2010，32（2）：411- 415.）

［10］Zhu Q P，Yan J，Zhang H，et al.Real-time tracking using multiple features based on compressive sensing［J］.Optics and Precision Engineering，2013，21（2）：437- 443.（朱秋平，顏佳，張虎，等.基于壓縮感知的多特征實時跟蹤［J］.光學精密工程，2013，21（2）：437- 443.）

［11］Jin L J，Cheng J，Huang H.Human tracking in the complicated background by particle filter using color-histogram and hog［C］∥Proc.of the International Symposium on Intelligent Signal Processing and Communication Systems，2010：1- 4.

［12］Ning J F，Zhang L，Zhang D，et al.Robust object tracking using joint color-texture histogram［J］.International Journal of Pattern Recognition and Artificial Intelligence，2009，23（7）：1245- 1263.

［13］Arulampalam M S，Maskell S，Gordon N，et al.A tutorial on particle filters for online nonlinear／non-Gaussian Bayesian tracking［J］.IEEE Trans.on Signal Processing，2002，50（2）：174- 188.

［14］Zuo J Y，Zhao C H，Cheng Y M，et al.Particle filter based on visual tracking using new observation model［C］∥Proc.of the IEEE International Conference on Automation and Logistics，2007：436- 440.

［15］Hao S，Cheng Y M，Ma X，et al.Robust corner precise detection algorithm for visual landing navigation of UAV［J］.Systems Engineering and Electronics，2013，35（6）：61- 66.（郝帥，程詠梅，馬旭，等.無人機視覺著艦導航魯棒角點精確檢測算法［J］.系統工程與電子技術，2013，35（6）：61- 66.）

馬 旭（198-5 -），女，博士研究生，主要研究方向為視覺導航、模式識別和圖像處理。

E-mail：maxu.fish＠yahoo.com.cn

趙建濤（199-0 -），男，碩士研究生，主要研究方向為視覺導航、模式識別和圖像處理。

E-mail：haoxust＠163.com

劉虎成（199-0 -），男，碩士研究生，主要研究方向為視覺導航、飛行仿真。

E-mail：huchengliu＠163.com

Multi-feature fusion robust particle filter tracking based on fuzzy measure

HAO Shuai1，CHENG Yong-mei2，MA Xu2，ZHAO Jian-tao2，LIU Hu-cheng2
（1.School of Electrical and Control Engineering，Xi’an University of Science and Technology，Xi’an 710054，China；2.College of Automation，Northwestern Polytechnical University，Xi’an 710072，China）

In order to overcome the problem that particle filter tracking based on the single color feature is susceptible to illumination changes，partial occlusion and the interference of the similar，and the feature weight，tracking template and tracking window size are difficult to adaptive when the particle filter tracking method based on multi-feature fusion is used，a multi-feature fusion particle filter tracking based on the fuzzy measure is presented.A color histogram and a edge orient histogram are used to describe the target measure model，and Bhattacharyya distance of these two features between the candidate and reference targets is used to determine their separate fuzzy measures.Then，the weights of these two features are adaptively determined by referring to the fuzzy rule table.Besides，a combined template update mechanism of multi-feature based on successive frames is adopted to update the initial target template.Finally，particle dispersion is introduced to solve the problem that the tracking window cannot adapt to changes of the tracking target scale.Experimental results indicate that the average error of the proposed tracking algorithm is less than 8 pixel errors.Compared with the traditional tracking algorithm，the proposed algorithm can effectively solve the problem of illumination changes，partial occlusion and the interference of the similar，and it can satisfy the system requirements of higher precision and strong robustness.

particle filter；fuzzy measure；multi-feature fusion；particle dispersion；target tracking

TP 391

A

10.3969／j.issn.1001-506X.2015.11.04

郝 帥（1986- ），男，講師，博士，主要研究方向為視覺導航、模式識別和圖像處理。

E-mail：hsh000＠163.com

程詠梅（1960 -），女，教授，博士，主要研究方向為信息融合、目標跟蹤、視覺導航。

E-mail：chengym＠nwpu.edu.cn

1001-506X（2015）11-2447-07

2014- 10- 23；

2015- 04- 10；網絡優先出版日期：2015- 05- 13。

網絡優先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150513.1112.003.html

西安市科技計劃（CXY1436（9））；西安科技大學博士啟動金（2015QDJ007）；西安科技大學培育基金（2014015）資助課題