融合顏色與紋理特征的粒子濾波目標跟蹤*

楊陽，陳淑榮

（上海海事大學信息工程學院，上海201306）

融合顏色與紋理特征的粒子濾波目標跟蹤*

楊陽，陳淑榮

（上海海事大學信息工程學院，上海201306）

針對采用單一顏色特征的粒子濾波目標跟蹤算法在背景相似、光照變化復雜的場景下會導致跟蹤失敗的問題，提出一種基于LBP紋理和顏色特征融合的粒子濾波跟蹤目標算法。綜合加權顏色直方圖和LBP紋理直方圖進行目標特征描述，建立目標觀測模型；同時粒子濾波進行狀態預測，利用Bhattacharyya系數進行相似度測量，作為目標區域參考模型更新準則，實現權值更新；最后對權值歸一化處理，得到目標位置狀態的最終估計。實驗結果表明該算法不僅提高了跟蹤方法的魯棒性，而且在目標遮擋、光照變化等干擾下，具有較好的準確性。

目標跟蹤；粒子濾波；加權顏色直方圖、LBP紋理特征；Bhattacharyya系數

0 引言

目標跟蹤是計算機視覺領域的重要課題之一，廣泛應用于視頻監控、智能交通和軍事領域[1]。目標跟蹤的實質是對目標的運動狀態進行估計，而貝葉斯濾波是常用的運動狀態估計方法，包括卡爾曼濾波（Kalman Filtering）和粒子濾波（Particle Filtering）以及各種KF和PF的改進方法。卡爾曼濾波[2]是線性、高斯模型的最優解算法，且具有運算速度快的優點。實際中目標運動狀態往往是非線性、非高斯的，因此標準的卡爾曼濾波方法不再適用。針對非線性非高斯目標跟蹤，上世紀90年代中后期提出了粒子濾波[3-4]算法。粒子濾波利用蒙特卡洛方法實現對目標狀態的估計，基本思想是用一組帶有權值的隨機樣本（粒子），觀測粒子相似度（似然）來確定權值，并根據粒子和權值近似表示系統狀態的后驗概率密度。

跟蹤目標的特征選擇和建模方法對算法魯棒性、準確性都有著重要的影響。顏色直方圖是最常用的表達顏色特征模型的方法，其對非剛性目標的形變、遮擋、旋轉等具有良好的魯棒性[5]。但是對于復雜跟蹤場景（如光照變化、背景與目標顏色相似），依靠單一的顏色特征常會出現跟蹤不穩定甚至跟蹤失敗的現象。紋理特征描述了圖像或圖像區域所對應景物的表面性質。Ojala等[6]提出了局部二值模式（Local Binary Patterns，LBP）紋理算子描述分析紋理特征，對灰度圖像中局部鄰近區域的紋理信息進行度量和提取。LBP對灰度圖像進行操作，光照條件下魯棒性好，但具有受到目標形變影響的局限性。本文融合了顏色特征和LBP紋理特征，結合粒子濾波方法實現對動態目標的跟蹤。顏色特征對彩色圖像進行處理，具有遮擋、形變適應性；紋理特征對灰度圖像進行處理，具有光照不變性。兩種特征融合，具有一定的互補性。而且模型的更新機制能有效適應目標的遮擋、旋轉。實驗表明，本文方法能提高跟蹤的精度，而且有較強的魯棒性。

1 算法原理

融合顏色和紋理特征的粒子濾波算法的流程如圖1所示。主要步驟如下：首先讀取跟蹤視頻初始幀，手動選出跟蹤區域，初始化粒子，提取目標區域的顏色特征分布pcolor（x）和紋理特征分布pLBP（x），建立顏色和紋理直方圖；然后進行相似性測量，更新權值，對粒子顏色特征權值和紋理特征權值進行線性融合，再對融合后粒子權值進行歸一化處理，從而得到目標位置狀態的最終估計值；最后應用模型更新機制判斷是否需要進行模型更新。

圖1 算法流程框圖

1.1 加權顏色直方圖

顏色直方圖是一種常用的區域顏色建模方法，常用的顏色模型有RGB和HSV模型。為了減少顏色分量相關性，增強跟蹤方法對光照變化的適應性，采用了HSV顏色空間直方圖[7]。將H和S分量量化為Nh和Ns級，V分量量化為Nv級，并使Nv＜Nhs以降低光照影響，則直方圖量化級數M=Nh×Ns+Nv。考慮實時性和準確性要求，HSV顏色空間量化級數設為8×8+4。HSV顏色直方圖特征提取如圖2所示。

圖2HSV模型顏色直方圖特征提取

本文基于核函數方法建立顏色直方圖。核函數實際上是一種加權顏色分布表示，權值由核函數k決定。同一區域中，像素點對目標描述的重要性不同，跟蹤目標中心邊緣的像素點更容易受到非跟蹤目標的遮擋和相似背景干擾，賦予較小的權值，因此對顏色直方圖的建立幾乎不起作用。而越靠近中心的像素點賦予越大的權值。如公式（1）所示。

r表示粒子到區域中心的距離。設圖像由n個M級的像素組成，用pcolor（x）表示中心位置在x的目標區域的顏色概率分布：

1.2 LBP紋理直方圖

LBP是一種有效的紋理描述算子，能對灰度圖像中的局部鄰近區域的紋理信息進行有效度量和提取[8]。LBP將圖像的紋理分布理解為在灰度級上該區域內像素的聯合分布密度，記為：

其中，gc表示圖像區域中心點的像素灰度值，gi（i=0，…，p-1）為在gc周圍的P個半徑為R的圓周上等距離分布的像素點的灰度值。P為像素點周圍鄰近點的個數，R是鄰近點距離中心像素點的距離。

在不損失紋理特征的情況下，將每個像素點減去gc，使得周圍像素點的灰度值趨于均勻，如式（5）所示。

假設給定中心點為（xc，yc）的圖像為F（x，y），LBP算子編碼如公式（7）所示：

圖像內3×3鄰域，LBP紋理算子模板及編碼計算過程如圖3所示。

圖3LBP算子計算過程

經過LBP算子處理后圖像記為FLBP（x，y），其紋理直方圖表示為：

上式中，δ為狄克拉函數，用于判斷坐標點為（xi，yi）的像素屬于特征空間的第u個子空間，b（xi，yi）表示坐標點對應的像素特征值，S為歸一化系數，使得

1.3 融合顏色、紋理特征的粒子濾波

粒子濾波是一種基于遞推貝葉斯理論和蒙特卡羅模擬的濾波方法，適用于現實情況下非高斯、非線性場景的估計問題。貝葉斯遞推處理過程分為狀態預測和狀態更新2個階段。

預測階段：利用系統模型預測狀態的先驗概率密度p（xk|z1：k-1）。

更新階段：完成從先驗概率密度p（xk|z1：k-1）到后驗概率密度p（xk|z1：k）的推導。

考慮到貝葉斯濾波架構中，后驗概率密度p（xk|z1：k）無法直接得到，需要進行積分復雜運算。粒子濾波利用蒙特卡洛方法，通過目標概率分布的采樣樣本來估計系統隨機變量的后驗概率分布（PDF）。根據大數定律，當樣本數量N足夠大時，這種估計將無限接近于后驗概率密度。

本文先對目標區域的顏色和紋理特征進行提取，通過公式（2）和（8）獲取該區域顏色直方圖pcolor（x）和紋理直方圖pLBP（x）。然后引入Bhattacharyya[8]系數分別計算出候選區域目標直方圖與目標區域直方圖相似度，得到顏色和紋理直方圖的Bhattacharyya距離dcolor和dLBP。候選區域直方圖模型q（x）和目標區域直方圖模型p（x）之間的Bhattacharyya距離計算如下：

根據相似度距離得到粒子觀測值p（z|xki）：

根據公式（12）更新權值，實現粒子更新。最后利用權值融合公式（15），實現顏色、紋理特征線性融合。

上式中，α+β=1，且α、β的值隨著跟蹤視頻中場景復雜程度而改變。當跟蹤場景中光線變化為主要影響因素時，將β值調高，設β值大于0.5；當跟蹤場景中目標形變、遮擋為主要影響因素時，設α值大于0.5。

1.4 目標模型更新

現實中跟蹤目標不可避免地會遇到部分甚至完全遮擋等復雜場景。粒子濾波跟蹤算法缺乏目標模型自適應更新機制，導致在跟蹤目標發生較大遮擋的情況下，目標顏色直方圖模型不能滿足準確跟蹤的需要。本文采用的目標模型更新機制通過巴氏距離的計算，自適應地更改模板，從而提高跟蹤的準確性和魯棒性。更新模板公式為：

上式中，πE[xt]是平均狀態的觀測概率，πT表示閾值[9-10]，λ表示狀態直方圖pE[St]對目標模型qt-1的權重。這里閾值πT和參數λ設置為固定值，依據經驗設置為πT=0.3，λ=0.5。

圖4驗證了目標模型更新機制提高了跟蹤的準確性。在第1 650幀跟蹤目標沒有遮擋時，兩幅圖中均具有良好的跟蹤效果。在第1 699幀跟蹤球員被明顯遮擋時，圖（b）模型更新機制根據候選模型和參考模型相似度距離，判斷出目標受到劇烈干擾，因此模型更新，避免適應到錯誤背景。在第1 723幀依然能夠穩定跟蹤到目標球員。圖（a）模型沒有更新，在第1699幀依然適應到前一時刻跟蹤模型，因此錯誤地跟蹤到了具有相似背景的己方球員，在第1 723幀時刻，雖然遮擋基本消除，跟蹤效果卻不理想。

圖4 目標模型更新機制

2 本文算法描述

融合顏色與紋理特征的粒子濾波目標跟蹤算法的具體步驟如下：

（1）粒子初始化。跟蹤視頻第一幀圖像，手動選取跟蹤區域，根據公式（2）和（8）提取目標顏色特征分布概率pcolor和紋理特征分布概率pLBP。假設有N個粒子，目標區域中心位置賦予權值W0=1/N，其中N=100。

（2）狀態更新。讀入下一幀圖像，根據系統動態模型Xk=BXk-1+Vk-1得到新的粒子樣本

（3）觀測更新。計算預測粒子的顏色特征和紋理特征并根據顏色公式（13）計算候選模型與目標參考模型的相似度，得到顏色直方圖Bhattacharyya距離dcolor和紋理直方圖Bhattacharyya距離dLBP。根據相似度距離，得到粒子觀測值p（z|xk），利用公式（12）更新粒子權值，分別得到權值。公式（15）實現了顏色和紋理特征的線性融合。最后通過公式（17）進行粒子權值歸一化。

（4）目標狀態估計值。通過公式（17）計算出每個粒子的歸一化權值，采用加權準則確定目標的最終位置，即

（5）目標模型更新機制。根據公式（16）判斷目標模型是否需要更新。

（6）粒子重采樣。依據權值，復制權值高的粒子，摒棄權值低的粒子，得到N個新的粒子，設置權重為1/N。

（7）設置k=k+1，轉到（2），直至跟蹤視頻結束。

3 實驗結果與分析

本實驗環境為Intel i3 CPU、內存2 GB的PC機，仿真軟件為MATLAB R2010。結合基于顏色直方圖的粒子濾波算法和本文應用的融合顏色和紋理特征的粒子濾波算法進行比較。

圖5顯示，在視頻第385幀、398幀和410幀跟蹤場景光照條件較差、跟蹤目標與背景顏色分布非常相似，且存在目標的部分遮擋。實驗結果表明，圖5（a）算法在目標和背景顏色相似度非常高、光照條件復雜的情況下，跟蹤效果不理想，甚至跟蹤失敗。圖5（b）是本文融合顏色、紋理特征算法的跟蹤結果，不僅具有顏色直方圖對目標旋轉、部分遮擋適應性的優點，同時具有紋理特征光照不變性的優點。對比圖可以明顯看出，本文跟蹤方法具有更好的準確性和魯棒性。

圖5 兩種算法的目標跟蹤效果對比圖

4 總結

本文采用了一種融合顏色和紋理特征的粒子濾波跟蹤方法，對目標顏色、紋理特征進行線性融合。不僅具有適應目標部分遮擋、形變的特性，而且具有光照適應性好的優勢。同時通過目標模型更新機制，根據模型的相似度來判斷是否滿足更新條件，提高了跟蹤魯棒性和準確性。

[1]MAGGIO E，CAVALLARO A.Video tracking：theory and practice[M].John Wiley and Sons，2011.

[2]KALMAN R E.A new approach to linear filtering and prediction problems[J].Transactions of the ASME-Journal of Basic Engineering，1960，82（Series D）：35-45.

[3]FEARNHEAD P.Sequential monte carlo methods in filter theory[R].Oxford：Merton College，1998.

[4]胡士強，敬忠良.粒子濾波算法綜述[J].控制與決策，2005（4）：361-365.

[5]曾偉，朱桂斌，陳杰，等.多特征融合的魯棒粒子濾波跟蹤算法[J].計算機應用，2010（3）：643-645.

[6]OJALA T，PIETIKINEN M.Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transaction on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

[7]BIRCHFIELD S T，RANGARAJAN S.Spatigrams versus histograms for region-based tracking[C].IEEE CVPR，San Diego，CA USA，2005：1158-1163.

[8]SMEATON A F，O′CONNOR N E.An improved spatiogram similarity measure for robust object localization[C]. Proceeding of ICASSP，Honolulu，2007：1067-1072.

[9]NUMMIARO K，KOLLER-MEIER E，GOOL L V.Object tracking with an adaptive color-based particle filter[C].In symposium for Pattern Recognition of the DAGM，2002：353-360.

[10]NUMMIARO K，KOLLER-MEIER E，GOOL L V.An adaptive color-based particle filter[J].Image and Vision Computing，2003，21（11）：99-110.

Object tracking based on combined feature of color and texture with the particle filter

Yang Yang，Chen Shurong
（Information Engineering College，Shanghai Maritime University，Shanghai 201306，China）

In some complex scene such as similar color distribution backgrounds and frequently light changing，color-based particle filter algorithm may easily cause the unstable tracking or even lost the target.To solve the problem，a combined feature of color and LBP texture based object tracking with the particle filter algorithm is proposed.Firstly，color and LBP texture histograms are used to describe the feature to build objective observation model.Secondly，the particle filter system goes the state prediction. We apply the Bhattacharyya coefficients to compute the similarity between the reference location distribution and the candidate location distribution.We get the Bhattacharyya distance to update the weights and judge whether the model should be update or not. Finally，we normalize the weights and get the final estimate of the state of the object location.Experimental results show that the proposed method is not only robust but also accurate in object occlusion and light changing environment.

object tracking；particle filter；color histogram；LBP texture；Bhattacharyya coefficients

TP391.4

A

1674-7720（2015）11-0047-04

2015-01-14）

楊陽（1990-），男，碩士研究生，主要研究方向：圖像處理與模式識別。

國家自然科學基金（61404083）

陳淑榮（1972-），女，副教授，主要研究方向：視頻分析與處理、現代通信網絡及控制技術。