基于全局局部一致性的多特征融合目標跟蹤

徐 艷,王培光,楊 寧

(1.河北大學，河北 保定 071002；2.陸軍工程大學石家莊校區，石家莊 050003；3.80集團軍防空80旅，濟南 250300)

在實際的運動目標跟蹤過程中，目標位置和姿態的變換、目標尺度的變化、場景中光線變化、目標的快速運動、物體遮擋等，都會對目標跟蹤的魯棒性產生很大影響[1]。生成式目標跟蹤方法通過對目標建立外觀模型來預測目標的位置，在當前的硬件條件下更適用于在線目標跟蹤。Kalman濾波方法對目標模型和噪聲特性要求較高[2-3]，粒子濾波(PF)[4-5]和均值漂移[6-8]能夠有效應用于非線性、非高斯的運動系統，具有較好跟蹤效果。粒子濾波在傳統算法的基礎上衍生了多區域采樣[9]、改進的重要性函數、自適應重采樣算法[10]等新方法，但是當場景中有多個相似目標或目標與背景相似時，隨機采樣的誤差累積會導致濾波器發散，進而造成濾波結果錯誤。Meanshift算法計算速度快，Vojir等[11]提出的RSAM(RobustScale-AdaptiveMean-ShiftforTracking)算法，是VOT2015官方推薦的一種基于顏色特征的實時算法，但當背景色和目標顏色接近時，有可能導致目標跟蹤丟失。

為了解決遮擋、相似目標干擾等造成的目標丟失問題，李冠彬[12]、張彥超[13]等將目標區域劃分成多個子區域，有效規避遮擋下的目標丟失問題，并綜合多個分塊跟蹤結果確定最終跟蹤位置；別秀德[14]、宋丹[15]等利用融合多種特征實現目標跟蹤，增加圖像的局部不變性，提高算法的魯棒性；文獻[16]使用meanshift算法對粒子進行聚類分析，但核函數寬度固定不變，導致目標大小發生變化或嚴重遮擋時，易產生跟蹤滯后或丟失目標的現象。

本文利用粒子濾波實現全局基于DPM特征外觀模型的濾波，提取重采樣后的粒子群，基于HSV+LBP的融合特征，進行meanshift聚類處理，實現多特征下的局部外觀模型的二次定位，并構建全局局部一致性條件下的跟蹤結果融合策略，以得到目標的穩定、準確的跟蹤位置。

1 全局局部一致性下的目標跟蹤

1.1 基于DPM特征的全局粒子濾波

預測步驟為：

(1)

更新步驟為：

(2)

進而得到最小方差意義上的最優估計結果為：

(3)

(4)

為了提高目標預測跟蹤精度，本文首先采用DPM(Deformable Part Model)特征，建立梯度方向直方圖作為全局特征；為了適應跟蹤目標在尺度、角度旋轉方面的變化，提高跟蹤穩定性，將傳統粒子濾波的矩形區域改為具有長軸、短軸和傾斜角參數的橢圓區域的特征模型來描述目標，從而完成基于DPM特征的全局粒子濾波過程。

圖1 粒子濾波目標跟蹤流程圖

為了提取DPM特征，本文采用4個8×8的Cell組成2×2的block，進而生成13維特征向量作為粒子的特征向量，并構建特征向量直方圖，該直方圖比傳統基于顏色的8×8×8的直方圖的特征向量維數要低11維，但是該描述子保持了幾何和光學變化不變性，使得跟蹤過程對于光照或陰影遮擋的抑制效果更好。

1.2 基于LBP+HSV的meanshift多特征局部濾波

為了解決粒子濾波中相似目標和背景對跟蹤性能的影響，本文對重采樣后的粒子群進行聚類處理，實現多局部區域的目標跟蹤。

為了獲取有效的局部區域的中心，本文通過meanshift對重采樣的粒子集合進行非參聚類[17]以實現局部最大點的求取和區域最優估計。

本文提出LBP(Local Binary Pattern)+HSV的特征選擇策略，首先在3×3窗口內得到8bit圖像的局部紋理特征，在結合窗口中心像素的4×4×4的HSV顏色特征，組合得到20bit的融合特征向量，求取聯合LBP和HSV特征直方圖，得到局部區域的聯合直方圖。

(5)

對于任一粒子s1處的概率分布可表示為：

(6)

取兩點之間的巴氏距離作為相似度指標，有：

(7)

在粒子s0周圍搜尋最優目標位置s1，兩點的meanshift向量可表示為：

(8)

(9)

由于這個多維向量是局部區域的特征集合，雖然維數較多，但受到區域的限制，整體運算量的增加是有限的，表1列出了四種特征在指定局部區域大小(26×17)下meanshift運算時間，表1中四種算法均由matlab實現，硬件配置為intelxeonCPUE5-2630，內存為64G。由表1中數據可見，LBP+HSV的meanshift算法可以57fps的速度達到實時處理的效果。

表1 不同特征下的meanshift運算時間

1.3 全局局部一致性下的二次目標定位策略

由于Meanshift是一種統計迭代算法，通過迭代可以快速尋找概率密度估計的局部最大值，屬于確定性跟蹤算法，方法簡單、收斂快，但跟蹤過程中容易陷入局部最優狀態，收斂于非真實目標。而粒子濾波算法屬于隨機性跟蹤算法，適用于非線性非高斯狀態下的目標跟蹤，具有很好的穩定性以及抗遮擋性能，因此二者結合能夠獲得較好的跟蹤效果。

根據局部meanshift區域中心像素位置，以及全局粒子濾波的中心位置，融合得到全局局部一致性下的目標位置，即：

(10)

(11)

進而得到歸一化后的粒子權值為：

(12)

全局局部一致性目標跟蹤流程如圖2所示。

圖2 全局局部一致性目標跟蹤流程框圖

綜上，第t幀圖像序列，其全局局部一致性下的目標定位步驟為：

步驟1全局DPM特征下的全局粒子濾波，式(1)—式(4)；

步驟2粒子重采樣；

步驟3計算粒子的LBP+HSV特征直方圖，得到32維特征向量；

步驟4基于meanshift的粒子局部極值點計算，公式(9)；

步驟5全局局部一致性下的二次目標定位，粒子及權值更新，式(10)—式(12)。

2 實驗

為驗證試驗效果，在Intel Xeon(R)CPU E5-2630，64G內存，NVIDIA GTX 1080 Ti的平臺上，利用Matlab軟件運行算法。選取OTB100數據集進行實驗，將本文算法與基于分塊的粒子濾波[14]、PF+meanshift算法[17]進行對比分析。

為了驗證本文算法的跟蹤精度，分別提取穩定跟蹤階段的跟蹤誤差并計算算法的平均定位精度，見表2。圖3為跟蹤精度變化曲線。

表2 算法的定位精度

圖3 跟蹤精度變化曲線

文獻[17]的算法對于紅外目標取得了較好的效果，但是由于原始算法采用了灰度信息作為特征，在很大程度上制約了其跟蹤效果的提升，在實驗過程中，采用DPM代替原有灰度特征，平均定位精度最小可以鎖定到2個像素內，而在本文算法中，將全局局部特征融合，二次定位的精度可達1個像素內，可見定位精度有明顯提升。

在整個實驗過程中，背景環境較為復雜，跟蹤目標會出現遮擋和快速移動的情況。如圖4所示，目標在被遮擋時，分塊粒子濾波仍然能夠跟蹤目標，但會出現跟蹤誤差較大的情況，在第489幀，目標出現快速移動時，跟蹤失敗，并且無法找回目標。

對于PF+meanshift算法，在目標區域已知的情況下完全可以做到實時跟蹤，對遮擋、目標變形等不敏感。當目標受到遮擋時，PF+Meanshift依然能夠穩定跟蹤，但跟蹤精度相比本文算法稍低，且當目標快速運動時，由于算法是在PF基礎上的跟蹤，因此仍然會丟失目標。

圖5為本文算法的跟蹤效果。當目標出現快速移動時，Meanshift兩個局部濾波結果依然能夠穩定跟蹤，算法整體沒有失效，并可計算出目標二次定位位置。

圖4 分塊粒子濾波遮擋和快速移動

圖5 目標快速移動時本文算法跟蹤結果

3 結論

本文基于DPM特征構建歸一化直方圖，完成全局粒子濾波，找到目標一次定位結果；在重采樣后提取粒子群的LBP+HSV的融合特征，在融合特征直方圖的基礎上實現對粒子群的局部極大值聚類，構建全局局部一致性條件下的二次目標定位策略，利用二次定位結果更新全局粒子及其權值。本文算法將魯棒性較強的全局顏色信息與局部紋理信息相結合，構建權重可調的全局局部一致性狀態估計模型，從而得到目標當前狀態。實驗結果表明：該算法能夠較好地處理目標跟蹤常見的遮擋、干擾、目標快速移動等情況，定位精度和穩定性得到改善。