基于顏色直方圖概率分布的目標跟蹤算法研究

李 寧，汪利慶，李 迅

(武漢工程大學 計算機科學與工程學院，湖北 武漢 430205)

基于顏色直方圖概率分布的目標跟蹤算法研究

李 寧，汪利慶，李 迅*

(武漢工程大學 計算機科學與工程學院，湖北 武漢 430205)

針對復雜場景中存在受目標相似物干擾造成的跟蹤錯誤問題，改進了基于顏色直方圖概率分布的跟蹤算法，首先利用卡爾曼濾波器預估目標狀態所在區域，可避免目標被遮擋時Cam-shift算法陷入局部最大值，以及目標速度過快時導致跟蹤失敗的問題。然后利用馬爾科夫模型加入方向預測器，在背景干擾下實現顏色特征離散時的目標狀態估計，增強檢測器對相似目標的辨識能力。通過對多組場景下的目標跟蹤實驗，結果表明，改進后的跟蹤算法提高了跟蹤準確度和目標的檢測速度，并且很大程度上提高了復雜背景中辨識相似目標的準確度。

目標跟蹤；卡爾曼濾波；遮擋；處理速度；目標預估

在跟蹤算法研究過程中，目標的不定向運動會產生目標遮擋、非剛性目標結構等變化，使得跟蹤算法受到各種程度的影響，甚至會出現目標丟失的情況。當圖像的特征信息相對穩定時，目標不發生形變，不管物體怎么移動或怎樣旋轉，其顏色直方圖概率分布相對中心的距離在縮放比例下是確定的。因此，文獻中的方法廣泛利用顏色直方圖和物體特征進行目標跟蹤。常用的特征匹配算法有SIFT[1]、KLT[2]，等等，將KTL和SIFT特征結合的匹配算法[3]可提高跟蹤過程中的匹配精度，但無法解決光照和相似特征物體的干擾。利用SIFT特征與Mean-Shift結合[4]，由SIFT特征點提供的特征位置信息校正Mean-Shift向量，但匹配特征點與相對位置之間的變化對跟蹤結果的影響較大，而且背景區域的特征點對跟蹤結果也會產生干擾。顏色直方圖特征在目標顏色特征描述略顯匱乏，缺少空間信息等，導致跟蹤結果精度降低。改進的mean-shift算法[5]是利用目標的顏色概率信息達到連續跟蹤目標的效果，時間復雜度低，在簡單背景下跟蹤結果更精準，能自動調節搜索窗口大小；但受到檢測器檢測范圍的限制，改進的mean-shift算法對移動速度過快的目標跟蹤效果較差；并且，由于主要處理顏色直方圖反投影形成的二值圖像，以獲取圖像顏色的概率分布信息，對背景復雜和紋理特征豐富的目標跟蹤效果較差，很容易受背景中與目標相似的物體的干擾導致跟蹤失敗。該算法忽略了目標的空間分布特征，所以在背景復雜情況下跟蹤算法中需要對目標信息進行預處理。

Cam-shift算法只考慮顏色直方圖概率分布，忽略了目標空間特性和背景相似顏色特征的干擾。針對該算法存在的問題，本文在原跟蹤算法的基礎上進行改進，利用卡爾曼濾波器，建立了目標當前狀態的模型，預估目標運動速度，對目標中心點所在區域預估，縮小檢測器搜索范圍，提高目標局部遮擋時的跟蹤精度。針對紋理特征較為豐富的目標檢測問題，加入基于馬爾科夫模型的方向預測器，實現顏色特征離散情況下的狀態估計，能夠增強檢測器對相似目標的辨識能力，解決背景中復雜的特征相似問題。

1 算法介紹

1.1卡爾曼濾波器

在顏色直方圖概率分布的目標跟蹤算法中，加入卡爾曼濾波器[6]，對目標狀態區域進行預估，預測目標在下幀圖像序列中的位置，再由Cam-shift算法測量反饋，對卡爾曼濾波器預測以目標位置為中心的區域進行搜索目標，能有效降低檢測器搜索范圍并提高算法的抗干擾性和準確性。利用卡爾曼濾波器預估目標下一幀的狀態是在誤差協方差最小準則中的最佳方法，其實時性高，計算量小，利用實際的目標運動參數對目標狀態估計值更新修正。根據算法的檢測器搜索區域大小和位置，卡爾曼濾波的狀態方程為：

Xk=Ak,k-1Xk-1+WK-1

(1)

式中Xk為在離散時刻K的一個不可觀測12×1維狀態向量，WK-1為k-1時刻的狀態噪聲干擾，是獨立的零均值高斯白噪聲序列，由運動模型可得到的A(K,K-1)是兩個時刻之間的狀態轉移矩陣。利用卡爾曼濾波器得出狀態預測方程。Kalman預測器狀態預測方程為：

X′(k+1│k)=AX′(k│k-1)+AKk[Zk-HkX′(k│k-1)]

(2)

利用卡爾曼濾波器預測當前目標狀態中心位置，以該位置為中心，設定比上一幀輸出的目標邊界框大4倍的矩形區域，判定該區域為目標出現的區域，再由檢測器檢測該幀的子窗口中是否有目標。由此來增強對目標運動速度過快和目標被遮擋的跟蹤能力，并提高檢測器的速度。圖1為該過程示意圖，C框是由卡爾曼濾波器預估并結合上一幀輸出目標邊界框給出的當前幀目標所在范圍。子窗口A和B與C窗口有重疊，該范圍將被檢測器檢測，子窗口D無重疊范圍，將被忽略不再檢測。

圖1利用卡爾曼濾波器減小檢測范圍示意圖

1.2馬爾科夫模型預測

利用馬爾科夫模型對目標運動方向預估，有效解決背景中存在兩個或兩個以上與目標相似情形時的干擾，增強對目標在運動過程中出現遮擋后的辨識能力。馬爾科夫模型預測[7]具有時域空間一致性，通過計算上一時刻目標運動方向，有效預測下一時刻的目標運動狀態和位置。

在視頻幀數據中，目標運動可理解為二維空間中的平面運動，簡單劃分為垂直方向和水平方向上的運動。分別設計馬爾科夫模型預測兩個方向上的目標運動趨勢。在水平維度上，定義空間狀態為0和1,0代表向左方向，1代表向右方向。設定馬爾科夫模型當前預測狀態只和上一時刻狀態及狀態轉移矩陣相關。目標在t時刻的運動方向狀態量和轉移矩陣，預測t+1時刻的目標方向為：

(4)

式中p(St=1)和p(St=0)表示目標在t時刻的向右和向左的概率。p(St+1=1)和p(St+1=0)表示預測目標在下一時刻的運動方向的概率。預測目標在下一時刻的運動方向選擇概率較大的方向。根據馬爾科夫模型預測判定跟蹤人體目標的運動方向，根據上一時刻跟蹤目標的中心點位置標定當前幀中的一個區域，在下一幀中目標出現在劃定的區域內，則符合馬爾科夫模型對目標方向的預測。圖2為馬爾科夫模型對跟蹤目標運動方向預測判定，標定檢測區域示意圖，圖2中矩形框表示運動目標在上一時刻的位置區域，在該時刻由馬爾科夫模型預測得出運動目標在水平方向向右的趨勢。因此，在虛線右側的區域為檢測器檢測區域。

圖2目標運動方向預測和檢測區域示意圖

2 改進的CamShift跟蹤算法

Cam-Shift算法是改進的mean-shift算法，不斷迭代計算均值漂移矢量，直至收斂到概率密度最大的過程，其計算量較小，是顏色特征的非參數核密度估計算法，即連續自適應目標的跟蹤算法。原算法對目標快速移動的跟蹤，會造成目標與當前搜索區域窗口無法連接，影響目標跟蹤，造成跟蹤錯誤甚至目標丟失。本文加入卡爾曼濾波器和卡爾曼模型，對目標狀態區域的進行預估，能夠使 Cam-Shift算法更容易處理背景復雜的情況下的跟蹤問題，對每幀圖像序列得到的目標區域位置的預測和更新修正，能有效縮小檢測器檢測范圍，提高檢測器處理速度，可得到對目標快速移動更精準的跟蹤結果。

跟蹤目標出現大面積的遮擋時，利用卡爾曼濾波器計算目標所在區域的預估值，得到目標位置，直到目標不被遮擋。通過Bhattachryya距離d(y)計算不同顏色直方圖之間的相似程度，以判斷跟蹤目標目標被遮擋的時間和程度，計算出的值越小，表示兩個顏色直方圖越匹配。

利用Bhattachryya距離判斷目標是否被遮擋，Bhattacharyya系數ρ(y):

(5)

式中pu(y)是目標模型顏色直方圖，qu是當前幀目標子圖顏色直方圖。

計算Bhattacharyya距離公式d(y):

(6)

設定閾值Tb(本文取Tb=0.5)，若d(y)

針對動態環境中存在與目標相似物體干擾和快速的運動目標跟蹤問題，加入卡爾曼濾波器，改進了卡爾曼模型對目標狀態區域的預估算法，縮小運動目標檢測的空間區域范圍來提高運算處理速度，增強目標跟蹤的準確性和算法魯棒性。

圖3 改進的自適應跟蹤算法框架圖

3 實驗結果及分析

本文實驗是基于Visual Tracking Benchmark[8]的數據基準，采用背景影響較大和運動目標速度快的多組圖像系列。對各種場景變化干擾和目標發生形變、遮擋的數據進行實驗測試，列出具有代表性的兩組實驗圖像序列結果圖對比。在原始的Cam-shift算法基礎上改進，利用卡爾曼濾波器對當前時刻目標位置所在的區域預估，再由馬爾科夫模型預測運動目標下一時刻的運動方向。針對檢測器增加的檢測區域改進，排除不符合卡爾曼濾波器和馬爾科夫模型預測結果區域的范圍。實驗對多組場景下的目標跟蹤驗證，增強了算法跟蹤結果準確性和處理速度，并且提高了對場景中的相似目標的辨識能力。

3.1實驗結果對比

在足球(football)數據測試中，復雜背景中存在多個人物與目標相似造成干擾，圖像序列中目標快速移動和大尺度的形變造成的影響。原跟蹤算法對目標發生少許形變跟蹤較為準確，但是目標發生大尺度的形變，造成目標跟蹤錯誤(如#186在背景中受相似目標干擾造成目標跟蹤錯誤)。本文改進后的跟蹤算法處理速度較快，對目標發生大尺度形變的跟蹤結果準確，利用馬爾科夫模型預測目標運動方向的必要性，減小了背景相似目標干擾和運動目標較快的影響，跟蹤過程中跟蹤邊界框沒有出現偏離中心點和目標丟失等錯誤情況。圖4中#001是圖像序列的初始幀和算法跟蹤結果圖對比。

在Skating2圖像序列測試中，運動目標移動速度快，并且目標發生很大程度的形變，原Cam-shift算法出現跟蹤錯誤和丟幀，其中#329跟蹤結果遠離目標中心點，本文利用卡爾曼濾波器預測目標位置區域的改進，對目標快速移動有很好的跟蹤結果，并且容易適應目標形變的跟蹤。在部分圖像序列跟蹤結果偏離中心點(如#251，#268)，但是在目標迅速移動并且被遮擋，發生形變的復雜情況下能夠更準確的完成跟蹤。

3.2算法定量評估

表1 圖像序列測試結果

4 結語

Cam-shift跟蹤算法由于計算量較小，得到了廣泛應用，但無法在復雜的場景下跟蹤。本文針對背景顏色和相似目標的影響因素較大，以及運動目標速度過快導致目標無法在搜索范圍內檢測的問題，利用卡爾曼濾波和馬爾科夫模型預測下一時刻目標的位置區域，以該位置為中心的搜索區域，有效減小檢測器檢測范圍，由卡爾曼濾波器的預測值作為目標當前位置，以解決目標被大面積嚴重遮擋問題，提高跟蹤精度和速度。通過多個視頻圖像序列測試，在實驗結果比較中，本文改進的跟蹤算法有效地提高了目標檢測的準確性，由馬爾卡夫模型預測，增強算法對復雜場景中相似目標的辨識能力，更加準確的跟蹤目標。后續工作將會在更復雜的環境下進行實驗，采用數據集相結合訓練的方法，更好地實現目標物體的跟蹤。

[1] 侯志強, 黃安奇, 余旺盛,等. 利用SIFT特征聯合匹配的非剛體目標跟蹤算法[J]. 系統工程與電子技術, 2015, 37(6):1417-1423.

[2] Qadri M T, Tayyab M. Real time object tracking using FPGA development Kit[J].International Journal of Information Technology & Computer Science, 2014, 6(11):54-58.

[3] Jabar F,Farokhi S,Sheikh U U.Object tracking using SIFT and KLT tracker for UAV-based applications[C]//IEEE International Symposium on Robotics and Intelligent Sensors. IEEE, 2016:65-68.

[4] 王智軍, 王建華. 基于SIFT驗證的Mean Shift跟蹤運動目標新算法[J].電光與控制, 2016(11):93-96.

[5] 丁業兵, 李敬仕, 方國濤,等. 多特征連續自適應均值漂移人臉跟蹤算法[J]. 計算機應用, 2014(s2):276-279.

[6] Jia B, Blasch E, Pham K D, et al. Space object tracking and maneuver detection via interacting multiple model cubature Kalman filters[C]//Aerospace Conference. IEEE, 2015:1-8.

[7] Bashir F I, Khokhar A A, Schonfeld D. Object trajectory-based activity classification and recognition using hidden Markov models[J]. IEEE transactions on Image Processing, 2007, 16(7): 1912-1919.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

(責任編輯：熊文濤)

TargetTrackingAlgorithmBasedontheColorHistogramProbabilityDistribution

Li Ning, Wang Liqing, Li Xun*

(SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

Aiming at the problem of tracking errors is caused by interference with objects similar to object in complex scenes, the tracking algorithm is improved based on color histogram probability distribution. In the first place, Kalman filter is used to estimate the target state area in order to avoid the problem of Cam-shift algorithm's falling into local maximum when the target is blocked and the problem of target tracking failure when the target moves too quickly. Then the direction predictor based on the Markov model is added to realize the target state estimation under the condition of background color interference and to enhance the ability of the detector to identify similar objects. The experimental results show that the new algorithm can improve the accuracy of target tracking as well as the target testing speed, and the accuracy of identifying similar targets in complex scenes in a great sense.

target tracking； Kalmanfilter； occlusion; processing speed； target estimation

TP391.4

A

2095-4824(2017)06-0102-05

2017-07-16

武漢工程大學研究生創新基金項目(CX2016071)

李 寧(1992- )，男，河南周口人，武漢工程大學計算機科學與工程學院碩士研究生。

李 迅(1980- )，男，湖北黃石人，武漢工程大學計算機科學與工程學院副教授,博士，本文通信作者。