相機運動狀態下的實時運動目標跟蹤算法

姜明新

(大連民族學院信息與通信工程學院，遼寧大連 116605)

基于視頻的目標跟蹤算法是計算機視覺領域的關鍵技術問題，在模式識別、人工智能、視頻監控、機器人導航等方面都有廣泛的應用［1－3］。常見的目標跟蹤算法有mean－shift算法［4］、粒子濾波算法［5］等。其中，粒子濾波算法能夠有效解決目標跟蹤中普遍存在的非線性、非高斯的問題，因而被更多的學者所采用。

現有的目標跟蹤算法大多數是基于靜止的視覺平臺展開的，而現實的監控環境中，很多監控相機處于運動的狀態，比如:船載和車載的監控裝置。很多文獻討論了電子穩像技術［6－8］，還有少部分文獻討論了基于電子穩像的跟蹤算法［9］。但是這些算法都將穩像和跟蹤分開進行處理，這樣做存在幾個不可避免的缺點:穩像的過程不可避免的會造成視頻圖像信息的損失;先穩像再跟蹤將會導致時間上的延遲，無法滿足實時性的要求;最重要的缺點是無法獲取在原始視頻中的跟蹤結果。

基于以上分析，為了克服現有算法中存在的問題，本文提出了一種相機運動狀態下的實時運動目標跟蹤算法。首先，對特征點進行選取，然后，利用光流法進行全局運動估計，得到相機平移運動分量和旋轉運動分量;最后，利用全局運動估計的結果對粒子濾波的運動方程進行修正，選用顏色直方圖作為目標的特征模型，實現在相機運動的情況下對移動目標的實時跟蹤。為了驗證本文算法的性能，選取了多組測試視頻進行實驗。實驗結果表明，在相機運動的狀態下，本文提出的算法能夠準確快速的跟蹤運動目標，達到實時性要求，具有非常好的實用價值。

1 全局運動估計

圖像的特征點選取需要考慮到精度和實時性兩方面的要求，傳統的穩像算法，一般選取每一幀圖像的角點作為特征點。最普遍使用的角點的定義是由Harris提出的［10］，Harris定義的角點是指位于圖像二階導數的自相關矩陣有兩個最大特征值的地方，本質上是以此點為中心，周圍至少存在兩個不同方向的紋理(或者邊緣)。但是，對每一幀圖像都查找角點會帶來一些問題:當需要角點數在300個以上時，與光流結合后實時性較差。

實驗證明，在穩像的任務中使特征點分散到整個圖像比特征點是否是角點更加重要。受到基于塊匹配的穩像算法的啟發［11］，在每幀圖像中每隔20個像素選取一個點作為特征點。均勻選取特征點的優勢在于:具有非常好的實時性，對全局運動有很好的代表性;通過對局部運動向量的篩選可以獲得準確的全局運動的估計。

本文利用光流法來估計全局運動，采用Lucas－Kanade方法［12］來計算特征點的光流。由于均勻的選取特征點，特征點有可能在背景上，也有可能在運動目標上。為了準確的估計全局運動，需要排除運動目標對全局運動估計的影響。接下來，從理論上分析運動目標對光流結果的影響［13］。

為了分析運動目標對光流的影響，首先假設相機是靜止的。假設t時刻第i個特征點Pi(t)在相機坐標系中的坐標是［xi(t)，yi(t)，zi(t)］，則該特征點在像平面的坐標為

式中，λ是與相機分辨率和焦距有關的系數。

從式(2)可以看出，運動目標對光流的影響與運動目標的速度和景深有關，當時間間隔非常短時，可以認為速度是一定的，則運動目標的景深越小，對光流的影響就越大。

式中，M'為垂直方向上篩選后的特征點的總數。

t時刻，第i個特征點Pi(t)在相機坐標系中的坐標為［xi(t)，yi(t)，zi(t)］，令該特征點在世界坐標系中的位置保持不變，相機通過旋轉和平移發生移動，在t+1時刻，該特征點Pi(t+1)在相機坐標系中的位置變為［xi(t+1)，yi(t+1)，zi(t+1)］，則有

2 基于粒子濾波的運動目標跟蹤算法

粒子濾波的主體思想是用一組帶有權值的粒子來描述后驗概率分布［14－15］。根據蒙特卡羅理論，當粒子的數目足夠多時，這組具有權值的粒子就能準確地描述后驗概率分布，此時，粒子濾波就是最優的貝葉斯估計。在目標跟蹤任務中，運動目標的位置可以被看作是狀態空間上的離散時間馬爾可夫序列。跟蹤目標就是要從帶有噪聲的觀測序列Zk中估計目標狀態Xk。

可以證明，當N→∞時，^Xk將均方收斂于p(Xk|Z1:k)的真實后驗概率分布。為了避免粒子權值退化問題，需要采用重采樣方法，通過復制高權值粒子并拋棄低權值粒子的方法來解決這一問題。

在實際跟蹤任務中，用上一節得到的視頻全局運動信息改進粒子濾波跟蹤算法。

本文選用RGB色彩空間的顏色直方圖來描述運動目標，首先，對R、G、B三個通道量化成16級，柱狀圖分格為m=16×16×16個bins。

設 u={1，2，…，m}，在初始幀中，給定包含目標的粒子，可以得到目標的統計直方圖分布模型為的顏色概率密度為

其中，y0為初始目標中心位置。k(·)是核函數，核函數可以保證越遠離粒子中心的像素，權值越小，以提高模型的魯棒性。C為使的歸一化參數。

3 實驗結果分析

為了驗證本文提出的相機運動狀態下的實時運動目標跟蹤算法的性能，采用多組實驗視頻進行實驗，鑒于篇幅限制，本文只列出部分實驗結果。本文算法的實現是基于windows 7操作系統，采用Visual Studio 2010和opencv2.3作為軟件平臺，計算機配置為 Pentium(R)Dual－Core CPU 2.0GHz。

針對兩組實驗視頻的目標跟蹤的結果分別如圖1，圖2，圖中的紅色框為本文算法的跟蹤結果，白色框為傳統的粒子濾波算法的跟蹤結果，黃色框為mean－shift算法的跟蹤結果。從實驗結果中，可以明顯看出，在相機運動的情況下，本文提出的算法在準確性和魯棒性方面占有非常明顯的優勢。

圖1 針對實驗視頻1利用不同算法進行跟蹤的結果對比

圖2 針對實驗視頻2利用不同算法進行跟蹤的結果對比

4 總結

本文提出了一種在相機運動的狀態下進行目標跟蹤的算法，克服了傳統算法分別對穩像和跟蹤進行獨立處理的缺點。能夠實現在原始的運動視頻中獲取目標跟蹤的結果，不損失視頻圖像信息，計算復雜度低，能夠滿足實時性要求。從實驗結果中可以看出，本文提出的算法具有非常好的魯棒性。后續，還可以改進目標的觀測似然，進一步考慮相機有突變運動時的跟蹤問題。

［1］張巧榮，馮新揚.利用視覺顯著性和粒子濾波的運動目標跟蹤［J］.中國圖象圖形學報，2013，18(5):515 －522.

［2］夏瑜，吳小俊，馮振華.基于特征貢獻度的mean shift視頻跟蹤算法［J］.控制與決策，2012，27(7):1021－1026.

［3］JIANG Mingxin，LI Min，WANG Hongyu.A robust combined algorithim of object tracking based on moving object detection［C］∥Proceedings of the International Conference on Intelligent Control and Information Processing，2010:619－622.

［4］COMANICIU D V，MEER P.Kernel based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［5］MASKELL N S，CLAPP T.A tutorial on particle filters for online nonlinear/nongaussian bayesian tracking［J］.IEEE Transactions on Signal Processing，2002，50(2):174 － 188.

［6］KONRAD A J，KARL W.Probabilistic video stabilization using kalman filtering and mosaicking［C］∥Proc.SPIE Image and Video Communications and Process，2003:663－674.

［7］TICO M，VEHVILAINEN M.Constraint motion filtering for video stabilisationsing［C］∥Proc.Int，2005:569 －572.

［8］AUBERGER S C.Miro，digital video stabilization architecture for low cost devices［C］∥Proceedings of the 4th International Symposium on Image and Signal Processing and Analysis，2005:474 －479.

［9］王斌，趙躍進，尹德森.基于電子穩像的特征跟蹤算法［J］.紅外與激光工程，2008，37(4):607－610.

［10］BARRON J L，FLEET D J，BEAUCHEMIN S S.Performance of optical flow techniques［J］.International Journal of Computer Vision，1994，12(1):43－77.

［11］VELLA F，CASTORINA A.Massimo mancuso and giuseppe messina，digital image stabilization by adaptive block motion vectors filtering［J］.IEEE transactions on consumer electronics，48(3):796 － 801.

［12］SHI J，TOMASI C.Good features to track［C］.Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition，1994:593－600.

［13］CAI Jinhai，WAIKER R A.robust video stabilisation algorithm using feature point selection and delta optical flow［J］.IET Comput.Vis，2009，3(4):176 － 188.

［14］YANG Junlan，SCHONFEID D，MOHAMED M.Robust video stabilization based on particle filter tracking of projected camera motion［J］.IEEE trans on circuits and systems for video tech，2009，19(7):945 － 954.

［15］ KABAOGLU N.Target tracking using particle filters with support vector regression［J］.NE ，2009，58(5):2569－2573.

(責任編輯 劉敏)