全局運動補償的動態背景下運動軌跡跟蹤算法*

王　閃， 吳　秦

(江南大學 物聯網工程學院，江蘇 無錫 214122)

?

全局運動補償的動態背景下運動軌跡跟蹤算法*

王閃， 吳秦

(江南大學 物聯網工程學院，江蘇 無錫 214122)

針對動態背景下，一般跟蹤算法存在著被動跟蹤的滯后或偏移的問題，提出了一種結合Kalman濾波器的Mean-Shift跟蹤算法。對運動矢量進行預處理，得到一個平穩更能反映運動信息的矢量場；利用Mean-Shift搜索算法精確地確定對象位置；此基礎上,利用Kalman濾波器算法進行運動估計預測，來確定運動的軌跡。實驗表明：與現有的方法相比，該方法可從復雜場景中更準確地對運動對象進行軌跡的跟蹤。

全局運動補償； 壓縮域； 軌跡跟蹤

0　引　言

近年來,運動對象的軌跡跟蹤一直是人們備受關注的多學科交叉課題。主要對象的軌跡跟蹤在很多應用中起到非常重要的作用，現在已經應用在很多APP應用中。大部分跟蹤算法基于外觀特征模板，即先離線或在線學習一個外觀模型來描述目標，然后使用該模型在圖像區域進行搜索，尋找與外觀模型最相似的目標，這種思想比較簡易，比較適用于剛性且對象與背景色差相差較大的視頻序列[1]。在此基礎上Ross D A提出離線學習自適應目標外觀變化的外觀模型，雖然能適應目標外觀的變化，但是沒有考慮背景信息，而這些被丟棄的背景信息很可能提高跟蹤的穩定性和準確性[2]。現在，除了基于外觀模型方法之外，比較常用的運動對象跟蹤算法包括基于3D模型的方法、基于活動輪廓模型的方法等[3～5]。其中，Nummiaro K等人采用粒子濾波結合Mean-Shift的方法進行目標跟蹤，但是粒子濾波器本身的復雜計算降低了跟蹤的實時性。雖然很多跟蹤算法被提出，但以上算法都面臨一個挑戰性的問題，因為在像素域中進行的，所以,會很容易受到光照、遮擋、姿態和顏色的影響。隨著視頻分辨率的逐漸提高，在像素域研究也越來越受到很多限制。所以，壓縮域中的研究慢慢受到重視，文獻[6]介紹了一種基于Snake方法的跟蹤推理方法來解決車輛遮擋跟蹤問題。但是，這些方法只是在監控視頻且不太擁擠的情況下相對有效。而離子濾波可以對擁擠的情況有較好的魯棒性，Hue將離子濾波應用在目標跟蹤上，主要優點是可以進行多目標的目標跟蹤，但在跟蹤過程中易出現偏移的現象。

分析上述文獻方法，在針對對象單一、監控視頻和具有剛性運動對象的運動軌跡具有較好的效果，但針對背景運動和非剛性物體的運動對象，不能正確地進行運動對象的軌跡跟蹤。為了實現較低的時間復雜度和實時性，本文算法在壓縮域中進行，并提出了一種基于全局運動補償的動態背景下的運動軌跡跟蹤算法，首先對運動矢量(MV)進行預處理，得到一個平穩更能反映運動信息的矢量場；然后利用Kalman進行平穩濾波和預測，將結果重新作用于檢測器，對其進行校正；最后，此基礎上利用Mean-Shift搜索算法精確的確定對象位置來確定運動的軌跡跟蹤。相比其他算法，本文算法不僅滿足實時要求，并且有良好的精度，在針對背景復雜下具有較好的魯棒性。

1　全局運動參數模型的建立

針對全局運動，需要滿足一定的運動變化模型，不同的運動所對應的運動參數也不同，常見的運動參數模型有2—參數模型、6—參數模型和8—參數模型，分別對應為平移投影模型、仿射投影模型和透視投影模型[7，8]。如圖1所示。

圖1　不同運動模型的形變Fig 1　Deformation of different motion model

由于2—參數平移模型有很大的局限性，不太合適用于復雜背景下的跟蹤，所以在本文中使用的是6—參數仿射模型，雖然6—參數仿射模型沒有8—參數透視模型靈活，但是6—參數仿射模型在去除全局運動的研究中應用更廣泛。令6—參數仿射模型參數為m，則

M=[m1,m2,m3,m4,m5,m6]

(1)

若在t幀中，一個塊的坐標為(x,y)，被轉換的參考幀的坐標為(x',y')， 則

x'=m1+m2x+m3x,y'=m4+m5y+m6y

(2)

所以,得到v(x,y)為

v(x,y)=(x'-x,y’-y)

(3)

最后將運動模型運用到整個矢量場，求出最后的殘差。

2　在動態背景下的運動對象軌跡跟蹤方法

在使用6—參數全局運動參數模型的條件下，本文算法的流程圖如圖2所示。

圖2　算法的流程圖Fig 2　Flow chart of algorithm

2.1運動矢量預處理

將H．264壓縮視頻中的運動矢量場歸一化為4×4的塊，用矢量中值濾波能夠消除孤立矢量噪聲并且平滑相鄰塊之間運動矢量的差異。使用滑動窗方法進行中值濾波，首先定義N×N窗函數內各元素之間的差異度

(4)

式中vi和vj為N×N窗內的運動矢量；L為歐幾里德距離。將di升序排列映射到vi。最后根據式(5)，以排序后的vout作為最后的輸出結果，即

(5)

式中cor(v(N+1)/2,v)=‖v(N+1)/2,v‖/(‖v(N+1)/2‖‖v‖)，v為平均矢量，p為預設的閾值。

H.264/AVC編碼標準采用7種不同的宏塊分割尺寸，使得對應都一個單獨的參考幀序號和運動矢量。導致提取出來的運動矢量場是一個不規則的稀疏場，不便于運動對象的檢測與跟蹤，因此，有必要對運動矢量場進行預處理。首先進行運動矢量場的迭代累積，由于得到的運動矢量場含有噪聲，需要進行濾除。為減輕運算，將運動矢量的X和Y方向的絕對值和作為運動矢量的幅值，即

(6)

2.2Mean-Shift搜索算法

Mean-Shift 檢測對象區域采用運動矢量方向角作為特征空間，對視頻序列中的運動對象進行跟蹤。在0°-360°的范圍內對矢量方向角量化，以20°作為步長，分成18個量化等級。最終得到的矢量方向角直方圖覆蓋整個運動對象的運動特征。運動對象所對應的運動矢量分布的區域的中心位置記為x0，運動對象的運動矢量對應的塊的位置記為{xi}，i=1,2,…,n。如果對象模型表示成m個值的直方圖，其形式為q={qv},v=1,2,…,m，則對象運動矢量分布

(7)

式中函數o:R→{1,2,…,m} 為xi在直方圖中的索引映像，δ[·]為Delta函數，C為歸一化系數。一般地，像素域跟蹤對象易受背景顏色影響，但矢量方向角基于運動矢量更加可靠，且不受對象形狀變化的影響。為了更好說明靠近對象中心的矢量方向角更可靠，引入核函數估計，式(7)改寫成

(8)

式中h為帶寬，k(·)為輪廓函數。對目標模型建立特征后，后面的視頻序列對應的運動矢量，可能存在目標的區域稱為候選區域。首先假定目標的中心位置x，該區域中的矢量方向角對應的位置為{xi},i=1,2,…,n。跟蹤過程即首先建立目標模型，然后在候選模型中找一個與目標模型分布最相似的候選模型作為當前幀的目標位置。

2.3卡爾曼濾波器

目標跟蹤需要進行校正學習，并預測得到下一幀的位置信息，而其重點是在于對樣本的校正，這一部分的計算對實時性的影響起到非常關鍵的作用。卡爾曼濾波是一種經典的運動預測模型和優化迭代的算法，僅僅只利用當前幀的檢測位置信息與前一幀的跟蹤位置信息來預測得到當前幀的位置信息，其參數也是迭代得到，需要的空間容量特別的小，其速度非常的快。所以，本文結合卡爾曼濾波來進行下一幀運動對象的預測。卡爾曼濾波可作為一個線性隨機的微分方程，由目標方程和狀態方程組成進行迭代，即

Xk=AXk-1+BUk-1+Wk

(9)

Zk=HXk+Vk

(10)

式中Xk為第k次迭代的系統狀態變量，Uk為第k次迭代時對系統的控制量，A和B為系統參數，Zk為第k次迭代時的測量量，H為測量系統的參數。Wk和Vk分別為過程和測量的噪聲。可以基于前一狀態而預測出當前的狀態

(11)

(12)

(13)

(14)

(15)

3　實驗與結果分析

采用標準測試視頻序列進行評估實驗，視頻采用的是YUV4:2:0格式的序列，所有的幀速為30fps和H.264/AVCJMV.18.0進行編碼，平臺采用AMDAthlon(tm)IIX4 645處理器，主頻3.1GHz。為了體現本文提出的算法的魯棒性和穩定性，在整個實驗中采用同樣的參數序列，采用標準測試序列Coastguard,Hallmonitor,Stefan,Garden,Foreman和Mobile等序列進行了實驗，跟蹤軌跡效果分別為圖3所示，其中，黑色實線為本文算法的跟蹤軌跡，灰色虛線為groundtruth的軌跡。

圖3　運動對象軌跡跟蹤Fig 3　Trajectory tracking of motion object

圖3中，(a)Coastguard視頻序列，從中可以看出小船遇到大船時，相機出現突然下移的過程，本文算法依然能正確的跟蹤。(b),(d),(e)為非剛性運動目標，本文算法依然可以準確跟蹤，其中，(d)在跟蹤和分割方面都具有較高的難道。(c),(f)既存在背景的運動也存在其他因素的干擾，本文算法在保證去除背景運動的前提下依然能正確跟蹤，以上六種視頻序列包含了多種復雜情況，由此體現了本文算法的魯棒性。為了能體現很佳的效果，對算法進行比較，從精確度(p)、召回率(r)和f值(r)方面進行對比，其定義如下

(16)

(17)

(18)

式中TP為被模型預測為正的正樣本(truepositives)，FP為被模型預測為負的負樣本(falsepositives)，FN為被模型預測為負的正樣本(falsenegatives)。如圖4所示。

圖4　準確度、召回率和f值結果對比Fig 4　Results comparion of accuracy，recall rate and f value

其中，圖4(a)為運動軌跡的準確度，可以體現跟蹤軌跡和真實軌跡的對比，圖(b)和(c)分別為召回率和f值的對比，具體計算如式(17)、式(18)所示。從圖4可以看出，文獻[9]也存在較高的精確度，但在召回率和f值方面與本文算法相差較大，主要原因取決于每幀的跟蹤精度。所以，本文算法在路徑跟蹤方面具有較高的魯棒性。

4　結束語

本文基于全局運動補償在動態背景下進行運動軌跡跟蹤，提出了一種結合Kalman濾波器的Mean-Shift跟蹤算法，從而準確地對運動對象進行軌跡跟蹤。然而，同像素域相比，壓縮域處理最小單元是4×4塊，壓縮域丟失一些特征，所以最終的跟蹤框會抖動；對于這些缺點的解決，在檢測運動對象方面，可以增加運動目標的“特征”，比如運動矢量的幅值，宏塊類型等信息，這些也是今后努力的方向。

[1]BlackMJ,JepsonAD.EigenTracking:Robustmatchingandtra-ckingofarticulatedobjectsusingaview-basedrepresentation[J].InternationalJournalofComputerVision,1998,26(1):63-84.

[2]RossDA,LimJ,LinRS,etal.Incrementallearningforrobustvisualtracking[J].InternationalJournalofComputerVision,2015,77(1-3):125-141.

[3]MehmoodK,MrakM,CalicJ,etal.Objecttrackinginsurveillancevideosusingcompresseddomainfeaturesfromscalablebit-streams[J].SignalProcessingImageCommunication,2009,24(10):814-824.

[4]AlliliMS,ZiouD.Objecttrackinginvideosusingadaptivemixturemodelsandactivecontours[J].Neurocomputing,2008,71(10-12):2001-2011.

[5]NummiaroK,Koller-MeierE,GoolLV.Objecttrackingwithanadaptivecolor-basedparticlefilter[J].LectureNotesinCompu-terScience,2002,2449(2):353-360.

[6]KamijoS,NishidaT,SatohS,etal.Automatedbehaviorandstatisticalanalysisfromtrafficimagesbasedonprecisevehicletra-ckingalgorithm[C]∥ProceedingsofIEEE2002the5thInternationalConferenceonIntelligentTransportationSystems,IEEE,2002:920-925.

[7]李慶瀛,褚金奎,李榮華,等.基于卡爾曼濾波的移動機器人運動目標跟蹤[J].傳感器與微系統,2008,27(11):66-68,71.

[8]聶衛科,朱從光,房鼎益,等.隨機布署平面傳感器陣列實現色噪聲下運動節點跟蹤算法[J].傳感器與微系統,2014,33(12):141-145.

[9]ZhangK,ZhangL,YangMH.Real-timecompressivetracking[C]∥EuropeanConferenceonComputerVision,Springer-Verlag,2012:864-877.

吳秦，通訊作者，E—mail：qinwu@jiangnan.edu.cn。

Motion trajectory tracking algorithm based on global motion compensation in dynamic background*

WANG Shan， WU Qin

(College of IOT Engineering, Jiangnan University,Wuxi 214122,China)

Dynamic background,general tracking algorithm has problem of passive tracking lag or shift,propose an algorithm which combines Kalman filter and Mean-Shift tracking algorithm.Preprocess motion vector to get a smooth vector field which can reflect movement information very well; using Mean-Shift searching algorithm to determine object position precisely;motion estimation prediction is carried out by using Kalman filter algorithm on this basis,to determine movement track.Experiment shows that this method can track trajectory more accurately from complex scene compared with existing methods.

global motion compensation; compressed domain; trajectory tracking

2016—06—01

國家自然科學基金資助項目(61202312)；中央高校基本科研基金資助項目(JUSRP51510)

TP 391

A

1000—9787(2016)08—0137—04

王閃(1990-)，男，安徽阜陽人，碩士研究生，主要研究方向為機器視覺與視頻編解碼。

DOI:10.13873/J.1000—9787(2016)08—0137—04