張驚雷,姜松濤(1.天津市復雜系統控制理論及應用重點實驗室,天津300384;2.天津市理工大學自動化學院,天津300384)
基于改進壓縮感知的運動目標跟蹤*
張驚雷1,2,姜松濤1,2
(1.天津市復雜系統控制理論及應用重點實驗室,天津300384;2.天津市理工大學自動化學院,天津300384)
針對運動目標在被遮擋和目標紋理變化大時會導致跟蹤丟失以及跟蹤誤差大等問題,提出了一種改進的壓縮感知(CS)算法。算法采用設置Sigmoid函數響應閾值,判定是否存在遮擋,以決定是否更新分類器參數,使得目標在遇到較大遮擋時目標模型不會被錯誤更新;針對特征單一導致跟蹤不穩定問題,提出根據設定融合規則進行灰度特征和紋理特征融合的方法,使得兩種特征指導跟蹤。實驗證明:改進后的算法比傳統算法跟蹤成功率提高了17.84%,平均誤差率降低11.59%。
壓縮感知;目標跟蹤;目標模型;特征融合
目標跟蹤技術是計算機視覺系統中不可或缺的環節,在軍事制導、導航、智能交通等領域都有廣泛應用。在眾多跟蹤算法中,壓縮感知(compressive sensing,CS)算法是近年來學者們研究的熱點,由Donoho D L[1]和Candes E[2]率先提出的,其理論思想是:若采樣信號在某一個正交空間具有稀疏性或者可壓縮性,就能以遠小于Nyquist采樣率的條件下獲取該信號的離散樣本,并可能以高概率精確的重建該信號。通過引用該理論,CS被應用于跟蹤領域,產生了CS跟蹤算法,但傳統的CS跟蹤算法在目標遮擋和紋理變化劇烈時依然存在缺陷。
傳統CS跟蹤算法中分類器的參數更新模式是固定的,如果此時發生遮擋情況,則背景誤差就會在更新過程中被引入到模型參數中,逐漸累積,最終導致跟蹤失敗。因此,本文提出當出現較大遮擋的情況時外觀模型停止更新。另外,CS跟蹤算法能夠快速地提取特征,跟蹤實時性很好。但采樣的特征單一[3],當目標紋理發生劇烈變化時容易發生漂移,跟蹤穩定性不夠好。本文提出灰度特征和紋理特征的融合方法,解決了由于特征單一引起的跟蹤不穩定問題。
1.1特征的提取
CS理論[4]提出:R為一個n×m的隨機測量矩陣,其中,nm。它可以利用式(1)將一個高維圖像信號x(m維)壓縮成一個低維信號v(n維)。其公式如下

Johnson-Lindenstrauss推論[5]表明:若隨機選取一個合適的高維子空間,向量空間中兩點投影到這個子空間,那么有很高的概率它們之間的距離關系會被保留。Baraniuk R[6]證明了滿足Johnson-Lindenstrauss推論的隨機矩陣同樣滿足壓縮感知理論的RIP(restricted isometry property)條件,即:若隨機測量矩陣R滿足Johnson-Lindenstrauss的推論,且x是可壓縮的或是稀疏的,則就能以高概率從v中在最小誤差的情況下將x重建。
CS跟蹤算法優點在于選取了一個合適的測量矩陣,由于R是一個滿足RIP條件的隨機測量矩陣,但m的維數很高,矩陣相對稠密,其運算量和存儲消耗是非常大的,因此,采用了稀疏的測量矩陣對其進行降維處理,其中,rij~N(0,1),其矩陣元素定義如下

式中p為rij取某值的概率,而s取值在2~4中隨機選取。其特征生成過程如圖1所示。

圖1 特征生成示意圖Fig 1 Diagram of feature generation
圖1表明R對原始圖像的特征x進行映射,得到采樣特征v。在測量矩陣R中,灰色、黑色和白色分別代表矩陣元素為正數、負數和零。
1.2分類器的構建和更新
假設v中的各元素vi分布獨立,從而利用樸素貝葉斯分類器[7]來建模

式中p(vi|y=1)和p(vi|y=0)符合高斯分布,y∈{0,1}為二值變量,用來表示樣本的正負,當y=0時為負樣本,當y=1時為正樣本,假設兩個類的先驗概率p(y=1)=p(y= 0)。Diaconis P和Freedman D證明:高維隨機向量的隨機投影幾乎都服從高斯分布[8]。其中

最終,選取H(v)值最大的區域作為新一幀的目標區域。在確定區域后,重新進行降維獲取正、負樣本,并通過式(5)更新相關系數

式中λ>0為學習因子,它影響更新的速度,λ越小則說明分類器更新的速度越快。
2.1對發生遮擋情況的改進
通過對分類器更新的機制發現,一旦出現目標被遮擋的情況,會造成一些誤差被引入到參數模型模型參數當中。在后續的跟蹤過程中,如不加以更正,誤差會逐漸累積,而導致目標跟蹤失敗。因此,本文提出了一種根據分類器響應值H(v)和Sigmoid函數檢測遮擋的方法,在目標遭到嚴重遮擋或者新的模板存在問題的時候,停止更新模型參數。
基于檢測的跟蹤可看作一個二元分類問題[4],分類器響應值H(v)或者Sigmoid函數響應值較大者作為新的跟蹤結果。Sigmoid函數如式(6)所示
定義:響應值若大于0.5(H(v)>0)時,判定樣本為正樣本;否則,為負樣本。在CT跟蹤算法的檢測階段,如果所有樣本的分類器響應值均小于0,即分類器所得到的目標樣本(響應最大的樣本)是負樣本,則這種情況一般是在目標遭到遮擋的情況下出現。因此,此時不更新目標是較為合適,以免將誤差引入模型參數當中
即,當Hmax<0時,分類器不更新。
2.2對特征單一問題的改進
當特征提取式(2)中時,隨機測量矩陣中每一行只存在1或者-1的概率如下:
因此,隨機測量矩陣ri中只存在1或者只存在-1的概率為

由此可知,有30%的情況下,只存在1或者只存在-1,則這時采樣后的特征表現出的是圖像的灰度特征。有70%的情況下,1和-1同時存在,則這時采樣后的特征表現的是圖像的紋理特征。灰度特征在目標運動時比較穩定,而紋理特征在目標紋理變化時比較穩定。由于測量矩陣提取的樣本特征70%都為紋理特征,這會導致當目標紋理發生變化時,跟蹤不穩定的問題,主要是因為特征較為單一。
為了提高跟蹤的穩定性,本文提出了用多特征來描述樣本。融合灰度特征與紋理特征來解決因特征單一而造成的跟蹤不穩定的問題。定義融合的特征提取矩陣的生成公式為

這里,r1i,r2i分別表示特征提取矩陣的第i行,k表示特征提取矩陣中第i行中第k個非零值。從式(9)中可以看出,當r1i中同時存在1和-1時,r2i只存在1,因此,有70%的情況下體現的是圖像的灰度特征;當r1i中只存在1或-1時,導致r2i中1和-1同時存在,因此,有30%的情況下體現的是圖像的紋理特征。利用這兩種特征指導跟蹤,實現了特征融合采樣,解決了特征單一的問題,使得跟蹤效果得到提升。
2.3算法流程
1)初始化選取目標,采集目標樣本和背景樣本;
2)根據式(2)生成特征提取矩陣r1,再根據式(9)和矩陣r1的值生成特征提取矩陣r2;
3)根據式(1)生成特征向量v,利用式(4)計算樣本特征的均值和方差μ0和δ0,μ1和δ1;
4)讀取新的一幀圖像,設置搜索半徑,尋找候選區域,計算特征然后將其帶入式(3),使用分類器H(v)對特征進行分類。找到分類計算值最大的樣本作為當前跟蹤到的目標位置。若Hmax<0則不更新,返回步驟1對下一幀進行采樣處理;
5)若Hmax>0,則分類器更新,得到新目標位置lt,以lt為中心α為半徑采集正樣本集:Dα={z|‖l(z)-lt‖<α};以α<ζ<β為半徑采集負樣本集:Dβ={z|ζ<‖l(z)-lt‖<α},根據兩樣本集的特征,更新分類器參數;
6)跳轉到步驟(1)進行下一幀處理。
為了驗證本文算法與傳統CS跟蹤算法在跟蹤目標過程中的性能,進行了一系列的實驗驗證,并與CS跟蹤算法進行對比。視頻序列包含了在跟蹤過程中經常出現的一些影響,例如:大面積遮擋,光照變化,目標運動等問題。算法在Window7 64位系統下Matlab R2010a環境下運行。實驗采用公認的Benchmark視頻數據庫中的視頻序列進行驗證,下面列舉其中的典型視頻序列進行說明,如圖2、圖3所示,其中,實線代表本文算法的跟蹤效果,虛線代表傳統的CT算法的跟蹤效果。
實驗一:遮擋和姿勢變化
如圖2所示的face視頻序列是檢測對人臉的跟蹤效果,共812幀圖像。在跟蹤過程中,發生了小幅度姿勢變換、面部被遮擋情況。從視頻序列中可以看出,在起初的跟蹤過程中,兩個算法均保持較穩定的跟蹤效果。在第492幀面部被大部分遮擋時,兩種算法均發生漂移現象,這時傳統CS跟蹤算法模型發生更新,誤差參數不斷累積,因此,在第522幀當遮擋情況結束,跟蹤目標再次出現后,本文算法并沒有更新外觀模型,仍能較好地跟蹤目標,而CS跟蹤算法由于盲目更新導致錯誤信息不斷累積,最終跟蹤目標失敗。

圖2 對face視頻序列的跟蹤效果Fig 2 Tracking effect of face video sequence
實驗二:光照和紋理變化
如圖3所示的suv視頻序列是驗證在光照和紋理均有變化的情況的跟蹤效果。在第240幀以后,光線由暗變明且車開始換道時,傳統的CS跟蹤算法僅靠一種特征進行跟蹤,因此,出現了漂移現象,第275幀后由于累計錯誤模型導致完全跟丟目標。本文算法由于采用了灰度及紋理特征融合,仍能繼續跟蹤。

圖3 對suv視頻序列的跟蹤效果Fig 3 Tracking effect of suv video sequence
為定量評價實驗結果,引入兩個評價指標,即成功率和平均誤差。首先成功率的定義為

式中Rt為目標實際區域;Ra為算法的跟蹤區域;如果S>0.5,則可以認為跟蹤成功。

則平均誤差為

由式(12)可知,平均誤差越小,則代表整個視頻序列跟蹤精度越高。
上述實驗的成功率和平均誤差數據如表1所示。與傳統CS跟蹤算法相比,本文算法在處理遮擋情況和光照、紋理變化情況的性能均優于傳統算法,其中,跟蹤成功率提高了18%,平均誤差降低了12%。

表1 評價指標Tab 1 Evaluation index
本文在CS跟蹤算法的基礎上,提出了在跟蹤過程中發生目標遮擋、光照和紋理變化時的解決方案。經過對經典測試視頻序列實驗驗證,結果表明:本文算法在目標發生遮擋和紋理、光照變化時,跟蹤評價指標有明顯的提高。但在一些復雜的跟蹤場景,目標快速移動且形變劇烈時,算法還需進一步改進。
[1]Donoho D L.Compressed sensing[J].IEEE Transaction on Information Theories,2006,52(4):1289-1306.
[2]Candes E,Tao T.Near optimal signal recovery from random projections and universal encoding strategies[J].IEEE Transactions on Information Theory,2006,52:5406-5425.
[3]Wang S,Lu H CH,Yang F,et al.Superpixel tracking[C]∥IEEE International Conference on Computer Vision(ICCV),Barcelona,Spain,2011:1323-1330.
[4]Zhang K H,Zhang L,Yang M H.Real-time compressove tracking[C]∥Proc of the 12th European Conference on Computer Vision,Berlin:Springer-Verlag,2012:864-877.
[5]Achlioptas D.Database-friendly random projections:Johnson-Lindenstrauss with binary coins[J].Journal of Computer and System Sciences,2003,66:671-687.
[6]Baraniuk R,Davenport M,DeVore R,et al.A simple proof of the restricted isometry property for random matrices[J].Constructive Approximation,2008,28:253-263.
[7]Ng A,Jordan M.On discriminative vs generative classifier:A comparison of logistic regression and nave bayes[J].Neural Information Processing Systems,2002,52:841-848.
[8]Diaconis P,Freedman D.Asymptotics of graphical projection pursuit[J].The Annals of Statistics,1984,12(3):228-235.
姜松濤,通訊作者,E—mail:446707284@qq.com。
Moving targets tracking based on improved compressive sensing*
ZHANG Jing-lei1,2,JIANG Song-tao1,2
(1.Tianjin Key Laboratory for Control Theory&Application in Complicated System,Tianjin 300384,China;2.School of Electrical Engineering,Tianjin University of Technology,Tianjin 300384,China)
Aiming at the problems of tracking failure and large tracking error in the case of target occlusion and textures change in moving targets tracking,an improved compressive sensing(CS)algorithm is proposed.Response threshold of a sigmoid function is used to judge whether occlusion exist,to determine whether to update classifier parameter or not,in order to avoid object model is mistake updated when heavy occlusion exists.To solve the tracking instability cause by single feature,a feature fusion method under rules that combined grey features and texture features is presented.Tracking is guided by the fused feature.Experiments verify that the improved algorithm has 17.84%higher success tracking rates,and 11.59%lower average error rate compared with traditional algorithm.
compressive sensing(CS);target tracking;object model;feature fusion
TP391.4
A
1000—9787(2016)06—0120—04
10.13873/J.1000—9787(2016)06—0120—04
2015—10—21
天津市教委科技發展基金資助項目(20090718)
張驚雷(1969-),男,天津人,博士,副教授,碩士研究生導師,主要研究方向為智能交通系統、模式識別、圖像處理。