基于在線目標跟蹤算法的研究*

劉 偉,黃勇堅,駱 華,周子力

曲阜師范大學物理工程學院,山東曲阜273165

基于在線目標跟蹤算法的研究*

劉 偉,黃勇堅,駱 華,周子力

曲阜師范大學物理工程學院,山東曲阜273165

在線目標跟蹤是一個具有挑戰性的問題。當運動目標表面發生變化、背景光線劇烈變化、背景物體的遮擋以及運動造成的模糊時,需要建立一個有效的物體外在表示模型。為此,本文利用典型的主成分分析(PCA)與稀疏表示建立了有效的觀測模型。將?1最小值引入到PCA重建中,將目標物體表示為主要特征和噪聲之和的形式。除此之外,當發生遮擋和運動模糊時,為了減少跟蹤漂移現象,該文提出了一種新的更新模型而不是簡單的對觀測模型直接更新。實驗證明,該算法在目標物體發生遮擋以及背景光線發生劇烈變化時,對目標跟蹤具有較強的魯棒性。在評價指標重疊率和中心誤差方面,算法跟蹤精確度明顯提高。

運動目標 觀測模型?1最小值 主成分分析 稀疏表示

0 引 言

目標運動跟蹤是計算機視覺研究的一個重要課題,它在機器人視覺導航、醫療診斷、交通檢測等領域有著重要的應用價值。典型的目標跟蹤算法主要包括3部分:觀測模型、動態模型、搜尋方法。跟蹤算法的關鍵技術是建立有效的觀測模型。文獻[1-2]采用基于灰度特征的表示方法,通過計算模板與圖像中對應位置像素灰度值的差別來判定它們的相似程度,將目標物體在灰度級的圖像上進行匹配和全圖搜索。文獻[3]采用的是基于顏色的特征表示方法。以上兩種算法都是基于區域的表示方法,此類算法用的是目標的全局信息,比如灰度、色彩、紋理等。因此當目標未被遮擋時,跟蹤精度非常高、跟蹤非常穩定,對于跟蹤小目標效果較好。但是在灰度級的圖像上進行匹配和全圖搜索,計算量較大,非常費時間,所以在實際應用中實用性不強;其次,當發生遮擋時,該類算法缺少對匹配模板的更新。文獻[4]提出子空間表示模型,在對目標表面建模時意在尋找使重建誤差最小的模板。此算法在可用數據有限時可以獲得較高的泛化能力。為了解決目標物體形變所引起的目標跟丟問題,文獻[5-7]將在線子空間學習方法應用到目標跟蹤中。文獻[8]在此基礎上提出對低維空間進行在線更新的思想,一些實驗表明此模型對物體表面發生變化時具有較好的跟蹤效果,但是此算法不具備一個有效的更新機制,因為它僅僅使用新觀測學習到的基向量,沒有對遮擋部分進行檢測并處理這些樣本。另外,當目標物體被部分遮擋時,模型中的誤差向量不再服從高斯分布,此時會出現跟蹤漂移現象。而文獻[9]在文獻[7]的基礎上提出一個潛在的假設,即誤差項表示任意稀疏的噪聲,此方法可以處理部分遮擋問題,但是計算復雜度限制了其應用。這些跟蹤算法各有獨到之處,但面對要求不斷提高的圖像跟蹤應用需求,仍有以下幾個方面需要提升和改進:①觀測模型的建立應適應外觀變化,如目標旋轉,遮擋;②對跟蹤過程中目標物體遮擋部分建立有效的檢測機制;③對觀測模板的更新方法需要改進。

基于以上分析,提出了基于稀疏表示的在線目標跟蹤算法。與文獻[1-3]相比,該算法特征提取采用主成分分析法[10-11](PCA),通過降維用少數幾個綜合變量來代替原始多個變量,這些綜合變量集中了原始變量的大部分信息,增加了跟蹤的精確度。與文獻[8-9]相比,提出將當前幀圖像表示為主要特征和次要特征之和的形式,其中次要模板表示任意稀疏噪聲。為了避免跟蹤中出現的漂移現象,對目標物遮擋部分進行檢測,并提出一種新的模型更新方法,而不是簡單地對觀測模型直接進行更新。

1 算法介紹

該算法利用子空間學習和稀疏表示對目標物體建立觀測模型。在跟蹤過程中,將目標物體表示為PCA的基向量和次要模板之和的形式。動態模型采用仿射變換[12]實現對運動物體的狀態預測。

1.1 動態模型

目標跟蹤算法中的動態模型主要完成對運動物體狀態的預測,其中,預測的基礎是前一幀或幾幀圖像。通過仿射變換中的參數,對當前狀態進行預測。設當前狀態量為xt。令xt={xt,yt,θt,st,αt,φt},其中xt,yt,θt,st,αt,φt分別表示:第t幀時,x、y方向上的平移,旋轉角度,尺度變化,長寬比,傾斜角度。狀態轉移模型服從高斯分布,如公式(1)所示。

式中,ψ是仿射變換后參數的方差。

圖1 跟蹤框位置的確定Fig.1 Determination of tracing-box position

1.2 觀測模型

利用了子空間學習模型和稀疏表示模型的優勢,建立目標跟蹤模型。此模型可以認為是?1的規則化與主成分分析(PCA)的結合。在跟蹤過程中,用PCA基向量建立目標特征,同時用次要模板來解決遮擋問題。對每幀圖像的觀測向量可以表示為:

式中,y表示觀測向量,U由基向量構成的矩陣,z表示基向量的系數,e表示誤差項,也可以認為是次要模板。本模型包括兩部分:PCA基向量和次要模板。因此,式(2)可以轉換為一個優化問題,即求下式的最值問題。

式(3)中,模板的系數是稀疏的,系數向量正交,l是噪聲項系數。

當沒有遮擋情況發生時,觀測圖像yt可以認為是由目標物體的子空間產生。當目標物體被遮擋時,中心觀測圖像可以表示為由PCA基向量的線性組合和誤差項et之和=U zt+et,zt由基向量構成,矩陣zt是稠密的,et表示噪聲或是遮擋部分。當沒有發生遮擋時,圖像塊由PCA基向量表示,并且次要模板系數趨向于0。

對于每個觀察對象相應的預測狀態,轉化為求解下列函數:

式中,i表示樣本狀態量x的第i個樣本,通過上式求解最值可獲得zi、ei。對每個候選圖像的觀測似然函數可以用最小重建誤差來衡量:

加十三香炒制1～2 min即可，鍋內溫度控制在100～110 ℃。炒制過程中要不斷進行翻炒，防止焦鍋。

式(5)中沒有考慮到遮擋情況。當發生遮擋時,候選圖像的觀測似然函數可分為非遮擋因子和遮擋因子兩部分,用公式(6)表示。

此模型有兩個優點:第一,與文獻[7]提到的IVT跟蹤模型相比,能夠有效地解決部分遮擋問題。第二,與文獻[8]提到的?1模型相比,此模型通過子空間表示,以較低的計算復雜度處理高分辨率的圖像。式(3)算法的實現步驟如下:

輸入:觀察向量y,正交向量U,常數λ

1:初始化e0=0,i=0

2:迭代

3:計算zi+1,zi+1=UT(y-ei)

4:計算ei+1,ei+1=sλ(y-U zi+1)

6:直到收斂

輸出:zop,eop

1.3 模型的更新

目標跟蹤過程中,目標物體表面發生變化時,需要更新觀察模型。如果不重要的樣本得到更新后,那么會使得跟蹤模型的效果減弱,從而產生漂移現象。為此,在處理目標物體發生遮擋時,根據遮擋程度的不同采取不同的處理方式。處理過程為:首先,由于噪聲或遮擋是由次要模板來表示,所以用次要模板的系數來檢測遮擋,次要模板系數向量對應一個2維映射,當此映射中的元素為非零時,表明有遮擋發生。其次是計算遮擋比例,即遮擋像素和總像素個數的比值,用η表示;其次設定兩個閾值tr1=0.1和tr2=0.6。當η＜tr1時,直接用這個樣本更新模型;當tr1＜η＜tr2時,表明目標被部分遮擋,用遮擋部分的均值μ代替遮擋部分的像素,然后用替代的樣本更新模型;當η＞tr2時,這表明目標被大部分遮擋,此時丟棄樣本,不對模型進行更新。該算法的算法流程圖如圖2所示。

圖2 算法流程Fig.2 Algorithm flow chart

2 實驗結果及分析

為了驗證算法的正確性和有效性,在AMD 2. 0GHZ、內存2.0 GB的微機上,利用Matlab編程實現。圖像序列中,目標物體在第一幅圖像中的位置是通過手動標定。圖像序列中的每張圖像通過主成分分析(PCA)后,提取的特征圖像,觀測圖像被歸一化為32×32像素。重點對算法的魯棒性進行檢驗,包括目標旋轉,光照的變化,以及遮擋情況。除此之外,將算法與IVT算法[8]、?1算法[9]、Frag Track算法[13]進行了對比說明。

2.1 遮擋實驗

在Occlusion1、Occlusion2以及Caviar1序列圖像實驗中,圖像序列包括目標物體被遮擋和動作旋轉,實驗結果如下圖所示。

圖3 目標物體動作變化和被遮擋Fig.3 Objects undergo occlusion and pose change

其中,a是Occlusion1序列,b是Occlusion2序列,c是Caviar1序列。實驗結果顯示,在有遮擋物體的環境下,本文算法能夠實現有效地跟蹤目標物體。

2.2 光線變化實驗

在Singer1圖像序列中包括:光線的急劇變化,目標物體的尺度變化和動作變化。尤其實歌手從黑暗的地方移動到光線較亮的地方。除此之外,物體表面的尺度和行為的變化也有可能是因為攝像機的移動或抖動所引起的。

圖4 光線變化引起物體表面變化Fig.4 Objects appearance change due to variation of lighting

由實驗結果可以看到,在光線的急劇變化的環境下,本文算法能夠實現有效地跟蹤目標物體。

2.3 算法評估

評估跟蹤算法的有效性時,需要完整,客觀的評價標準。為此將從兩個評價標準對跟蹤算法進行評估。首先是由PASCAL VOC標準[14]定義的重疊率,其中,RT表示跟蹤方框的區域,RG表示實際的目標區域。當score的值大于0.5時便認為跟蹤算法是成功的。其次是中心誤差(Center Error),中心誤差為跟蹤方框的中心位置偏離目標物體的中心位置的距離。此值越小說明跟蹤效果越好。圖5和圖6分別是本文算法與其它幾種算法在Occlusion1序列、Occlusion2序列、Caviar1序列的中重疊率和中心誤差的對比。

圖5 重疊率Fig.5 Overlap rate

圖5表示本算法與IVT,?1,PN,VTD,MIL, FragTrack算法重疊率對比。a是Occlusion1圖像序列的重疊率,b是Occlusion2圖像序列的重疊率,c是Caviar1圖像序列的重疊率,d是Singer1圖像序列的重疊率。

圖6 中心誤差Fig.6 Center Error

圖6表示的是本文算法與IVT,?1,FragTrack算法中心誤差對比。其中,a是Occlusion1圖像序列中心誤差,b是Occlusion2圖像序列中心誤差,c是Caviar1圖像序列中心誤差,d是Singer1圖像序列中心誤差。由圖像可知本文算法平均中心誤差較低,對跟蹤效果具有較強的魯棒性。

表1 重疊率對比Table 1 Overlap-rate comparison

表1是本文算法與IVT,?1,FragTrack算法重疊率量化對比。由對比結果可以看到,本文算法重疊率的平均值高于其他算法。

表2 中心誤差對比Table 2 Center-error comparison

表2是本文算法與IVT,?1,FragTrack算法中心誤差的量化對比。

由表1重疊率和表2中心誤差對比結果可以看到,本文算法優于IVT算法、Frag Track算法以及?1算法。上述幾種算法中都考慮到了遮擋問題。其中,Frag Track算法通過部分直方圖表示來解決了遮擋問題;?1算法是通過將次要模板用稀疏來解決遮擋問題。在Occlusion2序列圖像實驗中,Frag Track算法表現不盡人意,這是因為此算法中沒有對目標物體形變和遮擋的部分進行處理。?1跟蹤算法在此序列中跟蹤效果并不好,其原因主要是其簡單的更新模型,即只是采用新的觀測圖像更新模型,沒有將遮擋部分分離出來。當目標物體被遮擋時,本文算法檢測到遮擋物部分,并根據遮擋情況不同對觀測模型采取不同的更新方法,所以當目標物體被遮擋以及發生旋轉時表現出較強魯棒性。在Singer1圖像序列中,本算法和IVT算法具有較好的跟蹤效果。這主要是因為當被跟蹤的物體外觀改變時可以通過子空間近似表示為固定姿勢[15],這樣就會產生良好的跟蹤效果。

3 結 語

本文的模型充分利用增量主成分分析與?1最小距離算法,在觀測模型中建立跟蹤模型的稀疏表示。為了解決追蹤中出現的漂移問題,算法考慮到了遮擋問題。在相鄰兩幀之間應用仿射變換估計當前幀中目標物體的位置,從而建立動態目標跟蹤模型。當被跟蹤的物體發生遮擋時,對觀測模型采取了不同的更新方法。最后通過實驗證明本文算法是有效的。在下一步工作中,我們嘗試在不同的場景中集成多種視覺表示方法來更好的描述對象,結合先驗知識與在線學習實現更有效的跟蹤效果。

[1] LIM J,ROSS D,YANG M H,et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision,2008(77):125-141.

[2] 陳美龍,戴聲奎.基于GLCM算法的圖像紋理特征分析[J].通信技術,2012(02):108-111.

CHEN Meilong,DAI Shengkui.Analysis on Image Texture Based on Gray-level Co-occurrence Matrix[J]. Communications Technology,2012(2):108-111.

[3] GANGNET M,HUE C,VERMAAK J,et al.Colorbased Probabilistic Tracking[C]//EECV.Denmark: Springer,2002,7:661-675.

[4] HU Weiming,LI Xi,ZHANG Xiaoqin,et al.Incremental Tensor Subspace Learning and Its Applications to Foreground Segmentation and Tracking[J].International Journal of Computer Vision,2011(91):303-327.

[5] WANG Dong,LU Hu-chuan,CHEN Yen-wei.Incremental MPCA for Color Object Tracking[C]//20th International Conference on Pattern Recognition.Istanbul: IEEE,2010:1751-1754.

[6] WANG Tiesheng,IRENE Y H G,SHI Pengfei.Object Track-ing Using Incremental 2-D-PCA Learning and ML Estimation[C]//IEEE International conference.Honolu-lu:IEEE,2007:933-936.

[7] LI Guorong,LIANG Dawei,HUANG Qingming,et al. Object Tracking Using Incremental 2-D-LDA Learning and Bayes Inference[C]//IEEE International Conference.San Diego:IEEE,2008:1568-1571.

[8] ROSS D A,LIM J,LIN R S,et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision,2008(77):125-141.

[9] MEI Xue,LING Haibin.Robust Visual Tracking Using?1Minimization[C]//IEEE International Conference on Computer Vision.Maryland:IEEE,2009:1436-1443.

[10] 張錚,王艷平,薛桂香.數字圖像處理與機器視覺[M].北京:人民郵電出版社,2010:390-396.

ZHANG Zheng,WANG Yanping,XUE Guixiang.Digital Image Processing and Machine Vision[M].Beijing: Posts&Telecom Press,2010:390-396.

[11] NEDEVSCHI S,PETER I R,DOBOS I A,et al.An Improved PCA Type Algorithm Applied in Face Recognition [C]//IEEE International Conference on Intelligent Computer Communication and Processing.Cluj-Napoca: IEEE.2010:259-262.

[12] DONG Ping,GALATSANOS N P.Affine Transformation Resistant Watermarking Based on Image Normalization [C]//IEEE International Conferenc on Image Processing.Chicago:IEEE.2002:489-492.

[13] MEI Xue,LING Haibin.Robust Visual Tracking and Vehicle Classification via Sparse Representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011(33):2259-2272.

[14] MARK Everingham,LUC V G,CHRISTOPHER K I W, et al.The Pascal Visual Object Classes Challenge Results[OL].New York:Springer US,2006[2014-04-08].http://pascallin.ecs.soton.ac.uk/challenges/ VOC/

[15] BELHUMEUR P N,KRIEGMAN David J.What is the Set of Images of an Object under All Possible Illumination Conditions[J].International Journal ofComputer Vision,1998(28):245-260.

LIUWei(1987-),male,graduate student,mainly engaged in image processing.

黃勇堅(1974—),男,碩士,副教授,主要研究方向為圖像處理、嵌入式系統設計;

HUANG Yong-jian(1976-),male,M. Sci.,associate professor,mainly engaged in image processing and embedded system design.

駱 華(1989—),男,碩士研究生,主要研究方向為智能信息處理;

LUO Hua(1989-),male,graduate student,mainly engaged in intelligent information processing.

周子力(1973—),男,副教授,主要研究方向為智能通信技術。

ZHOU Zi-li(1973-),male,associate professor,mainly engaged in intelligent communication technology.

Tracking Algorithm based on Online Target

Liu Wei,Huang Yong-jian,Luo Hua Zhou Zi-li
(College of Physics,Qufu Normal University,Qufu Shandong,273165,China)

Online target tracking is a challenging problem.When the surface of moving target changes and the fuzzy caused by background object's shelter and movement appears,it is necessary to establish an effective external representation model of object.Thus,by taking advantage of the typical principal component analysis(PCA)and sparse representation,an effective observation model is established.And by introducing L1 minimum value into the reconstruction of PCA,the target object is expressed as the sum of the major characteristic and the noise.In addition,when the shade and motion blur,in order to reduce the tracking drifting phenomenon,a novel model is proposed instead of simply updating the observation model. Experiments show that when the target object is covered and the background light changes dramatically,the algorithm is of strong robustness in target tracking.In overlap rate of evaluation index and center error,the algorithm is significantly improred in tracking accuracy.

motion target;observation model;?1minimum;principal component analysis;sparse representation

TP391.4

A

1002-0802(2014)11-1285-06

10.3969/j.issn.1002-0802.2014.11.010

劉 偉(1987—),男,碩士研究生,主要研究方向為圖像處理;

2014-08-15;

2014-09-15 Received date：2014-08-15;Revised date：2014-09-15

國家自然科學基金資助項目(No.61107030);山東省高校科技計劃項目(No.J12LN08)

Foundation Item：The national natural science fund(No.61107030);Shandong university of science and technology plan projects(No.J12LN08)