聯合時空上下文和反稀疏模型的目標跟蹤方法?

趙俊齊 伍海龍 劉 婕 劉朝榮

（1.蘭州理工大學電氣工程與信息工程學院 蘭州 730050）（2.蘭州理工大學電氣與控制工程國家級實驗教學示范中心蘭州 730050）（3.蘭州理工大學甘肅省工業過程先進控制重點實驗室 蘭州 730050）

1 引言

目標跟蹤是指對視頻序列的每一幀進行目標的定位，以生成目標的運動軌跡，并在每一時刻提供完整的目標區域。目標跟蹤作為計算機視覺中的一項重要內容，在智能視頻監控、人機交互和機器人等領域應用廣泛，具有重要的實用價值［1］。目標跟蹤技術發展到現在大量目標跟蹤算法被提出，文獻［2］對常見的跟蹤算法進行了綜述。雖然有大量的跟蹤算法被提出，并具有較好的跟蹤效果，但是由于跟蹤過程中出現的遮擋、形變、光照變化等因素的影響，使得目標跟蹤仍然是一個具有挑戰性的任務，因此仍有大量的學者對其進行不斷提升，以進一步滿足準確性、可靠性和實時性的要求［3］。

近年來，稀疏表示方法因其在信號表示方面的優點，即用過完備字典對信號進行稀疏表示，在人臉識別領域取得了成功應用，因此，一些學者嘗試將稀疏表示方法引入到目標跟蹤領域中以提高目標表示的準確性。其中，Mei等［4］最先將稀疏表示應用到目標跟蹤領域，該方法利用目標模板和瑣碎模板組成的字典來重建每一個候選目標區域。在Mei方法的基礎上，文獻［5］通過對目標模板進行PCA降維以降低計算復雜度。文獻［6］提出了基于局部稀疏表示的目標跟蹤算法，并通過學習分類器將目標和背景進行區分。文獻［7］采用局部加權的方法來對目標和背景進行區分，提出了基于局部加權的反稀疏表示跟蹤方法。文獻［8］提出了反稀疏組LASSO模型的魯棒跟蹤算法，該方法通過對候選目標模板進行分組，利用組稀疏的方式進行稀疏系數的求解?；谙∈璞硎镜母櫡椒m然能夠準確地對目標進行跟蹤，但是存在計算復雜度高的問題。通過將候選作為字典表示目標模板基于反稀疏表示的跟蹤方法極大地提高了跟蹤效率，但是存在一些候選與目標模板或前一幀跟蹤結果相似性低的問題。

基于稀疏表示的跟蹤方法通常只關注目標自身的信息，在目標出現遮擋時容易出現目標漂移甚至丟失的情況。為了利用目標和背景的約束關系，進一步提高跟蹤的準確性，一些學者通過對包含目標和背景的區域收集樣本并學習分類器以區分目標和背景，提出了基于判別法的目標跟蹤方法，例如文獻［9］提出的在線多示例學習的跟蹤方法，文獻［10］提出的半監督在線魯棒跟蹤方法。不同于判別法，文獻［11］提出了基于時空上下文環境學習的快速視覺跟蹤方法，該方法通過求目標上下文區域置信圖最大置信值的位置來得到跟蹤結果；文獻［12］提出了基于加權時空上下文的魯棒視覺跟蹤方法。

基于時空上下文的跟蹤方法利用了目標的背景信息穩定的特點，當目標出現遮擋時等情況時，上下文信息可以用來確定目標的位置，但是時空上下文的方法沒有對目標的位置進行預測。

鑒于反稀疏表示跟蹤方法和時空上下文跟蹤方法的優缺點，本文將時空上下文和反稀疏表示方法進行結合，通過利用目標和背景的約束關系來提高對候選判斷的準確性，進而提高目標跟蹤的效果。

2 基于時空上下文和反稀疏表示的跟蹤方法

本文方法的框架結構與工作流程如圖1所示，首先，對于視頻序列圖像，我們由第一幀圖像得到目標模板，對于后續幀圖像在目標模板或前一幀跟蹤結果的基礎上利用粒子濾波方法進行采樣以得到候選目標；然后，利用時空上下文方法對候選目標進行優化篩選以提高候選目標的準確性，并由目標模板和候選目標利用反稀疏表示的方法得到跟蹤結果；最后，更新目標模板和加權函數。

圖1 本文算法流程圖

2.1 粒子濾波采樣

本文使用粒子濾波方法對目標的位置進行預測，粒子濾波是貝葉斯序慣重要性采樣技術，粒子濾波框架使用加權的粒子來近似表示目標狀態的概率分布，粒子濾波框架主要包括預測和更新兩個部分，下面對粒子濾波進行具體介紹：

其中，xt為狀態變量，用來描述目標的仿射參數，yt為與xt對應的觀測值。 p(xt|y1:t-1)表示預測，即根據所有過去觀察記錄和狀態演化概率模型估計目標的可能狀態，p(xt|y1:t)表示更新，即利用當前時刻觀測值對以往估計結果進行修正。 p(xt|xt-1)為描述狀態變化的動態模型，p(yt|xt)為觀測模型，即估計觀測值yt在狀態xt的似然性。

對于視頻序列，通常由第一幀圖像手動標定初始的目標模板T0，并由目標模板T0獲得初始的目標位置x0。此外，由第一幀圖像，根據式（3）可得初始的目標上下文置信圖c(x0)：

其中，a是規則化常數，α是尺度參數，η為形狀參數。

對后續圖像中的每一幀圖像，根據前一幀圖像目標位置X利用粒子濾波的方法，如式（4）所示，進行采樣并得到相應的候選目標Y=[y1，y2，…，yn]：

其中，N(X，β2)表示采樣過程服從正態分布，β =(βx，βy，βθ，βs，βδ，β?)為仿射參數，分別表示目標的水平位移、垂直位移、旋轉、縮放、寬高比和錯切，I表示取圖像塊的操作。

2.2 獲取候選目標上下文置信圖

由式（4）獲得的候選目標Y，對其擴大N倍得到候選目標的上下文區域。根據獲得的候選目標上下文，進而計算候選目標空間上下文置信圖，其主要由上下文先驗模型和空間上下文模型兩部分構成，具體闡述如下。

2.2.1 上下文先驗模型

由獲得的候選目標上下文區域，為了對上下文區域中的不同部分依據重要性進行區分，將候選目標上下文區域和空間加權函數w相乘，以得到上下文先驗模型，如式（5）所示：

其中，a是規則化常數，σ為空間加權函數的尺度參數，z表示候選上下文中的位置。

2.2.2 空間上下文模型

對視頻序列中的每一幀圖像根據式（4）在目標位置的基礎上取目標上下文。由式（6）對求得的目標上下文進行加權，得到加權的目標上下文。根據求得的初始的目標上下文置信圖c(x0)和。根據文獻，空間上下文模型可由式（7）求得：

2.2.3 候選目標上下文置信圖

其中，⊙表示對應像素相乘，ci(X)表示第i個候選上下文的置信圖，(X)為第t幀圖像目標的時空上下文模型，定義為=(1-ρ)，ρ為學習參數，(X)為第t-1幀圖像目標的時空上下文模型，為第t幀的圖像目標的空間上下文模型。

2.3 候選目標篩選與優化

由于粒子濾波采樣使用隨機的方法在目標周圍采樣，使得一些候選與前一幀圖像跟蹤結果的相似性較低。因此，本文通過對候選目標進行篩選與優化以提高候選目標的準確性，需分別判定候選目標上下文置信圖最大置信值的位置、優化候選目標，具體如下。

2.3.1 獲取置信圖最大置信值位置

計算候選上下文置信圖最大置信值位置的方法如式（9）所示：

其中，li為求得的第i個候選上下文置信圖最大置信值的位置。

對每一個候選上下文置信圖都由式（9）計算最大置信值的位置，可得 L=[l1，l2，…，ln]。

2.3.2 距離度量與候選篩選

距離度量的方法如式（10）所示：

其中，di表示求得的第i個候選上下文的距離值。

對L中的每一個位置都根據式（10）進行距離的計算，可得 D=[d1，d2，…，dn]。通過計算 D 中所有距離的平均值得到dˉ，然后找出D中距離值小于dˉ的距離所在的索引，index=(d＜dˉ)。根據求得的索引在候選目標Y=[y1，y2，…，yn]中找出對應的優化候選目標Y*=[y1，y2，…，ym]，m＜n 。

2.4 反稀疏表示目標跟蹤

由目標模板T和優化的候選目標Y*，利用反稀疏表示的方法求跟蹤結果。先將優化的候選目標Y*作為字典對目標模板T進行稀疏表示，進而從候選目標中確定與目標模板最相似的候選，由文獻稀疏系數的求取方法如式（12）所示：

其中，α*為最優的稀疏系數，λ表示約束常數，α≥0表示非負約束。

由求得的最優稀疏系數α*，在候選目標Y*中找出與稀疏系數α*對應的仿射參數 p，由式（13）計算最優候選的仿射參數 p*：

由p*在當前幀圖像中得到與目標模板最相似的候選目標y*，即為最終的跟蹤結果。

2.5 更新

針對跟蹤過程中出現的遮擋、形變、光照變化等因素引起的目標外觀變化，本文對目標模板和加權函數進行更新以解決目標外觀變化的問題。

2.5.1 更新目標模板

本文利用局部塊的方式來更新目標模板，通過對當前跟蹤結果和目標模板的每一個局部塊計算歐式距離并判斷是否進行更新，目標模板更新過程如式（14）所示：

其中，Tt，i表示新的目標模板的第i個局部塊，Tt-1，i表示之前求得的目標模板的第i個局部塊，Rt，i表示當前幀跟蹤結果的第i個局部塊，μ是常數，τ是表示相似性的閾值。如果跟蹤結果與目標模板之間對應圖像塊的距離小于閾值τ就更新，否則就不更新。

2.5.2 更新空間加權函數

由于目標外觀的尺度變化，空間加權函數w(z)也會相應產生變化，利用文獻中尺度參數σ估計方法更新空間加權函數。其過程為

其中，ρ為學習參數，vt為當前幀的目標尺度。故可由σt+1=vt+1σt更新空間加權函數的尺度參數σ。

3 實驗結果與分析

本文提出的聯合時空上下文和反稀疏模型的目標跟蹤方法的代碼是在Matlab R2014a軟件中編制完成，測試實驗的PC平臺配置為Intel Core2 i3CPU，內存為4GB。測試和對比實驗中算法的參數 μ、ρ、λ和 η分別設置為0.95，0.075，0.25和1，目標模板更新的閾值參數τ設為0.1。目標模板和候選目標的大小為32×32像素，候選目標上下文區域的大小是候選目標的2倍，即64×64像素。在更新過程中將圖像分成4×4的圖像塊，每一個圖像塊的大小是8×8像素。通過將本文的方法和基于 LWIST［7］、SPT［5］和 STC［11］的跟蹤方法在 Occlu?sion2、Sail、Girl等6個視頻序列進行了主客觀對比實驗，以驗證本文方法在目標遮擋、光照變化、形變等方面的性能。在客觀評價階段，采用目標區域和背景區域的交集與并集的比值，即重疊率指標［13］，對各種方法進行比較。

3.1 測試結果主觀對比

圖2是本文方法與LWIST、SPT和STC跟蹤方法的實驗對比結果，其中黃色框是本文的結果。圖2（a）、（b）、（c）分別為中 Occlusion2 序列、Sail序列和DavidOutdoor序列，用來測試目標出現遮擋情況各方法的性能；圖（d）為Girl序列，用來測試目標出現平面內旋轉時各方法的性能；圖（e）包含Car11和Caviar1序列，用來測試目標出現光照變化和縮放變化時各方法的性能。其中，Car11序列中的車輛在運動過程中，車輛存在嚴重的光照變化，不同方法的實驗結果如圖2（e）所示。Girl序列中的目標出現了平面內旋轉和目標遮擋，不同方法的實驗結果如圖（d）所示，本文的方法在目標出現遮擋以及平面內旋轉均能夠準確地跟蹤目標。對于目標遮擋的Occlusion2、Sail和 DavidOutdoor序列，本文方法均能夠準確地跟蹤目標。跟蹤結果表明本文的方法相比于 LWIST［7］、SPT［5］和 STC［11］方法在目標出現遮擋、光照變化、形變等因素時，本文的方法在跟蹤準確性方面更具優勢。

圖2 不同跟蹤方法的實驗結果對比

3.2 測試結果客觀對比

本文方法與 LWIST［7］和 SPT［5］跟蹤方法的在Sail、Girl、Car11等視頻序列在目標的中心誤差和重疊率方面的比較結果分別如圖3和表1所示。

圖3 測試序列的中心誤差曲線

圖 3 為本文方法與 LWIST［7］和 SPT［5］跟蹤方法在相應視頻序列的中心誤差比較曲線，為了突出顯示，這里用實線表示本文的方法。本文的方法和LWIST［7］和 SPT［5］跟蹤方法計算的相應重疊率指標如表1所示。

表1 不同跟蹤方法的重疊率實驗結果比較

由表 1，通過對 Sail、Occlusion2、Car11等視頻序列在重疊率方面的比較結果可知，本文的方法總體上具有更好的跟蹤重疊率，尤其是Girl和Car11序列在重疊率指標上達到了最高。

4 結語

本文聯合了時空上下文和反稀疏表示模型，將時空上下文方法中求置信圖的方法應用到反稀疏模型中，并求取候選目標上下文置信圖最大置信值的位置。通過比較候選目標上下文最大置信值位置與前一幀跟蹤結果目標位置實現候選目標的篩選與優化，并利用反稀疏表示的方法得到跟蹤結果。結果表明，本文方法對目標遮擋、形變和光照變化等因素在跟蹤準確性方面效果較好。