基于角點的稀疏子空間粒子濾波跟蹤算法

王旭陽 朱志林

(蘭州理工大學計算機與通信學院 甘肅 蘭州 730050)

0 引 言

在信號處理領域，視覺跟蹤是一類非常重要的研究課題，對它的研究具有重要的研究意義和巨大的應用價值。盡管經過近半個世紀的發展，視覺跟蹤仍有許多問題沒有徹底解決，比如目標快速變化、目標遮擋、背景復雜等[1-2]。

針對以上問題，基于子空間的目標跟蹤方法能夠較好地解決目標快速變化、目標遮擋和背景復雜的問題而受到了廣泛關注。子空間跟蹤方法的首次提出是基于主成分分析的思想，但是不能適應目標外觀變化。為了能夠實現對目標準確跟蹤，Ross等[3]提出基于增量子空間的目標跟蹤方法(IVT算法)，通過對子空間增量更新較好地解決了目標外觀變化與光照變化的問題，但是對目標遮擋與快速運動問題敏感。Kalal等[4]提出一種新的單目標長時間目標跟蹤方法TLD(Tracing-Learning-Detection)，將跟蹤與檢測結合的思想，在形變與部分遮擋問題具有魯棒性。Babenko等[5]提出建立樣本集，至少有一個正樣本的樣本集標簽設為正，否則為負，提高了樣本更新的精確度，很好地解決了在線跟蹤漂移的問題。Zhang等[6]提出通過稀疏測量矩陣去提取前景目標和背景的特征，作為在線學習更新分類器的正樣本和負樣本，然后使用該樸素貝葉斯分類器去分類下一幀圖像的目標待測圖像，并在線更新分類器，對多種跟蹤問題具有魯棒性。王棟等[7]提出了基于稀疏原型的方法，將稀疏表示方法中的遮擋模板與PCA基向量結合，有效地解決PCA基向量對目標遮擋敏感和稀疏表示方法實時性差的問題，但瑣碎模板會受到目標背景影響，長時間跟蹤后會降低精確度。文獻[8]提出聯合模型的思想，將目標外觀模型同時用原始目標模板與當前幀部分粒子構成的聯合模板稀疏表示構建一個聯合目標函數，將跟蹤問題通過迭代轉化為求解最優化問題，但算法的復雜度較高。文獻[9-13]提出對目標先進行狀態判斷，對目標不同的情況自適應采用不同的跟蹤策略。狀態判斷并自適應跟蹤的方法提高了跟蹤準確度，降低了圖像維數與字典搜索復雜度，但在復雜環境下狀態判斷方法單一或不同狀態的跟蹤策略不當會導致跟蹤漂移。

本文在傳統稀疏子空間的基礎上，提出基于角點的稀疏子空間粒子濾波跟蹤方法。首先通過Huber函數及求當前幀與基向量均值偏移值結合的方法計算相似度，更準確地得到目標的相似性，從而對目標狀態進行判斷。然后提出通過Shi-Tomasi角點[14]的方法提取特征點，選擇其中特征點最多的圖像塊建立瑣碎模板，與基向量目標模板結合組成字典，設定閾值，對相似度高的僅采用基向量對候選目標進行誤差運算，增量更新基向量子空間，否則將正交基向量結合瑣碎模板組成字典進行誤差計算，并更新瑣碎模板，實現對目標的準確跟蹤。

1 相似度測量

相似度測量采用Huber函數對誤差值魯棒性估計與計算當前幀與當前訓練集均值模板夾角結合的方法，對目標當前狀態實現更加準確的判斷。

當目標的粒子濾波最大似然估計結果與子空間的目標模型相似度越高，即重構誤差值越小，說明目標變化平緩，否則，目標發生突變。計算相似度來判斷目標狀態，通過Huber函數對重構誤差進行魯棒性估計。

(1)

式中：ei是第i個像素的重構誤差；σ是重構誤差高斯分布的標準差；c為常量，用來控制異常像素。當滿足條件|ei|≤cσi，則判定第i個像素為異常像素。

同時采取計算當前幀y與當前訓練集均值模板的相似度x，采用兩者歸一化向量之間的夾角表示它們的相似度，即：

x=angle(y,Ti)

(2)

當x大于相似度閾值σ1時，說明當前幀與訓練集有偏差，設定當前幀為異常情況，否則為正常情況。

2 粒子濾波框架

粒子濾波方法是在貝葉斯學習和蒙特卡羅模擬的基礎上提出的一種濾波方法。其主要分為兩個部分，分別是預測和更新。首先通過前一幀的位置參數預測當前幀的位置，也就是先驗信息，之后根據當前幀的預測結果進行處理獲得目標的位置參數的后驗信息，對位置參數進行更新成為下一幀的先驗信息。若已知狀態的初始概率密度函數為p(x0/z0)=p(x0)，則狀態預測方程為：

(3)

狀態更新方程為：

(4)

最后選擇權值最高的粒子作為目標的t時刻的狀態，即：

(5)

在每一幀跟蹤完成，還要根據粒子的權值進行重采樣，防止粒子退化。

3 本文算法

3.1 改進的稀疏子空間

根據相似度測量得到的結果判斷選用的觀測模型，當目標狀態為正常狀態時選用正交基向量U計算與原始圖像的重構誤差，否則加入瑣碎模板進行測量。

3.1.1 正常狀態基向量

在PCA中，假設εi～(0,σ2)，σ表示數值很小方差。

(6)

z的似然函數為l(z)=P(y|z),將上式代入求z的最大似然估計，通過公式轉換成求最小重構誤差值，并對z求導。

(7)

對z求導：

(8)

z=UTy就是z的最大似然估計，U為正交矩陣時，ε=y-Uz。

3.1.2 異常狀態子空間

在異常狀態時引入瑣碎模板，首先假設目標能夠被引入瑣碎模板的字典表示，通過基向量來適應目標外觀的變化，瑣碎模板表示噪聲情況。觀測目標表示為：

(9)

式中:y表示一個觀測向量，U表示PCA基向量，x為基向量U的表示系數，I為瑣碎模板，e為瑣碎模板系數。由于基向量集U是正交的，系數x是非稀疏的，而e是稀疏的。

在似然估計函數中加入一個權值ωi，ωi的表達式如下：

ω1=exp(i-m)/τi=1,2,…,m

ω2=exp(j-n)/τj=1,2,…,n

ωi=[ω1ω2]

(10)

式中:m為基向量的列數，n為瑣碎模板的列數，τ為衰落系數。ω1為基向量權值，ω2為瑣碎模板的權值，將ω1、ω2結合組成ωi，通過先對瑣碎模板按特征點排序，之后給一個由高到低的權值，更好地體現出特征點的影響。

通過表1迭代算法求出x、e的值，同時將權值ωi代入下面的觀測似然函數中。

(11)

表1 計算最優x和e的迭代算法

3.2 改進的瑣碎模板方法

通過使用Shi等提出Shi-Tomasi角點檢測法提取特征點。窗口在平滑區域時沒有變化，角點檢測就是找出窗口在各個方向都有變化的特征點。通過這種物理現象，根據判斷窗口在各個方向的變化程度，確定角點。在Harris角點的基礎上，Shi-Tomasi角點方法加入了強角點，對很多復雜情況具有更強的適應性。

將圖像窗口平移[uv]產生灰度變化E(u,v)。

(12)

由I(x+u,y+v)=I(x,y)+Ixu+Iyv+ο(u2,v2)得：

(13)

Ix、Iy和Ixy分別表示圖像水平、垂直以及對角方向梯度與一加權循環窗函數的卷積。

R=min(ρ1,ρ2)

(14)

式中:ρ1、ρ2是一組結構化張量的特征值，如圖1所示，先找出目標區域，然后通過Shi-Tomasi角點檢測法中像素點的最小特征值大于周圍像素的特征值，則該點是角點，最后根據特征點選取出圖像塊，形成瑣碎模板。

將目標劃分成N個圖像塊I={I1,I2,…,IN},尺寸為dx×dy,比較各圖像塊中特征點，選取出特征點最多的M個圖像塊組成瑣碎模板。

4 更新方法

跟蹤過程中如果采用固定不變的字典模板，則當目標外觀或姿態發生變化、光照不均以及出現遮擋時往往會導致跟蹤失敗。然而如果字典模板更新太頻繁，誤差將會累積最終會導致跟蹤器發生漂移，因而需要設計一種合理的模板更新方法。

當目標遭遇遮擋時，通常的子空間更新方法通過設立閾值比較重構誤差的大小判斷當前幀是否處于異常狀態，從而決定是否將其更新到模板集中，這種更新方法對遮擋情況有良好的效果，但是對其他異常情況不能很好的處理。本文提出根據相似度測量的相似度設定兩個閾值σ1和σ2來界定更新模板的方法。當相似度小于σ1時，認為目標沒有異常，設置為正常情況，將觀測圖像樣本存放到正常模板集。當相似度大于σ2時，認為目標出現嚴重異常，直接丟棄觀測圖像樣本不更新模型。當重構誤差處于兩個閾值之間時，認為目標處于少量異常狀態，我們將觀測樣本中異常的像素利用均值向量對應的像素進行替換，然后將替換后的樣本進行存儲到異常模板集中。

5 實驗結果與分析

為了評估本文算法跟蹤的性能，在當前OTB-100[15]的100個視頻集中進行跟蹤測試，因為視頻序列過多，選取其中5個具有代表性的視頻序列做詳細說明。IVT算法首次將增量學習的思想引入子空間，對目標外觀變化具有魯棒性；TLD算法將跟蹤與檢測結合，對目標的形變與部分遮擋等問題具有適應性，可以用來做形變與部分遮擋方面的對比；MIL算法對光照變化與劇烈形變具有魯棒性，可以做光照變化與劇烈形變的比對實驗；CT算法通過稀疏矩陣提取圖像前景與背景特征，并在線更新分類器正負樣本，是以稀疏感知理論為基礎的算法，與本文算法思想有一定的相關性。根據上述原因，將本文算法與當前的經典跟蹤IVT算法[3]、TLD算法[4]、MIL算法[5]和CT算法[6]進行比較。視頻序列挑戰因素包含目標遮擋、旋轉變化、運動模糊、快速形變等。實驗平臺配置為酷睿4.0 GHz的CPU、8.0 GB內存的PC機，在MATLAB2013a中進行實驗。整個實驗設置正則化常數在每個視頻序列中，對目標跟蹤的第一幀通過手動選擇，并將每一幀的觀測圖像歸一化成32×32像素。圖2為跟蹤結果。

(a) Deer序列

(b) sylvester序列

(c) woman序列

(d) car11序列

(e) david indoor序列

圖2 各挑戰序列跟蹤結果

5.1 定性評估

1) 嚴重遮擋 我們的算法在有長時間遮擋的woman視頻集中，相對于其他算法實現了很好地跟蹤效果。我們的跟蹤器能夠精確跟蹤目標的原因：一方面是將通過角點特征生成的瑣碎模板與基向量集結合更好的對遮擋的目標實現跟蹤；另一方面，對瑣碎模板在檢測出異常情況時進行更新，能夠很好地將遮擋的目標情況加入模板集中。在woman序列第89幀的時候本文算法與其他算法都實現了對目標的跟蹤。第126幀以后，目標發生了遮擋，其他算法不能適應目標遮擋，都出現跟蹤丟失的情況，而本文算法仍然能夠跟蹤目標。

2) 光照變化 在sylvester序列與david indoor序列中顯示了明顯的光照變化，以及姿態改變的情況的跟蹤結果。在跟蹤結果中，我們的算法與TLD算法能夠對目標進行較好的跟蹤，而MIL算法、IVT算法與CT算法則跟蹤效果不好，出現了漂移的情況。在sylvester序列中的第620幀、703幀，目標出現光照變化、姿態改變的情況，可以看出其他算法發生了偏移，但我們的算法因為基向量集能夠很好適應光照變化，瑣碎模板能夠適應目標姿態改變，所以一直對目標實現了精確跟蹤。

3) 背景雜波 在Deer序列、car11序列中，具有明顯背景雜波的情況，同時，Deer序列中還包含快速運動，car11序列包含光照變化。通過跟蹤結果表明，我們的算法對目標實現了較好的跟蹤，TLD算法剛開始不能實現對目標跟蹤，后面又重新找回了目標，MIL算法前期能夠實現對目標的跟蹤，而后期不能適應目標的快速運動，丟失了目標。IVT算法與CT算法跟蹤的效果不好。

5.2 定量評估

表2 平均重疊率

在圖3中顯示了本文算法與TLD算法、CT算法、MIL算法，以及IVT算法在OTB-100所有測試集中的跟蹤成功率和跟蹤精確度的統計圖。在圖3(a)、圖(d)中可以看出在視頻集在OTB-100視頻集中的成功率與精確度的整體情況，我們的算法要優于TLD等其他算法。在圖3(b)-(f)中可以看出在遮擋與快速運動情況下，我們的算法的成功率和精確度與其他幾種算法比較要更具魯棒性。

(a) 跟蹤成功率統計圖

(b) 遮擋跟蹤成功率統計圖

(c) 快速運動跟蹤成功率統計圖

(d) 跟蹤精確度統計圖

(e) 遮擋跟蹤精確度統計圖

(f) 快速運動跟蹤精確度統計圖圖3 所有跟蹤算法在所有視頻集中的跟蹤性能

6 結 語

本文提出一種將目標狀態判斷與稀疏子空間方法結合的目標跟蹤方法。在粒子濾波的框架下，首先對目標狀態進行判斷，區分正常狀態與異常狀態的粒子。然后，通過Shi角點提取特征點，選出特征點包含較多的圖像塊建立瑣碎模板，與基向量集結合組成過完備字典，實現對目標的精確跟蹤。最后，根據目標狀態對基向量集或瑣碎模板進行增量更新。與其他算法比較，通過實驗結果以及評估統計說明本文算法可以對目標遮擋、快速運動、光照變化及外觀變化精確跟蹤，但對目標跟蹤的實時性還有待提高。