融合全局灰度模板的改進CT算法

李廣三，楊大為，王 琰

LI Guangsan,YANG Dawei,WANG Yan

沈陽理工大學 信息科學與工程學院，沈陽 110159

School of Information Science and Engineering,Shenyang Ligong University,Shenyang 110159,China

1 引言

目標跟蹤是指在視頻圖像序列中估計被跟蹤目標的時間狀態序列（包括位置、方向、尺度大小等）。目標跟蹤在計算機視覺領域（視頻索引、安全監控、人機交互等）中發揮著重要作用。最近幾十年已經出現了一些在現實中應用廣泛的目標跟蹤算法。在目標跟蹤過程中，光照變化、運動模糊、部分遮擋等情況會導致目標發生明顯的表觀變化，這使得維持目標跟蹤算法的魯棒性成為一個難題[1-2]。

目標跟蹤算法通常至少包括表觀模型和運動模型兩個部分。在任意一幀圖像中，通常使用目標的某個或某些特征構建該目標的表觀模型，在隨后的跟蹤過程中使用這個表觀模型表示該目標。然后，在下一幀圖像中，使用運動模型得到目標所有的預測樣本，利用表觀模型從眾多預測樣本中挑選一個預測樣本作為跟蹤結果。在目標跟蹤算法中，表觀模型是非常關鍵的部分。

構建表觀模型至少要考慮兩個因素。第一，使用什么特征來表示目標。目標一般包含多種特征，例如灰度[3-4]、顏色、紋理、HOG特征、Haar特征[5-6]等等。同時，根據提取特征的區域，還可以分成全局特征和局部特征。全局特征對于目標和背景都是清晰明白的，特別適用于判別模型[7]。局部特征能夠有效處理部分遮擋問題[3]。第二，如何利用表觀模型從眾多預測樣本中選擇一個預測樣本作為跟蹤結果。根據選擇方法，可以把表觀模型分為生成模型和判別模型。利用運動模型提取眾多預測樣本，將目標的表觀模型和預測樣本的表觀模型依次比較，選擇兩者表觀模型最相似的預測樣本作為跟蹤結果，這就是生成模型[3-4，8-9]。利用運動模型提取眾多正負樣本和預測樣本，利用正負樣本的表觀模型構建分類器，選擇分類器分數最大的預測樣本作為跟蹤結果，這就是判別模型[5，10-13]。兩者各有優缺點，判別模型實時性更好，生成模型魯棒性更好。為了充分利用生成模型和判別模型各自的優勢，已經出現了結合使用生成模型和判別模型的目標跟蹤算法[7，14-15]。

Compressive Tracking（CT）算法[12]是一種判別跟蹤算法，它使用矩形窗口表示跟蹤結果，窗口內的像素大部分來自目標，小部分來自背景。當在窗口中提取稀疏局部Haar-like特征時，背景中的像素會影響算法的魯棒性。無論是對于目標還是對于背景，全局模板都是清晰明白的，因此更適用于判別模型。為了提高CT算法的魯棒性，本文提出了一種融合全局灰度模板的改進CT算法。首先構建一個稀疏Haar-like特征表觀模型M1，然后構建一個全局灰度直方圖表觀模型M2，將M1和M2這兩種表觀模型結合起來用于跟蹤算法。實驗表明融合全局灰度模板的改進CT算法與CT算法相比，提高了魯棒性，減輕了漂移問題。

2 融合全局灰度模板的改進算法

本文算法在構建表觀模型時使用了稀疏Haar-like特征和歸一化灰度直方圖特征。

在構建稀疏Haar-like特征表觀模型M1時，首先利用一個矩陣R在窗口中隨機提取稀疏Haar-like特征，其公式如下：

其中 R∈?n×m(n＜＜m)是基于壓縮感知理論[6，9]構建的一個非常稀疏的隨機投影矩陣，X∈?m×1是窗口列向量，V∈?n×1為窗口列向量經過R投影之后的Haar-like特征列向量。矩陣R的定義方法直接關系到表觀模型的性能，文獻[12]中的矩陣R定義如下：

其中s等概率在2、3、4中隨機選取。本文算法中詳細的稀疏Haar-like特征提取公式如下：

其中 Haari，k表示在某個窗口中提取第i組Haar-like特征時所提取到的第 k個Haar-like特征，i=1，2，…，50，k=1、2、3、4。由公式（3）可知窗口的稀疏Haar-like特征就是s個矩形窗口的積分圖像的加權之和，如圖1所示。

圖1 稀疏Haar-like特征提取示意圖

在構建稀疏Haar-like表觀模型M1的過程中，本文算法使用的運動模型是密集抽樣方法，并且假設使用矩陣R提取的稀疏Haar-like特征相互獨立并滿足高斯分布，于是可用高斯分布密度函數來衡量圖像樣本的分布。

在構建全局灰度直方圖表觀模型M2時使用歸一化灰度直方圖特征，這里仍然使用M1模型中的正負樣本和預測樣本，首先計算t時刻跟蹤目標的歸一化灰度直方圖特征historigin、t+1時刻預測樣本的歸一化灰度直方圖特征histall，使用historigin和histall之間的巴氏距離來衡量預測樣本和跟蹤目標的相似度。本文算法流程如下：

輸入 視頻序列中第t幀圖像、跟蹤目標位置Lt。

步驟1在輸入視頻序列的第t幀圖像中已知跟蹤目標位置Lt。Lt包含4個元素，分別是窗口左上角的x坐標、y坐標、窗口的寬度w、高度h。計算Lt對應窗口的歸一化灰度直方圖特征historigin。

步驟2在Lt周圍一個圓形區域內基于公式（4）提取正樣本若干：

對Dα中的正樣本使用矩陣R提取Haar-like特征。求出所有正樣本的均值和方差，分別記為μ1和σ1。

步驟3在Lt周圍一個環形區域內基于公式（5）提取負樣本若干：

其中 α＜?＜β。對 D?，β中的負樣本使用矩陣 R提取Haar-like特征。求出所有負樣本的均值和方差，分別記為 μ0和 σ0。

步驟4在輸入視頻序列的第t+1幀圖像中，在Lt周圍一個圓形區域內基于公式（6）提取預測樣本：

對Dγ中的預測樣本使用矩陣 R提取Haar-like特征。使用矩陣x表示預測樣本的Haar-like特征。對每個預測樣本求歸一化灰度直方圖特征histall。

步驟5利用正樣本的均值μ1和方差σ1、負樣本的均值 μ0和方差σ0構建預測樣本的高斯分布函數 p(vi|y=1)和 p(vi|y=0)，公式分別如下：

步驟6利用樸素貝葉斯準則求出衡量預測樣本與跟蹤目標相似度的第一個標準H(v)，計算公式如下：

步驟7計算histall和historigin之間的巴氏距離HD，把它作為衡量預測樣本與跟蹤目標相似度的第二個標準，公式如下：

步驟8在選擇預測樣本時，綜合考慮預測樣本在模型M1中的H(v)值以及在模型M2的HD值，把這兩個值的乘積Hdv作為衡量預測樣本和跟蹤目標相似度的最終標準，計算公式如下：

步驟9在輸入視頻序列的第t+1幀圖像中，重復步驟2、3，根據公式（12）、（13）更新公式（7）、（8）的參數。

式中φ是一個學習參數，表示稀疏Haar-like表觀模型更新的程度。

步驟10重復步驟1～9。

輸出 跟蹤位置Lt+1、分類器參數。

3 實驗結果及分析

實驗中對本文算法、CT算法進行了比較。兩種算法對David視頻序列和sylv視頻序列進行跟蹤的部分結果分別為圖2、圖3，其中，實線框代表CT算法的跟蹤結果，虛線框代表本文算法的跟蹤結果。David視頻序列和sylv視頻序列的跟蹤誤差曲線分別為圖4和圖5，實線表示CT算法，點線表示本文算法。

CT算法簡單、實時性好，但是在提取局部Haar-like特征時，有可能會提取背景中的Haar-like特征，導致算法魯棒性降低。本文算法在CT算法的基礎上，增加了一個全局灰度模板，所構建的表觀模型更加具有判別能力，在一定程度上緩解了跟蹤結果的漂移。在David視頻序列中第69幀、第101幀、第175幀、第241幀、第297幀、第358幀圖像，在sylv視頻序列中第56幀、第144幀、第223幀、第297幀、第365幀、第430幀圖像，可以看到本文算法的跟蹤結果比CT算法魯棒性提高了。

圖2 對David視頻序列的跟蹤結果（第69、101、175、241、297、358幀）

圖3 對sylv視頻序列的跟蹤結果（第56、144、223、297、365、430幀）

圖4 David視頻序列的跟蹤誤差曲線圖

圖5 sylv視頻序列的跟蹤誤差曲線圖

4 結束語

針對文獻中CT算法的不足和全局灰度模板在判別跟蹤算法中的優點，提出一個增加全局灰度模板的改進CT算法。在構建表觀模型時，首先使用局部稀疏Haar-like特征構建一個表觀模型M1，然后使用全局歸一化灰度直方圖特征構建一個表觀模型M2，把M1和M2共同用于跟蹤算法。對不同視頻序列的實驗結果表明，改進CT算法提高了魯棒性，減輕了漂移問題。但是，全局灰度模板的引入必然會降低算法的實時性。如何更好地解決這個問題是本文后續研究的重點。

[1]Yilmaz A，Javed O，Shah M.Object tracking：a survey[J].ACM Computing Survey，2006，38（4）：1-45.

[2]郭巖松，楊愛萍，侯正信，等.壓縮感知目標跟蹤[J].計算機工程與應用，2011，47（32）：4-6.

[3]Adam A，Rivlin E，Shimshoni I.Robust fragments-based tracking using the integral histogram[C]//IEEE International Conference on Computer Vision and Pattern Recognition，2006.

[4]Ross D，Lim J，Lin R S，et al.Incremental learning for robust visual tracking[J].International Journal of Computer Vision，2008，77（1/3）：125-141.

[5]Grabner H，Grabner M，Bischof H.Real-time tracking via online boosting[C]//British Machine Vision Conference，2006：47-56.

[6]Wrigh J T，Yang A Y，Ganesh A，et al.Robust face recognition via sparse representation[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2009，31（2）：210-227.

[7]Zhong Wei，Lu Huchuan，Yang M H.Robust object tracking via sparsity-based collaborative model[C]//IEEE International Conference on Computer Vision and Pattern Recognition，2012.

[8]Mei X，Ling H.Robust visual tracking using L1 minimization[C]//IEEE International Conferenceon Computer Vision，2009.

[9]Li H，Shen C，Shi Q.Real-time visual tracking using compressive sensing[C]//IEEE International Conference on Computer Vision and Pattern Recognition，2011：1305-1312.

[10]Avidan S.Ensemble tracking[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2007，29（2）：261-271.

[11]Babenko B，Yang M H，Belongie S.Visual tracking with online multiple instance learning[C]//IEEE International Conference on Computer Vision and Pattern Recognition，2009.

[12]Zhang K，Zhang L，Yang M H.Real-time compressive tracking[C]//European Confernece on Computer Vision，2012.

[13]朱秋平，顏佳.基于壓縮感知的多特征實時跟蹤[J].光學精密工程，2013，21（2）：438-444.

[14]Yu Q，Dinh T B，Medioni G G.Online tracking and reacquisition using co-trained generative and discriminative trackers[C]//European Conference on Computer Vision，2008.

[15]Santner J，Leistner C，Saffari A，et al.PROST：Parallel Robust Online Simple Tracking[C]//IEEE International Conference on Computer Vision and Pattern Recognition，2010.