基于RGB－D的在線多示例學習目標跟蹤算法

高毅鵬，鄭 彬，曾憲華

（1.重慶郵電大學 計算機科學與技術學院，重慶400065；2.中國科學院 重慶綠色智能技術研究院，重慶400714）

0 引 言

近年來一種稱為 “tracking－by－detection”的方法受到了廣泛關注，該算法通過建立在線更新分類器實現目標跟蹤，其關鍵在于將序列圖像中的前景目標從背景中分割出來，將跟蹤視為一種特殊的二元分類問題［1］。例如，文獻［2］中融入先驗知識的在線Boosting跟蹤算法；文獻 ［3］提出將跟蹤、學習、P－N 檢測進行整合以此來跟蹤的框架的方法；文獻 ［4］提出一種半監督的在線增值學習算法，利用將第一幀的樣本進行標記而其它樣本不進行標記的方式來跟蹤；文獻 ［5］提出一種實時壓縮跟蹤方法，它利用隨機感知矩陣對圖像特征進行降維，從而提高運算速度，但跟蹤過程中尺度無法隨目標尺度自適應改變，容易導致跟蹤失敗；MIL （在線多示例學習跟蹤算法）利用多示例學習算法構建出一個魯棒的跟蹤框架然，但由于時間復雜度較大而難以實際應用［6］；WMIL （在線加權多示例學習目標跟蹤算法）賦予不同的正樣本不用的權值，以此來加快特征選擇提高算法的實時性，然而由于算法本身特征尺度單一又缺乏目標的3D 運動信息，因此，當目標外觀模型的尺度，姿態變化和平面旋轉時容易導致跟蹤失敗［7］。

微軟深度傳感器Kinect的出現為研究者提供了新的研究思路。在目前的跟蹤領域已經有了一些開創性的工作［8－10］，但是它們僅限于跟蹤人體。針對上述基于2D 特征難以處理的問題和目前融合3D 信息的目標跟蹤算法的局限性，本文在WMIL［7］框架下，提出一種基于RGB－D 的在線多示例學習目標跟蹤算法。該算法首先利用深度信息的優勢和Haar－like特征的特點在深度圖和彩色圖中構建多尺度的Haar－D特征和Haar特征，然后利用多示例學習策略將多尺度的Haar－D特征和Haar特征融合。

1 基于RGB－D的在線多示例目標跟蹤

深度圖中的每一個像素值表示場景中某一點與攝像機之間的距離。距離攝像機近時，像素值較小。距離較遠時，像素值較大根據深度圖的像素值的這一特性和Haar特征的特點，本文算法分別在深度圖中和彩色圖中構建了多尺度特征空間。在文獻 ［9］中利用Comobo－HOD 進行行人檢測，此方法是在深度圖上計算HOD （深度梯度直方圖）描述子，在彩色圖的同一窗口上計算HOG 描述子。當HOG和HOD 描述子都經過分類后，進行信息融合來達到行人檢測的目的。本文算法在上述多尺度特征空間中提取多尺度的Haar特征和多尺度的Haar－D 特征，然后利用多示例學習策略 （如圖1所示）融合。

圖1 多示例學習框架

1.1 MIL框架

在如圖1所示的MIL［10］框架下，定義標記樣本x 是正樣本的后驗概率由貝葉斯理論可知為

式中：x 為標記樣本，y∈ ｛0，1｝是標記樣本x 的標簽（0表示負樣本1表示正樣本），σ（z）＝1／ （1＋e－z）是S型線性回歸擬合函數。

在MIL中分類器HK（x）定義為

因此由式 （1）可知標記樣本的后驗概率為

樣本由特征向量f（x）＝ （f1（x），…，fK（x））T表示。我們假設在f （x）中的特征是獨立同分布的，而且先驗概率p（y＝1）＝p（y＝0）。則式 （2）中的強分類器可由特征向量f（.）表述為

其中

式 （5）是判別函數，hk（x）表示一個弱分類器。從以上過程可以看出MIL算法的核心就是如何設計一個合適判別分類器Hk（.）。在文獻 ［3，11］中是在線特征的選擇的方式創建分類器。下文將詳細介紹WMIL［7］特征選擇創建分類器和本文算法是如何創建分類器Hk（.）的。

1.2 在線WMIL特征選擇

WMIL中的判別分類器實質是一個實例分類器，跟實例的條件概率有關。由式 （1），式 （2）可知樣本實例xij的概率為pij＝σ （HK（xij）），i為樣本包索引，j為樣本實例索引。HK（.）＝∑Kk＝1hk（.），式 （5）中hk（.）關聯一個Haar－like特征fk（.）的弱分類器。在弱分類器hk（.）中的條件概率分布模型服從高斯分布

我們利用極大似然估計的知識更新μ1 和δ1

N 是正樣本的個數，η是學習系數。更新μ0 和δ0的方法類似。同時定義 ｛X＋，X－｝兩個樣本包的概率如下

wj0為實例樣本的權值，是一個與實例樣本位置跟目標位置之間的歐氏距離相關的遞減函數

由此可見距離目標越近權值越大。w 是式 （11）中負樣本包的加權值，由于負樣本包距離目標較遠，因此設樣本包權值為一相同的定值。

與MIL中跟蹤的方法類似在WMIL中是首先構建一個包含M 個弱分類器的分類器池Φ＝ ｛h1，...，hM｝，然后利用貪心策略從分類器池Φ中選擇K 個弱分類器按照類似于MIL的方法如下進行迭代

1.3 基于RGB－D的在線多示例特征選擇

1.3.1 多尺度特征空間

深度圖的像素值代表的是深度傳感器到目標的距離，距離傳感器越近圖像的分辨率就越高，然而根據上文可知深度圖的像素值越小。本文算法根據深度圖中像素值與深度傳感器到目標的距離、分辨率之間的關系構造出多尺度特征空間來解決尺度問題。

首先，在第t幀時求得跟蹤標框重心，并計算出此重心到傳感器的距離為d1。由于相鄰兩幀之間的跟蹤框重心到傳感器的距離變換較小。因此采用每3幀進行處理的方式。因此當在第t＋3幀時，計算出跟蹤框重心到傳感器的距離為d3，我們可求得尺度縮放因子為

在CT［5］算法中我們可知，高維邊緣型的Haar特征相當于高斯濾波器。高斯核實唯一可構建出多尺度空間的核。本文算法在彩色圖中每一個搜索區域內利用當前尺度s＝1、較小尺度s＝1－φ、較大尺度s＝1＋φ，由如圖2所示尺度變換提取Haar邊緣型特征從而構建出多尺度特征空間。然后分別在深度圖深度圖中采用上述方式得到多尺度空間。

圖2 尺度變換

1.3.2 RGB－D特征融合

xdepth，xrgb分別為在彩色圖和深度圖中的標記樣本實例，y∈｛0，1｝是標記樣本實例的標簽，σ（Z）＝1／ （1＋e－Z）是S型線性回歸擬合函數，HrK（.），HdK（.）分別為在彩色圖和深度圖中的分類器。然后讓分類器中的條件概率p（fk（.）｜y＝0）和p （fk（.）｜y＝1）服從如式 （6），式（7）所示的正態分布。利用極大似然估計的方式更新分類器參數 ｛μd1，δd1，μr1，δr1｝

式中： ｛μd1，δd1｝為正樣本在深度圖中的均值和方差，｛μr1，δr1｝為正樣本在彩色圖中的均值和方差。η是學習系數，更新 ｛μd0，δd0，μr0，δr0｝的方法類似。本文算法根據式 （15），式 （16）可得在深度圖上的正負樣本包的概率｛Pd1，Pd0｝和在彩色圖上的正負樣本包概率 ｛Pr1，Pr0｝。利用式 （19）所示的濾波器的形式將來自Haar－D 正樣本包的后驗概率Pd1和Haar－like正樣本包的后驗概率Pr1進行融合

2 算法實現

跟蹤算法步驟如下：

步驟1 在第t幀手工選取跟蹤目標，根據式 （14）由d1、d3計算出尺度因子φ，然后構建多尺度特征空間 （初始給定尺度縮放因子φ0 構建尺度空間），并計算目標框重心到傳感器的距離d1。

步驟2 利用上文所述WMIL 中的方法分別在深度圖和彩色圖中生成正、負樣本包。然后利用上述生成的多尺度空間在彩色圖中計算多尺度Haar特征，在同一窗口的深度圖中計算多尺度Haar－D特征。

步驟3 根據式 （17），式 （18）分別在深度圖中和彩色圖中更新分類器參數。根據式 （6），式 （7）計算弱分類器hk（.）中的條件概率分布模型p（fk（.）｜y＝0）和p（fk（.）｜y＝1）的后驗概率。

步驟4 根據式 （4），式 （5）計算出分類器H rK（.），HdK（.），然后根據式 （10），式 （11），式 （15），式 （16）計算出樣本包的后驗概率Pd、Pr。

步驟6 在第t＋1幀，（每3幀處理一次，計算第t＋3幀時跟蹤框的重心到傳感器的距離d3）我們將在深度圖和彩色圖中以半徑γ范圍內的樣本Xγ＝ ｛x ｜作為測試樣本集。然后計算Haar特征和Haar－D特征。

步驟7 我們利用上一幀訓練好的分類器HK（.）將這些測試樣本分類，利用非極大值抑制的方法找到置信度最大的樣本x＊，此時樣本x＊所在的位置就是目標在第t＋1幀中所在的位置。返回步驟1，直到跟蹤結束。

3 實驗結果與分析

為了評估本文算法的實時性和魯棒性以及對于遮擋處理的能力。本文算法用MATLAB 語言實現，在一臺AMD 3.10GHz CPU 和4GB RAM 的PC機上面進行測試。我們用Kinect深度傳感器采集包含姿態變化、背景雜波、嚴重遮擋和平面旋轉等3個視頻序列來評估本文算法。還將本文算法與另外3 個穩定，實時的目標跟蹤算法 （real－time compressive tracker （CT）［5］，real－time object tracking via online discriminative feature selection （OFDS）［13］，online weighted multiple instance learning （WMIL）［7］）進行了比較。對比結果如下文所示。

3.1 實驗參數設置和評估標準

確定當前幀目標的位置，以α＝4～8為半徑的范圍內生成45～190個正樣本作為正樣本包。在半徑為ζ＝2α與半徑為β＝38半徑的范圍內生成負樣本，為了避免正負樣本之間的二義性，本文算法實驗過程中ζ＝2α。當下一幀到來時，我們以γ＝β／1.5 為半徑的范圍內生成2000 個測試樣本。針對不同的序列所選擇的γ值是不相同的。將特征池中候選特征的個數M 設置為150～180，從中選擇15個特征，在將學習參數設置為η＝0.78～0.93 之間情況下。經實驗驗證可知較小的學習參數可以適應較快的表面變化，而較大的學習參數可以減少目標的漂移且能達到實時跟蹤的要求 （見表1）實時性FPS利用平均每秒跑的幀數來衡量。在本文算法實驗過程中最佳值為0.92。

表1 中心定位誤差和實時性／Pixels

表2 算法的成功率 （SR／%）

3.2 實驗結果

3.2.1 遮擋和姿態變化

為了體現本文算法對于處理遮擋和姿態問題的優越性，我們用自己采集的類似于經典的Occluded face 2，Woman系列的視頻序列進行驗證。在圖3Occluded face視頻序列中，目標在部分遮擋 （See frame＃93，＃206，＃241）的情況下，由圖4中心定位誤差所示，CT 算法、WMIL 算法和OFDS算法處理遮擋的能力不是很好，RGB－D 算法卻能處理的很好。而且在后續完全遮擋部分 （See frame＃270，＃355，＃370）完全顯示了RGB－D 算法對于遮擋處理的優越性。

圖3 Occluded face視頻序列的跟蹤結果

圖4 Occluded face跟蹤結果的中心定位誤差

3.2.2 姿態，平面旋轉，背景雜波

由于計算RGB－D數據進行目標跟蹤，在圖5 （a）child視頻序列的＃79、＃162 看出目標在表面姿態發生變化和平面旋轉時，CT、WMIL、OFDS 跟蹤效果不佳。Struck算法在處理表面姿態變化和平面旋轉時算法性能優于CT、WMIL、OFDS算法，而在圖5 （b）bird視頻序列中的＃61、＃132、＃154存在相似背景和部分遮擋時，CT，WMIL 算法的跟蹤框會發生漂移，但本文算法和OFDS算法表現較好。圖6、圖7的跟蹤結果中心定位誤差看出本文算法在處理平面旋轉，姿態變化和背景雜波等問題時魯棒性較好。

圖5 child，bird視頻序列的跟蹤結果

圖6 Child跟蹤結果的中心定位誤差

圖7 Bird跟蹤結果的中心定位誤差

4 結束語

本文應用多示例學習框架，結合RGB－D 數據的優勢。提出基于RGB－D的多示例目標跟蹤算法。充分利用深度數據的優勢，將在深度圖中訓練的貝葉斯分類器和在彩色圖中訓練的貝葉斯分類器進行融合的方式來跟蹤目標。本文算法融合3D 信息可解決由于目標姿態變化和平面旋轉時引起的尺度問題。在跟蹤過程中，該算法本文算法根據深度圖中像素值與深度傳感器到目標的距離、分辨率之間的關系構造出多尺度特征空間來解決目標框大小發生變化時引起的尺度問題。

［1］Yi Wu，Jongwoo Lim， Ming－Hsuan Yang.Online object tracking：A benchmark ［C］／／Conference on Computer Vision and Pattern Recognition，2013.

［2］CHENG Youlong，LI Bin，ZHANG Wencong.An adaptive pedestrian tracking algorithm with prior knowledge［J］.Pattern Recognition and Artificial Intelligence，2009，22 （5）：704－708（in Chinese）.［程有龍，李斌，張文聰.融合先驗知識的自適應行人跟蹤算法 ［J］.模式識別與人工智能，2009，22 （5）：704－708.］

［3］Kalal Z，Mikolajczyk K，Matas J.Tracking－learning－detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （7）：1409－1422.

［4］Grabner H，Leistnerand C，Bischof H.Semi－supervised online boosting for robust tracking ［C］／／European Conference on Computer Vision，2008.

［5］ZHANG KH，ZHANG L，YANG MH.Real－time compressive tracking ［C］／／European Conference on Computer Vision，2012.

［6］Babenko B，YANG M，Belongie S.Robust object tracking with online multiple instance learning ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （8）：1619－1632.

［7］ZHANG KH，SONG HH.Real－time visual tracking via online weighted multiple instance learning ［J］.Pattern Recognition，2013，46 （1）：397－411.

［8］Luber M，Spinell L，Arras K O.People tracking in RGB－d data with on－line boosted target models［C］／／International Conference on Intelligent Robots and Systems.IEEE Conference Publications，2011：3844－3849.

［9］Spinell L，Arras KO.People detection in RGB－d data ［C］／／International Conference on Intelligent Robots and Systems.IEEE Conference publications，2011：3838－3843.

［10］Spinell L，Luber M，Arras KO.Tracking people in 3Dusing a bottom－up top－down detector ［C］／／International Conference on Robots and Automation IEEE Conference Publications，2011：1304－1310.

［11］Grabner H，Leistner C，H，Bischof H.Semi－supervised online boosting for robust tracking ［C］.European Conference on Computer Vision，2008：234－247.

［12］ZHU Qiuping，YAN Jia，ZHANG Hu，et al.Real－time tracking using multiple features based on compressive sensing［J］.Opt Precision Eng，2013，21 （2）：438－444 （in Chinese）.［朱秋平，顏佳，張虎，等.基于壓縮感知的多特征實時跟蹤 ［J］.光學精密工程，2013，21 （2）：438－444.］

［13］ZHANG KH，ZHANG L，YANG MH.Real－time object tracking via online discriminative feature selection ［J］.IEEE Transactions on Image Processing，2013，22 （12）：4664－4677.