一種基于改進CAMshift的多特征跟蹤算法

李曉波 徐國強 楊秀宇 趙廣源

（1.華晉焦煤有限責任公司 呂梁 033000）（2.焦作煤業(yè)集團趙固（新鄉(xiāng)）能源有限責任公司 新鄉(xiāng) 450000）（3.中國礦業(yè)大學信息與控制工程學院 徐州 221116）

1 引言

隨著計算機相關(guān)技術(shù)的突飛猛進，運動目標檢測與跟蹤技術(shù)逐漸受到越來越多的關(guān)注，尤其對于煤炭等高危險行業(yè)領(lǐng)域、交通領(lǐng)域以及軍事領(lǐng)域。目標檢測和目標跟蹤是計算機視覺中的重要步驟，同時也是十分具有挑戰(zhàn)性的研究領(lǐng)域。跟蹤算法可以被分為四大類：基于模型計算、基于主動輪廓、基于均值漂移和基于特征匹配。其中，基于均值漂移類 中 CAMshift（Continuously Adaptive Meanshift）算法因?qū)崟r性能突出且可適應目標尺寸變化，逐漸成為一種備受關(guān)注的跟蹤算法［1～3］。但是，CAMshift算法也具有一定的局限性。其中，CAMshift算法對目標顏色特征的提取并不完整；同時只利用顏色特征進行跟蹤，當背景色彩與目標色彩過于相似時，跟蹤的準確性降低，甚至丟失目標；在目標丟失后，缺少對目標重新定位的計算機制。

目前，一些學者已經(jīng)就上述缺陷進行改進。文獻［4］將HSV顏色模型中的三個顏色通道數(shù)值重新定義，提取目標顏色信息作為特征模板，將模板信息映射到每一幀圖像中，通過Meanshift算法［5］求解目標候選區(qū)域。而當前景和背景的顏色相差不大時，算法的跟蹤效果會不理想，因為只利用了顏色信息。

文獻［6～7］將CAMshift算法和Kalman算法相結(jié)合，通過Kalman算法對目標位置進行預測，可以在一定程度上減弱目標移動速度過快對跟蹤效果的影響。文獻［8］結(jié)合Meanshift算法和最小二乘法跟蹤目標位置，該算法對于目標突然加速的情況也容易跟蹤失敗。文獻［9］將CAMshift和結(jié)構(gòu)化局部稀疏權(quán)重建模方法相結(jié)合，對目標遮擋、形變、重疊的情況有一定的適應能力。文獻［10］通過背景減除方法獲取目標的運動信息，并結(jié)合顏色信息組成模板，來調(diào)整CAMshift搜索窗。如果丟失目標，該算法則不能重新定位。文獻［11］通過在不同手勢，不同背景以及不同光照的情況下訓練手部的形狀，并結(jié)合CAMshift的反向投影和光流法得到的運動速度來實現(xiàn)目標預測。但該算法實時性較差。文獻［12］將CAMshift與 SIFT（Scale Invariant Feature Transform）算法相結(jié)合構(gòu)建多特征模板的跟蹤算法。該算法效果較好，但計算量偏大。

本文提出利用HSV顏色空間中的色調(diào)分量H和飽和度分量S構(gòu)建目標的顏色直方圖，并結(jié)合SURF算法建立多特征跟蹤算法，以提高跟蹤算法在相似顏色背景和目標被遮擋時的魯棒性，并且改善目標無法重新定位時的跟蹤效果。

2 CAMshift算法及其改進

Bradski于1999年對Meanshift算法做出了改進，得到CAMshift算法［1］，即連續(xù)自適應 Meanshift算法。

CAMshift算法的計算步驟如下：

1）讀取視頻序列圖像，將原始的RGB顏色空間轉(zhuǎn)換到HSV顏色空間。

2）手動選取感興趣區(qū)域，對感興趣區(qū)域內(nèi)所有像素點的色調(diào)分量H進行直方圖統(tǒng)計并歸一化，得到將上述直方圖反向投影至當前幀圖像，形成顏色概率分布圖。

3）使用Meanshift算法在顏色概率分布圖上計算以下參數(shù)。

零階矩與一階矩：

4）根據(jù)以上參數(shù)計算出搜索窗的位置和尺寸。

質(zhì)心坐標：

搜索窗的尺寸：

根據(jù)上述結(jié)果作為下次計算的的初始值。

5）在當前圖像中重復執(zhí)行步驟4），直到搜索窗口的迭代過程收斂為止。

6）重復執(zhí)行2）～5），直到視頻序列讀取完畢。

本文算法引入飽和度分量S，則以上計算中獲取顏色概率分布圖的步驟更改為：

對H和S分量進行組合，得到｛H-bin，S-bin｝二維坐標系，并計算在目標區(qū)域內(nèi)落入對應bin的像素點數(shù)量。根據(jù)bin中的像素點數(shù)量，得到H-S直方圖，并對H-S直方圖進行歸一化。

圖1 傳統(tǒng)CAMshift算法和改進CAMshift算法的關(guān)鍵步驟效果對比

本文實驗的硬件環(huán)境：處理內(nèi)核是Intel（R）Core（TM）2 Duo CPU 3.00GHz，運行內(nèi)存為3.48G，程序開發(fā)工具為VS2010+OpenCV 2.4.9。

通過圖2分析得到，改進CAMshift算法的搜索窗口定位準確，魯棒性高。在第146幀光照變化比較劇烈的時候，仍然能夠準確地跟蹤目標，而傳統(tǒng)CAMshift算法已經(jīng)丟失目標。

圖2 傳統(tǒng)算法和改進算法的跟蹤結(jié)果對比

實驗結(jié)果如圖3所示，橫坐標為視頻幀數(shù)，縱坐標為搜索窗的對角線長度，其中紅線是CAMshift算法，藍線是改進CAMshift算法。在0-92幀時間段內(nèi)，目標遠離攝像頭，CAMshift算法和改進CAM-shift算法的搜索窗對角線的長度逐漸減小。在93-183幀時間段內(nèi)，雖然目標和攝像頭的距離不變，但光照變化劇烈，CAMshift算法的搜索窗對角線卻遠大于目標外框的對角線。改進CAMshift算法的搜索窗大小和目標相當。183幀以后，目標重新走近攝像頭，目標尺寸逐漸增大，當目標開始離開攝像區(qū)域時，目標尺寸又逐漸減小。由圖3可以看出，改進CAMshift算法的搜索窗的變化趨勢符合目標實際尺寸變化的規(guī)律。

圖3 跟蹤精度對比實驗圖

3 多特征算法實現(xiàn)原理與應

多特征算法的流程是先使用改進CAMshift算法對目標進行跟蹤，當跟蹤誤差過大時，再利用SURF算法［13］搜索和匹配目標，并將目標位置輸入改進CAMshift算法進行跟蹤。

3.1 SURF算法

SURF是基于SIFT特征改進的特征，由于與SIFT算法［14］的比較相近，因此SURF特征也具有SIFT特征所具有的特性，并且降低了運算量

3.1.1 特征點的檢測

Bay等采用Hessian矩陣（Determinant of Hessian，DoH）用于對特征點的搜索工作［15］。Hessian矩陣在點X處的計算式更新為

式（6）中，σ為尺度因子參數(shù)，Lxx(X，σ)是高斯函數(shù)的二階偏導，在內(nèi)部像素的意義與 Lxx(X，σ)類似。

3.1.2 特征描述算子生成

為了實現(xiàn)旋轉(zhuǎn)不變性，SURF為特征描述子設(shè)定一個主方向。

如圖4所示，在設(shè)定的主方向上，構(gòu)建20σ×20 σ的正方形區(qū)域，區(qū)域中心為特征點，并將該正方形區(qū)域分成4×4個子鄰域，使用Haar小波變換分別計算所有子鄰域沿主方向和其垂直方向的結(jié)果dx、dy，并根據(jù)結(jié)果構(gòu)成基于主方向的4維向量，組合所有子鄰域的4維向量，得到特征點描述算子向量。

圖4 64維特征向量描述符

3.2 多特征融合算法

3.2.1 目標丟失的判斷條件

本文利用巴氏距離來判定目標是否丟失。進行目標跟蹤時，候選目標和原目標的色調(diào)分量H直方圖分別為{巴氏距離計算公式如下。

式（7）中，l(p，q)為巴氏距離計算結(jié)果，數(shù)值越大，則候選目標與原目標越相近。本文將判定目標是否丟失的閾值設(shè)為0.7。

3.2.2 目標丟失后的重定位

多特征算法的流程圖如圖5所示。

1）輸入視頻幀圖像，確定感興趣區(qū)域。

2）計算感興趣區(qū)域的H-S聯(lián)合直方圖。

3）使用改進CAMshift算法對目標進行跟蹤。

4）計算候選目標和原目標之間的巴氏距離，若結(jié)果大于等于閾值（0.7），則重復步驟3）；若結(jié)果小于閾值（0.7），則使用SURF算法進行匹配，并將匹配結(jié)果的外接矩形作為本幀圖像的搜索窗，然后重復步驟3）。

圖5 多特征算法流程圖

多特征融合算法驗證實驗場景有目標被遮擋和前后景顏色相似兩種情況。

目標被遮擋的實驗如圖6所示。

圖6 傳統(tǒng)算法與多特征算法實驗結(jié)果對比圖

通過圖6可發(fā)現(xiàn)，多特征融合算法的實驗結(jié)果果明顯比傳統(tǒng)CAMshift算法要好。在第296幀，旗桿遮擋了目標，兩種跟蹤算法都丟失目標。在第316幀，目標重新出現(xiàn)，傳統(tǒng)CAMshift算法無法繼續(xù)跟蹤目標，而多特征算法則重新發(fā)現(xiàn)目標，繼續(xù)進行跟蹤。

圖7 多特征算法的關(guān)鍵步驟效果圖

該場景下多特征融合算法的關(guān)鍵步驟效果如圖7所示。在第173幀，將運動目標作為SURF算法的模板。在第296幀，旗桿將目標遮擋，根據(jù)巴氏距離可以判定改進CAMshift算法丟失目標，下面將改用SURF算法對目標重定位并在第311幀重新確定目標，把目標的位置和大小輸入改進CAMshift算法，從第312幀后繼續(xù)使用改進CAMshift算法進行跟蹤。

圖8為目標被遮擋的實驗中候選目標區(qū)域與原目標之間的巴氏距離變化圖，其中，橫坐標是圖像幀序號，縱坐標是巴氏距離。

圖8 巴氏系數(shù)的曲線變化圖

前后景顏色相似的實驗如圖9所示，場景為一只蜜蜂在黃色的花上緩慢移動。

圖9 傳統(tǒng)CAMshift算法和多特征融合算法效果比較圖

在第17幀，傳統(tǒng)CAMshift算法搜索窗開始偏離目標，之后搜索窗口逐漸變大，目標跟蹤失敗。相比之下，多特征融合算法在第17幀以后仍能繼續(xù)跟蹤目標。

通過以上兩個實驗可以得出，多特征融合算法在目標被遮擋和前后景顏色相似的場景中均能達到很好的跟蹤效果。

4 結(jié)語

本文提出一種基于改進CAMshift的多特征跟蹤算法。通過結(jié)合色調(diào)分量H和飽和度分量S改進了CAMshfit算法對顏色的區(qū)分度。基于此，再引入SURF算法從而構(gòu)建多特征跟蹤算法。實驗表明本文算法在目標被遮擋和前后景顏色相似的場景均能保持較理想的跟蹤效果。但是，多特征算法仍然只是一個半自動跟蹤算法，確定目標階段需要手動圈定感興趣區(qū)域，這將是后續(xù)的研究內(nèi)容。