基于SURF目標跟蹤算法研究

彭欣，劉富強，宋華軍

(1.91404部隊91分隊，秦皇島 066001；2.中國石油大學(華東) 信息與控制工程學院，東營 257061)

視頻運動目標跟蹤是計算機視覺、圖像處理和模式識別領域里非常活躍的課題。作為計算機視覺研究的熱點和難點，國內外很多的人和組織進行了大量的研究[1]。Aristidis Likas等人提出了一種基于卡爾曼濾波和Mean shift的自適應可視目標跟蹤方法[2]，使用Meanshift預測目標位置，后使用可更新狀態矩陣的Kalman濾波實現目標跟蹤；Ta，D.-N.等人研究了一種使用局部特征描述的連續快速目標跟蹤識別算法SURFTrack[3]，并試驗證明了其在戶外進行移動電話跟蹤的良好性能；HuiyuZhou等人研究了基于 SIFT特征和均值漂移的目標跟蹤，提出了一種優化的相似性搜索函數對復雜背景下的目標跟蹤有較好的效果[4]；張銳娟等研究了基于SURF的圖像配準[5]，實驗證明了SURF特征提取算法的計算量小快速性特點。

由于SURF特征提取算法是當前特征點匹配領域的熱點，具有較高的匹配能力，并且當圖像發生平移、旋轉和仿射變換、光照變換等情況，都具有較高的匹配精度和魯棒性。本文研究基于SURF特征的目標跟蹤算法，同時結合德州儀器公司最高性能的處理器TMS320C6416T的快速數據處理和運算能力，以實現高速度、高精度、具有很強魯棒性的視頻目標跟蹤。

1 SURF特征匹配算法

SURF(Speed Up Robust Features)[6]特征是一種圖像的局部特征，當目標圖像發生旋轉、尺度縮放、亮度變化時，具有保持不變性，并且對視角變化、仿射變換和噪聲等也具有保持一定程度的穩定性。

SURF特征提取算法的流程主要包括：特征點檢測、特征點描述和特征點匹配三部分。特征點檢測采用了基于Hessian矩陣的檢測器，其在穩定性和可重復性方面都優于基于Harris的檢測器。特征點描述采用 Haar小波[7]作為特征描述子，由于Harr特征最大的特點是速度快，能減少計算時間且增加魯棒性。

用方框濾波近似代替二階高斯濾波，運用積分圖像加速卷積，減少了時間計算的復雜度，提高了計算速度。

SURF的算法流程[8]如圖1所示。

圖1 SURF算法流程圖Fig.1 SURF method structure

1.1 積分圖像

積分圖像是對原始圖像的一種特征表示方法，如圖2所示深色區域表示點(x，y)的積分值，即深色區域的灰度值總和。對原始圖像進行積分，得到積分圖像，其中代表像素值[9]。

1.2 尺度空間的建立

對圖像進行預處理時，使用箱式濾波器對高斯核近似，由于其在計算卷積時的計算量與濾波器大小無關，因此可以極大的提高算法運行速度。

圖2 積分圖像Fig.2 Integration image

加權箱式濾波器[10]在 x，y和 xy方向上的對高斯二階偏導的近似如圖3所示，分別用表示。圖中白色區域的權重賦予正數，灰色區域的權重賦予0，黑色區域的權重賦予負數(如 1)。為了建立適應目標變換的尺度空間，需要不同尺度的箱式濾波器。

圖3 箱式濾波器Fig.3 Box filters

根據SURF算法的要求，在不同尺度上尋找極值點，需要建立圖像的尺度空間。在 SIFT中，建立DOG尺度空間，其是通過對圖像金字塔中的相鄰兩層的圖像做差值。而 SURF在建立尺度空間時，不需要做差值，保持原始圖像不變。通過改變濾波器的大小，得到尺度空間。SURF算法由于使用了積分圖像和箱式濾波器，加快了算法的運算速度[11]。

1.3 快速Hessian特征檢測

由Hessian矩陣來進行圖像極值點的檢測，首先根據特征值計算出來的行列式的符號(如正或負)對極值點進行判別。然后根據值得正或負判斷該點是不是局部極值點。如果行列式是正的，那么特征值全為正或者全為負，故該點是極值點。給出圖像上的某點，尺度定為，則Hessian矩陣定義為：

Hessian矩陣中用到的核函數是高斯核函數，也就是箱式濾波器，9*9的濾波器是對高斯核函數在處的近似。為了保持計算精度，引入一個高斯核函數和高斯核函數的近似的比例因子，Hessian矩陣的行列式表示為:

式中：det(Hopprox)表示在點X周圍的區域的箱式濾波器響應值。用det(Hopprox)進行極值點的檢測，同時求出矩陣的跡。比鄰因子的值通過下式計算：

1.4 SURF描述子生成

SURF特征描述子[6]可以分為兩步：第一步根據特征點周圍的一個圓形區域，找到一個主方向；第二步在這個選定方向上構造一個矩形區域，并提取出所需的描述信息。求極值點的主方向是以極值點為中心選取某一半徑圓形區域。在此區域內計算哈爾小波在x和y方向上的響應值，記為

圖4 哈爾小波Fig.4 Harr wavelet

圖4所示為哈爾小波濾波器在x方向和y方向上描述。計算出圖像在哈爾小波的x和y方向上的響應值之后，對兩個值進行因子為(是極值點所在的尺度)的高斯加權，加權后的值分別表示在水平和垂直方向上的方向分量，記為

圖5 主方向的選擇Fig.5 Main direction selection

選定特征點主方向之后，在特征點周圍按主方向構造一個大小20s的窗口，這些窗口被分割成4×4的子區域。在每一個子區域中，在特征點處為Haar小波響應加一個高斯權值，將特征向量歸一化，這樣就形成了一個四維的向量：

分別求16個子區域的特征向量，形成一個16*4=64維的特征向量，如圖6所示，這64個值就是構成特征點的SURF描述子。

圖6 SURF描述子的生成Fig.6 SURF descriptor generate

1.5 SURF相似性度量

特征點的匹配采用選定的特征向量歐式距離作為兩幀圖像中關鍵點的相似性判定度量。歐氏距離的公式是：

2 基于SURF目標跟蹤算法

根據 SURF的特征提取算法，經過系列運算后，提取圖像的特征，使用歐氏距離的方法進行相似度測量完成特征點的匹配。基于目標跟蹤的具體算法過程如下：

(1)人工選定目標模板圖像，使用 SURF特征提取算法提取特征值，保存到特征庫。

(2)在后續幀中，提取人工選定位置附近的大區域圖像(如果模板大小為100*100，則處理區域200*200)，計算大區域圖像的SURF特征值。

(3)使用歐氏距離度量方法計算被匹配的特征點，由于匹配的特征點十分分散，提出使用重心算法計算特征點的重心作為目標的脫靶量。

(4)將新匹配的特征點存入特征庫，完成了模板的更新，用新的特征繼續匹配后續幀。

圖7 行走的人跟蹤效果圖Fig.7 Pedestrian tracking result

圖8 飛機目標跟蹤效果圖Fig.8 Plane tracking result

3 實驗結果

圖7是行走人的跟蹤結果，從(a)到(d)分別是15，30，50，78幀跟蹤結果。由實驗可以發現對于背景固定，簡單，目標比較清晰地場合，SURF目標跟蹤算法可以很好的實現跟蹤效果。

圖8為飛機目標跟蹤效果圖，從(a)到(d)分別是 215，286，323，389幀跟蹤結果。視頻的背景比較復雜，飛機飛行過程中有旋轉，光照視角等變化，由實驗可以發現飛機在天空飛行過程中算法跟蹤效果較好，當飛機進入樹林復雜背景后，目標跟蹤丟失目標，目標特征淹沒在樹林的特征中，匹配發生錯誤難以定位目標。

對于模板大小為80*60，匹配區域為160*120的圖像，算法的速度大約在33ms左右，不能滿足實時目標跟蹤算法的要求。后面繼續對算法進行改進，提供運行速度。

4 結論

基于SURF算法的目標跟蹤算法，比SIFT算法具有更快的跟蹤速度，與傳統重心、相關跟蹤算法相比較，對處理較復雜背景下的跟蹤效果較好，匹配精度高，并且對目標遮擋、光照變換具有較高的魯棒性。

通過實驗發現SURF算法可以有效提取圖像的典型局部特征，將其應用于目標跟蹤中時，能較好的實現目標跟蹤效果，但是作為SURF算法的速度優勢還沒有完全發揮出來。將編寫的算法移植到基于TMS320C6416T的目標跟蹤板上，不能達到實時跟蹤，下一步將努力優化算法，改進確定目標中心的方法，提高算法速度。

[1]賈云得.機器視覺[M].北京：科學出版社，2002：26-32.

[2]Vasileios K，Christophoros Nikou，Aristidis Likas.Visual Tracking by Adaptive Kalman Filtering and Mean Shift[J].Springer-Verlag Berlin Heidelberg，2010，6040：153-162.

[3]Ta，D N，Chen，W C，Gelfand，N，Pulli，K.SURFTrac：Efficient Tracking and Continuous Object Recognition using Local Feature Descriptors[C].Computer Vision and Pattern Recognition(CVPR'09)，2009：2937-2943.

[4]Huiyu Zhou，Yuan Yuan，Chunmei Shi.Object tracking using SIFT features and mean shift[J].Computer Vision and Image Understanding，2009，113：345-352.

[5]張銳娟，張建奇，楊翠.基于SURF的圖像配準方法研究[J].紅外與激光工程，2009，38(1)：160-165.

[6]Bay H，Tuytelars T，Van Gool L.Speeded-Up Robust Features(SURF)[J].Computer Vision and Image Understanding，2008(110)：346-359.

[7]Khashman A，Dimililer K.Image compression using neural networks and Haar wavelet[J].WSEAS Transactions on Signal Processing，2008，5(4)：330-339.

[8]徐秀云.基于特征點的景象匹配技術研究[D].南京：南京理工大學，2009：1-68.

[9]Freund Y.Boosting a weak learning algorithm by majority[J].Information and Computation，1995(121)：226-230.

[10]Mikolajczyk K，Schmid C.An affine invariant interest point detector[J].Computer Vision-ECCV，2002(2350)：128-142.

[11]Lowe D.Distinctive image features from scale invariant ke-ypoints[J].In journal of Computer Vision，2004，60(2)：91-110.

[12]Mizutani Eiji，Dreyfus Stuart E，Demmel James W.Second-order backpropagation algorithms for a stagewisepartitioned separable Hessian matrix[C].Proceedings of the International Joint Conference on Neural Networks，2005(2)：1027-1032.