引入視覺顯著性的多特征融合跟蹤*

佟 威，和 簫+，盧 英,2

1.西安建筑科技大學 信息與控制工程學院，西安 710055

2.西安建筑科技大學 建筑學院，西安 710055

引入視覺顯著性的多特征融合跟蹤*

佟 威1，和 簫1+，盧 英1,2

1.西安建筑科技大學 信息與控制工程學院，西安 710055

2.西安建筑科技大學 建筑學院，西安 710055

針對大多數目標跟蹤算法采用單一特征描述目標，在背景區域出現相似的干擾特征時跟蹤精確度較低的問題，提出了一種引入視覺顯著性的多特征融合的目標跟蹤算法。首先，采用視覺顯著性機制處理顏色直方圖得到顯著性特征，再使用混合特征策略融合顯著性特征和BRISK（binary robust invariant scalable keypoints）特征，獲取目標前景和背景模型；其次，運用雙向光流檢測和誤差度量提取動態特征，并使用自適應搜索機制提取候選目標區域的靜態特征，融合動態特征和靜態特征；最后，根據匹配算法估算目標跟蹤框的自適應尺度及中心，確定目標在當前幀圖像中所處的位置。實驗結果表明，該算法能夠處理強烈光照變化、目標尺度變化、快速運動及部分遮擋等情況下的目標跟蹤問題，并實時穩定地獲得單目標跟蹤結果。

視覺顯著性；BRISK特征；多特征融合；一致性匹配聚類

1 引言

目標跟蹤是指在視頻或者圖像序列中確定跟蹤目標所處的位置[1]。作為計算機視覺研究領域中重要的課題之一，目標跟蹤在現實生活中的應用范圍非常廣泛，諸如人機交互、智能交通控制、無人駕駛、視頻監控和虛擬現實等[2]。隨著目標跟蹤方法的發展，當前多數算法能很好地解決簡單背景下帶慢速運動和輕微遮擋下的目標跟蹤問題[3]。然而，復雜環境下由于多方面因素的影響，如部分遮擋、光線變化、圖像噪點、快速或突然中斷移動、物體形狀變化（人體姿態變化）和背景雜亂等[1]，使得目標跟蹤問題變得很復雜，提出一種適用于復雜環境的具有魯棒性的實時跟蹤算法仍然是一個艱巨的挑戰。

目標跟蹤常用的幾種特征有灰度、顏色、紋理、角點、邊緣、梯度等。在環境條件復雜的情況下，這些特征很容易受到其他因素的干擾，給跟蹤帶來很大的影響，為此人們提出了多種特征融合的思路來提高跟蹤的魯棒性[4]。

基于多特征融合的跟蹤更是近年來研究的熱點，它考慮目標多方面的信息，可以使得跟蹤更魯棒更穩定[5]。王歡等人[6]將目標的顏色、紋理、邊緣、運動特征統一使用直方圖進行描述，計算融合權系數，將4種特征進行加權融合來描述目標。顧鑫等人[7]提出一種基于特征不確定性的自適應融合策略，將顏色特征和邊緣特征相融合，結合粒子濾波實現目標跟蹤。閆河等人[8]提出在粒子濾波跟蹤框架下，將局部二值模式紋理特征和顏色特征依據權值大小進行線性融合的跟蹤算法。

雖然從理論上采用多特征融合會提升跟蹤精度，但是選擇過多的特征會降低跟蹤的時效性。同時，全局特征和局部特征相結合能夠有效提高識別率[8]。全局特征中的顏色特征對姿態和旋轉不敏感，而且選取方便，計算簡單，被廣泛用于目標跟蹤[9]。局部特征中典型的二進制魯棒不變尺度關鍵點（binary robust invariant scalable keypoints，BRISK）特征[10]具備旋轉不變性、尺度不變性及對噪聲的魯棒性，相較于SIFT（scale-invariant feature transform）[11]和SURF（speedup robust feature）[12]，具有計算量小，速度快的優點。因此，本文采用顏色特征和BRISK特征。

此外，視覺注意是人類視覺系統所具有的一種基于場景圖像的顯著性和基于對場景、目標及其相互關系的知識選擇、過濾視覺信息的過程[13]。利用視覺注意機制對輸入的大量視覺信息進行處理，提取有用的視覺顯著性特征提供給視覺目標跟蹤算法，可以降低信息處理的計算量，提高處理效率[14]。由于視覺注意機制在跟蹤過程中所起到的重要作用，以及近年來視覺注意計算模型取得的進展，學者們[13-15]對采用視覺注意的跟蹤方法進行了大量研究[16]。

區別于文獻[6-8,17]中慣有的做法，本文不是直接對描述顏色特征、梯度特征、紋理特征等的直方圖采用乘性融合策略、加性融合策略或者兩者的自適應混合[7]來描述目標，而是引進了一種顯著性機制，基于顯著性機制處理顏色直方圖獲得視覺顯著性特征，繼而再根據提出的混合特征策略融合顯著性特征和BRISK特征，得到目標的表觀模型。

本文算法增加了用于描述目標的特征的多樣性，提高了匹配結果的全局最優，抑制了局部特征點匹配產生的漂移現象，能夠在復雜環境下實時穩定地完成目標跟蹤。本文算法的主要貢獻在于：（1）提取圖像顏色特征時得到表征圖像的顏色直方圖，同時采用貝葉斯分類器處理顏色特征獲得視覺顯著性特征，再對目標BRISK特征點，結合顯著性特征，使用混合特征策略去除適應度差的目標BRISK特征點，并抑制干擾性高的背景特征點，得到具有較高穩定性和抗干擾能力的目標模型。（2）采用雙向光流檢測和誤差度量提取動態特征，并通過自適應搜索機制提取候選目標區域的靜態特征，利用全局匹配融合動態特征和靜態特征得到融合點，進而估計目標跟蹤框的自適應尺度。（3）計算匹配特征點對間的相異度，使用分層聚合聚類（hierarchical agglomerative clustering，HAC）[18]劃分內點和外點，并利用最大的一類內點集來估計目標跟蹤框的中心。（4）利用局部匹配點結合內點更新當前幀有效的目標特征點，便于下一幀更準確地提取動態特征。

2 提取目標特征

當環境較為復雜且背景區域中存在與目標相似的特征時，在視頻序列中對單目標進行跟蹤，容易受到相似區域的干擾出現漂移或者丟失目標的情況。例如，跟蹤目標為人體時，由于人的頭部和肢體等特征都比較相似[19]，在干擾目標與跟蹤目標交互運動的情況下，跟蹤結果很容易受到干擾目標的影響。本文算法通過豐富特征的多樣性來描述目標，從而減少相似區域的干擾，達到提高區分目標和干擾的能力。

2.1 顏色特征及視覺顯著性特征

給定視頻單幀圖像序列I0,I1,…,In，如圖1所示，在圖像I0上標定矩形RO和ROS，其中RO為目標區域，ROS為目標及其周圍環境區域，記RS為目標周圍環境區域，則ROS=RO?RS。ROS內的像素分為前景像素集Ωf和背景像素集Ωb(Ωb=Ωb1+Ωb2，Ωb1?RO，Ωb2?RS，Ωb1+Ωf=RO)。

采用文獻[20]中的方法，使用圖像區域RO和ROS局部RGB顏色信息構建顯著性模型，再利用顯著性模型和圖像RGB特征將圖像像素映射為0到1之間的小數，即為所需顯著值S(x)，獲得圖像顯著性特征。其中，S(x)∈[0,1]，相應地，顯著值S(x)越接近1，則像素x屬于目標像素的概率越高。

具體地，對圖像區域RO和ROS分別構建RGB三通道聯合直方圖，再采用貝葉斯方法，得到像素x屬于前景像素集的概率Ωf的概率：

其中，bx表示像素x(r,g,b)在顏色直方圖內的區間索引（即所屬的bin值）。

通常，可以直接使用顏色直方圖的數據來估計概率：

其中，|·|表示集合的勢，即區域中的總像素數；HO為區域RO的聯合顏色直方圖；HOS為區域ROS的聯合顏色直方圖；H(b)表示在顏色直方圖中第b個bin的值。用像素x屬于前景像素集Ωf的概率來表示像素x的顯著值S(x)，從而可將像素x的顯著值S(x)表示為：

其中，遇到未出現在區域ROS中的顏色時，設置對應像素的顯著值為0.5。

如圖1所示，對圖（a）所示原圖像，經過圖（b）所示初始化后，得到圖（c）所示視覺顯著性特征，圖（d）所示熱力映射圖（顏色越紅，顯著性越高；顏色越藍，顯著性越低）。

2.2 局部特征

目前有關局部特征的研究在國際上取得了很多成就，傳統的SIFT算法[11]和SURF算法[12]雖然精度高，但均具有計算量大，效率較低的缺點，不能很好地用于實時性要求高的場合。在這樣背景下，出現了一些計算耗時較小的算法，如BRIEF（binary robust independent elementary features）算法[21]、ORB算法[22]及BRISK算法[10]等。BRIEF算法的優點為運算速度快，缺點在于不具備旋轉及縮放不變性，對噪聲敏感。ORB算法基于BRIEF算法進行改進，缺點在于不具備尺度不變性。BRISK算法則具有低計算量、低存儲的優點，同時具備旋轉不變性、尺度不變性及對噪聲的魯棒性。

Fig.1 Schematic diagram of obtaining visual saliency feature圖1 提取視覺顯著性特征的示意圖

BRISK算法既是一種特征提取算法，也是一種二進制的特征描述算子。在檢測特征點時主要利用FAST9-16角點探測器，同時考慮到尺度不變性，構建了圖像尺度金字塔來進行多尺度表達。通過在金字塔尺度空間中搜索局部最大（小）響應值確定特征點的位置和尺度[23]，通過比較隨機點對的灰度大小建立局部圖像二值特征描述子。BRISK算法得到的二進制特征描述子，可以利用漢明距離來判別特征點的相似性，不僅匹配速度高于其他算法且存儲時所需的內存少，更利于滿足目標跟蹤的實時性要求。本文采用BRISK特征作為局部不變性特征點，并采用BRISK特征描述子來描述特征點。

2.3 混合特征策略及目標模型

具體操作步驟如下所示：

首先，獲取初始幀區域RO和ROS對應的RGB聯合顏色直方圖，使用式（5）求取顯著性模型，利用顯著性模型和圖像RGB特征得到圖像視覺顯著性特征S，估計目標上的像素。

其次，檢測初始幀的BRISK特征關鍵點，得到一系列的關鍵點K。

最后，采用混合特征策略融合顯著性特征和BRISK特征，得到初始特征點集及其對應的BRISK特征描述子；。使用表示目標模型。其中，為第0幀圖像中第n個BRISK特征關鍵點；為關鍵點對應的特征描述子；狀態標志fn用于表示關鍵點屬于背景類或屬于目標類。

混合特征策略的原理：（1）若K(x)∈RO且S(x)≥σ1，則該關鍵點為目標特征點，并將其存儲至初始前景關鍵點類中；（2）若K(x)?RO且S(x)≤σ2，則該關鍵點為背景特征點，并將其存儲至初始背景關鍵點類中；（3）若K(x)∈RO且S(x)＜σ1，則該目標關鍵點為干擾特征點；（4）若K(x)?RO且S(x)＞σ2，則該背景關鍵點為干擾特征點；（5）若K(x)∈RO且S(x)=0.5或者K(x)?RO且S(x)=0.5，由顯著性模型無法判定該關鍵點屬性，則統一認為該關鍵點為干擾特征點。其中，目標類關鍵點的顯著性閾值為σ1，背景類關鍵點的顯著性閾值為σ2，0.5＜σ1≤1.0，0≤σ2＜0.5。需要說明的是，具體實現時為了加快算法處理速度，對于情況（3）、（4）和（5）認定的干擾特征點則直接舍棄。

3 匹配跟蹤目標

3.1 動態特征

金字塔Lucas-Kanade光流算法[24]，是一種兩幀差分的光流估計算法，常用于發現稀疏光流進行運動檢測。本文采用金字塔Lucas-Kanade光流方法來計算前一幀目標特征點的光流，來提取所需動態特征（跟蹤點）。在獲取所需動態特征時，采用雙向光流檢測機制過濾掉錯誤的動態特征點，并使用誤差度量去除飛掉的點，這樣做是為了使得到的動態特征點更可靠。

具體地，首先計算前一幀目標特征點的前向光流得到跟蹤點，然后計算跟蹤點的后向光流，最后使用誤差度量去除發現光流的動態特征點中飛掉的點，得到精確的當前幀動態特征點。在誤差度量中，設定誤差閾值φ，若發現光流的點對間的相對距離大于閾值φ，表示得到的數據有誤，則認為該點不是所需的跟蹤點。

3.2 靜態特征及自適應搜索機制

為了加快匹配跟蹤的運算速度，在提取靜態特征時加入一種自適應搜索機制，在保證提取所需靜態特征的同時，一方面可以減少提取靜態特征的時間，另一方面可以去除大部分背景類特征，大大縮減后續匹配工作的數據處理量。尤其是在背景復雜、視頻單幀圖像尺寸較大的情況下，可以明顯地解決目標跟蹤中由于特征匹配計算量大引起的卡頓問題，使得本文算法可以實時地完成跟蹤任務。

定義第t幀自適應候選目標搜索區域=η×。其中，表示第t-1幀圖像中確定的目標區域；縮放系數η可以采取固定值，也可以根據確定第t-1幀圖像中目標區域時獲得的縮放因子st-1來決定。

具體地，僅檢測第t幀圖像中對應自適應候選目標搜索區域中的BRISK特征的關鍵點Kt，并計算其BRISK特征描述子。這里所得到的關鍵點即為第t幀圖像的靜態特征點（候選特征點）=Kt。

3.3 目標跟蹤框的自適應尺度及中心

將當前幀候選特征點集與初始幀特征點集進行全局匹配，選取與初始幀前景類特征點相匹配的特征點組成全局匹配點集。運用KNN匹配器對當前幀候選特征點集的BRISK特征描述子與初始幀特征點集的BRISK特征描述子D0進行匹配，查找每個特征點對應的最近鄰和次近鄰特征點的描述子，得到粗略的匹配點集。用特征描述子之間的漢明距離來估算特征點間的匹配程度，距離越小匹配程度越高。根據匹配的描述子的相對距離，在本文算法中，特征描述子間的匹配采用基于雙閾值的第二最近鄰距離準則來判別粗匹配點的匹配程度，對應匹配程度高的特征點即為匹配成功。同時，去除成功匹配的特征點集中屬于背景類的那部分，所得即為全局匹配點集。

具體地，因為采用的BRISK特征描述子是一種二值描述子，可以采用漢明距離異或操作計算匹配的描述符間的相對距離。

其中，D0為初始幀特征點集對應的BRISK特征描述子集；為當前幀候選特征點集對應的BRISK特征描述子集；為D0中第i個特征點的BRISK二值特征描述子；(i)為中待配準的第i個BRISK二值特征描述子。

匹配特征點對間的匹配度l(·,·)要滿足條件：

其中，(j)為當前幀候選特征點集中與初始幀特征點匹配的最近鄰特征點的BRISK特征描述子；(g)為當前幀候選特征點集中與初始幀特征點匹配的次近鄰特征點的BRISK特征描述子。

融合全局匹配點和動態特征點獲得融合點集，進而估計當前幀目標變化的縮放比例s和旋轉角度α。具體地，根據當前幀融合點集中的特征點對間的相對距離相對于初始幀特征點集的特征點對間的相對距離改變的比率，來估計當前幀目標變化的縮放比例s；根據當前幀融合點集中的特征點對間的相對角度相對于初始幀特征點集的特征點對間的相對角度變化的大小，來估計當前幀目標變化的旋轉角度α。需要說明的是，在計算特征點對的相對距離和相對角度之前，需先利用中心點對特征點進行標準化。利用式（8）和式（9）來計算縮放比例s和旋轉角度α。

其中，(i)為當前幀融合點集中的特征點；為初始幀特征點集K0中的特征點；‖·‖為歐幾里德距離；Median表示取中位數作為整體的縮放比例和旋轉角度。

一致性準則[25]原理：對于不發生變形的目標來說，目標發生一定的移動或旋轉后，目標上的特征點相對中心點的位置也會根據尺度變化的比例進行對應的縮放或旋轉。也就是說，初始幀目標特征點向中心點的投票值，在采用當前幀尺度參數進行相似變換后，與當前幀目標特征點向中心點的投票值保持一致，如圖2所示。

Fig.2 Schematic diagram of voting圖2投票示意圖

當前幀融合點集與初始幀特征點集K0的匹配。其中，(i)表示第0幀位置在第t幀的響應匹配（即表明匹配到特征點在第t幀中的位置是(i)）。在每一幀圖像處理中，要盡可能準確地確定目標上的這n對匹配特征點對Mt=(m1,m2,…,mn)。

計算投票向量的基本方法：將經標準化的初始幀特征點按照相似變換H進行相應的坐標變換，當前幀特征點與變換后的初始特征點間相對位置即為投票向量。

其中，為當前幀特征點(i)對應的投票向量；H為初始幀坐標系相似變換到當前幀坐標系的參數，由當前幀的縮放比例st和旋轉的相對角度αt決定；為(i)對應的經標準化的初始幀特征點。

基于mi和mj的幾何可變性，使用相異性度量方法V(mi,mj)來計算匹配mi和mj之間的相異度（即就是一致性程度）：

原則上初始幀特征點向中心的投票值在考慮縮放旋轉后，與當前幀特征點向中心的投票值是相對不變的，但是由于圖像本身的變化，不可能得到完全一樣的投票值，這個時候肯定出現一定的偏差。因此，根據相異性度量值，使用分層聚合聚類[18]劃分出符合一致性準則的內點，去除不符合一致性準則的外點（不必要的融合特征）。選擇最大的一類內點集VC對應的特征點作為有效的當前幀目標特征點，用來估計當前幀目標跟蹤框的中心μ。

其中，VC表示聚類后最大的一類內點集，n=|VC|。

目標框中心μ、縮放比例s和旋轉角度α相結合，就可以獲得由跟蹤算法確定的最終輸出的目標區域RT，RT與初始目標框RO為相似變換。

3.4 更新當前幀目標特征點

全局匹配對出現遮擋的情況具有很好的魯棒性，相對地，對于當前幀新出現的目標特征適應性不好。因此，需要給有效的當前幀目標特征點中增加新出現的特征點，來提高后續跟蹤的穩健性。將局部匹配點與內點相融合，得到最終的描述當前幀目標的特征點集，用于下一幀獲取動態特征。

區別于全局匹配，局部匹配僅與初始幀特征點集中的前景特征點進行匹配。獲取局部匹配點的步驟：（1）對標準化的初始前景點做相似變換H(st,αt)，得到變換后初始幀前景點；（2）使用目標框中心μt標準化當前幀靜態特征點集，得到標準化的靜態特征點；（3）計算標準化的靜態特征點與變換后初始幀前景點間的投票值，根據投票值的大小判斷該特征點的幾何變形度，變形較大即為偏差大的數據，變形度由閾值δ決定；（4）去除靜態特征中變形較大的特征點后，計算所得靜態特征及其對應初始幀特征點間的匹配度，選取匹配度滿足式（7）的特征點組成最終的局部匹配點集（新出現的目標特征點）。

4 實驗結果及分析

所有的實驗是在處理器為Intel?CoreTMi3 CPU M 380@2.53 GHz，內存為2.00 GB的32位計算機上進行，算法通過C++語言及OpenCV2.4.8在Qt上實現。為了更好地定量和定性地評估本文算法的性能，實驗中所用測試集[26]涵蓋單目標跟蹤相關的各個重要屬性，如相機移動及抖動、目標快速移動及尺度變化、遮擋、旋轉、復雜背景環境及變化、光照變化、相似干擾等。同時包含手動標定的真實目標數據，被廣泛用于評估各種單目標跟蹤算法。

4.1 實驗設置

具體實驗是在測試集圖像序列轉化的25 f/s視頻上完成。初始化時，采用第1幀圖像中目標的真實數據作為目標區域RO=，并設定區域ROS=2×；提取顏色特征時三維RGB聯合直方圖采用10×10× 10 bins，混合特征策略設置的目標類關鍵點的顯著性閾值σ1=0.6，背景類關鍵點的顯著性閾值σ2=0.4；提取動態特征時Lucas-Kanade光流金字塔層數為3，每層金字塔的搜索窗口的尺寸為21×21，誤差閾值φ=30；提取靜態特征時自適應候選目標搜索區域的縮放系數η=2.5；全局匹配中判別粗匹配點的匹配程度時采用的雙閾值分別為距離閾值ρ=0.25和距離比率閾值γ=0.8；局部匹配中用于篩選靜態特征的變形度閾值δ=20。

文獻[27]對最近幾年提出的具有代表性且綜合表現較好的跟蹤算法進行多方面測試和綜合評價，并提出了度量標準精確度（precision）和成功率（success rate）。為了驗證本文算法的有效性，根據文獻[27]各算法的綜合表現，選取處于不同水平段的5個算法作為對比算法，分別為Struck[28]、TLD（tracking learning detection）[29]、MIL（multiple instance learning）[30]、KMS（kernel mode setting）[31]和CT（compressive tracking）[32]。對照算法代碼由原作者提供并使用默認參數設置。在進行對比分析時，采用3種評價標準來進行定量和定性分析，分別為精確度、成功率和平均處理幀率。

4.2 中心誤差及精確度

采用跟蹤算法預測的目標中心與真實目標中心間的相對距離作為中心誤差（center error）：

其中，‖·‖表示歐幾里德距離；為第t幀真實目標中心；為第t幀跟蹤算法預測的目標中心；et為第t幀中心誤差。

精度曲線是和中心位置誤差相關的一個評價指標，通常用來概括算法在該視頻上的整體性能，尤其適用于目標跟丟、輸出位置隨機的情況[19]。將滿足中心誤差E＜ζ的視頻幀數占總幀數的比值記為精確度。直接采用某一特定閾值（比如ζ=20）時的精確度來評估算法具有一定的片面性，因而，計算閾值ζ在[0,50]上的精確度，得到精度曲線圖（precision plot）。使用每個算法的精度圖的曲線下面積（areaundercurve，AUC）來作為評價標準。AUC值可以正確評估跟蹤算法的整體性能，它比單一閾值下精確度更加準確，AUC值越大，算法效果更好。

4.3 重疊率及成功率

將跟蹤算法預測的目標區域與真實目標區域的重合區域和預測的目標區域及真實目標區域之間的比重稱為重疊率（region overlap ratio）：

其中，為第t幀圖像跟蹤算法預測的目標區域；為第t幀圖像真實的目標區域；?和?分別表示兩個區域的交集和并集；|·|指其區域內的像素點個數。

將重疊率Ο大于給定的閾值τ的正確跟蹤的視頻幀數占總幀數的比值記為成功率。計算閾值τ在[0,1]上的成功率，繪制成功率曲線圖（success plot）。

同理，直接采用某一特定閾值（比如τ=0.5）時的成功率可能無法正確估量跟蹤的性能，因而仍然使用每個算法的成功率圖的曲線下面積（AUC）作為評價標準。

4.4 結果分析

4.4.1 定量分析

如圖3所示，分別為juice、jump、singer、sunshade和woman這5組視頻序列采用6種算法得到的跟蹤結果的精度圖。歸一化的精確度AUC及平均精確度AUC的統計結果見表1。

由表1可知，本文算法在juice、singer上取得了最佳結果，在sunshade、woman上次之。6種算法的平均精確度AUC為Ours>Struck>TLD>KMS>MIL>CT，AUC值越大，算法效果更好，因而本文算法在精確度上表現最佳。

Fig.3 Precision plot圖3 精度圖

Table 1 AUC of precision表1精確度AUC

如圖4所示，分別為juice、jump、singer、sunshade和woman這5組視頻序列采用6種算法得到的跟蹤結果的成功率圖。表2給出了成功率AUC及平均成功率AUC的統計結果。由表2可知，本文算法在jump、singer上取得了最佳結果，在juice、sunshade、woman上次之。6種算法的平均成功率AUC為Ours> Struck>TLD>MIL>CT>KMS，因此本文算法在成功率方面表現最佳。

在5組視頻上比較6種算法的跟蹤效率，來分析跟蹤實時性，表3給出了各算法的跟蹤平均處理幀率。其中，本文算法在juice、sunshade上取得了最佳速度，在woman上次之。而在jump、singer上表現較一般，基本與Struck和MIL持平。主要原因在于這兩種視頻中背景環境紋理復雜，本文算法提取到過多的BRISK特征，進而增加了后續處理時間。6種算法的平均處理幀率從高到低依次是Ours、TLD、CT、KMS、MIL、Struck，本文算法仍然在跟蹤速度上取得最佳結果。

4.4.2 定性分析

juice視頻中，目標橘汁盒放置在一個桌子上，周圍有一些瓶子、餅干盒及水杯，有輕微的光照變化。目標特征變化不大，僅在方向和尺度上不停變化。CT和MIL對目標快速移動表現很差，Struck對快速目標尺度變化適應性較差。KMS不能適應相機快速移動引起的抖動模糊，在第231幀丟失目標。

jump視頻中，目標自行車手騎自行車在山丘上快速跳躍，有輕微的光照變化。目標快速移動，在空中時目標發生扭轉，本身特征有較大變化，躍起到落地目標尺寸不斷變化。CT、Struck和MIL在背景轉換時跟蹤重疊率較低，誤差較大。TLD在目標快速移動導致形變時丟失目標。

Fig.4 Success rate plot圖4 成功率圖

Table 2 AUC of success rate表2成功率AUC

Table 3 Comparison of average processing frame rate表3 平均處理幀率

singer視頻中，目標歌手所處舞臺環境復雜，聚光燈不停閃爍，光照變化強烈，相機快速移動引起目標的移動及尺寸的變化。CT和Struck不能適應強烈的光照變化，CT和MIL不能適應復雜背景下的目標尺度變化。TLD在目標形變過大時丟失目標。

sunshade視頻中，目標男子在一房屋旁邊快速移動，光照跳躍性明暗變化。CT在第84、102幀丟失目標，MIL在第12、160幀丟失目標，KMS在第14、34、107、114幀丟失目標，TLD在第10、64、82、101、155幀丟失目標，表明這幾種算法均不能適應光照明暗變化。

woman視頻中，目標女子在馬路上快速行走，多次出現長時間的部分遮擋，同時還存在目標尺度變化及輕微光照變化。CT、MIL、TLD在部分遮擋時多次出現丟失目標的情況。KMS不能適應相機移動導致的抖動模糊，在第563幀丟失目標。

本文算法在上述5個視頻中均具有較好的魯棒性和精確度，整體表現比較穩定。

5 結束語

本文提出了一種結合視覺顯著性的多特征融合跟蹤算法，實驗表明與現有的跟蹤算法相比，本文算法具有較好的精確性、實時性和魯棒性。不足之處在于，本文算法的有效性與初始幀獲得的目標特征息息相關。一方面，本文采用的視覺注意機制，是一種當目標區域與周圍具有較強對比度或明顯不同時產生的自下而上的靜態注意。因此，當圖像對比度很差時，會引起顯著性特征缺失，使用融合策略將圖像顯著特征與BRISK特征相融合時，會將有用的特征點作為干擾特征點直接舍棄，從而導致跟蹤效果差甚至是跟蹤失敗。另一方面，與大部分基于特征點且無在線學習過程的跟蹤算法一樣，在完全遮擋、目標快速移動時引起目標特征缺失，可能導致跟蹤失敗。因此，后期研究時準備在本文算法基礎上，一方面在圖像對比度差時，考慮增加對干擾特征點的處理措施；另一方面可以進一步考慮添加動態顯著特征，解決由于圖像對比度差和后期目標移動等原因產生的目標特征缺失，得到更為魯棒的目標跟蹤。

[1]Danelljan M,Khan F S,Felsberg M,et al.Adaptive color attributes for real-time visual tracking[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition,Columbus,USA,Jun 23-28,2014.Washington: IEEE Computer Society,2014:1090-1097.

[2]Li Yang,Zhu Jianke,Hoi S C H.Reliable patch trackers: robust visual tracking by exploiting reliable patches[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,USA,Jun 7-12,2015. Piscataway,USA:IEEE,2015:353-361.

[3]Wang Dong,Lu Huchuan,Yang M-H.Least soft-threshold squares tracking[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition,Portland,USA,Jun 23-28,2013.Piscataway,USA:IEEE,2013: 2371-2378.

[4]Wang Yongming,Wang Guijin.Image local invariant features and descriptors[M].Beijing:National Defense Industry Press,2010:191.

[5]Xu Wanjun,Hou Zhiqiang,Yu Wangsheng,et al.Fusing multi-feature for object tracking algorithm based on color and space information[J].Journal of Applied Optics,2015, 36(5):755-761.

[6]Wang Huan,Wang Jiangtao,Ren Mingwu,et al.A new robust object tracking algorithm by fusing multi-features[J]. Journal of Image and Graphics,2009,14(3):489-498.

[7]Gu Xin,Wang Haitao,Wang Lingfeng,et al.Fusing multiple features for object tracking based on uncertainty measurement[J].ActaAutomatica Sinica,2011,37(5):550-559.

[8]Yan He,Liu Jie,Yang Dehong,et al.A new particle filter object tracking algorithm based on feature fusion[J].Journal of Optoelectronics·Laser,2014,25(10):1990-1999.

[9]Zhang Huanlong,Hu Shiqiang,Yang Guosheng.Video object tracking based on appearance model learning[J].Journal of Computer Research and Development,2015,52(1):177-190.

[10]Leutenegger S,Chli M,Siegwart R Y.BRISK:binary robust invariant scalable keypoints[C]//Proceedings of the 2011 IEEE International Conference on Computer Vision,Barcelona,Spain,Nov 6-13,2011.Piscataway,USA:IEEE, 2011:2548-2555.

[11]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110.

[12]Bay H,Tuytelaars T,Luc V G.SURF:speeded up robust features[C]//LNCS 3951:Proceedings of the 9th European Conference on Computer Vision,Graz,Austria,May 7-13, 2006.Berlin,Heidelberg:Springer,2006:404-417.

[13]Zhang Yan,Zhang Zhilong,Shen Zhenkang,et al.The images tracking algorithm using particle filter based on dynamic salient features of targets[J].Acta Electronica Sinica, 2008,36(12):2306-2311.

[14]Zhang Qiaorong,Feng Xinyang.Object tracking based on visual saliency and particle filter[J].Journal of Image and Graphics,2013,18(5):515-522.

[15]Xie Zhao,Liu Yumin,Zhang Jun,et al.Spatio-temporal motion saliency for object tracking[J].Journal of Image and Graphics,2015,20(8):1070-1082.

[16]Li Wanyi,Wang Peng,Qiao Hong.A survey of visual attention based methods for object tracking[J].Acta Automatica Sinica,2014,40(4):561-576.

[17]Yin Hongpeng,Chai Yi,Kuang Jinjun,et al.A moving target tracking algorithm based on adaptive multiple cues fusion [J].Journal of Optoelectronics·Laser,2010,21(6):917-923.

[18]Rui Xu,Wunsch D.Survey of clustering algorithms[J].IEEE Transactions on Neural Networks,2005,16(3):645-678.

[19]Zhang Tie,Ma Qiongxiong.Human object tracking algo-rithm for human-robot interaction[J].Journal of Shanghai JiaoTong University,2015,49(8):1213-1219.

[20]Possegger H,Mauthner T,Bischof H.In defense of colorbased model-free tracking[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston,USA,Jun 7-12,2015.Piscataway,USA:IEEE,2015: 2113-2120.

[21]Calonder M,Lepetit V,Strecha C,et al.BRIEF:binary robust independent elementary features[C]//LNCS 6314:Proceedings of the 11th European Conference on Computer Vision,Crete,Greece,Sep 5-11,2010.Berlin,Heidelberg: Springer,2010:778-792.

[22]Rublee E,Rabaud V,Konolige K,et al.ORB:an efficient alternative to SIFT or SURF[C]//Proceedings of the 2011 International Conference on Computer Vision,Barcelona, Spain,Nov 6-13,2011.Washington:IEEE Computer Society,2011:2564-2571

[23]Zhang Yong,Wang Xinsai,Li Mingming,et al.Robust infrared video electronic stabilization algorithm for vehicle[J]. High Power Laser and Particle Beams,2013,25(4):853-857.

[24]Lucas B D,Kanade T.An iterative image registration technique with an application to stereo vision[C]//Proceedings of the 7th International Joint Conference on Artificial Intelligence,Vancouver,Canada,Aug 24-28,1981.San Francisco, USA:Morgan Kaufmann Publishers Inc,1981:674-679.

[25]Nebehay G,Pflugfelder R.Consensus-based matching and tracking of keypoints for object tracking[C]//Proceedings of the 2014 IEEE Winter Conference on Applications of Computer Vision,Steamboat Springs,USA,Mar 24-26,2014. Piscataway,USA:IEEE,2014:862-869.

[26]Kristan M,Pflugfelder R,Leonardis A,et al.The visual object tracking VOT2013 challenge results[C]//Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops,Sydney,Australia,Dec 2-8,2013.Piscataway,USA:IEEE,2013:98-111.

[27]Wu Yi,Lim J,Yang M-H.Online object tracking:a benchmark[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition,Portland,USA,Jun 23-28,2013.Piscataway,USA:IEEE,2013:2411-2418.

[28]Hare S,Saffari A,Torr P H S.Struck:structured output tracking with kernels[C]//Proceedings of the 2011 International Conference on Computer Vision,Barcelona,Spain, Nov 6-13,2011.Piscataway,USA:IEEE,2011:263-270.

[29]Kalal Z,Mikolajczyk K,Matas J.Tracking learning detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7):1409-1422.

[30]Babenko B,Yang M-H,Belongie S.Robust object tracking with online multiple instance learning[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(8):1619-1632.

[31]Comaniciu D,Ramesh V,Meer P.Kernel-based object tracking [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(5):564-577.

[32]Zhang Kaihua,Zhang Lei,Yang M-H.Real-time compressive tracking[C]//LNCS 7574:Proceedings of the 12th European Conference on Computer Vision,Florence,Italy,Oct 7-13,2012.Berlin,Heidelberg:Springer,2012:864-877.

附中文參考文獻：

[4]王永名,王貴錦.圖像局部不變性特征與描述[M].北京:國防工業出版,2010:191.

[5]許婉君,侯志強,余旺盛,等.基于顏色和空間信息的多特征融合目標跟蹤算法[J].應用光學,2015,36(5):755-761.

[6]王歡,王江濤,任明武,等.一種魯棒的多特征融合目標跟蹤新算法[J].中國圖象圖形學報,2009,14(3):489-498.

[7]顧鑫,王海濤,汪凌峰,等.基于不確定性度量的多特征融合跟蹤[J].自動化學報,2011,37(5):550-559.

[8]閆河,劉婕,楊德紅,等.基于特征融合的粒子濾波目標跟蹤新方法[J].光電子·激光,2014,25(10):1990-1999.

[9]張煥龍,胡士強,楊國勝.基于外觀模型學習的視頻目標跟蹤方法綜述[J].計算機研究與發展,2015,52(1):177-190.

[13]張焱,張志龍,沈振康,等.基于動態顯著性特征的粒子濾波多目標跟蹤算法[J].電子學報,2008,36(12):2306-2311.

[14]張巧榮,馮新揚.利用視覺顯著性和粒子濾波的運動目標跟蹤[J].中國圖象圖形學報,2013,18(5):515-522.

[15]謝昭,劉玉敏,張駿,等.時空運動顯著性的目標跟蹤[J].中國圖象圖形學報,2015,20(8):1070-1082.

[16]黎萬義,王鵬,喬紅.引入視覺注意機制的目標跟蹤方法綜述[J].自動化學報,2014,40(4):561-576.

[17]尹宏鵬,柴毅,匡金駿,等.一種基于多特征自適應融合的運動目標跟蹤算法[J].光電子·激光,2010,21(6):917-923.

[19]張鐵,馬瓊雄.人機交互中的人體目標跟蹤算法[J].上海交通大學學報,2015,49(8):1213-1219.

TONG Wei was born in 1970.He is an associate professor at Xi’an University of Architecture and Technology.His research interests include intelligent control and computer vision.

佟威（1970—），男，陜西咸陽人，西安建筑科技大學副教授，主要研究領域為智能控制，計算機視覺。

HE Xiao was born in 1990.She is an M.S.candidate at Xi’an University of Architecture and Technology.Her research interests include computer vision and image processing.

和簫（1990—），女，陜西西安人，西安建筑科技大學信息與控制工程學院碩士研究生，主要研究領域為計算機視覺，圖像處理。

LU Ying was born in 1980.She is an engineer and Ph.D.candidate at Xi'an University of Architecture and Technology. Her research interests include digital architecture,image processing and pattern recognition.

盧英（1980—），女，陜西寶雞人，西安建筑科技大學工程師、博士生，主要研究領域為數字建筑，圖像處理，模式識別。

Visual Saliency and Multi-Feature Fusion for Object Tracking*

TONG Wei1,HE Xiao1+,LU Ying1,2

1.School of Information and Control Engineering,Xi'an University of Architecture and Technology,Xi'an 710055, China

2.School ofArchitecture,Xi'an University ofArchitecture and Technology,Xi'an 710055,China
+Corresponding author:E-mail:251347576@qq.com

Traditionally,most tracking algorithms use the single feature to describe the object.In view of the insufficiency of traditional tracking algorithms in complicated background,this paper puts forward an object tracking algorithm used by multi-feature fusion and visual saliency.Firstly,this paper adopts a visual saliency mechanism for manipulating color histogram data to get saliency feature,uses a hybridstrategy that fuses the BRISK(binary robust invariant scalable keypoints)feature and saliency information to describe the image,and then extracts the objectforeground model and object-background model.Moreover,the dynamic feature is extracted by the bidirectional optical flow and error metric and is fused with the static feature which is extracted by the adaptive searching mechanism.Finally,based on the data of matching and tracking procedure in the previous frame,this paper evaluates the object’s scale,rotation and center,and obtains the new target location in the current frame.Experiments show that the proposed algorithm can handle the tracking in the complicated background,and adapt to strong illumination changes,partial occasions,fast motion and so on.The high accuracy and robustness of the proposed algorithm areconfirmed by compared with the related algorithms,and the effectiveness and real-time of the method is validated.

visual saliency;BRISK feature;multi-feature fusion;consensus-based matching and clustering

10.3778/j.issn.1673-9418.1601070

A

：TP391

*The National Natural Science Foundation of China under Grant No.51209167(國家自然科學基金);the Natural Science Foundation of Shaanxi Province under Grant No.2013JM8022(陜西省自然科學基金);the Youth Foundation of Xi’an University of Architecture and Technology under Grant No.QN1423(西安建筑科技大學青年基金).

Received 2016-01,Accepted 2016-03.

CNKI網絡優先出版:2016-03-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160308.1005.002.html

TONG Wei,HE Xiao,LU Ying.Visual saliency and multi-feature fusion for object tracking.Journal of Frontiers of Computer Science and Technology,2017,11(3)：438-449.