特征融合的尺度估計顏色名跟蹤算法

呂 凱，袁 亮，岳昊恩

(新疆大學 機械工程學院，新疆 烏魯木齊 830047)

0 引 言

近年來，相關濾波跟蹤算法在目標跟蹤方面取得了高精度、高速度的特點[1-4]，從而引起研究人員的廣泛關注,并且應用廣泛[5-7]。早期Bolme等使用對圖像的灰度特征進行跟蹤的相關濾波跟蹤算法，即最小均方誤差和濾波跟蹤器(MOSSE)，但是這種算法單一利用的圖像灰度特征，不適用在復雜的場景。Henriques等提出了循環結構跟蹤器(CSK)[8]，之后又提出了核相關濾波算法(KCF)[9]，雖然跟蹤精度得到了顯著的提高，但是沒有解決目標尺寸變化的問題。Danelljan等提出的判別尺度空間跟蹤器算法(DSST)[10]，利用位置濾波器(translation filter)和尺度濾波器(scale filter)對目標依次進行定位和尺度評估，開創了平移濾波+尺度濾波的方法。Danelljan等提出的顏色名跟蹤算法(CN)[11]，將圖像的RGB顏色信息映射到包含黑、藍、棕、綠、灰、橙、粉、紫、紅、白和黃11個顏色通道的CN空間[12],這種方法具有一定的光學不變性，但是運算量大，然而這類算法依然沒有解決目標尺寸自適應的問題。

目前大多數傳統相關濾波跟蹤算法都無法有效解決目標的尺度變化、遮擋問題，為此提出一個在顏色名(color name，CN)跟蹤器框架下融入LBP紋理特征的快速尺度估計算法。該算法在表達目標信息方面，將CN顏色特征和LBP紋理特征自適應融合，提高目標跟蹤的精度,并且增加一個獨立的一維尺度濾波器對檢測到的目標信息做出最優尺度估計。在目標模板更新方面，添加了一個峰值旁瓣比判斷，可以防止目標模板錯誤更新從而導致錯誤跟蹤，最后在尺度濾波器的最高響應值作為最后的目標位置信息。

1 相關濾波跟蹤器

1.1 CN跟蹤器原理

CN跟蹤器是建立在CSK跟蹤器的基礎上，拓展了顏色屬性，先將RGB空間的圖像映射到CN空間通道，然后用FFT(快速傅里葉變化)、核映射對每一個通道進行處理，最后將處理過的11個顏色通道的頻域信號線性加權，繼續完成CSK的計算，其中降低運算量的關鍵在于兩個方面，一方面沿用了CSK的循環結構進行相鄰幀的相關性檢測；另一方面是通過主成分分析(PCA)自適應地降低顏色屬性的維度方法，將11個顏色通道降為2個。

1.2 CN跟蹤器相關計算

CN跟蹤器是以目標為中心，用一個大小為M×N矩形框選取圖像第一幀的目標圖像塊x來訓練線性分類器。例如，首先把第一幀到當前幀p的目標提取出來 {xj∶j=1,…,p}。 然后將用這些幀上的加權平均二次誤差構造代價函數，但因為其解僅限于包含一組分類器系統α，所以每個幀j用常量βj≥0加權。最后代價函數被表示為

(1)

可以看出，代價函數的最小化為

(2)

(3)

在目標跟蹤中，框選大小為M×N的目標圖像塊x可以從待處理幀p+1中提取，置信分值計算公式

(4)

(5)

式中：α1，…，αp是權重函數

(6)

式中：M×N表示圖像塊領域大小，(m,n)∈{0,…,M-1}×{0,…,N-1}

(7)

2 改進算法

2.1 多特征融合

CN特征對于運動模糊具有很好的穩定性，LBP特征[13]具有旋轉不變性和灰度不變性等顯著的優點。由于在復雜背景下，目標跟蹤過程中會出現目標丟出的問題，為克服這類問題，提出在CN跟蹤器的框架下增加LBP特征，利用CN+LBP特征融合以達到增強目標的特征模型。

LBP紋理特征定義為

(8)

式中：(xc,yc) 為中心像素；gc為中心像素點；gp為領域像素點。

LBP特征的統計直方計算公式為

(9)

(10)

2.2 融入多尺度估計

針對目標跟蹤過程中跟蹤目標出現的尺度變化問題，提出了通過建立獨立的一維尺度濾波器去檢測目標尺度的變化并且通過最高響應值估計目標的最優尺度。尺度估計步驟：首先CN濾波器作為框架并且融合CN特征和LBP特征進行目標跟蹤，并且獲取目標及其周圍的圖像塊xs,xs=M×N，在圖像塊xs采集一系列不同尺度的圖像塊xsi,xsi=αiM×αiN，其中α=1.02代表尺度因子，i∈{-[(n-1)/2],…,[(n-1)/2]},n=33代表33個不同尺度。然后在這一系列不同尺度的圖像塊中進行多特征融合響應，每個圖像塊對應的高斯函數標簽為ysi；并且使用這些圖像塊去訓練RLS分類器，在線性空間求解，獲得一個一維尺度濾波器；最后通過這個濾波器找出的最大輸出響應作為跟蹤目標的最優尺度。

訓練RLS分類器，得到一維尺度濾波器模板Snum,Hden的計算和更新公式為

(11)

(12)

式中：ηs是固定的參數。

尺度濾波器的輸出響應為

(13)

2.3 目標模型自適應更新

跟蹤算法要對目標模板進行更新，但是在更新過程中，由于目標在遮擋等復雜情況下會把目標的背景信息更新入目標模板中，這樣存在一個背景信息干擾目標信息的情況，從而導致目標跟蹤丟失。為了解決這類問題，本文提出了利用峰值旁瓣比(peak to sidelobe ratio，PSR)，設定閾值，對目標模型進行自適應更新，PSR的計算公式

(14)

式中：p為響應最大峰值；u為旁瓣區域的均值；σ為旁瓣區域的標準差。若PSR值越大，則表明跟蹤結果越準確。故改進算法設定閾值T=10，當PSR>T時，更新目標模板；當PSR

2.4 改進算法步驟

改進算法的框架見表1；改進算法流程如圖1所示。

表1 改進算法的框架

圖1 改進算法流程

3 實驗結果與分析

3.1 實驗環境及設置

實驗硬件環境為CPU Intel Core i5-7500，主頻3.40GHz，內存8GB配置的計算機，算法開發平臺為MATLAB R2015b。除特殊說明外，實驗中的參數使用原作者提供代碼的默認參數。

改進算法針對跟蹤目標的尺度變化和遮擋問題所改進的，為了驗證算法的性能，采用OTB-2013中51組含有不同屬性的視頻集進行評估，并且與CSK[8],KCF[9],DSST[10],CN[11]這4種流行跟蹤算法做對比實驗。

3.2 定性分析

表2 實驗測試的視頻

(1)尺度變化。在跟蹤過程中，由于跟蹤目標尺度發生改變，而跟蹤框大小固定，因此無法提取有效的目標信息，最終導致目標漂移或丟失。以“Car4”“Carscale”兩組視頻為例，這兩組視頻中的目標均出現一定程度的尺度變化。如圖2(a)可看出，以車輛為跟蹤目標，在車輛行駛過程中，目標變道以及尺度逐漸變小，在第131幀，CN、KCF、CSK等算法均出現了較小的漂移，隨著幀數的增加漂移現象越來越明顯。如圖2(b)中跟蹤目標為行駛的車輛，存在著部分遮擋以及尺度逐漸變大，在第176幀，CN、KCF、CSK等算法同樣出現了漂移，而引起這些漂移的原因是這3種算法目標框尺度不變，使得獲取背景信息較多，目標特征較小。而改進算法和DSST算法能隨著目標尺度變化自適應的修改跟蹤框大小，和CN、KCF、CSK等算法對比，相對提取少量雜質信息，能夠穩定地跟蹤目標。

(2)目標遮擋。在目標跟蹤過程中，遮擋問題時常發生，在遮擋情況下，若不能有效獲取足夠的目標信息，則最終導致跟蹤失敗。文中以“Girl”“Tigerl”“Walking2”3組視頻為例，目標在跟蹤過程中被不同程度的遮擋。如圖2(c)在第457幀出現了遮擋，在視頻后續中CN、DSST、KCF、CSK等算法均丟失跟蹤，而改進算法跟蹤成功；如圖2(d)在第128幀之后出現遮擋，在視頻后續中CN、DSST、KCF、CSK等算法存在著跟蹤漂移或者跟蹤失敗，只有改進算法能夠穩定跟蹤目標；在圖2(e)中，可以看出在第331幀中出現遮擋以及尺度變化，在之后的跟蹤過程中CN算法、CSK算法跟蹤目標丟失，KCF算法跟蹤目標出現漂移，DSST算法和改進算法跟蹤目標穩定準確。改進算法利用峰值旁瓣比，設定閾值，當峰值旁瓣比小于閾值時，停止模板更新，維持前一幀模板信息，避免了遮擋情況下更新錯誤的模板信息，因此從這3組視頻中表現出改進算法具有較強的抗目標遮擋能力，可以穩定準確的跟蹤目標。

(3)光照變化。由于光照強度發生改變，引起跟蹤目標與背景的亮度信息發生改變，因此干擾了目標特征準確選取，最終導致目標跟蹤偏差或者丟失。以“fish”“Singer1”“Trellis”3組視頻為例，如圖2(f)～圖2(h)中均出現了背景光照發生劇烈變化，在目標跟蹤過程中，CN、KCF、CSK等算法在跟蹤目標時都出現了目標漂移甚至丟失，而DSST算法和改進算法能夠穩定準確的跟蹤目標。改進算法融合了CN特征和LBP特征使得算法對光照具有較強的魯棒性，對光照變化適應能力較強，從而可以很好的目標跟蹤。

(4)快速運動。由于目標運動較快，圖像分辨率不高，導致圖像模糊，因此目標的特征信息很難準確獲取，最終導致跟蹤目標失敗。以“fleetface”“Jumping”兩組視頻為例，如圖2(i)跟蹤目標存在著快速運動、尺度變化、目標形變、旋轉等屬性，在第529幀之后,CN、KCF、CSK等算法跟蹤漂移或者失敗，DSST算法和改進算法可以準確跟蹤目標；如圖2(j)跟蹤目標存在快速運動、運動模糊等屬性，在第24幀后續中只有改進算法可以穩定跟蹤目標。改進算法采用了尺度估計和峰值旁瓣比判斷來更新目標模板，從而可以繼續跟蹤目標，保證了算法最快速運動目標具有較好的穩健性。

圖2 5種算法在部分序列上的跟蹤結果顯示

表3、表4為改進算法與4種算法在10組測試視頻上的中心位置誤差、重疊率中作比較。從表3可以看出，改進算法在10組測試視頻中的中心位置誤差值一直較小；從表4可以看出，改進算法在10組視測試頻中的覆蓋率值均較大；因此通過表3、表4中的數據可以表明改進算法更具有跟蹤目標的優越性。

3.3 定量分析

通過時間魯棒性評估(TRE)，即51組視頻集的每一組視頻序列分成20個片段，跟蹤器會在每一個序列的片段上進行評估且整體的統計數據也會被記錄下來。這樣評估方法更能驗證改進算法的跟蹤性能。

表3 中心位置誤差

表4 重疊精度對比

圖3是51個視頻集的精度曲線和成功率曲線。由圖可以看出，改進算法在TRE評估中，跟蹤精度和成功率均高于其它4種跟蹤算法，并且與CN算法比較，跟蹤精度提高10.1%，成功率提高23.5%。因此驗證了改進算法具有較高的魯棒性。

圖3 51個視頻集的精度曲線和成功率曲線

3.4 算法跟蹤速率

在CPU運行條件下，5種跟蹤算法在OTB-2013的51組視頻集的平均跟蹤速率見表5。從表5可以看出，改進算法在跟蹤速度上要慢于其它算法，這是由于改進算法加入了尺度估計和特征融合。

表5 5種跟蹤算法的平均運算速度

4 結束語

針對傳統CN算法在尺度變化、遮擋等情況下目標跟蹤效果不理想，提出了一種快速尺度估計的多特征融合顏色名算法，該算法在CN跟蹤器框架下融入LBP紋理特征，增強了目標特征信息的表達；然后增加一個獨立的尺度濾波器，彌補了傳統CN算法不能自適應目標的尺度變化；最后結合響應圖的峰值旁瓣比，設定閾值，對目標模型做出更新調整。實驗結果表明，改進算法相比于傳統的CN算法，在尺度變化、光照變化、遮擋、快速運動等復雜場景下，有較高的成功率和跟蹤精度；并且在整體測試中，具有良好的魯棒性和實時性。