多特征重檢測的相關濾波無人機視覺跟蹤

董美寶 ，楊涵文 ,2，郭 文，馬思源 ，鄭 創

(1.山東工商學院信息與電子工程學院，山東 煙臺 264005；2.山東省煙臺第一中學，山東 煙臺 264000)

目標跟蹤作為計算機視覺領域最基本的問題之一，其應用遍布多個領域，如人機交互、視頻監控、無人駕駛等。盡管多年來，目標跟蹤領域發展迅速，涌現出大量優秀的算法，但由于涉及到的領域不斷更新，對目標跟蹤算法的要求也隨之提高。低空無人機目標跟蹤作為剛剛興起的一個領域，機遇與挑戰并存。除了傳統目標跟蹤中一直存在的問題，如光照變化、幾何變化、局部遮擋、快速運動、背景雜波等，由于無人機系統的飛行高度、飛行姿態不穩定、飛行速度較慢等因素，與傳統目標跟蹤相比，其獲取的影像的像幅小、分辨率不高、畸變大，給跟蹤帶來了較大的困難和挑戰。本文的研究是基于在傳統跟蹤數據集上表現良好的 KCF跟蹤器，解決無人機目標跟蹤在低分辨率小幅圖像表觀下出現的跟蹤失敗的問題。

1 相關工作

1.1 相關濾波算法

作為目標跟蹤領域的重要進展之一，相關濾波以其準確和高效吸引了大量的關注，與其他跟蹤算法相比，相關濾波在不同數據集上的表現都顯示出其強大的性能，尤其在遮擋等條件下，具有更高的魯棒性和準確性。文獻[1]提出的最小輸出平方誤差濾波器是最早將相關思想應用到目標跟蹤領域的跟蹤器，使用峰值旁瓣比檢測遮擋，使得目標重新出現時跟蹤器能夠及時恢復跟蹤。文獻[2]提出的循環結構核濾波器是使用核技巧的非線性相關濾波器，可以用于冗余類相關特征分析，能夠在進行人臉識別時具有更好的魯棒性。核相關濾波跟蹤算法[3]是在相關濾波的基礎上加入了核函數的算法，使用多通道的HOG特征代替單通道的灰度特征，在采集樣本過程中使用循環矩陣來增大運行效率，利用傅里葉對角化使計算效率明顯提高。文獻[4]提到的具有特征集成的尺度自適應核相關濾波跟蹤算法，在傳統的核相關濾波跟蹤器基礎上，提出尺度自適應方案來處理固定模板尺寸的問題，并通過將HOG和顏色命名等特征融合在一起，進一步提升跟蹤器的整體性能。文獻[5]利用分塊的思想，將目標分為不同的模塊，并對其各自的響應進行加權擬合，使用峰-旁比(peak-to-side ratio，PSR)和光滑約束置信圖(smooth constraint of confidence maps，SCCM)對每個模塊的參數進行限制，從而實現更好的跟蹤效果。文獻[6]訓練出一個在線隨機蕨叢分類器，在跟蹤失敗的情況下，對目標進行重新檢測，增強了跟蹤器的跟蹤效率、精確度和魯棒性。該方法對長期視覺跟蹤的問題具有較好的效果，但跟蹤速度慢。文獻[7]提到的算法是通過基于尺度金字塔表示來學習判別相關濾波器，由于其是獨立的，因此可以與任何沒有尺度估計的濾波器相結合，實現更好的性能。文獻[8]提出了一種結構相關濾波器，用于模擬目標外觀，實現魯棒的視覺跟蹤，所提出的循環相關粒子濾波模型將基于部分的跟蹤策略融合到相關濾波跟蹤器中，并利用所有部分的循環移位進行運動建模以保持目標對象結構，此算法不僅在計算效率與魯棒性上具有相關濾波算法的優點，對解決遮擋問題也具有較好的效果。

1.2 無人機目標跟蹤

如前文所述，無人機目標跟蹤相較傳統目標跟蹤具有更大的難度。針對這些難點，國內外的研究人員已經提出了不少改進算法。例如在解決遮擋方面，文獻[9]提出的方法能夠對目標位置、方向和尺寸等進行估計，使用粒子濾波器處理遮擋、圖像噪聲等多種問題；文獻[10]通過將粒子濾波與P-N在線學習結合的方法，解決了跟蹤過程中的短暫遮擋等導致的跟蹤失敗的問題；文獻[11]為了解決自適應均值漂移算法對相似對象和目標遮擋的問題，融合局部特征和顏色特征，實現了對目標的有效跟蹤。另外，無人機目標跟蹤在其他方面的研究也有所突破，如文獻[12-13]提出利用圖像信息和機載傳感器信息等跟蹤地面目標。文獻[14]提出了一種能夠實現城市交通行為的高水平情況感知的系統，采用彩色圖像和熱圖像的輸入序列，用于構建和維護目標結構并實時識別被跟蹤車輛的交通行為。文獻[15]開發出COCOA跟蹤系統實現對目標的自動跟蹤。文獻[16]提出的新型跟蹤系統，完全在四旋翼飛行器上運行，無需依賴外部定位傳感器或GPS，在閉環控制中應用低頻單目計算機視覺算法來跟蹤已知顏色的物體。文獻[17]提出了一個集成到飛機中的實驗性Sense and Avoid系統，用于檢測和跟蹤其他具有電光傳感器的空中物體。文獻[18]提出的算法使用零均值歸一化互相關來檢測和定位圖像中的對象，并用卡爾曼濾波器來提高跟蹤算法的效率。盡管低空無人機目標跟蹤的研究取得了一定的成果，但低空無人機目標跟蹤尚處于發展階段，仍有許多問題需要解決。

1.3 本文工作

KCF算法作為相關濾波類的經典算法，以其強大的計算效率以及良好的性能被關注，在快速運動等方面表現尤為突出，KCF算法在常規目標數據集如 OTB50上實驗結果名列前茅，但在無人機跟蹤數據集UAV123的表現卻并不理想，跟蹤圖像分辨率低，像幅小是導致跟蹤失敗的主要原因之一。針對此類問題，本文提出了多特征重檢測相關濾波跟蹤框架，如圖1(以OTB50中視頻Jogging-1為例)所示。在該方案中，為了應對圖像像幅小、分辨率低的挑戰，除了使用簡單的低層灰度表觀特征，還使用了HOG特征和顏色命名特征，通過設計多特征融合的KCF表觀模型，得到更魯棒的目標表觀。另外，為進一步避免跟蹤失敗，在 KCF跟蹤框架下進行跟蹤時，將對每幀圖像跟蹤是否成功進行判斷，當跟蹤失敗時，跟蹤器會進入到重檢測機制，重新進行位置檢測，并通過模型更新閾值的限制，對目標位置進行有效更新。

圖1 本文算法流程圖

本文的貢獻在于：①設計了基于核函數的多特征融合表觀模型，提高了目標特征的判別性。②加入了重檢測機制，有利于緩解跟蹤的漂移問題，提高跟蹤的精度。通過本文提出的算法，使得無人機在進行目標跟蹤時具有較好的性能，在低空無人機數據集上的精確度和成功率均取得了較好的結果。

2 核相關濾波跟蹤算法(KCF)

KCF跟蹤器具有良好的性能，其關鍵在于在采集樣本過程中設計使用了循環矩陣增加了跟蹤檢測分類器訓練負樣本的數量。增加的負樣本可以很好的提高分類器的判別性，進而提高跟蹤效果來提高運行效率。本文簡要介紹下 KCF的算法思想。該算法詳細內容可參考文獻[3]。

2.1 訓練相關濾波器

KCF跟蹤器提出在圖片塊上訓練一個相關濾波器來建模目標表觀。將目標及周圍部分背景作為搜索區域，得到一個大小為I×J的圖像塊x，通過上下移動不同的像素得到循環圖像樣本xi,j(i,j)∈(0,1,···,I–1)×(0,1,···,J–1)。由循環圖像樣本與其對應的高斯函數標簽yi,j共同構成了訓練樣本集合。KCF跟蹤器的目標則是找到一個滿足如下優化目標的相關濾波器ω，即

其中，φ為核函數空間的投影函數；γ為正則約束系數。使用快速傅里葉變換計算相關性可以得到式(1)的最優解為

其中，系數β的計算為

其中，y=(y(i,y))；F和F–1分別為傅里葉變換及其反變換。

2.2 確定新幀跟蹤目標位置

給定學習好的β和目標表觀模型，跟蹤的任務則是在新的一幀圖像中，用I×J的搜索窗口得到的圖像塊z去計算相關濾波響應，即

其中，⊙為哈達瑪積。通過找到的最大值位置即可找到跟蹤的目標位置。

3 多特征重檢測相關濾波跟蹤框架

為了解決無人機視頻分辨率低、像幅小引起的跟蹤失敗，本文在 KCF算法的基礎上，融合灰度特征、HOG特征及顏色命名特征，并加入重檢測機制，使得無人機在對目標發生跟蹤偏移時，及時進行自我修正，從而實現對目標跟蹤的優化。

3.1 多特征融合

由 KCF跟蹤器的跟蹤過程可以看出，要找到最終的目標位置，關鍵在于求相關濾波響應的最大值。由式(3)和式(2)可以看出，的求解關鍵在于2個內積。由于φ是核空間的投影函數，因此其內積可以用核相關函數計算 。 定義核函數，則內積可分別表示為Kx,x和。本文引入高斯核相關函數來計算循環矩陣高維空間內積，即

由(5)可得，核相關函數的求解僅需要計算點積和向量的模。如此處理，可以方便的將多特征引入KCF跟蹤器中。

假設表觀x=[x1,x2,···,xD]由D個特征級聯得到，則式(5)可以改寫為

如此，便可以將多種特征融合到 KCF跟蹤框架中，從而提高框架的魯棒性。本文中采用了3種典型的特征，分別是灰度特征、HOG特征和顏色命名特征。灰度特征是跟蹤中常用的低層簡單特征；HOG特征則強調圖像的梯度，計算離散方向以形成直方圖，是視覺領域最受歡迎的特征之一[19]；顏色命名特征又叫顏色屬性，更加注重目標對象所包含的顏色信息，是人類在語言上用來描述顏色的標簽，顏色標簽空間中的距離更類似于人類感覺，因此是比 RGB空間更為優越的透視空間。顏色命名特征已經在很多視覺領域表現優異，比如目標識別、目標檢測和行為檢測[20-21]。本文采用文獻[22]描述的映射方法將RGB空間轉換為顏色名稱空間，這是一個 11維的顏色表示。顏色名稱提供對目標顏色的感知，通常包含目標的重要信息。3種特征的融合將大大提高跟蹤器的工作效率。

3.2 重檢測機制

根據相關濾波的原理以及文獻[1]的實驗數據得知，在跟蹤過程中，目標發生遮擋時跟蹤失敗，最大響應值會減小，本文算法利用了此特點，使得響應值在小于給定閾值時，進行重檢測更新。

在跟蹤失敗的情況下，當重新進入搜索區域時，跟蹤過程需要一個重新檢測模塊。另外，不同于以往的跟蹤器[23]中對每一幀都進行重新檢測，由于這個濾波器是在高維HOG特征空間訓練的，為了提高計算效率，對于目標的重新搜索和檢測，并不使用相關濾波器來掃描圖像的所有幀，而是使用了一個觸發機制，當置信度在小于給定的閾值θ1時，會激活重檢測方案。

進入到重檢測循環后，利用滑動窗口進行2倍搜索區域搜索，將每個窗口的響應值存儲到矩陣中，取出其中響應值最大的窗口，將其與閾值θ2進行比較，如果大于此閾值，則更新坐標值，否則不進行坐標值更新。

該算法有效地緩解了由于遮擋時模型更新導致的漂移，在復雜的圖像中具有較好的魯棒性。加入重檢測后的多特征融合KCF算法流程如下：

(1)對第m幀的搜索區域進行特征提取，利用公式(1)~(4)求得I×J圖像塊中每一幀的置信度，得出對應的pos值P1；

(2)將每一幀的置信度與閾值θ1進行比較，如果小于此值，則判斷為跟蹤失敗，進入重檢測機制，否則按照原算法更新；

(3)在重檢測循環內，利用滑動窗口對搜索區域的2倍進行分割采樣，求得每個滑動窗口的置信度，構成置信度矩陣；計算出置信度矩陣中數值最大的圖像塊，得出對應的pos值P2；

(4)判斷是否進行模型更新：若圖像塊的置信度大于閾值θ2，對pos值進行更新；否則不更新。

4 實驗結果分析

為了驗證本文算法性能，在無人機視頻庫中[22]進行了相關的實驗對比。視頻以及原始信息均來自于文獻[24]所提出的基準庫UAV123。本文選取了7個具有公開代碼的跟蹤算法進行了實驗比較，分別為核相關濾波跟蹤算法[3]、增量式學習算法[25]、循環結構核跟蹤算法[2]、正負約束學習跟蹤算法[26]、迭代凸優化[27]、壓縮感知跟蹤算法[28]、分布場跟蹤算法[29]。

4.1 實驗設置

本文算法在核相關濾波跟蹤算法的基礎上，加入了顏色命名特征和重檢測機制，優化了在目標跟蹤過程中容易出現的目標遮擋、低分辨率、快速運動等因素引起的干擾。算法的執行程序為Matlab2016，實驗的硬件配置為Intel I5,2.5 GHz處理器，8 G內存。

重檢測選擇區域為搜索區域的2倍。重檢測算法流程中的參數分別為θ1=0.30，θ2=0.31。為了對比實驗的效果，其余所有跟蹤算法使用的都是原始參數，并且已經設定好的參數在整個過程中保持固定。本文使用的15個視頻序列均來自UAV123視頻基準庫。

4.2 實驗結果

為了定量比較本文算法與原有算法在性能上的不同，實驗采用了精確度和成功率評價不同算法的跟蹤結果。為了檢驗跟蹤效果，采用的對比指標有：

(1)中心位置誤差，實際跟蹤結果的中心位置與真實結果中心位置的歐式距離；

(2)重合率，跟蹤框和實際標注框的交并面積比，是準確度的衡量標準。

本文中根據成功率曲線(重合率大于給定閾值的視頻作為成功跟蹤的幀)描述算法在視頻上的效果，當閾值從0到1變化時，記錄成功跟蹤的幀數占視頻總幀數的比率。使用一次通過評估(one-pass evaluation，OPE)策略與其他先進的跟蹤器進行實驗對比。

4.2.1 定量實驗對比

對比其他 7種算法的總體精確度曲線和總體成功率曲線，本文算法的總體精確度和成功率均好于其他幾種算法，表明本文算法具有良好的整體性能。圖給出了無人機視頻序列中總體成功率曲線和總體精確率曲線。為了全面評估跟蹤算法在 UAV123基準庫不同難度屬性的性能，圖和圖分別給出了各個跟蹤器在前述 8個難點屬性上的成功率和精確度曲線。通過對比可以看出，本文算法在快速運動、局部遮擋和尺度變化 3個方面表現優秀，但其他方面如復雜背景等仍有改進的空間。

4.2.2 定性實驗結果及分析

為了將跟蹤結果可視化，本文將部分視頻的難點屬性和部分跟蹤結果進行了詳細的分析，圖5給出了部分跟蹤結果的示例。

圖5(a)從左至右依次為第13，52，108，213，243幀。該測試視頻展示的是自行車行駛的場景。該視頻的主要難點屬性在于尺度變化、低分辨率、局部遮擋、光照變化和復雜背景。由圖可知，隨著光照、尺度等因素的變化，各種跟蹤器在108幀分化嚴重，尤其是CT跟蹤器從第52幀就出現偏差。本文算法在諸多干擾要素同時存在的情況下，依然可以很好地跟蹤目標，體現了其魯棒性。

圖(b)從左至右依次為 1，2，159，313，498幀。該測試視頻展示的是船在水面行駛的過程。影響該視頻跟蹤的主要因素有尺度變化、低分辨率和視點更改。目標距離由遠及近，目標對象的尺度和視點也隨之改變。另外，初始位置時船的距離較遠，目標尺度較小，分辨率較低，導致很多跟蹤器后續的幀依然跟不上。從測試結果中可以看出，本文算法在應對尺度變化、低分辨率和視點更改問題上具有較好的效果。

圖2 UAV123總體成功率曲線和總體精確率曲線

圖(c)從左至右依次為第 7，73，123，240，634幀。該測試視頻展示的是汽車在不同彎度路面行駛的場景。該視頻的跟蹤難點有尺度變化、相似對象、低分辨率、快速運動、視點更改和局部遮擋。從圖中可以看出，汽車在筆直的路面行駛時，不同的跟蹤器均可以很好地跟蹤目標，當汽車開始出現轉彎等情況時，目標會出現尺度變化等問題，對跟蹤器的跟蹤過程產生干擾，本文的跟蹤器則可以較好地應對尺度變化、局部遮擋等變化。

從整體的結果中可以看出，本文算法在像幅較小，分辨率較低的情況下，應對快速運動、局部遮擋和尺度變化等挑戰具有良好的表現，而這也是無人機目標跟蹤的難點所在。但是同時也可以看出，本文算法在光照變化、復雜背景和視點改變等方面還有改進的空間。

圖3 UAV123不同難度屬性上的成功率曲線

圖4 UAV123不同難度屬性上的精確率曲線

圖5 部分跟蹤結果示例

5 結論

本文針對無人機跟蹤目標像幅小、表觀不清晰、遮擋時易丟失等問題，提出了一種多特征重檢測的無人機目標相關濾波跟蹤方法，一方面通過多特征的融合提高了表觀表達的判別性，另一方面在目標發生遮擋時，可以對搜索區域進行遍歷搜索，找到置信度最高的目標，從而增強跟蹤器的魯棒性，提高了跟蹤精度。需要指出的是，本文算法在光照變化、復雜背景和視點改變等方面的表現不太理想，還有待進一步提高。