基于核相關濾波的無人機目標跟蹤算法*

南京理工大學紫金學院 王添樂 叢玉華 吳洪佳 朱嫻 朱惠娟 謝玲

針對無人機目標跟蹤過程中機載設備算力有限、目標尺寸變小、干擾物存在的問題，研究適用于無人機視角的快速高精度目標跟蹤算法。通過引入HOG融合CN屬性進行特征提取，采用基于線性核函數的核相關濾波算法，實現對動態目標的跟蹤，通過目標跟蹤實驗驗證了該方法的有效性。

目標跟蹤是指對獲取到的視頻和圖像序列，在選定跟蹤目標后進行檢測、學習并持續跟蹤的過程，即通過對初始幀選定的目標進行特征提取，獲取目標的特征信息后對目標建模和學習，通過相關的算法實現對目標運動狀態的理解，并持續推測出后續目標的位置和大小等信息[1]。無人機目標跟蹤是諸多無人機任務類型中一個有挑戰性的問題。要實現穩定、準確且高效的目標跟蹤，首先要實現的就是對地面目標的檢測，由于無人機視野廣闊，目標與干擾物、背景之間存在干擾，同時，由于無人機飛到一定高度，目標尺寸變小，特征提取困難，不利于目標的識別和建模；其次，在追蹤過程中，由于干擾物的存在，常常會發生遮擋現象，還有無人機自身的飛行速度變化、抖動和視覺模糊等問題，這些都會在一定程度上影響目標前后幀追蹤的連貫性，給跟蹤帶來極大困難；此外，無人機目標跟蹤要求無人機要具備基本的自主決策能力，在視覺跟蹤的同時做到飛行追蹤，對無人機的機載處理器是巨大的挑戰，有限的計算資源和電池容量同樣限制了無人機目標跟蹤技術的發展[2]。針對以上問題，業界學者們提出了大量的算法和技術研究，但往往難以兼顧所有方面。因此，尋找一種能在嵌入式平臺下運行且保證一定的穩定性和快速性的跟蹤算法，對推進無人機實現自主跟蹤功能具有重要的意義。

1 基于核相關濾波的跟蹤算法

核相關濾波是一種快速的跟蹤算法。該算法引進多通道的HOG特征，采用核技巧并使用快速傅氏變換對算法進行簡化，可實現對目標的實時準確跟蹤。算法具體流程如圖1所示，主要分為三個階段：目標圖像預處理、目標位置檢測、模型的訓練和更新[3]。

1.1 目標圖像預處理

目標圖像預處理，由目標識別模塊獲取跟蹤目標具體信息，一般是對識別到的目標進行框選。

1.2 目標位置檢測

根據目標圖像預處理的結果，獲取當前目標幀。首先進行目標區域填充，然后對目標區域進行HOG特征提取，將當前提取的特征與模型訓練后預測特征進行對比，生成的誤差經濾波響應后，得到預測的目標位置。具體步驟如下：

1.2.1 目標區域填充

對目標區域進行填充，是為了避免完整的目標特征信息因為循環矩陣位移后被重組，保證有效的特征訓練。如圖2所示，內部紅色粗線框為跟蹤目標，外部藍色細線框為目標區域填充后的結果。

1.2.2 HOG特征提取

方向梯度直方圖（HOG）特征，是一種用來描述邊緣信息的描述方法，通過利用光照強度的變換或邊緣方向的分布來描述物體的外觀和形態[3,4]。首先對圖像的灰度化，去掉顏色信息以降低數據處理的運算量，同時對光線較亮和較暗的照片進行矯正，減少光亮的干擾。然后同時計算圖像的水平梯度圖和垂直梯度圖，并將圖像劃分成若干個Cell，對每個Cell內像素的信息進行收集，得到這個Cell的HOG。最后將鄰近的Cell合成大的塊，統計檢測窗口中所有重合的區域，得到全部的目標特征數據。HOG特征可以很好的應對幾何和光學的形變。此外，在提取HOG特征后添加漢寧窗，可有效減緩邊緣效應。

1.2.3 獲取目標位置

定義Kz=C(kxz)為測試樣本和訓練樣本在核空間的核矩陣，x是基樣本，z是基圖像塊，kxz是x和z的核相關性[5]。于是得到測試樣本的檢測響應公式如式（1）所示：

式（1）中，f(z)是一個列向量，對其對角化，得如式（2）所示：

根據公式(2)所得，響應值最大的位置就是目標的位置。

1.3 訓練與更新

1.3.1 訓練階段

訓練階段，主要是提取目標的外觀和位置等信息，并將得到的特征作為目標樣本進行訓練，利用回歸方程得到當前幀的分類器。涉及到的內容主要有：嶺回歸、循環矩陣和核函數。

（1）嶺回歸。設訓練樣本集(xi,yi)，訓練的目的是找到線性回歸函數f(xi) =ωTxi使樣本向量xi和回歸目標yi均方差誤差最小，即如式（3）所示：

ω是分類器參數，λ是一個用于控制過擬合的正則化參數。

（2）循環矩陣。通過循環位移產生近似樣本用于訓練。用n×1向量x= [x1,x2,x3,· · ·,xn]T表示樣本圖像。定義矩陣P如式（4）所示：

樣 本x平 移 一 次 為Px= [xn,x1,x2, · · ·,xn－1]T。 用Pux表示樣本平移u位，根據循環性質得到如式（5）所示：

將n個向量依次排列組合在一起，就得到了一維循環矩陣[5]，以矩陣X表示如式（6）所示。

（3）核函數。上面介紹的主要是低維空間的線性運算，而實際運用是在高維度進行的。采用核方法將輸入映射到特征空間中，映射后的樣本在新空間是線性可分的[5]，如表1所示。

表1 常用核函數Tab.1 Common kernel functions

（4）高斯峰函數。通過添加高斯峰函數來區分樣本填充區域的目標和背景，特征值越大，說明距離樣本中心距離越近，反之越遠，公式如式（7）所示：

式（7）中，(x,y)表示特征點位置，(x0,y0)表示填充區域的中心位置，?是帶寬。

1.3.2 更新階段

在更新中采用線性插值法對目標樣本向量α和樣本模型x更新，如式（8）、式（9）所示：

式中，和分別表示第t幀的目標樣本向量和樣本模型，η為學習率。

2 基于核相關濾波算法的跟蹤實驗及結果分析

選取無人機航拍視頻，對線性核、高斯核和多項式核進行對比，對灰度特征、HOG特征和HOG+CN特征進行對比，驗證跟蹤效果。

2.1 數據集

為檢驗針對無人機的跟蹤性能，選擇使用UAV123數據集，UAV123是由無人機航拍的91個視頻序列組成，包含20個長序列，將其拆分后共得到123段視頻序列，總圖像超過11萬幀，拍攝的內容有行人、汽車、輪船、自行車等多種目標，其拍攝角度高，無人機飛行姿態、角度變換頻繁，場景復雜多變，因此存在遮擋、干擾、尺度變化等多種跟蹤挑戰[6,7]。此外，實驗還挑選了OTB100的部分視頻序列作為數據集補充。

2.2 實驗設置

實驗環境如表2所示。

表2 實驗環境Tab.2 Experimental environment

本實驗，設置跟蹤框的填充倍數為1.5，模型更新速度為e-4，空間帶寬為0.1，不同核的參數設置如表3所示。

表3 核內參數Tab.3 Internal parameters

基于無人機拍攝的UAV123存在以下難點：拍攝對象小；跟蹤對象變化程度大；拍攝角度變化大；存在目標被遮擋消失的情況；有相似目標干擾；視頻序列長等。為直觀驗證算法的有效性，分別從UAV123和OTB100中選取了8個視頻序列進行仿真測試，這些序列存在的挑戰如表4所示。

表4 選取的視頻序列Tab.4 Selected video sequences

2.3 實驗分析

實驗主要研究兩個性能指標，基于像素誤差閾值法求得的準確率（精度）以及單位時間（每秒）運行的幀數。繪制的準確率曲線是中心真實誤差距離小于給定閾值幀數的比值，本文將跟蹤框的中心位置的誤差閾值設置為20個像素點。

2.3.1 不同核的對比

實驗分為三組，用HOG特征分別加上表1列出的三個核。其中在HOG特征下對比線性核與高斯核。結果如圖3所示。

從圖3的八組序列的對比中，發現除了bike1和group1組存在明顯偏差，其余組在跟蹤精度上相差不多。而通過如圖3(b)所示得知，在速度上線性核速度要明顯高于另外兩種核方法，多項式核速度其次，高斯核速度最慢。由于高斯核的復雜程度是要高于線性核的，其精度卻沒得到明顯的提升。因此在接下來的性能對比中，均采用速度更快的線性核。

2.3.2 不同特征的對比

通過上述測試，發現線性核的計算速度最快，因此本實驗均采用線性核，分別對gray特征、HOG特征以及HOG+CN特征的算法進行性能對比，結果如圖4所示。

通過圖4可以看出，在無人機的視角下，HOG+CN特征的精度始終處于較高水平，優勢明顯。而在gray特征和HOG特征的對比中，HOG特征在較低誤差閾值時測得的精度是高于gray特征的，也就是說在高標準下，HOG特征的性能更好。在跟蹤速度上，gray特征幀數最高，HOG其次，雖然HOG+CN特征的算法犧牲了一定的速度，但是其在精度上有所提升。

2.3.3 可視化結果

為進一步驗證HOG特征與HOG+CN特征的實際跟蹤效果，選取表4中4組具有代表性的視頻序列（bike1,car1,group1,wakeboard1）進行分析。序列后方括號內數字表示的是視頻的幀數，如bike1[591,607,3085]，表示bike1序列的第591、607、3085幀，分別表示從左到右依次的三張圖。可視化效果如圖5～圖8所示。

圖5bike1序列：無人機于公路一側拍攝行駛的自行車，隨選定目標的移動而調整拍攝視角。兩種算法的在第591幀開始出現差距，在607幀HOG特征相較于HOG+CN特征已有明顯偏差，之后偏差一直存在，但直至第3085幀兩種算法仍能較好的保持跟蹤。

圖6car1序列：無人機在高空拍攝行駛的汽車，過程中經歷了相似車輛、視角變化、尺寸變化、完全遮擋等問題。在第828幀時，HOG特征算法因受到相似干擾物影響出現了漂移，跟蹤失敗。在第1503幀處出現了遮擋情況，在1534幀完全跟丟，此時HOG+CN特征算法也跟蹤失敗。

圖7group1序列：三個人在無人機高角度跟蹤拍攝下不斷變化位置和拍攝角度，產生相似目標干擾、視角變化、遮擋等問題。從126幀到607幀之間經歷大角度變化與部分遮擋后，兩種算法仍能較好跟蹤，而第721幀相似人物與目標人物靠近并遮擋，跟蹤框均發生偏移，跟蹤失敗。

圖8wakeboard1序列：無人機拍攝海上沖浪者，沖浪者的位置快速變化，身體姿態也不斷變化。從171幀開始到237幀快速移動，再到380幀之間姿態變化頻繁，兩種算法均能較好跟蹤。

通過上述序列中可以發現，兩種算法都具有較好的跟蹤性能。相比較下，bike1序列在HOG+CN特征的算法下魯棒性更強，在要求高精度的場景中追蹤效果更好；bike1與group1序列中對較大角度變化，兩種算法都能較好處理并保持跟蹤；wakeboard1序列說明兩種算法在背景與目標區分大的場景下均能較好適應快速變化的跟蹤；car1序列中采用HOG特征的算法會因相似物體而跟丟，而HOG+CN特征的算法則具有更好的抗干擾能力。總體上，HOG+CN的效果要優于HOG特征，但是面對group1序列中相似物體與目標重疊遮擋時，HOG+CN特征算法同樣不能很好區分目標，此外目標被完全遮擋消失后，也會出現目標跟丟。

3 結論

采用核相關濾波快速跟蹤算法實現無人機目標跟蹤，通過實驗得出采用線性核與HOG+CN特征的核相關濾波算法適合于無人機的小目標跟蹤。但是，該算法在被遮擋情況下效果不理想，后續將進一步解決。