基于多特征融合的天基面目標長時跟蹤算法

丁與非 何紅艷 曹世翔 王鈺

（北京空間機電研究所，北京 100094）

0 引言

高分辨率視頻衛星作為一種新興的對地觀測系統[1]，利用時間敏捷性的特點，對某一區域采用“凝視”[2]的方式進行連續觀察，從而實現對目標持續的視頻跟蹤，獲得傳統靜態遙感圖像難以獲取的重要信息，在地區實時偵察、空間目標跟蹤、民用交通監控[3]等領域有著廣闊的應用前景[4]。自2007年以來，國內外已經發射了數顆光學視頻衛星，其中具有代表性的包括美國 SKYBOX公司發射的 SkySat-1[5]與SkySat-2衛星、我國發射的“天拓二號”與“吉林一號”衛星，均可獲取到25幀/s以上m級分辨率的天基視頻，為天基成像領域感知動目標奠定了基礎。

面目標跟蹤作為計算機視覺研究中最重要、最具挑戰性的課題之一，一直在視頻監控、人機交互、虛擬現實、自主導航和機器人視覺等領域扮演著重要的角色[6]。目前，主流的面目標跟蹤方法包括相關濾波類方法與深度學習類方法[7]。相關濾波類方法運用互相關操作等同于傅里葉域中元素點乘的原理，大幅降低了復雜外觀模型帶來的計算成本，典型算法包括CSK[8]、KCF[9]、CN[10]等，此類算法能夠在保證一定跟蹤精度的情況下，實時幀率達到100幀/s以上。而深度學習類方法則通過對大量數據訓練卷積神經網絡來獲得有效的模型，從而大幅提升跟蹤精度，獲得近六年官方 VOT目標跟蹤競賽冠軍的算法均是以此為基礎[11-12]。作為面目標跟蹤的重要組成部分，天基面目標跟蹤的需求日益增加，因此視頻衛星數據處理技術具有重要的研究價值[13]。中科院[14]、國防科大[15-16]、武漢大學[17]等國內高校與研究機構均在天基視頻遙感面目標跟蹤方面開展了深入的研究，其中效果較好的方法主要有兩種，即以相關濾波類方法為基礎進行特征改進和引入多幀差分法。但到目前為止，沒有一種算法可以成功處理天基視頻面目標跟蹤的所有場景[18-19]。

從硬件方面來說，空間相機處理資源有限，且后背通常沒有附加更多的處理部件，造成基礎成像品質較差。而目標圖像跟蹤性能在很大程度上取決于探測器成像能力以及基礎圖像的預處理能力，這兩個因素將直接影響對目標的出現、方位和大小的判讀。從圖像處理方面來說，衛星視頻中的運動對象主要包括汽車、艦船和飛機，這些目標幾乎都是由少量亮度相近的像素點組成，內部幾乎無紋理和特征可以提取，難以進行特征描述與關聯，而天基成像條件（如側擺成像、薄云薄霧、陽光反射等）更加劇了處理難度。因此，現有跟蹤算法不具備相應的適應能力，衛星視頻跟蹤面臨著更大的挑戰。

本文從視頻動目標觀測的實際應用出發，針對天基成像的系統特性及波段的局限性，以核化相關濾波原理為基礎，提出一種基于多特征融合的長時面目標跟蹤方案，依據試驗驗證探究出適合遙感視頻數據的特征，并引入由跟蹤器、學習器和檢測器組成的長時相關跟蹤框架（Long-term Correlation Tracking，LCT[20]），從而實現高精度穩健跟蹤。在高分辨率成像技術迅速發展的趨勢下，進一步拓展天基面目標跟蹤領域，為后續天基視頻遙感器提供服務。

1 天基視頻遙感面目標跟蹤方案

為不同的相關跟蹤器選擇合適的特征，并進行多特征融合。同時，將三個具有不同功能的相關濾波器和一個在線學習分類器作為長時框架的組件，實現跟蹤、學習、再檢測的長時穩定跟蹤，從而形成跟蹤時間越長、目標特征掌握越全面的信息閉環。本節將從相關濾波原理出發，對上述方案依次進行介紹與分析。

1.1 核化相關濾波跟蹤算法基本原理

相關濾波跟蹤的核心思想是把“相關”作為衡量兩個信號相似值的度量，信號越相似，其相關值就越高。在人工給定初始幀目標方位后，通過訓練一個濾波模板把它作用在跟蹤目標上時，得到的響應最大值作為目標位置。

假設一維圖像數據x=[x1,x2,… ,xn]，xi為每一個圖像像素。對其進行一次循環位移操作后的視覺數據為dx,1=[xn,x1,x2, … ,xn-1]，所有循環位移的視覺數據{dx,u|u=0,1,2,… ,n-1}連接成樣本矩陣X，即圖像數據x的循環矩陣：

根據離散傅里葉變換（DFT）可使所有循環矩陣對角化的性質，樣本矩陣X可表示為

式中F為一個不依賴于x的離散傅里葉矩陣；FH為F的Hermite矩陣形式；?x表示生成向量的離散傅里葉變換。

相關濾波器的核心是訓練線性分類器。由于線性回歸具有一個簡單的封閉解，因此可以實現諸如支持向量機等更為復雜的方法的性能，同時保證計算成本較低。而循環矩陣的引入可以簡化線性回歸的求解過程，也進一步降低了計算成本，則訓練分類器w的目標函數可由最小二乘與正則項組成：

式中w為線性回歸封閉解 (XHX+λI)-1XHy；λ為控制過擬合的正則化參數；yi為回歸目標，y表示由所有回歸目標構成的集合。

為了能夠進一步提升相關濾波類方法的性能而使用非線性回歸函數，需對濾波器加入內核技巧（kernel-trick）。因此，在非線性回歸的情況下，通過引入核函數使用更強大的分類器，可以極大的增強區分目標和背景的能力。對于最常用的內核函數，循環矩陣定理也適用。引入在傅里葉域中學習的對偶空間系數α?，

在本文中采用高斯核作為內核，互相關公式如下：

式中x′為任意一個與x不同的同維數據；κ(x,x′)為x與x′之間歐式距離的單調函數；是x的共軛在傅里葉域的形式；為x′的傅里葉域形式；F-1為離散傅里葉逆變換；σ控制高斯核函數的局部作用范圍；⊙為兩矩陣對應元素相乘的運算。

相比傳統的跟蹤方法，該算法的核心計算量為元素點積和離散傅里葉變換，這大大降低了計算成本。訓練樣本標簽y是一個高斯型，它從中心目標值1平滑衰減到其他偏移為0的值。因為0代表負樣本，所以需要擴大目標搜索框來包含負樣本，從而通過循環矩陣訓練分類器以獲得更精確的擬合模型。同時，循環矩陣也可以應用于相關濾波跟蹤的檢測，以加快整個跟蹤過程。在下一幀中，以相同圖像塊z作為基樣本計算此幀在傅里葉域中的響應，即預估目標的位置的響應圖f?(z)，

最終，采用離散傅里葉逆變換，將轉換到空間域，其中最大響應峰值作為被跟蹤目標的位置。

1.2 特征選取與融合

對于天基應用領域來說，特征描述子是影響算法精度的主要因素之一。針對薄云薄霧、目標缺乏紋理特征、弱對比等因素，同時為保證算法具有有效表達特性、較強魯棒性和較快計算速度，本文采用梯度直方圖和顏色名稱特征，對多個通道進行自適應融合以獲取算法的增強描述子。目標的亮度、形狀、顏色、結構等信息在圖像中可以表現出來，使得所設計的算法具有在雜亂背景下區分艦船、車輛等目標的能力。

方向梯度直方圖特征[21]（Histogram of Oriented Gradient，HOG）是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。在一幅圖像中，梯度或邊緣的方向密度分布能夠很好地描述局部目標的表象和形狀，這就是 HOG特征的內在原理。由于柔性目標具有嚴重的非剛性，且其顏色與紋理變化多端，顏色紋理特征和形狀模板的匹配很難有效描述，HOG特征則能夠有效解決這一問題。HOG特征的生成過程見圖1。

圖1 HOG特征生成過程Fig.1 HOG feature generation process

為了將高維特征融入到相關濾波框架中，根據HOG特征4×9矩陣的結構，使用稀疏表示和特征矩陣的點積處理，并針對原圖方向的敏感和不敏感兩種情況進行像素級特征映射、歸一化與截斷、投影并點積處理，最終獲得31維的fHOG特征[22]。這樣，在實現模型參數更少、檢測速度更快的同時，還能保證算法的良好性能。

顏色名稱[23]是一種使用了 11個基本顏色術語的模板類特征，具體顏色如圖2所示。為了獲得具有顏色名稱的真實世界圖像的大數據集，研究人員對11種顏色名稱中的每一種都使用谷歌圖像檢索了250幅圖像，這些圖像包含了查詢顏色名稱的各種各樣的外觀。谷歌圖像訓練集種類繁多，能夠滿足顏色命名方法應用到不同物理設置下拍攝的未經校準圖像的要求，因此實現了學習真實圖像顏色名稱的目標。

圖2 從谷歌圖像中學習的顏色原型Fig.2 Color prototypes learned from Google images

一般情況下，天基視頻的空間分辨率較低時，目標尺寸往往較小，特征不明顯，背景通常也模糊雜亂，許多適合在自然場景中跟蹤目標的特征很快就會在衛星視頻中失效，因此，保證跟蹤精度的最有效辦法是選擇適合于天基成像特性的特征描述符。本文選擇梯度直方圖和顏色名稱特征作為天基視頻面目標的特征表述，從而通過多特征融合來增強特征的表述能力。

本算法的特征向量是多維的，因此特征融合需對方程（5）中單通道版本進行擴展。假設X是連接C個通道的單個特征向量（HOG特征有31個通道，CN特征有10個通道），則X=[x1,x2,… ,xC]，其中C為41維。研究中所有內核都是基于點積或參數的范數，所以可以直接對每個通道的單個點積進行求和計算。現使用離散傅里葉變換，對傅里葉域中每個通道的結果求和，獲得方程（5）的多通道版本：

1.3 長時相關跟蹤框架

本文采用長時相關跟蹤策略來解決天基視頻目標跟蹤容易丟失的問題，該策略框架整體一共包含三個濾波器（位移濾波器 AT、尺度濾波器AS、長期濾波器 AL）和一個在線學習分類器（SVM），將任務分解為位移、尺度估計和再檢測。長時相關跟蹤框架結構如圖3所示。

圖3 本文使用的長時跟蹤框架Fig.3 The long-term tracking framework used in this paper

通過位移濾波器 AT捕捉目標外觀的短期記憶，然后利用上下文信息來進行學習。為了減輕由圓周移動引起的邊界不連續性，使用一個二維余弦窗口來對輸入特征的每個通道進行加權求和處理，由濾波器的相關響應圖推斷目標位置Pt。而本文算法采用1.2節中選取的HOG和CN特征，結合1.1節描述的相關濾波器，組成了長時框架中的位移濾波器。

尺度濾波器AS直接使用HOG特征構造以目標位置為中心的目標外觀特征金字塔[24]。設L×H為目標尺寸，由不同比例因子α組成的 33個不同尺寸的目標樣本（即從尺寸為αL×αH的圖像塊中提取特征），形成多尺度表示的特征金字塔。與AT位移濾波器不同的是，直接從目標區域提取特征，而不考慮周圍的背景，因為它們不提供關于目標尺度變化的信息。為避免不準確的尺度估計導致背景噪聲影響位移濾波器，本算法設定在跟蹤的第一幀更新尺度濾波器，但在隨后的跟蹤中不會為每幀框架提供尺度信息。同時，這種設定能夠進一步減少計算成本。

相關跟蹤模塊通過長期濾波器AL與建立在SVM分類器上的重檢測模塊進行協作。AL輸出響應的相關響應圖f(z)=F-1(κx?z⊙A)為二維，以最大響應RL=m ax(fAL(z))作為置信度的評分。為了捕獲目標外觀的長期記憶，確定跟蹤失敗是否發生，算法設置了一個穩定閾值TS，只有在被跟蹤目標z的置信分數maxf(z)超過穩定閾值的情況下，才激活再檢測模塊。

再檢測模塊使用密集的訓練樣本逐步訓練 SVM 分類器。給定訓練集其中vi為第i個樣本生成的特征向量，ci∈｛+1 ,-1 ｝為類標簽。求解SVM檢測器超平面h的目標函數為

采用被動攻擊算法（Passive-Aggressive Alogrithm）來有效地更新超平面參數。與長時濾波器相似，只有當置信分數RL高于閾值TS時，才使用式（9）更新分類器參數。

式中 ?hl（h;（v,c））是用h表示的損失函數的梯度；τ∈ （0,+∞ ），是控制h更新速率的超參數。

不論是否激活再檢測模塊，濾波器都會更新目標樣本的外觀模型。根據第t幀所學習的外觀模型與第t幀之前的模型信息，引入學習率參數加權求和獲得當前幀的外觀模型。由模型自適應和位移、尺度濾波器組成的短時跟蹤器來保證模型的穩定性。更新方式為

式中η為學習率，η∈ ( 0,1)；Xt，at分別為第t幀更新前的位移濾波器和尺度濾波器的外觀模型；，分別為第t幀更新后的位移濾波器和尺度濾波器的外觀模型；，分別為第t-1幀更新后的位移濾波器和尺度濾波器的外觀模型。

2 試驗分析

2.1 測試數據集與指標選取

利用上述方法，從SkySat-1、“歐比特”衛星的4個視頻中（分辨率為m級、幀率為20幀/s以上）選取6個目標分別進行跟蹤測試對比，視頻詳情如表1所示。測試數據場景主要包括了目標的非勻速運動、平面內旋轉、光照變化、相似臨近目標和背景干擾等擾動因素。同時，為了能夠更準確地測試算法在多干擾因素下的性能表現，考慮到天基視頻存在光照強度不穩定、多遮擋、相機抖動等情況，本文選取了OTB100近景數據集[25]中體現天基遙感視頻成像特性的16個視頻（見表2）作為補充數據進行試驗。

表1 衛星視頻數據詳情Tab.1 Details of the satellite video data

表2 OTB近景數據集視頻與干擾屬性Tab.2 Video and interference properties of OTB close-range dataset

天基視頻數據沒有專業的檢測標記真值框，無法進行精度測試。針對此種情況，本文采用全程目視對比目標跟蹤情況的辦法。而近景視頻由于有專業的人工標注，則采用精度和成功率兩項指標進行定量分析。

精度（Precision plot）顯示了估計的目標位置在距離地面真值一定閾值距離內的幀的百分比。規定閾值為20，繪制曲線中這一點的精度（跟蹤器與地面真值之間的距離小于20像素的幀的百分比）。這個閾值大致相當于跟蹤器邊界框和地面真實值之間至少有50%的重疊。

成功率（Success plot）是為了測量一系列幀的性能，通過計算重疊S大于給定閾值t0的成功幀的數量，以顯示在閾值從0到1之間成功幀的比率。計算公式為：

式中rt為跟蹤邊界框；ra為地面真值邊界框。

2.2 結果分析

為進一步探究算法各組件發揮的作用，本文從特征選取、尺度變化、再檢測三個方面，選擇了包括本文方法在內的 5種現有較為先進的典型跟蹤算法，通過測試來比較在天基情況下各種算法的優劣。5種算法分別為：本文提出的多特征融合長時跟蹤（SF-LT）法、自適應顏色屬性實時跟蹤（CN）法、高斯核化相關濾波跟蹤（KCF）法、長時相關跟蹤（LCT）法和特征融合尺度適應相關濾波跟蹤（SAMF）法[26]。以上算法的試驗環境為：Intel i7-9750H 2.60GHz CPU，16GB內存，Matlab R2018a。

首先，針對 6個視頻衛星數據對算法進行試驗。圖4分別顯示了不同天基視頻數據的目標跟蹤結果，從圖中可以看出，本文算法均能較好地跟蹤目標，跟蹤框也保持了目標的尺度大小，未受到天基成像擾動的影響。

圖4 天基視頻跟蹤結果Fig.4 Space-based video tracking results

在SkySat迪拜城區視頻中，目標尺寸最為接近點目標。該目標幾乎無紋理且難以提取特征，SAMF、LCT、KCF從給定視頻初始幀后就沒能跟上目標，而CN則跟上了相似的錯誤目標。因此，單特征算法特別是顏色特征是無法適應天基視頻的跟蹤環境。本文提出的SF-LT算法選擇了適合天基視頻屬性的特征并進行融合，基本上能夠全程跟蹤上。在土耳其西部礦區的采礦作業視頻中，出現了背景與目標相似的干擾因素，本文算法從660幀開始出現目標丟失到再檢測找回共21次，最終能夠穩定跟蹤目標，而其他算法從目標第一次跟丟開始就偏離目標直至視頻結束。由此可以看出，在算法跟丟目標后，因為引入長時跟蹤策略，由相關濾波的最大響應值作為置信度能夠判斷算法已丟失目標，通過調用檢測模塊進行再檢測以尋找目標，這對天基目標跟蹤的穩定性起到了重要的作用。此外，在SkySat拉斯維加斯視頻中，從28到132幀這一段，目標車輛附近出現相似車輛，因為跟蹤框背景部分出現非道路樣本，LCT和CN算法先后由于特征提取出現偏差而跟丟目標。隨后，從746幀開始，因邊界效應的緣故，KCF和SAMF算法也相繼失去目標。這主要是因為這4種算法更新頻率過高，不可避免地會將每一幀無關的背景負樣本帶入算法的訓練集中，導致跟蹤器訓練的目標外觀模型逐漸失真，從而使跟蹤失敗。但是，本文算法抑制了更新的頻率，有效地緩解了背景干擾因素過多的問題。最后，在4個視頻里最具挑戰的“歐比特”天基視頻中，本文算法依然保證了跟蹤的精度與穩定性，該視頻分辨率高、目標相對清晰度低、背景雜亂，但本文算法仍實現了全程穩健跟蹤，這證明了特征的選取與長時框架的融合在天基視頻跟蹤中具有明顯的優勢。

其次，使用所選算法在OTB數據中挑選的16個與天基干擾因素相似的視頻進行測試。針對平面外旋轉、目標形變、光照變化、遮擋和低分辨率這5種常出現在天基視頻中的干擾，圖5給出的算法精度與成功率證明，本文提出的SF-LT方法與現有較為先進的相關濾波類算法SAMF的跟蹤結果雖然互有勝負，但在跟蹤過程中丟失目標的情況下具有再檢測找回的功能，因此成功率更高。同時保證了所有視頻序列的跟蹤實時性，幀率相比SAMF高出了46.8%。

圖5 五個算法在OTB數據中的平均精度與成功率Fig.5 The average precision and success rate plots of five algorithms in OTB data sets

表3總結的測試算法差異與OTB數據集測試結果通過精度、成功率、幀率的量化方式驗證了天基視頻試驗跟蹤方法的有效性。同時，由天基視頻和近似于天基視頻特征的OTB近景視頻可進一步得出以下結論：1）特征的選取決定了算法的主要性能表現，而梯度直方圖與顏色名稱作為天基特征描述子是目前較好的選擇；2）在以相關濾波為理論基礎的跟蹤算法中背景負樣本引起的邊界效應會影響跟蹤精度，而天基視頻因背景雜亂受到的影響更大。所以，有必要為算法添加尺度估計機制；3）引入長時跟蹤框架可以緩解目標跟蹤丟失的問題，同時采取一種更為保守的更新方案能緩解尺度濾波器帶來的誤差積累對位移濾波器和長時濾波器產生的不利影響，從而提高跟蹤精度。

表3 各跟蹤器差異與OTB數據集測試結果Tab.3 Difference of all the trackers and the results of OTB data sets

總的來說，針對復雜多變的天基視頻目標，基于HOG和CN特征相融合的長時跟蹤策略能夠滿足在軌跟蹤的需求，在實時性和有效性上取得了較好的平衡。

3 結束語

本文以研究相關濾波類跟蹤方法為基礎，針對傳統算法在天基遙感視頻中適應性差的問題，從特征提取與跟蹤框架兩個方面入手，選擇梯度直方圖與顏色名稱進行多特征融合，同時為保證天基視頻跟蹤的抗干擾能力而引入長時跟蹤框架，為跟蹤器提供再檢測的功能。通過6組天基視頻和OTB100數據對該方法的有效性進行驗證，結果表明，其綜合性能明顯優于現有相關跟蹤方法。這證明了天基視頻跟蹤中特征選取的重要性與長時跟蹤策略引入的必要性，以及在遙感視頻跟蹤領域應用相關濾波類方法的可行性，對進一步開發遙感視頻衛星技術具有重要意義。

但此方法也有需要改進的方面，主要包括：多特征的融合會導致計算復雜度的大幅增加，如何選擇特征中的主要維度，需通過引入降維技術保證算法的實時性；另外，針對天基視頻目標尺寸小、運動軌跡平滑等特點，未來需對更多適合于此特點的特征描述子進一步研究，從而完善算法特征的選取。