基于超分辨率與在線檢測DSST的紅外小目標跟蹤

李 斌，李秀紅，艾斯卡爾·艾木都拉

〈圖像處理與仿真〉

基于超分辨率與在線檢測DSST的紅外小目標跟蹤

李 斌，李秀紅，艾斯卡爾·艾木都拉

（新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046）

紅外小目標的相關研究在軍事領域的制導、預警和邊防間諜無人機檢測中極其重要。針對紅外小目標的跟蹤研究，本文提出了一種基于超分辨率增強與在線檢測DSST（Discriminative Scale Space Tracker）的小目標跟蹤算法。首先，基于融入紅外圖像特征的超分辨率重建算法對原始圖像進行更新，增強了弱小目標，然后，增強的圖像被用作基于在線檢測DSST算法的輸入，得到響應映射，估計目標位置。實驗結果表明，與幾種最新算法相比，該算法在準確性方面表現出色。

小目標跟蹤；超分辨率；DSST；在線檢測

0 引言

紅外復雜場景下的小目標跟蹤研究的意義極其重要。首先，在軍事領域的導彈防空預警、導彈精準制導和海上漂浮地雷偵查中發揮了非常重要的作用[1]。其次，現如今由于輕量化的小型無人機的普遍使用，導致存在邊防間諜無人機的威脅與在敏感設施中未經授權的無人機偵查偷拍的威脅，所以遠距離跟蹤非法無人機至關重要。

傳統的紅外小目標跟蹤方法主要可以分為3類：①基于模板匹配。此類算法通過框架之間的設計模板來測量相似度，以找到最相似的目標。文獻[2]提出了聯合概率數據關聯法，通過使用聯合關聯概率估計目標的狀態而獲得的顯著跟蹤改進。文獻[3]提出了基于貝葉斯濾波的跟蹤算法，不受高斯或者線性相關的背景噪聲的限制，可以用于多種狀態的轉換與模型測量。②基于均值漂移。此類算法利用核加權灰度直方圖來表示目標并通過均值平移法找到其位置。文獻[4]開發了一種在混亂環境中跟蹤多個目標的算法，能夠啟動跟蹤，解決虛假或丟失的報告以及處理相關報告集。文獻[5]同時收集包含目標特征和背景噪聲的幀，以一種動態編程算法最佳地檢測穿過傳感器視場的昏暗移動目標。③基于粒子濾波器。此類算法通過基于一組粒子計算后驗概率密度來估計目標狀態。文獻[6]提出了一種權重選擇方法，結合灰度特征和梯度特征建立了基于紅外圖像特征的觀測模型。文獻[7]提出的粒子濾波跟蹤算法使用了均值漂移方法使粒子向目標區域移動，但是在稍微復雜一點的場景中就不穩定。

本文提出了一種基于超分辨率增強與在線檢測DSST的小目標跟蹤算法。首先，基于融入紅外圖像特征的超分辨率重建算法對原始圖像進行更新，增強了弱小目標，隨后，增強的圖像被用作基于在線檢測DSST算法的輸入，得到響應映射，估計目標位置。

1 所提跟蹤方案

本文所提出的紅外小目標跟蹤方案流程如圖1所示。

圖1 本文所提的小目標跟蹤框架

1.1 基于SIFT特征的圖像超分辨率處理

常用的紅外圖像超分辨率處理可分為單幀與多幀。單幀處理的過程不需要多幀圖像，使用的場景比較多[8]。線性插值法常用于單幀處理中，可在短時間內完成超分辨率處理，但是也會遺失圖像高頻信號[9]。不同于單一處理圖像若干特征的稀疏光流，稠密光流可以對圖像的像素點進行逐一匹配，圖像的稠密計算可以使得圖像中的像素點的偏移量得以計算而累積為稠密光流場[10-11]。

局部特征描述子（Scale Invariant Feature Transform，SIFT）是一種穩定的局部特征[12]，其對于尺度的縮放、圖像的旋轉以及圖像亮度的轉變等可以維持特征不變。可以通過計算稠密度，對全局的像素點進行SIFT特征的提取，計算其稠密度。計算全局像素點的SIFT特征而得到目標軌跡流場＝(,)。

設連續的前后兩幀的像素坐標為，則連續的前后兩幀的特征可以表示為1()與2()，則位于坐標點的流可以表示為()＝((),())。其中()表示為水平流場，()表示為垂直流場。

在特征匹配過程中，鄰域像素計算相似度匹配，需按局部特征向量1()與2()進行，即需滿足：

而在實際情況中，流速2()＋2()為相鄰幀像素速率，值不應太大，即需要滿足：

此外，像素點的鄰近區域內的像素具有類似的流向量，即滿足：

式中：、、為參數。綜上所述，特征流場的計算可以總結為：

()＝()＋()＋() (6)

根據以上公式計算，得到對應圖像之間的水平和垂直流場分別定義為H,V。

對紅外圖像進行稠密計算，其水平流場與垂直流場可以表示相鄰圖像的局部特征的變化，對比鄰接的圖像幀，進行高質量、高精確度的匹配。融合圖像幀后可增強紅外圖像的分辨率。圖像融合步驟如下：

1）將連續3幀序列通過雙立方插值放大倍后輸出：BIR1、BIR2、BIR3；

2）計算BIR1、BIR2、BIR3的特征流場，輸出對應序列間的水平和垂直流場：H21、V21、H23、V23

3）將BIR1、BIR3的像素坐標映射在BIR2上對應位置，輸出：BIRs1、BIRs3。

4）設(,)為BIR上的像素坐標；(,)為H21,V2上的矩陣數值的坐標；

計算：(,)＝(＋,＋)

輸出BIR1的像素映射到BIR2時對應的新坐標(,)。

5）用雙線性插值法，將BIR1像素灰度值映射到新坐標(,)上，輸出BIRs3，同理輸出BIRs3。

6）融合BIR2與其相似圖像BIRs1和BIRs3，輸出BIRs2。

7）利用中值法融合BIRs2、BIRs3和BIRs2：對比BIRs2、BIRs3和BIRs2的每個像素灰度數值，取中值輸出為融合結果圖像。

8）循環操作：計算流場、映射與融合，直至圖像收斂：

式中：BIR2(,)表示BIR2的新的像素灰度數值；BIR2(,)表示上一次迭代生成的BIR2的像素灰度數值；（＞0）表示最大誤差值。

圖2(a1)與圖2(b1)為紅外原始數據圖像，圖2(a2)與圖2(b2)為本文的超分辨率方案處理后的效果圖，可以很直觀地看出效果比較好。

(a1) 原始圖像(a2) 處理后圖像 (a1) Original image(a2) Processed image (b1) 原始圖像(b2)處理后圖像 (b1) Original image(b2) Processed image

1.2 DSST與PN學習

DSST是在MOSSE（Minimum Output Sum of Squared Error filter）[13]的基礎上衍生而來的，基于學習獲得位置的相關濾波，然后用此濾波器估計在下一幀圖像中目標的坐標。DSST可以分為兩個濾波器，第一個是位置濾波器，第二個是尺度濾波器。DSST利用判別相關濾波來估計坐標。

由于相似性和相關性之間的正相關關系，相關濾波是用于測量兩個信號的相似性的模式。將相關濾波應用于跟蹤問題是基于這樣的思想，即當將手工特征過濾到高維空間中時，兩個連續幀之間的兩個相似對象可以高度相關。在第一幀中給出感興趣區域作為輸入，并對其進行訓練以獲得相應的相關濾波。余弦窗函數和快速傅里葉變換（Fast Fourier transform，FFT）通過輸入信號執行，然后乘以相關濾波以定位最大響應點。最大響應點的獲取過程表示如下：

式中：i是響應輸出值；i是輸入圖像；?表示卷積操作；是過濾器模板。

公式(7)是一個費時的卷積過程。因此，采用FFT將卷積操作更改為點乘法運算，可以將其描述為：

()＝(?)＝()×()*(8)

式中：是傅里葉變換，“×”表示點乘法。公式可簡單表述為：

＝×*(9)

然后轉移視覺跟蹤任務以尋找最佳過濾器*：

*＝/(10)

對于原始DSST，從給定的感興趣區域（Region of interest，ROI）中提取要跟蹤的特征，并對其進行訓練以獲得第一個輸入幀的相關濾波。然后，將FFT變換的輸出乘以相關濾波，以找到最大響應點。DSST的最大瓶頸在于，應不斷正確更新濾波器模板，以獲取每幀的最大輸出響應。在沒有遮擋的情況下，最大化地將位置指向正確的目標，但是當發生遮擋時，跟蹤結果通常不理想，因為響應圖被困在局部極值中。

文獻[14]提出了PN（P-expert & N-expert）學習，通過一對“專家”來估計錯誤：①P專家估計錯過的檢測，②N專家估計錯誤警報。PN學習分為4個模塊：P-N experts、訓練樣本、學習前分類器與監督學習。PN學習在紅外圖像的每一幀中都會對檢測器進行評估。估計的誤差增加了檢測器的訓練集，并且對檢測器進行重新訓練以避免將來出現這些誤差。PN專家也自己犯錯，但如果專家錯誤的可能性在一定范圍內，則錯誤會相互補償，從而達到學習穩定。PN學習利用有監督訓練進行初始化，對每一幀紅外圖像都進行以下操作：①對當前幀評估檢測器；②使用PN專家估計檢測器錯誤；③通過專家輸出的帶標簽示例更新檢測器。在學習結束時獲得的檢測器稱為最終檢測器。

圖3(a)所示為紅外視頻序列的3個幀，其被掃描網格覆蓋。網格中的每個邊界框都定義了一個圖像塊，其標簽在圖3(b)和圖3(c)中用實心圓點表示。每個基于掃描窗口的檢測器都將補丁視為獨立補丁。因此，有2單個框架中可能的標簽組合，其中是網格中邊界框的數量。圖3(b)所示為這樣的標記。標簽表明對象出現在單個幀中的多個位置，并且運動中沒有時間上的連續性。這樣的標簽不太可能是正確的。另一方面，如果檢測器輸出圖3(c)所示的結果，則標記是合理的，因為對象出現在每一幀的一個位置，并且檢測到的位置會及時建立軌跡。換句話說，補丁的標簽是相關的，這種屬性稱為結構。本文采用思想為利用數據中的結構來識別檢測器錯誤。

PN學習中的P專家使用紅外圖像序列中的時間信息結構，并且假定目標沿著軌跡進行運動，且會記錄目標在上一幀中的坐標，使用圖像幀之間的跟蹤器預測當前圖像幀中小目標的位置。如果檢測結果否定了當前坐標，即產生錯誤的否定錯誤，則P專家會生成肯定的示例。

PN學習中的N專家使用紅外圖像序列中的空間信息結構，并且估計目標大概率能出現的單個坐標位置。N專家通過計算將當前幀中檢測器產生的響應與跟蹤器產生的響應進行對比分析，得出最佳的響應。然后與最大置信度色標不重疊的色標被標記為負色。最可能的像素補丁區域會重新初始化為跟蹤器的位置。

(a)序列(b) 標簽(c) 軌跡 (a) Sequence(b) Labeling(c) Track

盡管快速DSST可以成功解決視覺跟蹤問題，但在紅外小目標圖像中在空間上跟蹤隱蔽目標的性能仍然不令人滿意，當發生遮擋時，快速DSST將無法連續跟蹤。這是用于估計二維圖像空間中的三維位置的病態問題。物體外觀的遮擋和變形通常在動態背景下發生，在動態背景下，運動目標和相機之間存在相對運動，DSST的跟蹤效果在沒有遮擋的情況下令人滿意，而在發生遮擋時完全失去了跟蹤目標。

魯棒的跟蹤方案需要在跟蹤過程中發生丟失目標的現象時進行重新檢測，不同于一些公開成型的跟蹤器，在每一幀上進行重新檢測，本文使用一個閾值r激活檢測器，如果max(s)＜r則激活。為了提高計算效率，本文采用PN學習作為檢測器。

采用短期反遮擋策略來確定目標是否通過高斯響應圖被遮擋。最大值對應的位置最大限度響應圖的目標是目標的新位置。當被遮擋的目標出現時，響應圖會劇烈振蕩。當前幀的響應輸出與響應圖的最大值之間的差異可以用作標準。

1.3 在線檢測DSST

本文提出的紅外小目標跟蹤算法改進的地方為：在DSST跟蹤算法的框架加上在線檢測機制，SVM（Support Vector Machine）分類器計算出置信度（響應值）最高的圖，SVM可看為閾值組件。然后導入在線PN學習進行在線訓練與學習，進行重檢測。圖4所示即為融合在線學習的DSST的框架。

相關跟蹤：平移跟蹤（HOG（Histogram of Oriented Gradient）特征）→尺度跟蹤（21個尺度HOG特征），對于尺度跟蹤的響應，如果最大響應值小于重檢測閾值，跟蹤失敗，調用detector全圖重檢測。

重檢測閾值THre_dector從前3幀的目標響應值中計算，如式(12)所示：

式中：IR表示第幀所有候選樣本中的最大響應值，IR表示相鄰的前3幀最大的目標響應值的標準差。

在線檢測：將歷次檢測到的結果resize到15×15，特征：gray特征成功跟蹤到的樣本為正樣本，跟蹤失敗為負樣本。全局檢測，當最大響應值大于重跟蹤閾值，檢測成功，重新跟蹤。

2 實驗分析

2.1 數據集與評估指標

本文所有實驗均通過Python3.5在配備Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz CPU，NVIDIA GeForce GT 730和16 GB內存的計算機上執行。

本文實驗采用數據集為收集于網絡的視頻進行標注而獲得，如表1所示。在Seq.1中，云的邊緣非常強，以至于昏暗目標的SNR（Signal-Noise Ratio）低于1.5。此外，目標會在背景邊緣移動數十幅圖像，序列長度為429幀。在Seq.2中，目標運動相對來說是不穩定的，是由固定相機拍攝的。它的大小從5×5像素到6×6像素變化。在Seq.4中，手動添加了一個小的目標，其大小設置為2×2像素。此外，目標經歷雜亂的背景，并以較大的瞬時速度（即每幀8個像素）以曲線形式移動。序列包含300幀。在Seq.5中，空間背景下的暗淡目標出現在開始時的右上角，并遵循向下的對角線路徑。此外，圖像序列中還會出現一些假物體。該序列總長349幀。在Seq.6中，昏暗目標的性質與在Seq.5中相同。唯一的區別是Seq.4包含移動的云，其移動速度比Seq.3中的移動速度快。

為了評估本文所提出的跟蹤算法的性能，使用單次通過評估（One-Pass Evaluation，OPE）作為評估協議。OPE有兩個部分，分別稱為精確率圖和成功率圖。成功率圖（success plot）是標注的跟蹤框和跟蹤的跟蹤框之間的重疊程度，如式(13)，其中t和0分別為標注的目標框和跟蹤的目標框的矩陣框。

2.2 對比實驗

本文對比實驗是在公開評測框架Visual Tracker Benchmark下完成的，本文算法與幾種比較常見的算法進行比較：CT（Compressive Tracking）、IVT（Incremental Visual Tracking）、DFT（Distribution Fields for Tracking）、ASLA（AdaptiveStructuralLocalsparseAppearancemodeltracking）、L1APG（L1 tracker using Accelerated Proximal Gradient approach）、ORIA（Online Robust Image Alignment）、DSST（Discriminative Scale Space Tracking）、CSK（Circulant Structure Kernel）、LOT（Locally Orderless Tracking）。本文算法在對比實驗中標注為SRDSST（Super-Resolution DSST）。

圖4 融合在線學習的DSST

表1 實驗數據集

圖5分別顯示了不同算法在紅外小目標數據集上檢測的實時結果，其中正紅色框（箭頭所指示）為本文算法的跟蹤效果。圖6顯示了本文整理的紅外小目標運動數據集中所有圖像序列的精確率圖和成功率圖。

可以直觀地從圖5中看出本文所提出的基于超分辨率與在線檢測DSST的紅外小目標跟蹤方案對于紅外圖像下小目標的有效跟蹤，一些常見的算法都表現出目標跟蹤丟失的現象。圖5(a)系列與圖5(c)系列直觀看出CSK算法在Seq.1與Seq.6數據集中，一開始就表現出尺度估計錯誤且目標丟失的情況。

圖5 跟蹤結果

圖6 精確率和成功率