基于多尺度建議框的目標跟蹤誤差修正方法

張宏偉，李曉霞，朱 斌，馬 旗

國防科技大學 電子對抗學院，合肥230037

1 引言

視覺目標跟蹤一直是機器視覺領(lǐng)域的重點問題[1-2]，其廣泛應用于視頻監(jiān)控、智能交通、行為分析等領(lǐng)域。隨著各類無人機的廣泛使用，針對無人機航拍圖像的視覺跟蹤在遠程無人機打擊、前視紅外、精確制導等領(lǐng)域得到了越來越多的應用。最近幾年，隨著深度學習算法和計算機硬件條件的發(fā)展，跟蹤算法都在朝著深度學習方向發(fā)展，精度得到了顯著的提升。依據(jù)目標的外觀模型描述的不同，目前跟蹤算法通常分為基于產(chǎn)生式（Generative）模型和判別式（Discriminative）模型的方法[3]，判別式方法通過訓練分類器來區(qū)分目標和背景，兼顧背景模型用作負的樣本進行訓練，因此在處理復雜的場景時一般具有更好的魯棒性。

在OTB（Visual Object Tracking）測試集，上評分較高的算法實際應用于無人機視覺跟蹤時往往只能短時間鎖定目標，其中最主要的挑戰(zhàn)是跟蹤漂移問題，原因在于針對判別式模型只有少量準確的標簽樣本來訓練分類器。由于在跟蹤過程中，模板跟蹤依賴的是前面序列幀的分類結(jié)果，因此，如果前幾幀的跟蹤沒有正確的框定目標，這種自我學習的方法最終將造成跟蹤漂移，從而致使誤差不斷累積導致跟蹤失敗，如圖1所示。

圖1 無人機視覺跟蹤時跟蹤失敗情況

在低空無人機視覺跟蹤中，無人機視角轉(zhuǎn)換、目標的非平面內(nèi)旋轉(zhuǎn)較頻繁的出現(xiàn)，現(xiàn)有算法由于跟蹤漂移問題，難以自適應調(diào)整目標框。判別式模型跟蹤方法都屬于自我學習類方法，要克服這類方法的缺陷，需要離線訓練模型來對跟蹤結(jié)果進行修正。本文使用核相關(guān)濾波跟蹤方法作為跟蹤器，用學習得到的卷積神經(jīng)網(wǎng)絡特征代替HOG特征。目標跟蹤修正模型采用多尺度建議框回歸的網(wǎng)絡結(jié)構(gòu)，特征提取來自relu6_2 和relu7 兩個分支，通過大量的已標注的目標樣本離線訓練，修正模型學習得到的是目標級別信息，通過置信度評價機制對相關(guān)濾波跟蹤結(jié)果進行分析判斷，及時修正跟蹤漂移帶來的誤差，實驗結(jié)果表明了該算法的有效性。

2 相關(guān)工作

最近幾年，深度學習在圖像分類、目標識別、顯著性檢測等計算機領(lǐng)域取得了非常大的發(fā)展。對于視覺跟蹤，基于深度學習的方法已經(jīng)超過傳統(tǒng)的方法逐步成為研究的重點。例如，DLT[4]基于去噪自編碼器通過離線訓練和在線微調(diào)的方式實現(xiàn)對目標的跟蹤。Zhang 等人[5]提出采用兩層的卷積神經(jīng)網(wǎng)絡，通過局部特征映射獲取魯棒性全局特征來提高算法的魯棒性。通過聯(lián)合多層卷積特征，Wang等人[6]基于全卷積神經(jīng)網(wǎng)絡提高了跟蹤的準確性。同樣是多層卷積特征的結(jié)合，Ma等人[7]通過由粗到精的方式來挖掘不同深度特征的優(yōu)勢。MDNet 采用多域卷積網(wǎng)絡的方式，針對不同的視頻在線訓練新的fc6 層提高了跟蹤精度，但由于需要在線訓練影響了跟蹤速度[8]。Learnet[9]是第一個利用元學習方法解決跟蹤任務，利用單個的樣本來預測網(wǎng)絡的參數(shù)，但該方法的性能比不上基于相關(guān)濾波（Correlation Filter，CF）的最新算法，例如CCOT[10]。

相對于傳統(tǒng)算法采用人工設計的特征，基于深度學習的跟蹤算法在成功率和跟蹤精度上占據(jù)明顯的優(yōu)勢，但跟蹤速度還無法做到實時。另外一類判別式跟蹤方法就是相關(guān)濾波算法，利用循環(huán)矩陣的性質(zhì)推導實現(xiàn)了密集采樣相關(guān)濾波，在跟蹤速度上占據(jù)明顯優(yōu)勢。MOSSE[11]首先推導了核相關(guān)濾波的閉解形式并用于視覺跟蹤，如果采用單通道灰度圖像速度能達到600 FPS，CN[12]、CSK[13]、KCF[14]以及COOT 都是后續(xù)在此基礎上提出的改進算法，跟蹤速度也達到了100 FPS。

這兩類算法都有各自的優(yōu)勢，在OTB 測試集上獲得了較高的評分，但實際應用于無人機視覺跟蹤場景時普遍存在跟蹤漂移的情況，因此需要對此進行改進才能應用于長時間跟蹤問題。在最新的無人機跟蹤算法中，文獻[15]采用CSK跟顏色特征相結(jié)合的方法，提高了算法在目標運動速度較快、幅度改變較大時的適應能力，但由于采用手工設計的特征，算法的準確性不高，同時無法自適應調(diào)整目標框。文獻[16]改進的基于核相關(guān)濾波器的無人機目標跟蹤算法，也只是對尺度估計進行了重新設計，沒有解決目標較大形變時的跟蹤漂移問題。

3 本文算法

圖2 基于修正模型的核相關(guān)濾波跟蹤框架

為了解決無人機視覺跟蹤時的跟蹤漂移問題，本文提出了基于多尺度建議框回歸的核相關(guān)濾波跟蹤算法，整個算法跟蹤框架如圖2 所示。第一部分為孿生卷積神經(jīng)網(wǎng)絡提取特征，孿生網(wǎng)絡兩個分支具有相同的濾波參數(shù)，輸入圖像為模板圖像和以上一幀跟蹤結(jié)果為中心的周圍搜索區(qū)域，通過核相關(guān)濾波得到模板匹配響應，響應圖的中心即為初始估計位置。第二部分為目標跟蹤修正模型，目標框回歸訓練在不同特征層多尺度建議框上進行，在線跟蹤時能比較好的的修正跟蹤漂移帶來的誤差。為了提高算法速度，跟蹤框的修正只在發(fā)生漂移時進行，期間設計了相關(guān)響應置信度自適應評價機制對跟蹤結(jié)果進行綜合判斷。得益于目標跟蹤修正模型，精修后的跟蹤結(jié)果反過來用于跟蹤模塊中模板的更新，避免了核相關(guān)濾波模板的污染。

3.1 基于孿生網(wǎng)絡的核相關(guān)濾波跟蹤

基于深度學習的跟蹤算法在準確率上有明顯的提高，其中在線更新類需要針對正、負樣本在線訓練網(wǎng)絡參數(shù)，影響了跟蹤速度，而相關(guān)濾波類算法在速度和精度上均有優(yōu)良的表現(xiàn)，因此這里采用核相關(guān)濾波作為跟蹤器。相關(guān)濾波采用孿生卷積神經(jīng)網(wǎng)絡來提取目標的深度學習特征，孿生卷積神經(jīng)網(wǎng)絡的訓練框架如圖3所示。

圖3 孿生卷積神經(jīng)網(wǎng)絡提取深度特征

在前向傳播過程中，網(wǎng)絡輸入為訓練圖像x和測試圖像z，圖像x為前一幀以目標為中心的周圍區(qū)域，圖像z為當前幀搜索區(qū)域內(nèi)圖像，分別通過具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡fρ提取特征。CF為相關(guān)濾波模塊，通過在傅里葉域求解脊回歸問題獲取訓練樣本的特征模板，最后再進行互相關(guān)運算，響應的表達式為：

為了使相關(guān)響應變換到邏輯回歸的值域，增加s、b調(diào)整系數(shù)。在跟蹤的過程中，每一幀都可以得到一個跟蹤結(jié)果，獲取一個新的目標模板w，實際跟蹤時用于相關(guān)運算的模板是通過與前面所有幀計算的模板進行加權(quán)平均得到，這樣可以自適應目標外觀的變化。

其中矩陣X∈?d×n每列為取樣向量，y∈?n為目標向量，λ為正則化系數(shù)。利用拉格朗日乘子法[17]進行求解，首先構(gòu)建拉格朗日表達式，并令r=XTw-y可以得到：

因為相關(guān)濾波操作為矩陣元素點積，因此在跟蹤時速度非常快，通過相關(guān)濾波網(wǎng)絡離線訓練CNN參數(shù)ρ，同直接采用目標檢測任務遷移過來的網(wǎng)絡相比較，可以進一步提高跟蹤精度。

3.2 基于多尺度建議框的修正模型設計

為了解決跟蹤漂移漂移時跟蹤器無法自適應調(diào)整目標框，訓練目標跟蹤修正模型對跟蹤結(jié)果進行修正。設目標建議框p(px,py,pw,ph)到正確的目標框g(gx,gy,gw,gh)的偏差估計為g?(g?x,g?y,g?w,g?h)，修正模型輸入以目標為中心的周圍區(qū)域，經(jīng)過網(wǎng)絡前端的特征提取之后，訓練得到目標特征到偏差的映射關(guān)系。由于CNN具有尺度不變性，因此偏差的計算一般采用平移+尺度縮放的形式，即：

當輸入的建議框與目標框相差較小時（參考RCNN設置為IOU＞0.6），才能認為這種變換是一種線性變換，那么可以用線性回歸來建模對窗口進行微調(diào)，否則會導致訓練的修正模型不收斂。

為了讓建議框更加接近目標框，這里選擇在多層特征圖的每個點選取不同比例的預選框，如圖4 所示，在特征圖的每個位置設定固定的多個不同尺度建議框，當其中一個建議框與目標框差別較小時，訓練時就能擬合偏差的線性關(guān)系。建議框的使用能讓目標函數(shù)更容易收斂，降低訓練難度，并能對應目標大小到不同的特征層。CNNbase采用VGG網(wǎng)絡第5卷積層前面的相關(guān)層，回歸模塊包括建議框提取、置信度計算、目標框回歸3個分支，網(wǎng)絡結(jié)構(gòu)設計如圖5所示。

圖4 多尺度建議框選取示意圖

目標跟蹤修正模型采用離線訓練的形式，以避免在線跟蹤再訓練降低跟蹤速度。

3.3 置信度評價機制和模板更新策略

通過前面的相關(guān)濾波網(wǎng)絡和回歸網(wǎng)絡可以得到目標的兩方面的信息，一是跟蹤器根據(jù)前面幀的跟蹤結(jié)果學習得到的目標外觀模型w，可以預測它在下一幀的尺度和位置，但這樣難以避免誤差累積問題，而且一旦物體在圖像中消失，跟蹤就會失效，即使物體再出現(xiàn)也無法重新跟蹤；二是修正模型離線訓練得到的物體類級別的信息和特征到邊框預測的映射關(guān)系，但也存在訓練樣本不足或者多目標干擾無法檢測到目標的情況。為了綜合運用這兩方面的信息，需要對跟蹤結(jié)果的可靠性進行評價，以便于及時停止用錯誤的結(jié)果對相關(guān)濾波模板進行更新。

在跟蹤漂移出現(xiàn)的時候，往往伴隨著相關(guān)濾波響應峰值的逐漸降低，這里用峰值旁瓣比（Peak Sidelobe Ratio，PSR）來定量描述相關(guān)響應峰的尖銳程度：

其中η為目標模板學習系數(shù)。通過引入目標跟蹤修正模型，可以充分利用離線訓練樣本獲取的先驗知識，克服在線跟蹤訓練樣本不足的缺陷，用準確位置對相關(guān)濾波模板進行更新，防止錯誤樣本對跟蹤器造成污染。融合相關(guān)濾波響應f(i)r和修正模型輸出的目標置信圖f(i)c是為了尋找數(shù)據(jù)在空間上的結(jié)構(gòu)性，把跟蹤器產(chǎn)生的結(jié)果和修正模型檢測的正樣本進行比較，選擇出一個最可信的位置，保證物體最多只出現(xiàn)在一個位置上。

圖5 回歸網(wǎng)絡結(jié)構(gòu)示意圖

以圖6 的例子為例分析綜合利用相關(guān)濾波跟蹤和修正模型各自優(yōu)點的好處，列表中第2 行為t時刻初始化框，第3 行中黃色框是t+1 時刻跟蹤器產(chǎn)生的正樣本，藍色框是修正模型得到的正樣本，紅星標記的是綜合判斷之后的最后結(jié)果，4 行和5 行分別為相關(guān)濾波響應和修正模型得到的目標置信度。序列1 中汽車在轉(zhuǎn)彎時跟蹤器不能準確框定目標，置信度小于閾值，此時引入修正模型對跟蹤器結(jié)果進行修正，防止跟蹤漂移。序列2 中修正模型錯誤的認為上面一輛車的樣本更可信，跟蹤器通過前面序列幀學習得到的表觀模型選擇了置信度排序第2的下方一輛車，通過綜合利用了離線訓練獲得的先驗知識和在線跟蹤特定目標的表觀模型，最后仍然可以追蹤到正確的目標。

images/BZ_141_328_1287_998_2048.png

4 實驗結(jié)果及分析

4.1 網(wǎng)絡訓練

相關(guān)濾波網(wǎng)絡特征提取層的訓練數(shù)據(jù)來自ImageNet 視頻數(shù)據(jù)集ILSVRC VID2015，輸入圖片為同個視頻中時間間隔為T的兩幀圖像，以目標為中心裁剪周圍區(qū)域。使用大小為32的批量處理計算每次迭代的梯度，學習速率從102到105依次遞減。

修正模型首先在VOC2007 和VOC2010 數(shù)據(jù)集上訓練學習得到卷積特征層的通用表達。對于每張圖像取目標周圍區(qū)域3倍目標框尺寸的范圍，圖片輸入大小為300×300像素。采用SGD梯度下降算法，動量取0.9，權(quán)值衰減 γ 取0.000 5，學習率為105。在VOC 數(shù)據(jù)上訓練將損失降到一定程度之后，再針對特定目標在無人機數(shù)據(jù)集VisDrone 上接著訓練。VisDrone 中訓練集含56個序列，共計24 201 幀圖像，驗證集含7 個序列，共計2 819 幀圖像。模型總共訓練了24 代，迭代過程中的損失函數(shù)變化如圖7所示。

圖7 修正模型訓練時的損失函數(shù)變化

4.2 測試及結(jié)果分析

為了對算法效果進行評價，采用VisDrone、UAV123和DTB這3種專用的無人機跟蹤數(shù)據(jù)集進行測試，測試環(huán)境為：CPU為Intel I5-7300HQ，4核2.50 GHz，GPU為NVIDIA GeForce GTX 1060 MaxQ。在使用GPU 的情況下，文本算法的運行速度大約為34.7 FPS。

評價采用OTB-100 標準中的中心定位誤差和邊框重合率兩種評價指標，采用OPE（One Pass Evaluation）測試方法，將本文算法與目前較好的9 種算法ECO、Staple、CFNet、SRDCF、DSST、SiamFC、Goturn、KCF、CN進行了比較。

圖8為成功率曲線測試圖，其表征的是估計目標矩形框與真實目標矩形框的重疊率的大小，即兩矩形框的相交部分面積除以兩矩形框的相并部分的面積。其橫坐標是從0 到1 的連續(xù)閾值，縱坐標是重疊率大于該閾值的所有幀占該序列總幀的百分比，使用曲線下方的面積來表示評價得分。圖9是精度曲線圖測試，其衡量的是估計目標中心與真實目標中心的歐式距離誤差大小，其橫坐標是一系列不同的距離閾值大小（像素單位），縱坐標是估計目標中心位置的誤差距離小于該閾值的所有幀占該序列總幀的百分比，其中采用閾值為11 像素所對應的百分比為評價得分。

圖8 航拍視頻成功率曲線測試

圖9 航拍視頻精度曲線測試

可以看到針對無人機平臺視覺目標跟蹤，本文算法在成功率和精度要優(yōu)于其他幾類算法，特別是較小重疊率情況下。從成功率曲線可以看到，本文算法比排第二的ECO提高了14.3%，效果比較明顯。對于精度曲線中心距離差小于11像素的占比為0.635，比SiamFC提高了3.1%（0.616），跟蹤精度的提高主要得益于算法中修正模型對相關(guān)濾波跟蹤結(jié)果的修正，克服了相關(guān)濾波長時間跟蹤時容易產(chǎn)生跟蹤漂移的缺點。

如圖10 為10 種算法對視頻序列跟蹤的定性分析，由于篇幅原因列出了其中差別較大的4個序列。例如，序列UAV123-Car1 汽車轉(zhuǎn)彎、序列UAV123-Boat3 船大尺度的變形情況時，其他幾種算法只學習到前面序列幀目標出現(xiàn)過的形態(tài)，當形態(tài)發(fā)生劇烈變化，跟蹤框不能及時的調(diào)整，而本文算法因為在離線階段目標跟蹤修正模型學習到目標的先驗知識，所以在線跟蹤時能及時對目標框進行修正，防止跟蹤器目標模板被污染。序列visDrone-Person1中跟蹤目標人在跟蹤的過程中有大量遮擋，并且不時有旁邊相似物體的干擾，本文算法都有好的表現(xiàn)，目標框能緊隨目標形態(tài)的改變而改變。序列visDrone-Sheep2為成小目標形態(tài)的羊，在前面序列幀都能框定目標，在700幀的時候，相機有大幅度的晃動，因此所有算法都跟丟了目標。

同時，本文算法也存在跟蹤失敗的情況，如圖11所示。在對DTB-Animal3序列羊的跟蹤過程中，另一只羊從前面交叉通過，目標框最終漂移到了羊的頭部，主要是因為目標跟蹤修正模型錯誤的將兩只羊當成了一個目標。DTB-ChasingDrones序列和UAV123-Car7序列存在目標跟丟的情況，出現(xiàn)在無人機速度太快導致視野晃動、汽車被遮擋的時候，本文算法因為搜索域比較小，還不能應對大范圍搜索跟蹤的情況，這同時也是另外幾種跟蹤算法普遍存在問題，是下一步需要進一步解決的問題。

圖11 跟蹤失敗的情況

圖10 部分無人機視頻序列中的跟蹤結(jié)果

5 總結(jié)

目前基于深度學習的目標跟蹤方法跟蹤精度上有顯著的提升，在OTB等常規(guī)測試集上有明顯的優(yōu)勢，但實際應用于低空無人機平臺目標跟蹤時，存在嚴重的跟蹤漂移情況，主要是由于模板跟蹤依賴的是前面序列幀的分類結(jié)果，當目標外觀改變造成模板污染之后，很難重新框定目標。針對該問題，本文提出了一種基于目標跟蹤修正模型的相關(guān)濾波跟蹤算法，利用相關(guān)濾波來對目標的位置和尺度進行初始估計，針對特定的目標，修正模型離線訓練得到目標級別信息，在線跟蹤時對相關(guān)濾波跟蹤結(jié)果進行精修成功的避免了誤差累積的擴大。在UAV123、VisDrone、DTB無人機航拍數(shù)據(jù)集上進行的實驗結(jié)果表明，本文算法能較好地克服跟蹤時跟蹤漂移問題，跟蹤精度和成功率要優(yōu)于其他幾種算法。該跟蹤框架還存在同類相似目標干擾、長時間跟蹤的問題，需要下步更進一步改進。