顯著性能量目標跟蹤軌跡修正算法

解云嬌，楊大偉，毛 琳

(大連民族大學 機電工程學院，遼寧 大連 116605)

基于深度學習的目標跟蹤算法無法適應視頻圖像中目標外觀的劇烈變化，導致神經網絡難以捕獲目標區域的卷積特征，進而產生跟蹤漂移問題。隨著計算機視覺在無人駕駛領域的應用，很多學者正致力于目標跟蹤相關算法的改進，在這期間涌現出大量優秀的跟蹤算法[1]。文獻[2]提出采用VAE方法生成多樣化正樣本SINT++算法，使用強化學習豐富訓練數據從而提高跟蹤的準確率，但該算法實現復雜，當跟蹤目標未知時，需要利用隨機梯度下降法在線微調網絡權重，使得跟蹤效率下降，難以達到實時跟蹤；Siamese-FC是一種端到端的全卷積孿生網絡算法[3]，該算法按照運動學模型提取目標，生成兩個互相關特征圖，比較搜索區域與目標模板的相似度，將相似性最高的區域輸出為跟蹤結果，該算法網絡結構簡單，跟蹤速度達到58 fps，但網絡深層缺少細節特征，導致跟蹤容易受到特征干擾而出現錯誤；文獻[4]基于Siamese-FC，提出SiamRPN算法，引入Faster RCNN區域候選網絡模塊[5]，跟蹤器可同時計算目標的位置、形狀，避免多尺度測試，進一步提高算法性能，跟蹤速度達到160 fps，但該算法魯棒性較差，無法對目標實現長時間視覺跟蹤。針對這些問題，文獻[6]提出SiamMask算法，在Siamese-FC和SiamRPN的基礎上引入全卷積孿生網絡的離線訓練過程，可同時應用于目標跟蹤和半監督視頻對象的分割任務，但該算法在運動模糊發生時無法獲取目標顯著特征，導致跟蹤漂移。

本文針對運動模糊場景下發生的跟蹤漂移問題，提出一種顯著性能量目標跟蹤軌跡修正算法(Saliency Energy Target Tracking Trajectory Correction Algorithm，SEC)，通過分析目標區域的顯著性能量特征對跟蹤結果進行漂移判定。該算法引入漂移判定模塊來辨識跟蹤結果目標區域是否發生漂移，當確定偏移發生時，利用軌跡預測模塊對不準確的跟蹤結果進行修正，從而改善運動模糊情況下的跟蹤漂移問題，有效提升跟蹤精度。

1 SEC算法

為解決模糊運動場景下全卷積孿生網絡跟蹤算法存在的跟蹤漂移問題，本文提出SEC算法，將顯著性能量特征與軌跡預測結合。首先分析跟蹤結果區域中目標特征的能量偏差，判定跟蹤結果是否失效；使用軌跡預測模塊對判定跟蹤失敗的輸出結果進行目標跟蹤位置校正，以此改善算法跟蹤效果。

1.1 漂移判定模塊

SiamMask算法雖具有較好的跟蹤效果，但在運動模糊場景下，跟蹤器無法獲取目標特征且難以區分目標與背景，出現跟蹤漂移問題。導致目標與背景難以區分的原因是運動模糊場景中的目標特征發生劇烈變化，在這種情況下僅僅使用普通的圖像卷積特征不能進行有效跟蹤。圖像顯著性分析方法[7-8]通過提取感興趣目標區域作為顯著性區域，使得目標可以很好地適應動態背景場合。分析圖像能量分布的方法可以有效整合跟蹤目標的紋理、顏色、HOG以及深度特征等單一特征，經過能量統計后可保留跟蹤目標區域中的有效特征[9-10]。本文采用圖像顯著性結合能量統計的方法計算目標區域能量特征，判別跟蹤結果中目標特征的有效性。

(1)

(2)

(3)

Rn+1=Dn+1-Drn。

(4)

式(4)中Rn+1表示第n+1幀跟蹤結果的歐式距離Dn+1與距離上限值Dr波動差值，超出距離上限則判定該跟蹤結果出現漂移。否則，判定該跟蹤結果沒有出現漂移。顯著性能量特征漂移判定算法工作流程如圖1。

圖1 漂移判定模塊工作流程

1.2 軌跡預測模塊

針對運動模糊場景下跟蹤算法搜索目標的局限性，本文引入LSTM網絡結構解決軌跡預測問題。跟蹤器實時在線跟蹤的同時，使用LSTM軌跡預測算法同步獲取并保存跟蹤目標的位置信息，當卷積神經網絡顯著性能量特征漂移判定模塊判定第n+1幀圖像因運動模糊發生漂移時，調用LSTM預測模型預測漂移幀中目標的位置，用預測結果校正目標跟蹤結果。

(5)

圖2 SEC算法工作流程圖

2 仿真分析

仿真實驗使用GeForce 1080Ti顯卡，操作系統為64位Ubuntu 16.04，編程環境為Python 3.6，Pytorch 0.4.1，CUDA 9.0，ILSVRC2015-VID訓練集、VOT2018和OTB-50基準測試集。SEC算法相關參數設置見表1。

表1 SEC算法相關參數設置

仿真結果表明，SEC在OTB-50測試集上丟失幀數為36，SiamMask的丟失幀數為74，SEC算法有效抑制了跟蹤漂移造成的跟蹤失效。選取OTB-50數據集部分視頻序列，進一步對比SEC與SiamMask的性能差異，如圖3。

圖3 SiamMask與SEC算法跟蹤結果對比

通過Matrix、Soccer、Blurcar1、MotorRolling視頻序列進行算法性能分析，SiamMask算法由于使用單一的卷積特征進行跟蹤，無法捕捉模糊圖像中的目標特征，從而發生跟蹤漂移，在原跟蹤網絡中加入SEC算法后，跟蹤器可以較好地應對跟蹤漂移問題，成功修正跟蹤結果。

在第(1)組對比圖中可以看出，由于目標所在圖像的背景復雜，SiamMask無法捕獲全部的目標特征區域，而SEC能夠跟蹤到大部分目標特征區域；在第(2)組對比圖中，存在大量相似的跟蹤目標，SiamMask容易混淆存在相似特征的區域(第241幀)，進而發生跟蹤漂移(第382幀)，由于SEC能夠區分目標區域的顯著性能量特征，從而提高了這種復雜環境下的跟蹤精度；在第(3)組對比圖中，針對SiamMask在運動模糊場景下發生的漂移問題，SEC成功修正了跟蹤結果；在第(4)組對比圖中，當目標在相鄰幀中發生大幅度形變時，SiamMask的分割掩碼無法準確計算出下一幀目標的所在區域，進而目標框無法及時收縮，SEC能夠發現這一缺點，并精確框定了發生形變的目標所在區域。

SEC算法選取VID數據集視頻序列的軌跡信息作為軌跡預測模塊的訓練樣本。在VOT2018的仿真測試結果見表2。與SiamMask進行仿真對比，SEC算法將SiamMask算法的跟蹤精度提高了0.2%。SEC算法雖然對模糊序列的目標跟蹤準確率提升明顯，但是當目標跟蹤軌跡中出現連續跟蹤漂移時，由于算法的軌跡預測模塊依賴于歷史位置信息，所以相比SiamMask算法，其魯棒性降低了1.8%。因VOT2018中運動目標較為清晰，跟OTB數據集相比，視頻序列較少存在目標模糊和抖動現象，所以本算法在此數據集上提高幅度較小。

表2 VOT2018仿真測試結果

3 結 語

本文針對SiamMask算法出現的跟蹤漂移現象，提出顯著性能量目標跟蹤軌跡修正算法SEC。SEC算法通過分析目標區域的顯著性能量特征，篩選出錯誤的跟蹤結果，利用軌跡修正模塊對錯誤結果進行校正，進一步提高跟蹤精度。與SiamMask算法相比，SEC算法進一步改善了復雜情況下目標跟蹤的精度，適用于智能監控和無人自主駕駛等系統。