一種基于孿生網絡的目標跟蹤方法

秦琪 韓旭明 長春工業大學計算機科學與技術學院

一、引言

計算機視覺是當今人工智能研究的主要方向之一，其中的目標跟蹤任務也由于其廣泛的應用前景備受人們關注，在機器人視覺、超市防損、各種體育競技等領域有廣泛的應用。該任務需要在視頻的第一幀中確定目標對象，在后續幀中使用跟蹤框描述目標的位置。目標跟蹤方法有最初的傳統光流法，相關濾波方法，和深度學習方法。其中，基于孿生網絡的目標跟蹤方法一經推出，便取得了遠遠優于傳統方法的效果。

孿生網絡是用來衡量兩個輸入之間的相似程度，兩個輸入經過完全相同的神經網絡，得到兩個新空間的表示。計算兩個特征的相似性，判斷跟蹤的正確性。

Bertinetto等提出的全卷積孿生網絡（Fully-Convolutional Siamese Networks for Object Tracking，SiamFC）,把跟蹤問題轉化成一個匹配問題，離線訓練了一個全卷積網絡，使深度學習方法真正達到了實時效果。Li等提出的區域提議孿生網絡（High Performance Visual Tracking with Siamese Region Proposal Network，SiamRPN），在全卷積孿生網絡的基礎上，融合了檢測領域的區域推薦網絡，在網絡的后面添加的RPN結構可以回歸目標的位置。Wang等提出的快速在線目標跟蹤與分割（Fast Online Object Tracking and Segmentation： A Unifying Approach，SiamMask）方法,在原有的網絡基礎上添加了一個掩膜分支，進一步提升了跟蹤的準確性。

綜上所述，基于孿生網絡架構的跟蹤方法能夠在離線訓練的前提下，達到實時跟蹤的效果。但現有的方法還是需要在第一幀圖片里人工選取目標，這樣的操作不可避免得會將部分背景信息包含進來，而這些背景信息又不能被神經網絡充分利用，反而會對后續的跟蹤產生干擾。

針對基于孿生網絡架構的跟蹤方法出現的上述問題，本文對快速在線目標跟蹤與分割方法進行了改進：在目標模板圖像產生的過程中，添加一個圖像分割網絡，將目標對象分割出來，通過填充操作，生成新的目標模板圖像用于跟蹤。為驗證方法的有效性，在多個數據集上進行了實驗。實驗結果顯示，背景消除對于跟蹤效果有很好的提升。

二、相關工作

SiamFC網絡架構共有兩個輸入分支：一個是模板圖像z，另一個是搜索圖像x。是用于提取圖像特征的卷積網絡。提取的特征經過一次互相關操作，得到兩個輸入的相似度響應圖，如公式1所示。

SiamRPN在SiamFC的基礎上，將模板圖像和搜索圖像的特征進行升維操作，使網絡能夠從多個尺度對目標圖像與搜索圖像進行細粒度的匹配。并添加了一個回歸分支，通過對邊界框的回歸計算，得到更加精確的位置估計。

SiamMask方法重新定義了目標跟蹤任務，認為跟蹤過程中的旋轉矩形框本質上是目標掩膜的一種近似，通過添加分割掩膜分支，相比于SiamFC和SiamRPN，SiamMask能夠更好的應對物體旋轉等形變問題。

三、本文改進

孿生網絡架構中，模板圖片與搜索圖片分別產生各自對應的特征，然后進行互相關操作，生成目標特征與搜索圖片特征的響應圖，圖中最高值的位置即為目標的位置。

SiamMask將跟蹤與分割任務統一，使用互相關操作后的響應圖，做分類與分割兩個任務。針對目標模板圖像包含背景信息的問題，在孿生網絡的框架基礎之上，添加了目標模板的分割操作。通過一個分割網絡，將目標模板中的目標與背景區分開來，使用單一顏色進行填充背景，生成新的目標模板參與孿生網絡的特征提取。

四、實驗與結果分析

為了驗證提前分割目標模板圖像方法的有效性，在原有的SiamMask實驗代碼基礎上，添加了分割網絡。網絡參數使用預訓練好的模型參數，數據集使用的是VOT2016和VOT2018標準數據集，并分別針對準確度（Accuracy）和速度(speed)兩個指標做了比較。實驗結果如表1所示：

表1 添加分割操作前后測試結果對比

實驗結果的對比顯示，加入分割模塊后，跟蹤的效果得到了較小的提升，這是因為分割網絡也占據了部分計算過程。但是驗證了方法的可行性，模板背景的消除確實起到了一定的積極作用。后續可以采用更快的分割網絡，進一步加快跟蹤的速度。

五、結語

本文介紹了目標跟蹤任務以及孿生網絡的跟蹤方法，針對背景干擾問題，采用圖像分割的方法，消除目標圖像中的背景信息，加強在孿生網絡跟蹤過程中的效果。實驗驗證了方法的有效性和可行性。