基于注意力機制的無錨點跟蹤算法

陶祥明

（北方工業大學電氣與控制工程學院，北京 100144）

0 引言

單目標跟蹤任務是根據第一幀跟蹤目標位置信息，確定初始化跟蹤框，再通過跟蹤網絡，將第一幀作為模板區域，后續幀作為搜索區域，搜索目標位置，返回目標邊界框信息，進行目標跟蹤。

從發展階段看，視覺跟蹤算法可分為傳統視覺跟蹤算法、基于相關濾波的視覺跟蹤算法和基于機器學習的視覺跟蹤算法3 個階段。最初的傳統視覺跟蹤算法是人為在第一幀中找出跟蹤目標特征，在后續幀中根據人為選擇的特征確定目標位置和邊界框信息。

基于相關濾波的視覺跟蹤算法，源于信號處理相關操作，使用濾波器在第一幀中提取目標信息，通過快速傅立葉變換完成濾波器訓練，利用濾波器完成目標區域和搜索區域相關操作的響應值計算，將最大輸出響應位置作為目標位置預測。

MOSSE［1］算法是第一個采用相關濾波的跟蹤算法，運行速度較同期算法優勢明顯。CSK 算法［2］發現樣本集具有循環矩陣的結構特征并引入了核的概念，KCF 算法［3］用方向梯度直方圖代替灰度特征，CN 算法［4］拓展了多通道顏色特征，這類算法通過改變特征提取方式，提高跟蹤準確性。DSST 算法［5］在KCF 的基礎上，引入多特征融合并通過尺度變化濾波器找到候選區域，再通過濾波器確定目標中心位置，找到最佳匹配尺度。

這類基于相關濾波的算法運行速度快，且在不斷優化特征提取方式后，跟蹤準確性得到一定提升，但當目標出現連續形態變化時，由于算法每幀都會更新濾波器，導致算法易受到背景干擾，影響跟蹤效果。

隨著人工智能特別是機器學習的發展，單目標跟蹤算法也進行了更新和迭代。基于機器學習的視覺跟蹤網絡，在完成離線訓練后，跟蹤過程中需要對模型參數進行在線微調，對設備計算能力要求較高，因而無法實時跟蹤。

SINT［6］和Siam FC［7］提出的孿生網絡，將視頻第一幀和后續幀同時進入共享結構和權值的子網絡，進行匹配得出特征圖，完成目標邊界框預測。基于簡潔的孿生網絡結構，在保持跟蹤精度和成功率的同時，使得跟蹤算法在速度上，相較于需在線微調參數的其他基于機器學習的跟蹤算法優勢明顯。

后續Siam RPN［8］和Siam RPN++［9］等基于錨點的孿生網絡算法［10］，由孿生網絡和候選區域生成網絡兩部分構成。孿生網絡模塊負責提取特征信息，候選區域生成網絡用于生成可能的目標區域，兩條支路將相關操作后的結果分別用于分類和回歸操作。候選區域生成網絡將特征圖上的各點當作錨點，選取錨點周圍多個尺度不同的錨框進行檢測，查看后續幀是否存在目標以及完成對于目標邊界框信息的回歸。

基于錨點的孿生網絡算法在訓練模型之前，需要對錨框尺寸和長寬比進行超參數設計。這類參數需要根據實際情況進行針對性選擇，泛化能力較差。同時，為了盡可能地回歸準確的目標邊界框信息，需要預設多種尺寸的錨框進行匹配，增加了網絡訓練和跟蹤復雜度，會造成大量負樣本，從而導致正負樣本不匹配問題。

為了改進基于錨點的孿生網絡跟蹤算法的不足，本文在基于錨點的孿生網絡跟蹤算法基礎上，參考Siam CAR［11］、Siam BAN［12］、Siam FC++［13］和Ocean［14-15］等提出基于無錨點的改進模型［16］。在回歸方式上，不依賴于候選區域生成網絡提前生成的不同尺寸候選區域，而是直接將經過特征提取網絡和匹配網絡得到的特征圖，進入區分前景和背景的分類分支、中心點位置和邊框位置的回歸分支。

Siam FC 和Siam RPN++等基于孿生網絡的跟蹤算法，通過將模板圖像和搜索圖像進行相關操作以提取特征，形成特征圖后，再進行分類和回歸計算。Siam FC 提出的基礎相關操作，是用模板特征與搜索特征進行卷積，得到通道為1 的特征圖，Siam RPN++等網絡在此基礎上，使用多通道的相關操作方法，得到多通道的特征圖。本文在此基礎上，參考HiFT［17］和DSA［18］等網絡［19-23］，將注意力機制［24］與傳統相關操作相結合，進行特征匹配，增加網絡各層次之間的聯系，更好地兼顧全局的特征信息。

基于無錨點分支和注意力機制的變換網絡方法的引入，使得本文提出的基于孿生網絡的單目標跟蹤算法在常見目標跟蹤測試數據集上，相較于未采用該方法的孿生網絡，在成功率和精度上具有一定優勢。

1 基于注意力和無錨點的孿生網絡

1.1 網絡結構

基于錨點的孿生網絡雖然在成功率上表現良好，但是對于物體形態發生較大幅度改變，或本身的邊界框與預先設定的錨框比例差距較大時，網絡的跟蹤精度不高。算法對于錨框尺寸、比例和數目也有很強的依賴性，訓練和測試過程都需要對超參數進行細致的調節，使得其泛化能力不強。同時，為了較好地完成目標預測，需要使用大量的錨框進行檢測，導致負樣本與正樣本數量不均衡，影響訓練和測試結果，也增加了網絡復雜程度，影響運行效率。

傳統的孿生網絡跟蹤算法，通常只使用相關操作擬合特征，并根據生成的特征圖完成跟蹤任務。相關實驗表明，這類跟蹤網絡往往無法關注到全局狀態。

為了改進上述基于孿生網絡視覺跟蹤算法的不足，本文提出了基于注意力和無錨點的孿生網絡，模型可分為特征提取網絡、特征匹配相關和分類回歸3 個部分，如圖1所示。

Fig.1 Attention and anchor-free siamese network圖1 基于注意力和無錨點的孿生網絡

特征提取網絡部分，采用共享權重和結構的ResNet 50［25］構成的孿生網絡。相較于同樣采用無錨點設計的Siam FC++的特征提取網絡，其提取能力更高。主要使用后3 層的卷積層對模板區域和搜索區域進行特征提取，模板區域和后續幀的搜索區域圖像大小分別設置為127 x 127和255 x 255，均為3通道的彩色圖像。

模板區域和搜索區域分別通過孿生網絡生成對應的特征圖，由于跟蹤任務每幀之間物體運動尺度變化往往不大，因此需要將特征提取的卷積神經網絡的步長進行調整，將最后2 層中的步長改為1，避免由于過大的步長，無法關注到物體細小的移動或形態變化。參照Siam RPN++網絡，將原始ResNet 50 網絡中的卷積方式改為空洞卷積，在減少步長的同時保留較大的感受野。

1.2 基于注意力機制的特征融合網絡

特征匹配相關部分，分別選擇修改后ResNet 50 網絡的第3、4 和5 層卷積層作為特征層，使用1 x 1 卷積將他們的通道數調整至192。將3 個特征層的模板分支和搜索分支分別進行3 次通道維度上的相關操作，不同于Siam CAR和Siam BAN 直接將3 組特征圖進行融合，也區別于Ocean和TransT 只使用注意力機制作為圖像匹配方式，本文將3組分別相關操作后的特征圖，作為輸入送入基于注意力機制的視覺變換網絡模塊，提高網絡對于全局范圍的搜索能力，可以兼顧相關操作和注意力機制對于特征匹配的優勢，提高網絡在復雜場景中跟蹤的成功率和準確性，如式（1）所示。

基于注意力機制的視覺變換方法主要參考了HiFT 算法，網絡包含高分辨率特征圖編碼和低分辨率特征圖解碼兩部分操作，參考視覺變換的網絡設計［24］，編碼部分將第3 層和第4 層特征圖增加位置編碼，將兩者相加后，再經過歸一化操作與第3 層一起，作為多頭注意力機制的輸入層。將帶有位置編碼的第3 層與多頭注意力機制后的內容相加，再與帶有位置編碼信息的第4 層進行拼接、神經網絡和全局池化等操作。將此結構重復6 次，完成對高分辨率特征圖的編碼過程。

解碼部分與標準的視覺變換網絡類似，使用第5 層卷積后得到的特征圖作為解碼部分的輸入，與來自低分辨率的特征信息共同作為多頭注意力機制的輸入層，再經過神經網絡和相加的殘差結構，最終得到融合高分辨率和低分辨率特征圖的特征信息完成輸出，如圖2所示。

Fig.2 Feature encoder and decoder network圖2 特征編碼和解碼網絡

1.3 基于無錨點的邊界框回歸網絡

分類回歸部分，分別將相關和變換操作后的特征圖，連接4 層可訓練的卷積神經網絡進行特征增強，再連接分類、中心點估計和回歸3 個分支完成網絡對于目標前景背景、中心點位置和距離中心點4 個邊界框的預測任務。模型損失函數由分類損失、中心點置信度損失和邊界框重合度損失組成，如式（2）所示。其中，Lcls表示分類損失，Lcen表示中心點置信度損失，Lreg表示邊界框重合度損失。3 種損失函數可根據情況按照不同的權重進行加權求和，本文采用的比例是1∶1∶3。

區分前景和背景部分的損失函數采用二分類的交叉熵損失，區別于Ocean 和Siam BAN 損失函數只包含分類和回歸的分支，該算法參考目標檢測中FCOS 模型的中心置信度損失，通過中心點距離4 個邊界框上下和左右的最大值和最小值反映出所選位置是否接近目標的中心位置，如式（3）所示。其中，l*、r*、t*和b*表示特征距離左、右、上、下的距離，使模型可更多關注中心位置接近真實中心的邊界框，對于遠離中心位置的邊界框作出一定懲罰，使得最終預測結果盡可能接近真實情況。

邊界框回歸損失則是將預測的偏差坐標轉換成預測框，比較預測框和真實框的重合度，通過式（4）計算損失值，具有一定的非線性。在訓練過程中，隨著損失函數值的降低，使得預測框逐漸接近目標的真實框。

網絡訓練過程如下：首先載入視頻，根據第一幀確定要跟蹤的目標區域，將模版分支輸入到特征提取網絡，將ResNet 50 第3、4 和5 層融合結果作為輸出，搜索模版同樣進入共享權重和結構的特征提取網絡。將搜索分支和模版分支的輸出結果進行特征匹配操作，得到用于進入分類回歸部分的特征圖，再通過分類、中心置信度和邊界回歸分支計算損失值，通過梯度下降方式，不斷修改網絡權重，逐漸擬合模型并完成訓練。

2 實驗結果分析

2.1 實驗環境及算法參數配置

對基于無錨點和注意力的孿生視覺跟蹤網絡進行相關實驗，在如表1所示硬件和軟件開發環境下進行。

Table 1 Experimental hardware and software environment表1 實驗硬件及軟件環境

本文算法搭建的網絡在目標跟蹤數據集ILSVRC VID、ILSVRC DET、COCO、YOUTUBEBB、LaSOT 和GOT-10k 上進行訓練。使用PySOT 工具箱，對數據集進行裁剪和預處理。

訓練過程中，每輪選擇600 000 個視頻幀進行訓練，批處理大小設置為32，初始學習率為0.005，結束學習率為0.000 5，前5 輪為預熱訓練，初始學習率為0.001，結束學習率為0.005，總共進行20 輪次的迭代訓練。訓練開始時，凍結特征提取網絡ResNet 50 的模型參數，10 輪后解凍特征提取網絡的第2、3和4層參與訓練。

2.2 實驗結果分析

為檢測基于無錨點和注意力的孿生視覺跟蹤網絡的有效性，選擇OTB100、VOT2019、UAV123 和GOT-10K 等目標跟蹤測試數據集進行單目標跟蹤測試。

2.2.1 定性分析

在OTB100 數據集上，圖3 展示了本文算法與Siam FC、Siam RPN 和Siam FC++算法的部分跟蹤情況（藍色—Siam FC++；綠色—Siam RPN；黑色—Siam FC；紅色—Ours，彩圖掃OSID 碼可見）。

在Basketball 場景中，當目標出現遮擋和背景存在干擾情況時，其余3 個算法均出現了丟失目標或跟錯目標的情況。本文算法可以比較準確地預測目標的邊界框信息，表明在復雜場景下，其相較于其他算法魯棒性更好。

在BlurOwl 場景下，鏡頭出現劇烈和快速晃動，模擬當目標出現快速移動和運動模糊的情況，Siam FC++和Siam RPN 算法出現了丟失目標的狀況，可見本文算法在目標出現快速位置變化時，跟蹤的魯棒性體現較好。

在Bolt2 場景中，當目標出現快速移動和與背景出現重疊和遮擋時，其余3 個算法出現了丟失目標和跟錯目標的情況，可見本文算法在復雜背景中跟蹤成功率和準確性表現較好。

2.2.2 定量分析

在OTB100 和UAV123 數據集上，使用精確度Precision和成功率Success 作為網絡跟蹤能力評價指標。其中，精確度Precision 根據預測目標邊界框的中心點和真實目標中心點的距離賦予不同的閾值；成功率Success 可反映預測目標邊界框與真實目標邊界框的重合程度，通過交并比得到成功率曲線；AUC 表示該成功率曲線面積，數值越大說明算法跟蹤成功率越好。

在OTB100 數據集上，相較其他基于孿生網絡的目標跟蹤算法Siam FC、Siam RPN、DaSiam RPN 和Siam FC++（AlexNet）在AUC 上有一定提升，其中相較于Siam FC 有9.1%的提升，而對比同樣使用無錨點網絡的Siam FC++（AlexNet）也有1.7%的提升，如表2所示。

在GOT-10k 數據集上，采用平均重合度AO 和成功率SR 作為網絡跟蹤能力評價指標。其中，AO 體現預測目標邊界框和真實目標邊界框的一致程度，SR 指在一定AO 閾值下成功跟蹤的準確度，選用0.5 和0.75 兩個閾值進行評價。

Table 2 Experimental results of the proposed algorithm and other algorithms on the OTB100 dataset表2 本文算法與其他算法在OTB100數據集上的實驗結果

在GOT-10k 數據集上，遵循該測試集要求，僅使用GOT-10k 提供的訓練集，每輪使用100 000 個視頻幀，共進行20 輪訓練。相較于采用有錨點的孿生網絡Siam FC、Siam RPN 和Siam RPN++具備一定優勢。其中，相較于Siam FC 在AO 上有14.7%的提升，相較于Siam RPN 有3.8%的提升，如表3所示。

Table 3 Experimental results of the proposed algorithm and other algorithms on the GOT-10k dataset表3 本文算法與其他算法在GOT-10k數據集上的實驗結果

在UAV123 數據集上，相較于主流孿生網絡算法Siam FC、Siam RPN++和DaSiamRPN［26］優勢明顯。其中，在成功率上相較于Siam FC 有12.7%的提升。在準確性相較于同樣采用ResNet 50 特征提取網絡的Siam RPN++有4.6%的提升，與同樣采用無錨點算法的Siam CAR 有3.8%的提升，與同樣采用變換網絡方法的HiFT 在成功率上有1.2%的提升，如表4所示。

Table 4 Experimental results of the proposed algorithm and other algorithms on the UAV123 dataset表4 本文算法與其他算法在UAV123數據集的實驗結果

2.2.3 消融實驗

在UAV123 和VOT2019 數據集上進行了算法各模塊的消融實驗。使用與本文算法相同的訓練數據集和訓練輪次，對比本文算法與取消了ResNet 50 融合層、取消變換網絡和取消無錨點分支的3 個算法進行測試，證明了各模塊的有效性，結果如表5。

Table 5 Experimental results of the proposedalgorithm and other algorithms on the UAV123 and VOT2019 dataset表5 本文算法與其他算法在UAV123和VOT2019數據集的實驗結果

在UAV123 數據集上，使用AlexNet［27］代替ResNet 使得精度下降3.5%，成功率下降2%；使用有錨點和相關操作網絡代替無錨點和變換網絡網絡使得精度下降0.5%，成功率下降1.3%；使用傳統相關操作代替相關與變換網絡結合使得精度下降2.8%，成功率下降2.4%。

在VOT2019 數據集上，使用AlexNet 代替ResNet 使得EAO 下降0.7%，使用有錨點網絡和相關操作代替無錨點網絡和變換網絡使得EAO 下降1.8%，使用傳統相關操作代替相關與變換網絡結合使得EAO 下降1.7%。

對比本文算法與消融實驗其他算法在模型上的訓練時間和跟蹤效率，訓練時間根據相同數據集和硬件情況下，依據后10 輪訓練中2 個輪次生成訓練模型的間隔時間，估計該輪次訓練所用時間，預測時間則是根據VOT2019 測試集上的平均幀率，反映算法跟蹤的效率，結果如表6所示。

Table 6 Experimental results of the training time and running frame rate of the proposed algorithm and other algorithms表6 本文算法與其他算法訓練時間和運行幀率的實驗結果

訓練時間上，本文算法完成1 輪模型訓練預估時間為5.4h，將AlexNet 代替ResNet 預估時間為5.5h，使用有錨點網絡代替無錨點網絡預估時間為5.4h，使用傳統相關操作代替相關與變換網絡預估時間為3.5h。從訓練時間看，變換網絡對于訓練時長有一定影響，其他模塊對于訓練時間影響不大。

預測時間上，通過實驗結果分析，不同的特征提取網絡對運行速率影響較大，相關操作和變化網絡結合使用會對網絡預測速度產生一定影響，但在目前硬件環境下，均可滿足實時跟蹤要求。

3 結語

本文針對有錨點回歸和相關操作孿生網絡存在的問題，設計了基于無錨點和注意力的孿生視覺跟蹤網絡。本文算法拋棄原有候選框的設計思想，參考目標檢測中的邊界框回歸和中心點置信度估計等回歸方式，并引入了基于注意力機制的變換網絡方法，在傳統相關操作的基礎上，對于特征提取網絡中不同層的特征圖進行編碼和解碼操作。

根據主流目標跟蹤測試數據集上的測試結果，本文網絡相較于主流的孿生網絡在復雜場景、目標快速移動和目標遮擋等場景下，跟蹤精度上具有一定優勢，通過相同訓練參數設置的消融實驗，驗證了本文算法各功能模塊的有效性。

本文算法在跟蹤成功率上，相較于其他基于注意力和變換網絡的目標跟蹤算法還有一定差距，下一步將繼續針對特征融合部分進行改進，提高網絡跟蹤成功率和網絡運行效率，以滿足更多的應用場景。