基于孿生網絡的雙分支目標跟蹤算法

施 立，許建龍

（浙江理工大學 信息學院，浙江 杭州 310018）

0 引言

在計算機視覺領域，實時目標跟蹤是一個極具挑戰性的難題。區別于目標檢測問題，目標跟蹤給出一組圖像序列初始幀任意目標的邊界框，需要在后續幀中標出目標位置。高性能跟蹤算法在視頻監控、自動駕駛、人機交互等多個領域都有重要作用，然而真實場景中往往存在尺度變化、遮擋、背景雜亂等復雜條件干擾，設計一個能應用于工業領域的強魯棒性實時跟蹤算法具有很大難度［1，2］。

目前有兩種目標跟蹤算法框架受到普遍認可。基于相關濾波（Correlation Filter，CF）的跟蹤算法在2010 年由Bolme 等［3］提出，其通過計算最小平方誤差濾波（Minimum Output Sum of Squared Error filter，MOSSE），根據輸入圖像訓練相關濾波器，在后續幀中通過計算圖像與濾波器的響應確定跟蹤目標所在位置。考慮到MOSSE 沒有充分利用樣本結構信息，同時缺乏高效密集采樣策略，Henriques等［4］提出循環位移密集采樣策略，同時使用核函數將問題映射到高維空間，并使用核戲法簡化計算。為增強特征表達能力，Henriques 等［5］利用多通道HOG 進行特征表達，并利用對角化技術進一步優化計算過程；Danelljan 等［6］引入多通道顏色特征（Color Name，CN）并使用PCA 降維提取有效特征，提升了算法對形變目標的魯棒性。

近年來，得益于深度學習領域的快速發展，深度特征憑借其優秀的表達能力逐漸取代手工特征，但深度特征在提升模型準確度的同時也增加了計算量，為基于深度學習的目標跟蹤算法達到實時標準增加了難度。一種新穎的孿生網絡使用共享權值的兩個神經網絡分別學習目標特征與搜索圖特征，然后將跟蹤視作相似性匹配問題，基于孿生網絡的目標跟蹤算法憑借其優異的跟蹤性能吸引了大量業內學者關注。Tao 等［7］提出利用孿生網絡模型離線學習匹配函數，然后對初始幀目標與后續幀候選樣本進行相似度計算；Bertinetto 等［8］將互相關引入全卷積孿生網絡，該算法不需要選取與模板同樣大小的候選塊，而是直接通過較大尺寸的搜索圖特征與較小尺寸的模板特征進行互相關產生響應圖以求得目標位置。最近，文獻［9-13］利用孿生網絡提取目標特征，然后利用目標檢測領域的區域生成網絡（Region Proposal Network，RPN）［14］確定最終目標邊界框。文獻［15］研究了深層與淺層特征的特性，以及它們對跟蹤準確性和魯棒性的影響，并指出深層特征能有效描述具有外觀和雜亂不變性的高級語義信息，增強算法魯棒性，而淺層特征能有效描述用于目標精準定位的低級外觀信息。全卷積孿生網絡目標跟蹤算法SiamFC 未考慮深層與淺層特征各自的特點，僅使用網絡最終輸出對目標進行表達，難以發揮深度網絡的全部價值。其簡單地將目標跟蹤視作相似性學習問題，忽視了不同跟蹤場景下目標的變化，難以平衡特征表達的魯棒性與判別性。

為解決上述問題，本文提出一種基于孿生網絡的雙分支目標跟蹤算法，兩個分支分別利用深度網絡深層、淺層的特征優勢，對目標語義信息和外觀信息進行描述。此外，語義分支還通過引入注意力模塊加強對目標區域的編碼，降低背景區域干擾，最終融合獨立訓練外觀分支與語義分支的響應結果以提升跟蹤算法性能。

1 算法建立

本文提出一種基于孿生網絡的雙分支目標跟蹤框架，網絡包含提取淺層低級信息的外觀分支與提取深層高級信息的語義分支。兩個分支均使用VGG-16［16］作為主干網絡，其中語義分支通過引入殘差注意力模塊增強目標表達，同時減少背景雜亂影響，最終通過加權融合兩個分支生成的響應圖實現魯棒的目標跟蹤。

1.1 雙分支網絡結構

雙分支網絡結構如圖1 所示。網絡輸入分別為從初始幀裁剪的目標圖像z和從當前待跟蹤幀裁剪的搜索區域圖像X，其中目標圖像z的尺寸為Wz×Hz×C，搜索區域圖像X的尺寸為Wx×Hx×C。

Fig.1 Two-branch network structure圖1 雙分支網絡結構

1.1.1 外觀分支

將圖像對(z,X)輸入外觀分支，外觀分支對圖像提取特征得到特征圖(φɑ(z),φɑ(X))，其中φɑ(·)表示外觀分支的特征映射，然后通過相似度計算得到外觀分支響應圖為：

式中，g(·)為相似性度量。

然后使用logistic 損失表示訓練樣本的分類誤差：

式中，v為候選位置響應值，y表示真實標簽，取值為{+1,-1}。基于網絡全卷積特性，僅對模板和搜索圖求響應就能得到每個候選位置的響應值，然后對所有候選位置損失求平均得到響應圖損失為：

每個候選位置的真實標簽y[u]取值為{+1,-1}，u∈D表示響應圖上每個點的位置，其中u與響應圖中心的距離小于一定閾值時，標記該樣本為正樣本；如果距離大于該閾值，則標記為負樣本。通過隨機梯度下降（SGD）求解外觀分支的網絡參數θα為：

1.1.2 語義分支

將(z,X)輸入語義分支，語義分支對圖像提取特征得到特征圖(φs(z),φs(X))，其中φs(·)表示語義分支特征提取模塊的特征映射。考慮到使用高級特征信息的語義分支對外觀變化有強魯棒性，但面對背景雜亂的復雜場景時效果較差，因此在語義分支中添加殘差注意力模塊以增強該分支的判別能力［17］。傳統殘差結構直接與掩膜進行點乘，會導致特征值損失。為此，本文以恒等映射方式構建軟掩膜部分，避免了注意力模塊中目標特征值的損失。得到的殘差注意力模塊輸出為：

式中，M(z)為掩膜部分輸出，大小在0～1 之間。當掩膜部分輸出M(z)接近于0 時，H(z)近似等于特征提取模塊輸出特征φs(z)。通過添加上述殘差注意力模塊，使得初始特征的良好結構得以保持，同時有效增強了語義分支對目標的注意力。得到語義分支注意力感知特征后，通過相似度計算得到語義分支響應圖為：

通化最小化損失計算得到最終語義分支的網絡參數為：

式中，θs表示語義分支待訓練的網絡參數。

在跟蹤階段，通過對外觀分支和語義分支各自輸出的響應加權融合得到最終響應圖：

式中，參數λ為平衡外觀分支與語義分支的加權參數，λ越接近1 表示跟蹤過程中目標外觀越趨于穩定，λ越接近0 表示跟蹤過程中目標外觀越趨于發生較大變化。通過求得最終響應圖h(z,X)中最大值對應的坐標，即可確定跟蹤目標在搜索圖像中的位置。

1.2 殘差注意力結構

殘差注意力結構的輸入為主干網絡從跟蹤目標中提取的深層特征。在殘差注意力結構中，掩膜分支首先通過前饋網絡結構掃描并整合圖片全局信息，快速增大感受野；然后通過自頂而下的網絡結構將全局信息與原始特征圖結合；最后通過softmax 層將輸出歸一化到（0，1），通過掩膜分支對主分支的加權，得到注意力感知的目標特征。由于注意力感知模塊僅應用于初始幀，實驗過程中對后續幀目標跟蹤的速度不受計算復雜度的影響。

2 實驗結果與分析

實驗平臺的處理器為Inter Core i7-8750H，主頻為2.20GHz，內存為8GB。實驗時使用CUDA 進行GPU 加速，GPU 型號為NVIDIA GeForce GTX 1060。程序實現語言為Python，使用PyTorch 作為深度學習框架。

為驗證算法有效性，選擇在流行跟蹤數據集OTB2015上進行實驗。OTB2015 包含100 個目標跟蹤圖像序列，每個圖像序列被標記了不同屬性，對應目標跟蹤領域的不同難點，包括光照變化（Illumination Variation，IV）、尺度變化（Scale Variation，SV）、遮擋（Occlusion，OCC）、變形（Deformation，DEF）、運動模糊（Motion Blur，MB）、快速移動（Fast Motion，FM）、平面內旋轉（In-Plane Rotation，IPR）、平面外旋轉（Out-of-Plane Rotation，OPR）、離開視野（Out-of-View，OV）、背景雜亂（Background Clutters，BC）和低分辨率（Low Resolution，LR）。通過在不同屬性圖像序列上進行算法驗證，可評估跟蹤算法在不同復雜場景時的跟蹤效果。

將本文算法模型與近年熱門的6 種跟蹤算法進行比較，包 括SAMF［18］、DSST［19］、KCF［5］、Staple［20］、SiamFC［8］、BACF［21］。以下從定性、定量兩個方面進行對比分析。

2.1 定性分析

圖2（彩圖掃OSID 碼可見）給出了本文算法與6 種對比算法在OTB2015 數據集上的部分跟蹤結果。表1 列出了本文測試圖像序列中包含的影響因素。

Fig.2 Comparison of partial tracking results between algorithm of this article and other six algorithms圖2 本文算法與6 種對比算法部分跟蹤結果比較

Table 1 Influencing factors included in the test image sequence表1 測試圖像序列包含的影響因素

圖像序列Basketball 展示的是籃球比賽。跟蹤目標為一名球員，攝像機拍攝的籃球比賽視頻中球員間經常出現互相遮擋或粘連的情況，這也是跟蹤難點。從第606 幀開始，跟蹤目標周圍相似擾亂增多，在631～665 幀之間，目標與相似擾亂之間發生了嚴重重疊，DSST、Staple 和SiamFC算法出現了誤跟現象，而本文算法仍能準確框定目標，表明其判別性增強，在面對雜亂背景時仍能確保準確跟蹤。

圖像序列Human9 展示的是攝像頭下步行的行人。行人從鏡頭前向遠離鏡頭的方向運動，并多次經過樹陰，跟蹤難點主要在于目標尺度與光照變化。由于目標在攝像場景中的相對位置沒有發生很大改變，大部分算法計算出的邊界框都能框住目標。但相較于其他算法，本文算法計算出的邊界框與人工標注真實邊界框之間的交并比更大，跟蹤結果更為精確，表明本文跟蹤算法對目標尺度變換具有更好的處理能力。

圖像序列Ironman 展示的是運動攝像頭下機甲頭部的運動。由于圖像分辨率較低，且場景多次發生強烈的光照變化，加之跟蹤目標多次發生平面內外旋轉，對跟蹤算法的魯棒性提出了較高要求。從圖2 中可以看到，在目標發生多次旋轉變換后，大部分跟蹤器都丟失了跟蹤目標，而本文算法不僅成功跟蹤了目標，還保證了較高準確性。本文算法中的語義分支對魯棒性有很大提升，在跟蹤目標外觀發生變化時仍能實現較好跟蹤效果。

圖像序列MotorRolling 展示的是山地車比賽項目。在圖像序列中，隨著目標運動，背景亮度不斷發生變化，加之目標一直處于高速運動狀態，導致圖片序列出現嚴重模糊，加大了跟蹤難度。在該條件下，傳統濾波類算法無法生成有效濾波器，而本文算法通過殘差注意力模塊提取的目標感知特征成功對目標外觀進行了表達，最終得到的跟蹤結果明顯優于其他算法。

2.2 定量分析

使用一次性通過評估（OPE）方法在OTB2015 數據集上對本文算法與其余6 種對比算法的性能進行了整體評估，根據實驗數據繪制的成功率曲線和精度曲線如圖3 所示。從圖中可以看出，本文算法的性能明顯優于其他算法，與基準算法SiamFC 相比，成功率提升了8.2%，精度提升了10.2%。為進一步分析本文算法的優缺點，表2、表3 列出了基于不同屬性圖像序列下各種算法的跟蹤精度與成功率。結果表明，本文算法在除背景雜亂屬性以外的復雜跟蹤場景中跟蹤成功率與準確率均為最佳，具有較好的目標跟蹤性能。

Fig.3 Success rate and accuracy curve on OTB2015 dataset圖3 OTB2015 數據集上的成功率與精度曲線

Table 2 Comparison of tracking success rate of algorithms under different attributes表2 不同屬性下算法跟蹤成功率對比

Table 3 Comparison of tracking accuracy of algorithms under different attributes表3 不同屬性下算法跟蹤精度對比

3 結語

本文針對復雜場景下跟蹤魯棒性差的問題，提出一種融合注意力機制的雙分支孿生網絡結構，通過利用不同層次特征充分發揮深度特征的能力，同時在語義分支中嵌入殘差注意力結構進一步提升算法的特征表達能力。然后，在流行跟蹤數據集OTB2015 上對算法跟蹤性能進行評估，結果表明，本文算法能有效提高跟蹤成功率與準確率，跟蹤性能優秀。但本文算法在背景干擾的復雜場景下跟蹤性能還有待提高，如何將背景信息納入考慮范圍，以減少跟蹤過程中相似目標的干擾，將是下一步的研究重點。