一種多分辨率在線選擇分支的單目標跟蹤方法*

楊大為，張宇堃，尉晨陽

（沈陽理工大學信息科學與工程學院，沈陽 110159）

1 引言

視覺目標跟蹤是指對圖像序列中的運動目標進行檢測、提取、識別和跟蹤，獲得運動目標的運動參數，如位置、速度、加速度和運動軌跡等，從而進行下一步的處理與分析，實現對運動目標的行為理解，供更高一級的檢測任務使用。這其中要運用到孿生網絡，其結構具有兩個輸入，一個是作為基準的模板，另一個是要選擇的候選樣本。在單目標跟蹤任務中，作為基準的模板作為要跟蹤的對象，通常選取的是視頻序列第一幀中的目標對象；而候選樣本則是之后每一幀中的圖像搜索區域。孿生網絡要做的就是找到之后每一幀中與第一幀中的范本最相似的候選區域，即為這一幀中的目標，實現目標的跟蹤。

SiamFC算法[1]的網絡結構就是孿生網絡，其骨干網絡主要使用的是淺層的Alexnet網絡[2]，但跟蹤效果并不是很理想。在此做出改進設計，以SiamFc算法為基礎，以深層網絡Resnet-50作為骨干網絡，并采用具有在線分支選擇機制的多個網絡分支架構。這種改進有如下特點：首先，在Siamese網絡的基礎上，以深層網絡Resnet-50作為骨干網絡實現對目標圖像更深層次的特征提取，增加了其外觀表示的魯棒性；其次，為了充分利用不同的分支，提出一種有效的通用分支選擇機制，根據分支的區分能力動態選擇分支；第三，在多分支和分支選擇機制的基礎上，提出了一種新的深度學習跟蹤方法，實現了實時跟蹤，提高了跟蹤性能。

2 相關工作

2.1 基于Siamese孿生網絡的跟蹤器

在跟蹤任務中，需要跟蹤的目標是通過起始幀的選擇框給出的。由于被跟蹤目標的不確定性，無法做到提前準備好數據，并且訓練出一個具體的detector。過去幾年出現的TLD[3]、Struck[4]和KCF[5]等優秀算法，由于上述原因，用于跟蹤的模型往往是一個簡單模型，通過在線訓練，來進行下一幀的更新。Siamese網絡提出使用相似性學習來解決跟蹤問題，通過學習深度嵌入函數，評估樣本圖像patch與搜索區域內候選patch之間的相似性，最終選擇相似性分數最高的patch作為跟蹤結果。SiamFC開創性地提出一個全卷積的Siamese網絡，使用Siamese架構解決了與深度CNNs的相似性學習。全卷積網絡的優點是待搜索圖像不需要與樣本圖像具有相同尺寸，可以為網絡提供更大的搜索圖像作為輸入，在密集網格上計算所有平移窗口的相似度。由于該方法不需要在線訓練，實時跟蹤更加方便。

2.2 Resnet深度神經網絡

Resnet網絡又稱為深度殘差網絡，是由何明凱博士提出的。從經驗來看，網絡的深度對模型的性能至關重要，當增加網絡層數后，網絡可以進行對更加復雜的特征模式的提取，所以當模型更深時理論上可以取得更好的結果。目標可能出現在搜索區域的任何位置，因此目標模板的學習特征表示應保持空間不變，然而ResNet網絡中都會有Padding操作，會影響算法的平移不變性，使得網絡更加關注圖像中心。在現代深層體系結構中，只有AlexNet的零填充變體滿足此空間不變性的限制。因此在此通過均勻分布的采樣策略讓目標在中心點進行偏移，以緩解ResNet網絡因為破壞了嚴格平移不變性帶來的影響，即消除了位置偏見，讓有padding的更深層網絡可以應用到跟蹤算法中。

2.3 多分支跟蹤框架

在目標跟蹤過程中，固定的圖像特征表示是比較單一的，深度網絡中每層卷積獲取的特征是有區別的，因此在此使用多分辨率方法來獲取多個不同的特征圖，并通過在線選擇分支，選擇特征圖得分最高的分支。多分辨率方法即為上下文相關，許多跟蹤算法中使用過類似的方法。TRACA[6]即是一個多分支跟蹤器，它利用多個專家自動編碼器（expert auto-encoders）對原始深度卷積特征進行魯棒壓縮。由于每個編碼器是根據不同的上下文訓練的，所以它執行上下文相關的壓縮。其他的還包括：MDNet[7]，它由共享層和特定層的多個分支組成；BranchOut[8]，它使用一個CNN作為目標表示，有一個通用的卷積層和多個完全連接層的分支，允許在每個分支中使用不同數量的層來維護目標外觀的可變抽象級別。上述這些多分支跟蹤器的一個共同點是：利用不同的特征表示構建一個魯棒性強的跟蹤器。此處改進設計的網絡架構由多個分支組成，這些分支分別進行離線訓練，專注于不同類型的CNN功能，其所實現的框架中還使用了Resnet-50分支來實現圖像的分類。在這樣的多分支框架中，在不同場景中訓練的分支的組合可以確保更好地使用不同的多分辨率特征表示。

2.4 在線分支選擇

不同的模型對不同的跟蹤目標在不同的尺度、旋轉、光照等條件下產生不同的特征圖。將所有可用的特征圖都用于單個對象跟蹤既沒有效率也沒有效果。BranchOut隨機選擇一個分支進行模型更新，使學習到的目標外觀模型多樣化。MDNet從預訓練中學習領域無關的表示，并通過在線學習識別分支。在此改進設計的在線分支選擇機制，則是分析了每個分支的特征表示，從而在每幀中選擇最健壯的分支。不同的特征表示，能夠更有效地處理對象跟蹤問題中的各種挑戰。

3 多分辨率在線選擇分支跟蹤器方法

考慮到不同神經網絡模型產生不同的特征表示，在此使用不同的CNNs分支來獲取不同的多分辨率特征表示，并使用在線分支選擇機制來選擇最具魯棒性的分支，以此獲取最佳的特征圖，提高跟蹤準確率。為達到符合設計預期的效果，需要對跟蹤方法所采用的網絡架構作全面考慮。

使用多個特征表示，這一做法被證明對目標跟蹤是有益的，不同的CNNs可以提供不同的特征表示，鑒于此，在此改進設計的方法中，集成了Siamese網絡Se，它包括Ns個上下文相關的分支以及一個Resnet-50分支，可簡單記為：Se＝Ns+1。上下文相關的分支具有與SiamFC完全相同的結構；除此之外的另外一個分支則是Resnet-50網絡。該跟蹤器方法的網絡架構如圖1所示。

圖1 本跟蹤方法的網絡架構圖

輸入包括從第一個視頻幀裁剪的目標patch和當前幀中包含搜索區域的另一個patch。目標patch z的大小為Wz×Hz×3，對應于圖像patch的寬度、高度和顏色通道數。搜索區域x的大小為Wx×Hx×3（Wz

本方法使用上下文相關的Nc分支和一個通用分支即Ns＝Nc+1。所有這些分支都具有與SiamFC網絡相同的結構。

上下文相關的分支通過以下三個步驟進行訓練：首先，在視頻數據集上訓練基本的孿生網絡，保留基本的孿生網絡作為總分支；然后，在視頻數據集的低層的特征圖上執行上下文聚類，以發現Nc上下文相關的聚類；最后，使用Nc集群來訓練由基本Siamese網絡初始化的Nc上下文相關的分支，這些分支以(z,X)作為輸入并提取它們的特征映射，至此，使用一個互相關層，結合它們的特征映射得到一個響應映射。

用Resnet[9]分支對映像分類任務進行預訓練，將其作為一個分支，并對網絡進行不同任務的訓練，此處對步長進行了小的修改，以確保輸出響應映射具有與其他分支相同的維度。

4 實驗與分析

為驗證本改進方法的效果，進行相應實驗。實驗選用硬件環境為：Intel Core i7-9700k，CPU@3.60 GHz，GeForce GTX 2080 GPU；軟件環境為：python3.6，CUDA9.0，CuDNN v7.6，tensorflow_gpu-1.10.0。

Resnet分支網絡為ResNet-50。現代化網絡一般都選用步長為32，但跟蹤為了定位的準確性，一般步長都比較小（Siamese系列一般都為8），所以把ResNet最后兩個block的步長去掉了，同時增加了膨脹卷積，此舉一是為了增加感受野，二是為了能利用上預訓練參數。

在跟蹤領域中，對于實驗結果的測試一般都是使用公開數據集，這樣有利于在同一數據集評價條件下對比不同方法的性能優劣程度。本實驗的主要目的是研究將多個特征表示與在線分支選擇機制相結合的效果。為此，在此使用OTB-2013、OTB-50和OTB-100三種數據集，對跟蹤框架進行消融實驗分析，結果如下表1。

表1 消融分析實驗結果

實驗結果表明，相對于基本的SiamFC跟蹤器，本改進方法跟蹤穩定性（AUC）有顯著提升。由此可見，Resnet-50網絡結構在對目標圖像的特征提取方面更加的穩定，精度更高，也說明深度神經網絡對于圖像的特征挖掘更加明顯，跟蹤結果更加準確。

本方法使用ImageNet數據集[10]進行訓練，包括4000個視頻序列和大約130萬幀，包含大約200萬個跟蹤對象，并且只考慮彩色圖像。為簡單起見，隨機挑選一對圖像，在一張圖像的中心裁掉z，在另一張圖像的中心裁掉X，圖像被縮放，使邊框加上上下文的附加邊界具有一個固定的區域。基本的Siamese分支以0.01的初始學習率訓練50個epoch。學習率在每個epoch后衰減，衰減系數為0.869。上下文相關的分支是基于10個epoch的學習率0.00001的一般分支參數進行微調的。圖2給展示出本方法在部分數據集上的跟蹤情況。表2為本方法跟蹤結果與SiamFC的對比。

圖2 ImageNet數據集部分跟蹤結果

表2 本算法跟蹤結果與SiamFC算法對比

從表2數據可直觀對比出本方法與SiamFC算法在指定評價參數上的跟蹤效果，從表中可以看出，在跟蹤精度上，本算法比SiamFC算法提高了4個百分點，失敗率下降了6個百分點，在EAO和EFO指標方面，本算法均優于SiamFC算法。

5 結束語

在線選擇多分支的目標跟蹤方法，集成多個Siamese網絡實現了目標特征代表的多樣化。使用Resnet-50深度網絡挖掘圖像更深層次的有利信息，利用在線分支選擇機制，針對目標外觀變化選擇最具區別性的分支。本方法是在SiamFC算法的基礎上，根據目標特征的多樣性所提出的，并通過對比實驗驗證了其跟蹤效果。實驗結果顯示改進的性能與標準的孿生網絡跟蹤器相比，魯棒性和準確性更加突出。