帶旋轉與尺度估計的全卷積孿生網絡目標跟蹤算法

姬張建，任興旺

（1.山西大學計算機與信息技術學院，太原 030006；2.山西大學大數據科學與產業研究院，太原 030006）

（*通信作者電子郵箱jizhangjian@sxu.edu.cn）

0 引言

目標跟蹤是計算機視覺領域中一個重要的研究課題，在機器人運動路徑規劃、汽車輔助駕駛以及軍事目標追蹤等方面有著廣泛的應用，進而得到了越來越多專家學者的關注［1-2］；但是在真實場景中面臨的各種挑戰，如復雜的背景、光照變化、目標物被遮擋以及運動物體的旋轉尺度變化等，嚴重影響現有目標跟蹤算法的性能，使得如何準確地對目標進行跟蹤成為研究難題。

目前常見的目標跟蹤算法可分為兩類：基于相關濾波框架的跟蹤算法和基于深度孿生網絡框架的跟蹤算法。相關濾波算法主要應用于信號處理領域，用來描述兩個信號之間的相關性，目標跟蹤的過程同樣可視為模板與待搜索區域間相關性的計算。Bolme 等［3］首次將相關濾波思想引入到目標跟蹤任務中，提出了基于平方誤差最小和濾波器的跟蹤算法，實現了每秒600 多幀的跟蹤速度，但跟蹤性能較差。之后為了提高算法的魯棒性，文獻［4］將表征能力更強的梯度直方圖（Histogram of Oriented Gradients，HOG）特征［5］引入到相關濾波跟蹤模型中實現了更好跟蹤性能的核相關濾波（Kernelized Correlation Filters，KCF）算法；然而，該算法僅限于估計目標的平移運動，當目標發生較大的尺度變化時跟蹤性能很差。Danelljan 等［6］將深度特征引入跟蹤模型中，提出了一種高效的卷積操作（Efficient Convolution Operators for tracking，ECO）算法。由于相關濾波本身缺少對尺度變化的估計能力，文獻［7］使用可分離的尺度濾波器來估計目標的尺度提出帶尺度估計的算法DSST（Discriminative Scale Space Tracker）。文獻［8］則采用多尺度搜索策略SAMF（Scale Adaptive with Multiple Features tracker）解決了傳統的相關濾波跟蹤器不能解決被跟蹤目標尺度變化的問題。為了解決現有的目標跟蹤器不能適應運動目標旋轉的問題，Li 等［9］在相關濾波跟蹤模型下引入對數極坐標系下的譜相關算法用于旋轉估計，雖然該算法對旋轉目標的跟蹤有一定的適應性，但由于其結果是譜相關與相關濾波模型聯合訓練實現，故對其他如孿生網絡等跟蹤模型不具備良好的遷移性。另一種主流目標跟蹤算法是基于深度孿生網絡框架的模型，該結構最早由Chopra 等［10］用來比較兩組數據之間的相似性。而Bertinetto 等［11］則開創了將孿生網絡應用到目標跟蹤的先河，提出利用全卷積孿生網絡（Fully-Convolutional Siamese networks，SiamFC）計算模板與搜索區域之間的相似度實現目標的跟蹤，取得了較好的性能；但SiamFC 算法沒有用回歸去調整候選框的位置，且需要多尺度測試來估計跟蹤框的大小，破壞了模型的優雅性。為了解決這個問題，Li 等［12］在孿生網絡的基礎上引入了區域建議網絡［13］，提出了區域建議孿生網絡（Siamese Region Proposal Network，SiamRPN）模型，能更好地適應被跟蹤目標的尺度變化；但沒能解決具有旋轉變化的目標跟蹤問題。Wang 等［14］提出的SiamMask 算法則將目標分割子任務引入到孿生網絡結構中，在實現目標跟蹤的同時進行目標分割。

為了解決現有基于孿生網絡的跟蹤算法不能準確地跟蹤具有旋轉變化的目標問題，本文提出一種帶旋轉與尺度估計的SiamFC 跟蹤算法。在SiamFC 算法跟蹤定位基礎上，將目標搜索區域從笛卡兒坐標系轉換到對數極坐標系下，利用核相關濾波器估計平移量，進而獲得目標的旋轉角度和尺度，并對SiamFC 的初始跟蹤結果的目標位置和區域進行修正得到最終的跟蹤結果，極大地提高了SiamFC 跟蹤模型的準確率和成功率。

1 相關理論

目標跟蹤任務實現的過程可視為：根據待跟蹤視頻序列所給定初始幀中目標狀態，預測后續幀中該目標的區域位置信息。SiamFC 算法首次將孿生網絡模型應用于單目標跟蹤任務中，通過利用大量數據訓練獲得的孿生網絡來提取模板與搜索區域的深度特征，計算二者之間的相似度實現跟蹤；但是當被跟蹤目標發生尺度或旋轉變化時，SiamFC 算法的跟蹤結果不能精確地擬合目標區域。因此，本文在全卷積孿生網絡基礎上引入了尺度與角度估計模塊來提升算法性能。

1.1 SiamFC跟蹤模型

SiamFC 算法作為基于孿生網絡跟蹤模型的典型代表，實現過程可分為訓練與跟蹤兩個階段。該算法的結構示意圖如圖1所示。

圖1 SiamFC算法結構示意圖Fig.1 Schematic diagram of SiamFC algorithm architecture

圖1中：z表示從初始幀摳出的目標模板，x為表示從后續幀摳出的包含目標的待搜索區域。特征提取網絡采用卷積神經網絡（Convolutional Neural Network，CNN）［15］作為骨架網絡，去掉原始的池化層和全連接層，引入批歸一化（Batch Normalization，BN），得到全卷積網絡結構。

孿生網絡以圖像對(z，x)作為輸入，利用卷積神經網絡fρ(?)提取相應的特征圖，則得分圖可表示為：

其中：?表示卷積操作；b表示偏置向量。對于目標跟蹤而言，得分圖的最大值位置即為目標在當前幀中的位置。

為了實現這個目的，首先需要從訓練視頻中搜集大量的圖像樣本對(zi，xi)離線訓練網絡模型，每一個樣本對都有一個真實的空間標簽圖Yi∈{1，-1}，在空間標簽圖中，真實的目標位置為正類，其他所有位置都是負類。為了訓練模型，需要在整個訓練集上利用隨機梯度下降算法最小化元素級的Logistic損失L(?)，相應的優化目標函數為：

其中：ωρ表示學習的孿生網絡模型參數。

在目標跟蹤階段，以前一幀的目標位置為中心摳出搜索圖像，利用訓練好的網絡模型fρ(?)提取搜索圖像的特征圖，通過式（1）計算得分圖g(?)。為了得到更精確的目標位置，需要利用式（3）對得分圖進行雙三次插值得到上采樣的結果：

其中：p為插值后的點；pij分別表示p點周圍16個點的坐標；βij表示插值參數。經插值變換后得分圖的最大值所處的位置作為目標位置。

1.2 相關濾波算法模型

在傳統的相關濾波模型中，每一個訓練樣本z由從初始圖像幀摳出的圖像區域I∈RM×N提取的d維特征圖構成。在每 一個空間位置(m，n) ∈Ω：={0，1，…，M-1}×{0，1，…，N-1}，都有一個d維的特征向量z(m，n) ∈Rd。對于訓練樣本z的每一個位置z(m，n) ∈Rd，都有一個期望的輸出值y(m，n)。那么，可通過最小化下面的損失函數（4）得到關于訓練樣本z∈RM×N×d對應的每一層濾波器wl（l∈{1，2，…，d}）：

其中：?表示循環卷積操作；λ≥0為正則化參數。式（4）是一個線性嶺回歸問題，為了求解它，采用帕薩瓦爾公式，它能被轉換到傅里葉域上并獲得下面形式的封閉解：

其中：Zl、Y分別表示zl、y的離散傅里葉變換；分別表示wl、zl的離散傅里葉變換的復共軛。

在目標跟蹤階段，當獲得了每一層的濾波器wl后，以xl∈RM×N表示從當前幀中的目標搜索圖像區域提取的第l∈{1，2，…，d}層的特征圖，那么相應的得分圖可通過式（6）計算得到：

其中：Xl表示xl的離散傅里葉變換；F-1(?)表示離散傅里葉變換的逆變換。得分圖g的最大值所處的位置即為待跟蹤目標在當前幀中的位置，這一濾波實現過程如圖2所示。

圖2 相關濾波示意圖Fig.2 Schematic diagram of correlation filtering

1.3 對數極坐標變換下的尺度和旋轉估計

對數極坐標圖像的應用，來源于對生物視網膜生理結構所獲得的靈感，作為一種尺度與旋轉估計的算法常被應用于圖像處理領域［16］。圖3展示了圖像在笛卡兒坐標系和對數極坐標系之間變換的基本原理，左圖中的圓環線與直線分別對應右圖中的豎線與橫線。

圖3 對數極坐標變換示意圖Fig.3 Schematic diagram of log-polar transformation

圖3左圖中的笛卡兒坐標系定義為：

其中：i 表示復數的虛單位。以中心點(u0，v0)為原點，將笛卡兒坐標系任意一點坐標(u，v)，變換到對數極下的坐標(s，θ)的表達式為：

若將圖像I(u0，v0)以(u0，v0)為原點旋轉Δθ，同時尺度變化Δs，那么變化后的圖像在對數極坐標系下可表示為：

其中：I′表示對數極坐標系下的圖像；(s，θ)和(s′，θ′)分別表示變化前后圖像I(u，v)在對數極坐標系下的坐標。由此可知，圖像在笛卡兒坐標系下的旋轉和尺度變化等價于對數極坐標系下的平移變化。

基于這一性質，可以在對數極坐標系下利用相關濾波估計被跟蹤目標的旋轉和尺度變化。若zlp表示訓練樣本z在對數極坐標系下的特征圖，那么根據式（11）可得到對數極坐標系下傅里葉域上的每層濾波器，即：

進而可通過得分圖glp最大值所處的位置相對于中心位置的偏移量估計被跟蹤目標的尺度和旋轉變化。若在當前幀橫坐標的偏移量為Δs，縱坐標的偏移量為Δθ，那么在當前幀目標的尺度大小和旋轉角度可表示為：

其中：α、θ表示目標在前一幀中尺度大小和旋轉角度；α′、θ′表示在當前幀中目標的尺度大小和旋轉角度。此外，為了適應目標的變化，本文采用線性加權的方式更新對數極坐標系下每層傅里葉濾波器

2 算法描述

本文的算法包含位置估計模塊和尺度與角度估計模塊，總體的算法流程如圖4 所示。本文算法的具體實現步驟如下：

圖4 帶旋轉與尺度估計的SiamFC算法的總體流程Fig.4 Overall flowchart of SiamFC algorithm with rotation and scale estimation

步驟1 在初始幀I0中，根據給定的目標位置p0、目標的大小以及目標初始的尺度因子α和初始旋轉角度θ，利用仿射變換摳出目標模板圖像z，并將其轉換到對數極坐標系下提取特征圖zlp，計算對數極坐標系下的傅里葉域上的每層濾波器

步驟2 在當前幀I中摳出待搜索圖像區域x0和目標模板圖像z0輸入SiamFC 模型中，得到得分圖，并根據相應得分圖最大值所處的位置估計目標在當前幀中的位置p。

步驟3 在當前幀I中，根據目標位置p和給定的目標大小和目標初始尺度因子α和初始旋轉角度θ，利用仿射變換摳出目標的待檢測圖像區域x，將其轉換到對數極坐標下提取特征圖xlp，利用相關濾波算法得到得分圖，并估計出橫縱坐標的偏移量Δs和Δθ，利用式（13）～（14）估計出目標在當前幀中的尺度因子α′和旋轉角度θ′。

步驟4 根據當前幀的目標位置p、尺度因子α′和旋轉角度θ′更新先前的相關參數，并基于更新后的參數在當前幀摳出新的目標模板圖像，轉換到對數極坐標系提取相關特征圖，更新濾波器。

步驟5 返回執行步驟2，直至序列結束。

3 實驗與分析

實驗運行環境：內存為8 GB，CPU 為Intel 酷睿i7 處理器，主頻為3.6 GHz。

特征表示：在本文的相關濾波模型中，使用31 維的HOG特征，該特征采用的元胞大小為4 × 4。

實驗數據集：選取了兩個目標跟蹤數據集POT（Planar Object Tracking in the wild）和OTB2015（Visual Tracker Benchmark 2015）。其中POT數據集包含30組視頻序列，涵蓋了尺度變化（Scale Change，SC）、目標旋轉（Rotation，RT）等目標跟蹤任務中常見的7種挑戰；OTB2015數據集包含100組真實跟蹤場景中可遇到的目標尺度變化、遮擋、運動模糊以及快速運動等情形的視頻序列。

3.1 評價指標

目標跟蹤通常采用精確率與成功率來評價跟蹤算法的性能，本文沿用POT 數據集中的對準誤差eAL（ALignment error）作為精度評價指標，選擇單應性差異S（Homography discrepancy）作為準確率評價指標［17］，表達式分別如下：

3.2 實驗結果

3.2.1 POT數據集實驗結果

本文選取了ECO-HC、SiamFC、SAMF、DSST、KCF 和SiamMask 與本文提出的算法模型在POT 數據集上進行了對比實驗。其中，ECO-HC為ECO算法未使用深度特征的版本。

表1 展示了每個算法在目標旋轉、尺度變化和綜合因素挑戰下的跟蹤成功率與準確率的比較結果，以及各個算法在POT 數據集上的平均幀率；表2 展示了本文提出的算法與原始SiamFC 算法在POT 數據集上7 種不同挑戰情形的實驗結果。圖5（a）給出了不同算法在POT 數據集所有序列上獲得的準確率和成功率曲線；圖5（b）顯示了在POT 數據集中只包含目標旋轉序列的跟蹤結果；圖5（c）為在POT 數據集上僅包含尺度變化序列的跟蹤結果，其中準確率性能以對準誤差閾值tp=20 時的準確率大小排名，成功率按單應性閾值ts=10時的成功率值的大小進行排名。

圖5 多種算法在POT數據集成功率與準確率曲線Fig.5 Curves of success rate and accuracy of several algorithms on POT dataset

從表1 可以看出，本文提出的算法在POT 數據集上跟蹤成功率與準確率分別達到了51.8%和53.3%，尤其在含有旋轉的序列上跟蹤成功率與準確率更是達到了75.9%和85.9%，明顯優于其他幾種跟蹤算法。雖然在尺度序列上的性能不及ECO-HC 和DSST（主要原因在于這兩種算法采用了多尺度特征融合，對尺度變化采樣更精細），但本文算法不需要在很多尺度上進行特征提取，故對尺度的估計效率也更高。以V02-2 為例，本文算法估計每幀目標尺度的時間開銷僅為0.75 ms，而ECO-HC 用時約為1.5 ms。從表3 可以看出，本文算法的幀率為3.271 frame/s，相較于SiamFC算法雖略有下降，但精度卻得到了較大的提升；效率不及其他算法的原因在于只有本文的模型與SiamFC 算法使用了深度神經網絡，但是為保證對比實驗的公平性，所有實驗均在CPU 環境下進行，而CPU極大地限制了基于深度神經網絡模型性能的發揮。

表1 多種算法在POT數據集上的成功率和準確率比較Tab.1 Comparison of success rate and accuracy of several algorithms on POT dataset

表2 改進前后的SiamFC算法在POT數據集上7種挑戰下的成功率與準確率Tab.2 Comparison of success rate and accuracy of SiamFC algorithms before and after optimization in 7 challenges on POT dataset

表3 多種算法在POT數據集上的幀率比較Tab.3 Comparison of frame rate of several algorithms on POT dataset

從表2 結果可知本文算法在多個挑戰因素上均優于SiamFC 算法的結果，在綜合挑戰序列中成功率與準確率提升了13.5 個百分點和13.4 個百分點；尤其在旋轉序列上，性能顯著優于SiamFC 算法，充分驗證了本文算法在估計目標旋轉方面的有效性。鑒于SiamMask 算法是采用分割掩模獲得帶旋轉的矩形跟蹤框，無法提供幀間連續的角度變化信息，不能采用POT數據集上所提出的評價指標比較它和本文提出的算法的性能，故而采用目標跟蹤任務中常用的評估指標（中心點誤差和交并比）比較兩者的性能，相關閾值參數分別設定為20和0.5，實驗結果如表4。

表4 本文算法與SiamMask算法成功率與準確率對比結果Tab.4 Comparison result of success rate and accuracy of the proposed algorithm and SiamMask algorithm

由表4 結果可以看出，在POT 全部數據集上，本文提出的算法與SiamMask算法相比，在成功率上僅低2個百分點，而在精度上卻高5 個百分點。特別是對于包含尺度和旋轉變化的序列，本文算法在成功率和精度上都明顯優于SiamMask。此外，SiamMask 中引入的像素分割模塊會嚴重降低該算法的效率，而本文提出的算法采用對數極坐標系下的相關濾波模型估計尺度和角度變化，基本不會增加額外的計算開銷。

3.2.2 OTB2015數據集實驗結果

在OTB2015 數據集上，選取ECO-HC、DSST、SiamFC、KCF和Struck（Structured output tracking with kernels）［18］共5種相關的跟蹤算法與本文算法進行比較，準確率曲線與成功率曲線如圖6所示。從圖6中所展示的實驗結果可以看出，本文提出的算法性能僅次于ECO-HC 算法，優于SiamFC 和其他幾種跟蹤算法。但與SiamFC 算法相比，本文提出的算法在OTB2015數據集上的性能提升不及POT 數據集上那么顯著，主要原因在于OTB 數據集上采用平行于坐標軸的矩形框作為理想的跟蹤框，而由此產生的標定誤差會嚴重影響算法的性能。

圖6 OTB2015數據集上的成功率與準確率曲線Fig.6 Curves of success rate and accuracy of several algorithms on OTB dataset

3.3 實驗結果可視化表示

表5 給出了POT 中V09_2 序列部分幀關于目標位置、尺度和旋轉角度的跟蹤估計結果與相應的真實值比較結果，其中位置用目標中心點的坐標表示，尺度與角度以第一幀為基準來比較，且以逆時針旋轉為負。在圖7中，根據OTB2015數據集中Crossing 和Crowds 序列的跟蹤結果繪制相應的目標運動軌跡圖。此外，本文也在POT 和OTB2015 兩個數據集上定性比較了KCF、SiamFC 及本文算法的性能。從圖8 給出的結果可以看出，本文提出的算法在包含尺度變化和旋轉變化的序列上得到的跟蹤框更精確。

表5 VO9_2序列的部分幀中目標位置、尺度與旋轉角度Tab.5 Object positions，scales and rotation angles in some frames of V09_2 sequence

圖7 目標的跟蹤軌跡圖Fig.7 Tracking trajectory of object

圖8 三種跟蹤方法在部分數據上的可視化結果Fig.8 Visualization results of three tracking methods on some data

4 結語

本文針對SiamFC 模型在目標存在旋轉和尺度變化的情況下跟蹤不精確的問題，提出以SiamFC 模型得到目標的位置為基礎，將待搜索的圖像區域轉換到對數極坐標下，利用相關濾波模型估計目標的尺度和旋轉角度，構建了一個能同步估計被跟蹤目標的位置、尺度和旋轉角度的目標跟蹤模型。與SiamFC 算法相比，該算法在跟蹤成功率與準確率上都有較大的提升，但仍有進一步提升的空間，下一步我們打算從以下兩個方面著手提升算法的性能：1）因本文提出的旋轉、尺度估計模型具有很好的移植性，可將其與性能更好的孿生網絡跟蹤模型相結合來提升算法的整體性能；2）本文所提出的旋轉、尺度估計模型與孿生網絡定位模型相獨立，而且僅選取了HOG特征用于旋轉與尺度的估計，我們擬將其與定位模塊統一訓練，利用深度學習網絡構建統一的位置、尺度與旋轉角度同步估計的孿生網絡，以獲得更好的跟蹤結果。