一種基于多樣性正實例的單目標跟蹤算法

張博言,鐘 勇

(1.中國科學院 成都計算機應用研究所,成都 610041； 2.中國科學院大學,北京 100049)

智能移動終端和互聯(lián)網(wǎng)的快速發(fā)展導致視頻數(shù)據(jù)呈指數(shù)級增長，為了有效地分析和利用海量的視頻數(shù)據(jù)，對連續(xù)視頻中指定的目標對象進行實時處理逐漸成為迫切需求.視頻目標跟蹤作為計算機視覺領域重要的研究方向之一，在基于海量視頻的目標識別、安全監(jiān)控、遠程醫(yī)療、無人機駕駛等場景中具有廣闊的應用前景[1-3].

國內(nèi)外學者對基于視頻序列的目標跟蹤開展了大量的研究；根據(jù)被處理對象，目標跟蹤可分為多目標跟蹤和單目標跟蹤，前者主要關注多個目標之間關聯(lián)性研究，而后者主要研究指定的單個目標的運動狀態(tài)；但二者面臨一些共同的難點，例如：運動過程中目標被遮擋、背景環(huán)境干擾以及光線強度變化等.針對單目標跟蹤，一些具有代表性的方法被相繼提出；其中，基于檢測的跟蹤方法得到廣泛地應用和研究，它將目標跟蹤視為二分類問題，使用預訓練的分類網(wǎng)絡，對每幀視頻圖像中目標物體和背景進行區(qū)分，實現(xiàn)對目標的跟蹤表現(xiàn).在基于檢測的跟蹤方法中，準確的目標表征對跟蹤結果至關重要，一些人工設計的特征被用于視覺目標跟蹤中；Henriques等提出了高速核化相關濾波器(Kernelized Correlation Filters，KCF)跟蹤算法[4]，使用方向梯度直方圖(Histogram of Oriented Gradient，HOG)特征對目標進行表征，通過多通道快速擴展使得相關濾波器對目標特征進行提取，快速確定目標坐標位置；但在目標尺度快速變化的場景中表現(xiàn)并不理想.為了克服KCF中循環(huán)矩陣導致的邊界效應問題，Danelljan等[5]對網(wǎng)絡代價函數(shù)施加空間正則化項以抑制背景區(qū)域響應，結合HOG特征、灰階(greyscale)特征以及顏色(Color Name，CN)特征對目標物體進行表征；在線更新過程中通過迭代高斯賽德爾(Gauss-Seidel)方法加速網(wǎng)絡收斂過程.陳東岳等提出了一種基于多特征的融合的跟蹤算法[6]，使用BWH算法融合了照度不變性特征和基于LBP紋理特征，該算法對目標被遮擋場景下有一定魯棒性，但未能對目標框尺寸進行自動調(diào)節(jié)，導致在目標消失場景中表現(xiàn)不佳.

近年來，隨著深度卷積網(wǎng)絡(Convolutional Neural Network，CNN)在圖像分類任務中取得了優(yōu)良的表現(xiàn)[7]，深度學習逐漸被應用于計算機視覺的各個領域[8-10]；經(jīng)過大量數(shù)據(jù)訓練后的CNN能夠自動地提取物體的深度卷積特征，這些特征相比于人工選取的特征更具有通用性、判別性以及豐富的語義信息；因此，一些基于深度特征和CNN的跟蹤算法被相繼提出.Danelljan等使用深度卷積網(wǎng)絡第一層特征代替人工選取的HOG和CN特征[11]，提升了網(wǎng)絡在跟蹤任務中的魯棒性.Wang等提出結構化輸出的深度跟蹤網(wǎng)絡[12]，通過離線訓練的CNN預測視頻幀中像素概率圖以確定目標位置，并對跟蹤網(wǎng)絡進行定期微調(diào)，提高算法在目標旋轉(zhuǎn)、光照變化場景中的適應性和魯棒性；上述基于CNN跟蹤算法取得較高的跟蹤準確度，但網(wǎng)絡的在線更新增加了算法的計算復雜度；此外，單目標跟蹤任務中，要求跟蹤算法根據(jù)初始幀中給定的運動物體在隨后每幀視頻中進行唯一性匹配，由此可視為給定目標模板尋找最大相似度圖像區(qū)域.基于上述思想，文獻[13-14]使用了孿生神經(jīng)網(wǎng)絡(Siamese Neural Network，SNN)作為跟蹤框架，該結構由兩個特征映射子網(wǎng)絡構成，通過度量學習衡量目標模板與輸入樣本間特征的相似度關系；相比于基于CNN的跟蹤算法，基于SNN的跟蹤算法在未對目標模板和網(wǎng)絡參數(shù)進行在線更新的情況下，能夠取得準確跟蹤精度，同時達到了實時的跟蹤速度.然而由于上述基于深度學習的跟蹤網(wǎng)絡訓練通常以全監(jiān)督的方式進行，在訓練過程中需要海量的標簽數(shù)據(jù)，因此在有限的數(shù)據(jù)集中，網(wǎng)絡易發(fā)生過擬合現(xiàn)象而導致目標漂移；部分學者基于大規(guī)模數(shù)據(jù)集，采用密集采樣策略生成大量訓練樣本(圖1)；但獲得的樣本缺乏多樣性，并未涵蓋跟蹤過程中目標物體受遮擋以及形變情況，無法對目標變化進行準確表征.

圖1 密集采樣策略示例

綜上所述，為了緩解基于深度學習的目標跟蹤算法訓練數(shù)據(jù)不足以及樣本缺乏多樣性，跟蹤缺乏實時性的問題，本文基于SNN跟蹤算法，對離線訓練數(shù)據(jù)和訓練方式提出改進，同時提高了跟蹤算法的實時性. 基于大規(guī)模數(shù)據(jù)集，首先使用無監(jiān)督學習的變分自編碼器(Variational Autoencoder，VAE)和負樣本挖掘策略生成大量的困難樣本，以滿足網(wǎng)絡對多樣性訓練數(shù)據(jù)的需求；然后使用概率三元組損失對網(wǎng)絡進行訓練，挖掘目標模板、正負樣本之間的潛在關系；對比實驗表明：該算法在保持實時性的情況下，能夠?qū)Ω欉^程中目標形態(tài)變化、相似語義干擾物、目標被遮擋情況以及快速運動導致的圖像模糊有較好的魯棒性.

1 基于SNN的單目標跟蹤算法

Bertinetto等結合CNN提出了一種端到端的全卷積孿生網(wǎng)絡(Fully-Convolutional Siamese Networks，SiamFC)跟蹤框架[13]，網(wǎng)絡的模型結構如圖2所示. 該網(wǎng)絡利用兩個CNN構建特征映射網(wǎng)絡，分別提取模板和搜索區(qū)域深度卷積特征；然后在互相關層集成目標和搜索區(qū)域的深度特征圖得到相似度分數(shù)圖，圖中最大分數(shù)值的區(qū)域為目標當前時刻的位置. 基于SNN的單目標跟蹤網(wǎng)絡擁有輕量級網(wǎng)絡架構，因此能夠?qū)δ繕宋矬w進行實時定位.在視頻第一幀時，對目標模板r進行特征映射，生成并保存模板的特征向量f(r)，該操作僅在初始幀時進行；在跟蹤過程中，基于上一幀目標狀態(tài)，提出候選搜索窗口，并進行特征映射.

圖2 基于SNN的單目標跟蹤網(wǎng)絡架構

得到搜索區(qū)域內(nèi)圖像特征向量f(xk)，通過下式度量目標模板和搜索窗口相似度分數(shù)sk

sk(r,xk)=g(f(r),f(xk)).

(1)

式中f(·)為特征映射，g(·)為互相關操作.本文使用文獻[13]中互卷積計算二者相似度，由此式(1)可等效為

sk(r,xk)=f(r)·f(xk)+b.

(2)

式中:b為網(wǎng)絡偏置項.上式得到相似度分數(shù)矩陣中，通過下式取得最大分數(shù)值的區(qū)域映射到視頻圖像中對應區(qū)域，即為目標物體在當前時刻的位置x*

(3)

該算法對目標快速運動場景有較好的魯棒性，對于網(wǎng)絡參數(shù)沒有進行在線調(diào)整；相較于基于CNN跟蹤算法，SiamFC算法在跟蹤階段計算復雜度更低，達到了實時的跟蹤速度；但是由于使用固定尺度更新目標框，導致對多尺度變化目標的跟蹤準確度略顯不足；并且在出現(xiàn)相似語義干擾項場景中常常出現(xiàn)目標漂移的情況.

2 基于SNN的單目標跟蹤算法的改進

本文基于SiamFC跟蹤網(wǎng)絡，針對該網(wǎng)絡離線訓練過程進行改進及優(yōu)化，滿足SNN單目標跟蹤網(wǎng)絡對訓練樣本量需求同時提高網(wǎng)絡在線跟蹤時的魯棒性和跟蹤準確度.首先，使用VAE網(wǎng)絡對訓練圖片進行降維編碼，通過在低維隱空間采樣重構目標樣本，生成大量包含多樣性的困難正樣本，構建離線訓練數(shù)據(jù)集；其次，將原始的二元邏輯損失替換為概率三元組損失函數(shù)，挖掘目標樣本和正負實例的潛在聯(lián)系，提高網(wǎng)絡對目標和干擾項的判別能力.

2.1 VAE網(wǎng)絡生成正樣本

在目標跟蹤領域中，與測試數(shù)據(jù)擁有相同分布情況的訓練數(shù)據(jù)集相對匱乏，因此樣本生成網(wǎng)絡被應用于生成大量相似的樣本數(shù)據(jù)；另外，由于基于SiamFC的跟蹤算法并未執(zhí)行網(wǎng)絡參數(shù)的在線更新，對于目標的形態(tài)劇烈變化缺乏魯棒性，因此不增加額外時間開銷的情況下，本文在離線訓練階段，通過深度生成網(wǎng)絡產(chǎn)生豐富的樣本數(shù)據(jù)，使SiamFC跟蹤算法能夠獲得跟蹤任務中目標的多樣性表征.

基于深度學習的生成網(wǎng)絡主要包含VAE[15]和生成對抗網(wǎng)絡(Generative Adversarial Networks，GANs)[16]. 其中VAE算法能夠準確地提取高維非線性樣本特征，在訓練過程中實現(xiàn)對數(shù)據(jù)在樣本空間中隨機分布情況的近似學習；因此VAE被廣泛應用在計算機視覺領域中，文獻[17]利用VAE網(wǎng)絡對輸入圖像進行分析，通過對隱藏層中特征分布情況進行采樣，生成輸入圖像的分類標簽和標題描述；Waker等提出了條件變分自編碼器(Conditional Variational Autoencoder，CVAE)[18]通過隱藏變量對圖像中信息進行編碼，推斷靜態(tài)圖像中目標物體可能的軌跡分布，預測目標的運動趨勢.

在跟蹤網(wǎng)絡訓練過程中，由于圖像樣本均位于高維空間，因此通常通過在高維流形空間中沿一定方向?qū)δ繕藬?shù)據(jù)信息進行遍歷以此生成樣本數(shù)據(jù)，但高維流形建模復雜度較高，直接在高維流形空間上執(zhí)行遍歷操作較困難.因此在離線訓練階段，本文使用VAE網(wǎng)絡能夠?qū)W習高維流形空間和低維空間即隱藏空間之間的特征映射關系和目標樣本的流形分布情況，通過簡化遍歷操作解碼重構生成正樣本訓練數(shù)據(jù)；并且VAE網(wǎng)絡生成的數(shù)據(jù)樣本更加可控，能夠避免圖像失真情況，在保留原始樣本特征部分相似性的同時，呈現(xiàn)出目標樣本豐富的多樣性表征；生成的多樣性樣本涵蓋了跟蹤任務中目標物體的變化趨勢，能夠提升SiamFC跟蹤算法對運動過程中目標變化的魯棒性.

文中VAE網(wǎng)絡架構如圖3所示：首先從視頻圖像中截取目標物體的RGB圖像作為網(wǎng)絡輸入，其尺寸大小為64×64×3，隨后經(jīng)過4層的卷積神經(jīng)網(wǎng)絡提取樣本特征激活值，每一層卷積都使用上一層輸出激活值作為本層的輸入，如下式

(4)

圖3 VAE網(wǎng)絡結構

(5)

然而通過上式難以直接計算，VAE中可以通過使用變分構建qφ(z|xi)近似pθ(z|xi)，因此對該生成網(wǎng)絡的訓練可視為最小化qφ(z|xi)和pθ(z|xi)兩者的距離，也即最大化每個訓練樣本xi變分下界，定義為

L(xi,φ,θ)=-KL(qφ(z|xi)‖pθ(z))+
Eqφ(z|xi)[logpθ(xi|z)].

(6)

式中：pθ(z)為隱變量概率分布，φ和θ分別為隱空間變分參數(shù)和編碼解碼模塊參數(shù)，等式右側第一部分表示計算qφ(z|xi)和pθ(z|xi)的KL散度(Kullback-Leibler Divergence)，衡量二者分布相似情況，最后一項為關于近似后驗qφ(z|xi)的期望重構損失. 通過反向傳播算法最優(yōu)化式(6)以求得各參數(shù)權值，令pθ(z)和qφ(z|xi)服從高斯分布，便利網(wǎng)絡訓練；因此，式(6)中KL散度項可解析表示為

(7)

式中：D為隱變量z的維度大小，均值μ和σ為網(wǎng)絡編碼部分關于輸入樣本xi和變分參數(shù)φ的輸出. 由于z為隱空間中隨機變量，為了實現(xiàn)反向傳播梯度優(yōu)化，對式(6)中重構損失項使用重參數(shù)技巧(reparametrization trick)，并將式(7)帶入式(6)中，代價函數(shù)可近似為

(8)

通過上述訓練過程，VAE中參數(shù)φ、θ的權值以及qφ(z|xi)得以確定.利用上述預訓練的VAE網(wǎng)絡生成多樣性正樣本數(shù)據(jù)，部分生成結果在參數(shù)設置中進行了展示；將正樣本數(shù)據(jù)集Zp={I1,…,Ii,…,IM}結合負樣本數(shù)據(jù)集Zn={O1,…,Oj,…,OH}，構建訓練樣本數(shù)據(jù)集Z=Zp∪Zn訓練目標跟蹤網(wǎng)絡.

2.2 概率三元組損失訓練SNN跟蹤網(wǎng)絡

文獻[13]中使用的二元邏輯損失函數(shù)僅利用了模板和樣本間聯(lián)系；本文利用概率三元組損失對跟蹤網(wǎng)絡進行離線訓練，不僅可以進一步挖掘范例、正實例和負實例之間的潛在關系，而且在每次訓練迭代時包含了更多的訓練元素.

2.2.1 二元邏輯損失

在原始的SiamFC目標跟蹤網(wǎng)絡中，每段訓練視頻二元邏輯損失函數(shù)定義為

(9)

式中：yt∈{+1,-1}為每個樣本的真實標簽值，通過式(2)計算得到st∈S為每個模板-樣本對(r,xt)的相似度分數(shù)，wt為每個樣本實例xt的平衡權重，以保持不同數(shù)量正負樣本對損失函數(shù)擁有同樣的影響，其取值定義為

(10)

且滿足

∑xt∈Zwt=1,wt>0.

(11)

式(9)中每次迭代時輸入一個模板-樣本對，因此每段訓練視頻中，網(wǎng)絡損失由M+H個訓練樣本損失構成.

2.2.2 概率三元組損失

本文將所有模板-樣本對分數(shù)S劃分為正樣本相似度分數(shù)集Sp={sp1,…,spi,…,spM}和負樣本相似度分數(shù)集Sn={sn1,…,snj,…,snH}，分別使用模板-正樣本對(r,Zp)和模板-負樣本對(r,Zn)作為輸入利用式(2)求得.

將每組正負分數(shù)對(spi,snj)作為輸入，通過softmax函數(shù)定義三元組樣本匹配概率

(12)

訓練目的是最大化所有相似度分數(shù)對組合的聯(lián)合概率，跟蹤網(wǎng)絡的損失函數(shù)定義如下

(13)

(14)

通過最小化上述損失函數(shù)，得到跟蹤網(wǎng)絡中特征映射網(wǎng)絡的權值.由于式(12)中樣本匹配概率p(spi,snj)的計算同時涉及到模板r、正樣本數(shù)據(jù)Zp以及負樣本數(shù)據(jù)Zn三種變量，因此將式(14)稱為概率三元組損失.由式(14)看出，概率三元組損失由M×H個正負分數(shù)對組合組成，與二元邏輯損失相比，概率三元組損失涵蓋更豐富的樣本組合方式，并且能夠同時挖掘模板、正樣本、負樣本的潛在關系；在訓練過程中，式(9)中二元邏輯損失函數(shù)關于正負樣本產(chǎn)生的梯度分別為

(15)

本文使用的概率三元組損失的梯度則可表示為

(16)

通過對比上述兩式不難發(fā)現(xiàn)，在反向傳播過程中，概率三元組損失函數(shù)涵蓋了正樣本-模板對和負樣本-模板對，能夠同時考慮正負樣本對梯度變化的影響；并且在網(wǎng)絡訓練中沒有引入額外的樣本特征，唯一增加的時間開銷來自于概率三元組損失計算，且僅出現(xiàn)在離線訓練階段，在線跟蹤過程沒有產(chǎn)生額外的計算負擔.

3 實驗與分析

本文實驗在以下平臺實現(xiàn)：CPU為Intel(R)Xeon(R)E5-2643 @ 3.40 GHz，16 GB RAM，GPU為NVIDIA GTX1080Ti，程序代碼基于PyTorch深度學習環(huán)境下使用Python語言編寫.

3.1 參數(shù)設置

離線訓練階段，在ILSVRC15視頻目標檢測數(shù)據(jù)集(Object Detection from Video, VID)[19]中選取16段視頻序列作為跟蹤網(wǎng)絡的訓練數(shù)據(jù)；針對選取的每一段視頻，訓練一個對應的VAE樣本生成網(wǎng)絡用以生成困難正樣本數(shù)據(jù)；本文使用Root Mean Square prop(RMSprop)對VAE網(wǎng)絡的訓練過程進行優(yōu)化，減小梯度下降時振蕩幅度，加快網(wǎng)絡訓練時的收斂速度；學習率設置為10-3，迭代104次.樣本生成階段，綜合跟蹤網(wǎng)絡對訓練數(shù)據(jù)的需求以及視頻中目標運動變化的頻率，將每幀原始樣本和生成數(shù)據(jù)比例設置為1∶5，圖4展示了VAE網(wǎng)絡生成的部分正樣本示例，紅色矩形框中圖像表示對應視頻片段的原始樣本.與原圖像相比，經(jīng)過重構后生成的正樣本呈現(xiàn)示出目標物體潛在的運動形態(tài)和運動趨勢；同時從圖中可以看出，生成的樣本圖像分辨率較低，這使得訓練后的跟蹤網(wǎng)絡對目標快速運動和視頻采集設備導致圖像模糊情況有較高的魯棒性，從而增強算法在低分辨率環(huán)境下的跟蹤表現(xiàn)；在隨后的實驗結果及分析中，上述觀點得到了驗證.

圖4 重構訓練樣本示例

訓練SNN跟蹤網(wǎng)絡時，通過N(0,0.01)高斯分布對權重初始化；然后利用隨機梯度下降(Stochastic Gradient Descent，SGD)算法最小化式(14)概率三元組損失得到網(wǎng)絡的最優(yōu)權值；訓練視頻序列中，每幀片段包含正樣本|M|=13，負樣本|H|=256；初始學習率設為10-2，隨訓練次數(shù)增加逐漸衰減至10-5，訓練經(jīng)過50次迭代.

3.2 實驗數(shù)據(jù)

為了驗證改進后跟蹤網(wǎng)絡的性能表現(xiàn)，從目標跟蹤公共數(shù)據(jù)集OTB100[20]上選取了幾段比較有代表性的視頻序列，每段視頻幀數(shù)從81～1 500幀不等，從320×240至800×336多種圖像分辨率，包含了多個復雜的跟蹤難點，視頻詳情見表1.

為了評估算法在實驗數(shù)據(jù)集上的表現(xiàn)情況，本文使用了中心像素點誤差和文獻[20]提出的跟蹤成功率作為評價指標；前者計算預測目標框的中心坐標與真實值的歐氏距離，反映了跟蹤算法的定位準確度；后者是通過計算預測值和真實目標框交并比(Intersection over Union，IoU)進行衡量，定義如下

(17)

表1 實驗視頻序列詳情

式中：lt和lg分別為預測目標框和真實值目標框，∪和∩分別計算兩個目標框內(nèi)相并和相交部分，|·|用于統(tǒng)計像素個數(shù)，os為二者的重疊率. 當os大于0.5時，表示算法在當前幀上實現(xiàn)了成功跟蹤；統(tǒng)計成功跟蹤幀數(shù)占全部視頻幀的比例即為算法的成功跟蹤率.

3.3 實驗結果展示及分析

本文選取了幾種具有代表性的跟蹤算法與所提出的改進算法進行對比實驗，包括SiamFC算法[13]、基于SNN的相關濾波器(CFNet)算法[14]、KCF算法[4]、空間正則化判別相關濾波器(Spatially Regularized Discriminative Correlation Filters， SRDCF)算法[5]；其中前兩者和本文算法均使用了SNN作為跟蹤階段的網(wǎng)絡架構，CFNet算法在SiamFC網(wǎng)絡中結合相關濾波層構建非對稱SNN跟蹤網(wǎng)絡，實現(xiàn)了對底層深度特征表示的優(yōu)化.KCF和SRDCF算法則是基于相關濾波器的單目標跟蹤網(wǎng)絡；其中SRDCF算法通過施加空間正則化分量緩解了相關濾波跟蹤網(wǎng)絡中的邊界效應問題.

本小節(jié)中，選取實驗視頻序列其中兩段的跟蹤結果進行展示，繪制5種算法的中心誤差曲線和目標框重疊率曲線，并對算法的跟蹤表現(xiàn)進行分析.

3.3.1 關鍵幀跟蹤結果及分析

選取展示的第一段視頻為“ClifBar”，由472幀的黑白圖像組成.從圖5中可以看出：目標物體處于相似背景下，且為圖像，并伴隨快速運動導致的圖像模糊，對跟蹤算法的魯棒性有較高的要求.在第80幀時，目標正從右側向左側快速移動，KCF和CFNet算法開始出現(xiàn)目標漂移的現(xiàn)象，這是由于上述兩種算法對快速運動導致圖像模糊處理能力不足；第230幀時，由于目標平面內(nèi)旋轉(zhuǎn)以及快速左右位移，目標物體發(fā)生較大的尺度變化，SiamFC算法陷入局部最優(yōu)值，預測的目標框轉(zhuǎn)移到背景中；在五種算法中，SRDCF通過空間正則化抑制背景噪音，和本文算法始終保持對目標物體的準確定位，直到視頻最后.說明本文算法對于快速運動以及導致的畫面模糊、目標尺度變化現(xiàn)象有較強的魯棒性.

圖5 ClifBar視頻跟蹤結果

圖6展示的“Skiing”視頻序列，包含的主要跟蹤難點在于目標人物始終處于旋轉(zhuǎn)的運動模式中，形態(tài)變化劇烈，在部分片段中背景信息比較復雜.根據(jù)跟蹤結果可以看出，由于目標向內(nèi)旋轉(zhuǎn)，外觀發(fā)生劇烈變化，KCF和SRDCF算法在第7幀時發(fā)生明顯的漂移現(xiàn)象，并持續(xù)陷入局部區(qū)域，隨后丟失目標直到視頻結束；與上述算法相似，由于目標運動過程中快速的形態(tài)變化，SiamFC算法在第12幀時未能保持對目標準確定位，逐漸漂移至畫面右側，最終導致跟蹤失敗；本文算法和CFNet算法能夠?qū)δ繕硕喾N形態(tài)進行準確表征，有效判別背景干擾物和目標，保持對視頻中目標的連續(xù)跟蹤，表現(xiàn)出對目標快速運動、旋轉(zhuǎn)導致的外表劇烈變化以及復雜背景干擾的魯棒性.

圖6 Skiing視頻跟蹤結果

此外，對本文算法在上述兩段視頻中關鍵幀跟蹤網(wǎng)絡產(chǎn)生的響應圖進行繪制，展示于圖7中. 從圖中可以看出，在“ClifBar”序列中，目標進行多種尺度變化，并伴隨部分相似的背景干擾；而第二段視頻序列中，目標物體持續(xù)旋轉(zhuǎn)和快速移動，外形和尺度不斷發(fā)生變化，同樣在部分幀中出現(xiàn)復雜背景的干擾；本文算法能夠?qū)δ繕水a(chǎn)生較大的相似度響應值，背景和干擾物部分取得較低分數(shù)，說明該算法對目標和背景有較好的處理能力，驗證了該算法上述視頻中關鍵片段的跟蹤結果.

圖7 兩段視頻關鍵幀響應

3.3.2 性能曲線展示及分析

為了進一步對比5種算法在上述兩段視頻中的表現(xiàn)，逐幀繪制了算法的中心誤差曲線和目標框重疊率曲線，如圖8和圖9所示.在ClifBar和Skiing兩段視頻中，當中心誤差分別超過閾值像素時，預測的目標框已完全遠離目標，因此將中心誤差曲線上限設置為對應的最大閾值70和30像素.

從圖8及圖9中可以看出，相比于其他4種算法，本文算法在兩段視頻上均保持最低中心誤差值和最高目標框重疊率，并且曲線波動最小，說明該跟蹤算法能夠?qū)崿F(xiàn)穩(wěn)定且準確的跟蹤表現(xiàn).在第一段視頻中，SRDCF算法在前期保持了較低的中心誤差；然而在第230幀時目標頻繁左右移動出現(xiàn)模糊情況，導致SRDCF算法誤差值增大，在重疊率曲線(圖9(a))上相應部分也反映了同樣的現(xiàn)象；另外3種算法曲線振動幅度較大，相繼丟失目標.“Skiing”序列中，由于目標旋轉(zhuǎn)運動以及嘈雜背景干擾，SiamFC、SRDCF和KCF算法均未能對目標持續(xù)定位，在第10幀后丟失了目標導致跟蹤失敗；CFNet算法由于對背景干擾處理能力不足，跟蹤曲線出現(xiàn)較大波動；本文算法在復雜背景干擾下目標快速運動導致的模糊、形態(tài)變化場景中都保持了較好的跟蹤表現(xiàn).

圖8 中心誤差曲線

圖9 重疊率曲線

由于以上兩段視頻中，算法表現(xiàn)存在一定的隨機性，因此對算法在所有實驗視頻上跟蹤表現(xiàn)進行統(tǒng)計，表2展示了各算法成功跟蹤率和平均跟蹤速度. 本文算法在保持實時跟蹤速度的同時在其中9段視頻上都實現(xiàn)了最優(yōu)跟蹤表現(xiàn)；在較困難的“Ironman”和“Matrix”兩段視頻上，相比于SiamFC算法成功跟蹤率提高了25%和68%，并且在SiamFC算法表現(xiàn)較差的序列上，也完成了準確的跟蹤；此外，KCF算法在所有視頻序列上實現(xiàn)最快平均速度，但其跟蹤表現(xiàn)遠遠落后于本文算法.綜上所述，本文算法利用SNN學習多樣性樣本，提高了網(wǎng)絡對于目標物體多形態(tài)的表征能力；同時使用概率三元組損失函數(shù)，挖掘正負樣本潛在關系，提高網(wǎng)絡的判別能力和魯棒性.

表2 成功跟蹤率及平均跟蹤速度

4 結論

本文對基于SNN單目標跟蹤網(wǎng)絡算法進行優(yōu)化.利用VAE對原始訓練樣本進行編碼重構生成困難正樣本，構建訓練數(shù)據(jù)集；與傳統(tǒng)密集采樣策略相比，本文算法從采樣多樣性角度增加了正樣本數(shù)據(jù)，使跟蹤網(wǎng)絡學習豐富的樣本表征；并緩解了深度跟蹤網(wǎng)絡訓練數(shù)據(jù)不足的問題.在離線訓練階段，使用了概率三元組損失函數(shù)代替?zhèn)鹘y(tǒng)的二元邏輯損失，通過深入挖掘正負樣本的潛在關系，提高了跟蹤網(wǎng)絡對目標和背景干擾物體的判別能力.實驗結果表明，相比于核化相關濾波器、空間正則化、傳統(tǒng)的SNN等跟蹤算法，本文提出的優(yōu)化算法在目標被遮擋及尺度變化、目標快速運動、目標旋轉(zhuǎn)、畫面模糊、復雜背景情況下有更好的魯棒性和定位準確度，并保持了實時的跟蹤表現(xiàn).