基于改進(jìn)ECO-HC的目標(biāo)跟蹤方法

劉剛陽， 胡博， 王宇慶

（1.中國科學(xué)院 長春光學(xué)精密機械與物理研究所， 吉林 長春 130033；2.中國科學(xué)院大學(xué)， 北京 100049；3.中國人民解放軍第32035部隊， 陜西 西安 710000）

1 引言

目標(biāo)跟蹤是計算機視覺領(lǐng)域的一個重要研究課題。視覺目標(biāo)跟蹤一般是給定初始幀圖像中目標(biāo)的位置和矩形框尺寸，利用程序自動搜尋以后幀中目標(biāo)的位置和矩形框尺寸。目標(biāo)跟蹤技術(shù)應(yīng)用廣泛，其在智能交通、自動駕駛、安防監(jiān)控、機器人、軍事等眾多領(lǐng)域內(nèi)已不可或缺［1］。目標(biāo)跟蹤根據(jù)目標(biāo)個數(shù)不同可分為單目標(biāo)跟蹤和多目標(biāo)跟蹤，根據(jù)其技術(shù)發(fā)展可分為經(jīng)典的跟蹤方法、基于相關(guān)濾波的跟蹤方法和基于深度學(xué)習(xí)的跟蹤方法［2］。近些年比較熱門的目標(biāo)跟蹤方法主要是基于相關(guān)濾波的算法和基于深度學(xué)習(xí)的算法，兩者都屬于判別式跟蹤方法。MOSSE方法［3］首次在跟蹤算法中引入相關(guān)濾波的概念，使運算速度提高了20倍。隨著深度學(xué)習(xí)的快速發(fā)展，應(yīng)用了深度學(xué)習(xí)的目標(biāo)跟蹤技術(shù)取得了前所未有的成功，它和基于相關(guān)濾波的跟蹤方法各有優(yōu)劣。基于相關(guān)濾波的跟蹤方法對硬件平臺要求較低且運行速度快，而基于深度學(xué)習(xí)的跟蹤方法運算復(fù)雜度高、消耗內(nèi)存大。基于深度學(xué)習(xí)的目標(biāo)跟蹤多為基于檢測的跟蹤技術(shù)，其跟蹤性能依賴檢測階段的準(zhǔn)確性。由于卷積神經(jīng)網(wǎng)絡(luò)在計算過程中參數(shù)較多，為提高運算速度，算法需運行在性能較好的GPU平臺上。一般地，單目標(biāo)跟蹤青睞基于相關(guān)濾波的方法，多目標(biāo)跟蹤則使用深度學(xué)習(xí)能獲得更佳的指標(biāo)。

能否有效跟蹤的一個關(guān)鍵因素是提取恰當(dāng)數(shù)量且具有鑒別性的特征［4-5］。深度學(xué)習(xí)使用卷積神經(jīng)網(wǎng)絡(luò)提取深度特征，相關(guān)濾波提取方向梯度直方圖（HOG）、灰度或紋理等作為特征，相關(guān)濾波必須考慮到模型更新的問題［6］。在跟蹤過程中往往出現(xiàn)目標(biāo)變形或被遮擋等情況，跟蹤模型會隨之退化，導(dǎo)致跟蹤漂移［7］。以往大多數(shù)算法均采用連續(xù)更新策略，即在每一幀中都要進(jìn)行模型更新，而后來有人使用Siamese［8］網(wǎng)絡(luò)沒有進(jìn)行模型更新，仍然取得了不錯的效果。MEEM方法［9］根據(jù)最小熵準(zhǔn)則選擇在需要時恢復(fù)當(dāng)前跟蹤器以減少不必要的模型更新，利用預(yù)測算法中的在線SVM和顯式特征映射方法實現(xiàn)了高效的模型更新和推理。Nam［10］等人用預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)中的共享層和在線更新的新二元分類層相結(jié)合構(gòu)建網(wǎng)絡(luò)，通過評估圍繞先前目標(biāo)狀態(tài)隨機采樣的候選窗口執(zhí)行在線更新。SRDCFdecon方法［11］引入樣本權(quán)重對作用較小的樣本進(jìn)行抑制。ECO方法［12］（Efficient Convolution Operators for Tracking）采用了每隔5幀更新一次模型的稀疏更新方法，效果顯著，作者把這種效果歸因于稀疏更新減少了與最新樣本的過擬合。

本文基于相關(guān)濾波算法ECO的手工特征版本ECO-HC提出了一種以圖像場景變化為依據(jù)、自適應(yīng)調(diào)節(jié)模型更新間隔的策略，有效提高了算法在圖像背景光照復(fù)雜、目標(biāo)外形改變或被遮擋等情況下的跟蹤準(zhǔn)確率，并保持了較高幀率的優(yōu)點。

2 用于跟蹤的高效卷積算子

C-COT［13］是一種基于判別相關(guān)濾波器（Discriminative Correlation Filter）的目標(biāo)跟蹤方法，該算法提出了一種連續(xù)卷積算子的理論框架，將特征信息從離散空間變換到連續(xù)空間，如公式（1）所示：

其中：Jd{xd}(t)表示經(jīng)插值計算后的第d個通道的值，bd是一個周期為T的3次插值函數(shù)。根據(jù)此公式，既可以通過在連續(xù)域上執(zhí)行卷積實現(xiàn)不同分辨率下特征的獨立表達(dá)，又能利用連續(xù)函數(shù)得到目標(biāo)預(yù)測的分?jǐn)?shù)，實現(xiàn)更準(zhǔn)確的亞像素定位。ECO在C-COT的基礎(chǔ)上提出了因式分解卷積算子（Factorized Convolution Operator）和緊湊的生成式樣本空間模型（Generative Sample Space Model），并改進(jìn)了模型更新策略（Model Update Strategy）。因式分解卷積算子通過一個d行c列的系數(shù)矩陣P將原本C-COT的d個濾波器縮減為c個，c＜d，達(dá)到了減少模型參數(shù)的目的，如公式（2）所示：

其中：f表示濾波器，J{x}為特征化后的圖像，Jd{xd}為第d維濾波器，PT為P的轉(zhuǎn)置矩陣。

因為相鄰幀圖像中目標(biāo)大概率外形相似，所以連續(xù)每幀都存儲新樣本會導(dǎo)致樣本數(shù)據(jù)冗余。緊湊的生成式樣本空間模型不再使用原本的連續(xù)訓(xùn)練集，而是將訓(xùn)練數(shù)據(jù)用混合高斯模型重新建模分類，其各個分量分別表示一類特征與其他樣本不同的樣本數(shù)據(jù)，可以提高樣本多樣性并減少數(shù)據(jù)冗余。

大多數(shù)基于相關(guān)濾波的目標(biāo)跟蹤方法都是逐幀更新模型，而ECO每隔5幀更新一次，大幅減少了計算量，提高了跟蹤速度，并發(fā)現(xiàn)降低濾波器更新頻率可以提高學(xué)習(xí)過程的魯棒性。

3 算法改進(jìn)

本文嘗試使算法自適應(yīng)確定模型更新間隔并以不等間隔更新模型，使算法在確保運算速度的同時提高跟蹤準(zhǔn)確率。在確定具體的模型更新間隔數(shù)前，需要先計算出相鄰兩幀圖像的差異，并以此作為判斷圖像中場景變化幅度的依據(jù)。我們定義了一個參數(shù)D，用它來表示相鄰兩幀圖像間的變化幅度。有必要說明的是，并不是每兩幀圖像都要計算一次差異值。如果將模型更新間隔數(shù)記為train_gap，那么模型將是每間隔train_gap幀更新一次，即平均train_gap+1幀更新一次。

3.1 相鄰幀圖像相關(guān)度計算

先將當(dāng)前幀彩色圖像轉(zhuǎn)為灰階圖像，然后對像素值做歸一化處理，把m行n列的圖像轉(zhuǎn)化成一個m×n維的列向量X1，上一幀圖像也如此操作得到X2。合并X1和X2，即：

分別計算X各列元素的均值，即：

計算X1與X2的協(xié)方差：

其中每行都等于的m×n維矩陣。結(jié)果cov(X)是一個2行2列的矩陣，若記：

單個樣本序列的樣本方差為：

則令相關(guān)度為：

當(dāng)X列數(shù)為2時，cov(X)的副對角元素b和c相等，則：

3.2 基于HOG計算兩圖像中目標(biāo)區(qū)域的相關(guān)度

方向梯度直方圖（HOG）能簡化圖像并表達(dá)出圖像中的物體輪廓信息。我們根據(jù)第一幀圖像中給出的目標(biāo)框預(yù)測下一幀的目標(biāo)框位置和大小，在每次需要更新模型時不只是計算全圖的相關(guān)度，還需要利用圖像中目標(biāo)框內(nèi)的HOG計算基于HOG的相關(guān)度，避免了背景信息的干擾。其中根據(jù)HOG計算出的特征向量可近似看作是目標(biāo)的特征信息，過程如圖1所示。

當(dāng)前幀與上一幀圖像的HOG特征向量分別是H1和H2，根據(jù)上一節(jié)求相關(guān)度的方法計算H1與H2的相關(guān)度，可以更好地表達(dá)相鄰兩幀圖像中目標(biāo)的變化情況。

3.3 場景變化聯(lián)合表示

用計算得到的相鄰兩圖像的相關(guān)度correlation1和基于HOG計算的目標(biāo)區(qū)域相關(guān)度correlation2聯(lián)合表示場景變化情況，記為D，如公式（11）所示：

其中λ為權(quán)重系數(shù)。不能單一使用correlation2作為判斷場景變化的原因是跟蹤過程中可能發(fā)生目標(biāo)跟蹤錯誤或被遮擋等情況。

3.4 自適應(yīng)模型更新策略

將計算出的場景變化幅度D作為依據(jù)，選擇不同的模型更新間隔數(shù)train_gap，替代大多數(shù)相關(guān)濾波算法逐幀更新或等間隔更新的方法，形成一種以判斷圖像場景變化幅度來自適應(yīng)調(diào)整模型更新間隔的模型更新方法，可以在較少損失計算速度的情況下有效提高跟蹤準(zhǔn)確率且能避免因過多次更新導(dǎo)致的過擬合發(fā)生。

我們選擇適當(dāng)?shù)拈撝祎hreshold1和threshold2，確定最終的模型更新間隔數(shù)方案。其中第一幀時的模型是必須要更新的，第二幀時開始計算D，將結(jié)果與兩閾值做比較，確定模型更新的間隔數(shù)train_gap，然后在當(dāng)前幀seq.frame的基礎(chǔ)上，停止更新train_gap次，第seq.frame+train_gap+1時再次更新并計算新的D，確定新的模型更新間隔數(shù)，過程如圖2所示。

圖2 本文策略流程圖Fig.2 Strategy flow chart of this paper

4 實驗與結(jié)果分析

4.1 評價指標(biāo)

評價單目標(biāo)跟蹤算法的指標(biāo)有很多種，本文主要用到了跟蹤準(zhǔn)確率（Precision）、成功率（Success rate）、AUC（Area under curve）、重疊率（Overlap）、平均重疊期望（Expected Average Overlap，EAO）、速度指標(biāo)（Equivalent Filter Operations，EFO）和失敗次數(shù)（Failures），這些指標(biāo)中失敗次數(shù)和跟蹤準(zhǔn)確率呈負(fù)相關(guān)，其余均為正相關(guān)。

準(zhǔn)確率計算公式為：

即計算預(yù)測框中心點與真值中心點間的歐氏距離，若該值小于閾值（一般設(shè)為20個像素）則跟蹤成功。

計算成功率需先計算預(yù)測框與真值框的交并比（IoU），若該值大于閾值（一般設(shè)為0.5）則稱在該幀圖像上跟蹤成功，在整個視頻序列上跟蹤成功的幀數(shù)除以視頻全部幀數(shù)即得該序列上的成功率。閾值與成功率的大小呈負(fù)相關(guān)，設(shè)置閾值范圍為0～1，畫出閾值與成功率的曲線，曲線下面積即為AUC（Area under curve）分?jǐn)?shù)，它也用來反映跟蹤成功效果。

重疊率的計算方法為重疊區(qū)域面積/（預(yù)測框的面積+真值框的面積-重疊區(qū)域面積），其值等于兩矩形的交并比。

平均重疊期望是VOT［14］中最主要的指標(biāo)之一，它的計算過程如下：先將所有視頻序列按長度分類，再將跟蹤器在長度為Ns的序列上測試求其每一幀的精度Φ(t)，計算平均值得到該序列的精度：

計算全部序列的平均值即得該跟蹤器在長度為Ns序列上的平均重疊期望（EAO）值：

速度指標(biāo)（EFO）的全稱為等效濾波操作（Equivalent Filter Operations）。先測試當(dāng)前機器用30×30的濾波器在600×600圖像上的濾波時間，再將實際跟蹤時間除以此濾波時間即得EFO值，它相對常用的速度指標(biāo)幀率（FPS）而言減少了硬件差異對數(shù)值造成的差異，對算法速度評價更具普適性。

當(dāng)預(yù)測框與真值框的重疊率為0時認(rèn)為在當(dāng)前幀中目標(biāo)跟蹤丟失，在跟蹤丟失發(fā)生后的第5幀開始對跟蹤器重新初始化。定義第i個跟蹤器在第k次重復(fù)中跟蹤丟失的次數(shù)為F(i，k)，則其平均失敗次數(shù)如公式（15）所示，Nrep為重復(fù)次數(shù)：

失敗次數(shù)（Failures）反映的是跟蹤器的魯棒性，其值越大，跟蹤器魯棒性越差。

4.2 實驗詳解

本文實驗硬件平臺為Inte（lR）Core（TM）i7-9 700K CPU@3.60 GHz、32.0 GB RAM，運行環(huán)境為Windows 10+MATLAB 2018a。

我們統(tǒng)計了OTB2015［15］中所有視頻序列的相鄰兩幀圖像的相關(guān)度，并對每個序列結(jié)果各自求平均以作為該序列的平均相關(guān)度。類似地，我們依據(jù)真值將各圖像中的目標(biāo)區(qū)域裁剪出并計算其HOG，進(jìn)而求出基于HOG的相鄰幀目標(biāo)區(qū)域的平均相關(guān)度。系數(shù)λ為一常數(shù)，它負(fù)責(zé)調(diào)節(jié)全圖的相關(guān)度和基于HOG的目標(biāo)所在區(qū)域的相關(guān)度間的關(guān)系，在本實驗中將其賦值0.5，即在本文中簡單認(rèn)為計算全圖的變化幅度和僅計算目標(biāo)的變化幅度同等重要，由公式（11）計算聯(lián)合相關(guān)度，如圖3所示，部分結(jié)果如表1所示。

表1 相鄰幀的相關(guān)度統(tǒng)計表Tab.1 Correlation statistics of adjacent frames

圖3 OTB2015各視頻序列相鄰幀的相關(guān)度統(tǒng)計Fig.3 Correlation statistics of adjacent frames of each video sequence in OTB2015

將100個序列按聯(lián)合相關(guān)度從小到大排序，取第17個序列的值0.588作為threshold1，第84個序列的值0.855作為threshold2，對數(shù)據(jù)集按1∶4∶1的比例切分。

ECO根據(jù)其提取特征的方式可以分為兩個版本：一個利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合HOG和顏色特征；另一個僅用到HOG與顏色特征，即ECOHC。本文以ECO-HC作為基線，嵌入本文提出的策略進(jìn)行實驗，設(shè)置牛頓迭代和共軛迭代數(shù)均等于模型更新間隔數(shù)，搜索區(qū)域縮放比設(shè)為4.5，最小和最大樣本尺寸分別設(shè)為200×200和250×250，共軛方向遺忘率為75。本文模型更新策略是從第一幀圖像輸入即開始生效，而ECO-HC從第10幀輸入后才開始每隔5幀更新一次。

以O(shè)TB2015中的Biker為例，它由142幀連續(xù)的圖像組成，圖4為本文算法對Biker進(jìn)行實驗時的模型更新間隔與幀號的變化圖。從圖4可以看出，應(yīng)用本文方法后，跟蹤過程共更新模型25次，改進(jìn)前是31次。過程中有3段更新間隔為7，6，段間隔為3，其余和改進(jìn)前一致，均為5。圖5（a）和圖5（c）分別是對Biker跟蹤的第13幀和第100幀圖像，在這些時刻，目標(biāo)緩慢移動且背景不變，場景變化幅度較低，模型更新間隔較大。圖5（b）為第70幀的跟蹤效果，目標(biāo)運動姿態(tài)變化較大，此時基于HOG的目標(biāo)區(qū)域相關(guān)度減小導(dǎo)致D值變小，故減小模型更新間隔為3，使跟蹤器能更快適應(yīng)目標(biāo)的改變，提高跟蹤效果。再結(jié)合圖6可以發(fā)現(xiàn)，場景變化幅度指標(biāo)D隨幀號變化的規(guī)律與模型更新間隔數(shù)隨幀號變化的規(guī)律（圖4）很相似，同升同降。

圖4 Biker中模型更新間隔與幀號的關(guān)系Fig.4 Relationship between model update interval and frame number in Biker

圖5 Biker中部分跟蹤效果Fig.5 Partial tracking effects in Biker

圖6 Biker中D與幀號的關(guān)系Fig.6 Relationship between D and frame number in Biker

OTB2015數(shù)據(jù)集中jogging和Skating2各有兩個目標(biāo)，在實驗前需將其拆分。David、Blur-Car1、BlurCar3和BlurCar4的真值不是從第一幀開始的，Board的幀號編碼是5位，其他序列都是4位。圖7為ECO-HC和在其基礎(chǔ)上應(yīng)用了本文方法（OURS）在OTB2013［16］數(shù)據(jù)集上與其他8種算法ASLA［17］、DFT［18］、SCM［19］、L1APG［20］、IVT［21］、MTT［22］、CT［23］、ORIA［24］的部分對比結(jié)果。本文方法相比于原方法，準(zhǔn)確率提高了1.5%，在目標(biāo)遮擋的場景中準(zhǔn)確率提高了3.4%，在圖像變形的場景中成功率提高了1.9%。

圖7 在OTB2013上的部分結(jié)果。（a）面內(nèi)旋轉(zhuǎn)成功率圖；（b）運動模糊成功率圖；（c）目標(biāo)變形成功率圖；（d）平面內(nèi)旋轉(zhuǎn)精度圖；（e）運動模糊精度圖；（f）目標(biāo)變形精度圖；（g）目標(biāo)被遮擋成功率圖；（h）光照變化精度圖；（i）背景雜亂精度圖；（j）尺度變化精度圖；（k）目標(biāo)被遮擋精度圖；（l）OPE［15］的精度圖。Fig.7 Partial results on OTB2013. （a） Success plot of in-plane rotation；（b）Success plot of motion blur；（c） Success plot of deformation；（d） Precision plot of in-plane rotation；（e） Precision plot of motion blur；（f） Precision plot of deformation；（g） Success plot of occlusion；（h） Precision plot of illumination variation；（i） Precision plot of background clutter；（j） Precision plot of scale variation；（k） Precision plot of occlusion；（l） Precision plot of OPE［15］.

在OTB2015數(shù)據(jù)集中的實驗結(jié)果顯示，本文方法相比于ECO-HC，在光照變化的情況下，成功率提高了1.6%，準(zhǔn)確率提高了2.2%；在目標(biāo)離開視場的情況下，成功率提高了3.7%，準(zhǔn)確率提高了3.4%，如圖8所示。從以上實驗結(jié)果可以看出，改進(jìn)后的算法在圖像背景復(fù)雜、圖像模糊、目標(biāo)被遮擋或某幾幀中離開視場的情況下相比于原算法跟蹤效果均有提升。

圖8 在OTB2015上的部分結(jié)果。（a）光照變化成功率圖；（b）目標(biāo)離開視場的成功率圖；（c）光照變化精度圖；（d）目標(biāo)離開視場的精度圖。Fig.8 Partial results on OTB2015. （a） Success plot of illumination variation； （b） Success plot of out of view； （c） Precision plot of illumination variation； （d） Precision plot of out of view.

圖9為本文算法與ECO-HC、C-COT、DFT［18］、EBT［25］和SRBT［26］的對比實驗，6種算法中只有C-COT用了卷積神經(jīng)網(wǎng)絡(luò)，其預(yù)訓(xùn)練模型為imagenet-vgg-m-2048。選用視頻序列依次是Matrix、Soccer、Shaking和Ironman，這4個視頻的光照均變化劇烈。Matrix、Soccer和Ironman中的目標(biāo)運動快速且外觀變化較多，跟蹤難度大。在視頻后半段，各對比算法發(fā)生跟蹤漂移，丟失真實目標(biāo)，而本文算法表現(xiàn)良好，各算法對比效果明顯。即在圖像場景變化復(fù)雜的情況下，應(yīng)提高模型更新的速率，使算法能及時調(diào)整并適應(yīng)目標(biāo)或背景的改變，避免跟蹤漂移。而在場景變化幅度不大時，減少模型更新既能降低過擬合的可能，又能減少運算并提高跟蹤速度，本文算法在本文實驗環(huán)境中平均速度可達(dá)60 FPS。

圖9 本文算法與其基線ECO-HC及其他4種算法的對比實驗。（a）Matrix；（b）Soccer；（c）Shaking；（d）Ironman。Fig.9 Comparison between the algorithm OURS in this paper and its baseline ECO-HC and other four algorithms.（a） Matrix； （b） Soccer； （c） Shaking； （d） Ironman.

在VOT2016［16］上的對比實驗結(jié)果如表2所示，第一列為幾種跟蹤算法名稱，中間3列為基線下的結(jié)果，最右兩列為無監(jiān)督情況下的結(jié)果。從表2可以看出，本文算法與基線ECO-HC相比，提高了重疊率（Overlap）、平均重疊期望（EAO）、AUC（Area under curve）和速度指標(biāo)（EFO），減小了失敗次數(shù)（Failures），提高了魯棒性。從對比實驗結(jié)果中可以看出C-COT的指標(biāo)也很優(yōu)秀，說明基于深度學(xué)習(xí)的目標(biāo)跟蹤方法能獲得很好的跟蹤效果，但與其改進(jìn)型ECO［14］的手工特征版本ECO-HC與本文方法相比，后者的速度是其30倍。ECO-HC是一種基于相關(guān)濾波的跟蹤方法，本文方法是在其基礎(chǔ)上改進(jìn)而來的。C-COT在應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)提取特征的過程中產(chǎn)生了大量的參數(shù)使得運行速度變慢且占內(nèi)存。同樣應(yīng)用深度學(xué)習(xí)的ECO使用因式分解卷積算子在數(shù)學(xué)上減少了濾波器個數(shù)，提高了計算效率，又用有間隔的模型更新方式減少了模型更新次數(shù)，使其速度達(dá)到了C-COT的8倍。而ECO-HC更快的原因是其未用卷積神經(jīng)網(wǎng)絡(luò)，僅用了梯度特征（HOG）和顏色特征（CN），運算復(fù)雜度更小。本文方法OURS除了具有ECO-HC的優(yōu)點外，采用自適應(yīng)模型更新策略使精度、速度和魯棒性都得到了進(jìn)一步提高。

表2 在VOT2016上的對比實驗Tab.2 Comparative experiment on VOT2016

5 結(jié) 論

本文提出了一種基于相關(guān)濾波的自適應(yīng)模型更新策略，即摒棄常用的逐幀更新方法和每隔固定幀數(shù)更新一次的策略，自適應(yīng)地以適當(dāng)?shù)母麻g隔更新模型。本文定義了一個用于表述相鄰兩幀圖像間差異的差異值D，以此來反映視頻序列中的場景在此時刻的變化情況。當(dāng)場景變化較劇烈時，減小跟蹤模型相鄰兩次更新的間隔數(shù)，使之加速適應(yīng)目標(biāo)變化，提高跟蹤準(zhǔn)確率；當(dāng)場景變化較和緩時，增大更新的間隔數(shù)，減少運算以提高運行速度，并避免過擬合。這樣的模型更新策略更加靈活，可以在保持跟蹤精度的同時提高跟蹤效率，可應(yīng)用于更多變的場景。在OTB2015上的實驗結(jié)果顯示，相比于基線ECO-HC，本文方法在光照變化的情況下成功率提高了1.6%，準(zhǔn)確率提高了2.2%；在目標(biāo)離開視場的情況下成功率提高了3.7%，準(zhǔn)確率提高了3.4%。在本文實驗環(huán)境中平均幀率可達(dá)60 FPS。