聯(lián)合外形響應(yīng)的深度目標追蹤器

孫海宇，陳秀宏，肖漢雄

（江南大學 數(shù)字媒體學院，江蘇 無錫 214122）

單目標跟蹤是一項基礎(chǔ)而又重要的計算機視覺任務(wù)。通常所講的單目標跟蹤是指：在視頻的首幀，給定目標的初始狀態(tài)(如：位置、大小)，然后在視頻的后續(xù)幀中估計出目標的狀態(tài)[1]。估計一個對象的運動軌跡[2]可以達到目標跟蹤的目的，但是目標軌跡的估計在多種干擾因素的影響下易有較大的誤差。常見的干擾因素有：光照變化 (illumination variation，IV)、大小變化 (scale variation，SV)、遮擋 (occlusion，OCC)、變形 (deformation，DEF)、運動模糊 (motion blur，MB)、快速運動(fast motion，F(xiàn)M)、平面內(nèi)旋轉(zhuǎn) (in-plane rotation，IPR)、平面外旋轉(zhuǎn) (out-of-plane rotation，OPR)、部分顯示(out-of-view，OV)、背景雜亂(background clutters，BC)、目標像素過少 (low-resolution，LR)等[3]。實際上，目標跟蹤就是要在當前幀中確定與目標相關(guān)的兩大要素：位置以及大小。有很多方法可以實現(xiàn)該目的，其中，檢測就是一種比較流行的方法。若在基于檢測的目標跟蹤方法中采用前背景分類器，這種追蹤方法又稱作基于判別式模型[4]的追蹤方法。判別式追蹤器充分利用了視頻序列中每一幀的前背景信息，從而達到區(qū)分目標和背景的目的，如：Henriques等[5]所提出的追蹤器以及Danelljan等[6]提出的追蹤器，從某種意義上講，以上追蹤器亦可稱為模板匹配類的追蹤器。這類追蹤器主要通過已知的目標信息，習得一個與目標相關(guān)的濾波模板，然后使用該模板在搜索區(qū)域(可能包含目標的區(qū)域)進行滑動匹配，以匹配度的形式來反應(yīng)匹配區(qū)域是否是目標位置，并將匹配度最高的位置作為最佳目標位置。文獻[7]中，主要討論的是樣本采樣問題，當樣本的數(shù)目采集的越多時，這些樣本會構(gòu)成一種理論比較完善的循環(huán)結(jié)構(gòu)，故而提出了循環(huán)采樣的方法。文獻[5]中，基于文獻[7]，使用樣本的原始像素或者方向梯度直方圖作為樣本特征求解模板，然后使用該模板進行目標位置的匹配。從跟蹤的定義上來看，以上主要解決的是目標追蹤中的位置問題。文獻[6]中，基于文獻[5]，主要討論了目標尺度問題，在求解尺度以及位置的時候，使用的是方向梯度直方圖作為特征。類似的追蹤器還有文獻[8-9]，而最近幾年，深度學習在許多應(yīng)用領(lǐng)域表現(xiàn)出了優(yōu)秀的成績[10]，目標追蹤領(lǐng)域也不例外，自Wang Naiyan將深度學習算法應(yīng)用到跟蹤領(lǐng)域[11]后，深度學習類的追蹤器也涌現(xiàn)出不少優(yōu)秀的作品，文獻[12]中，提出了基于孿生網(wǎng)絡(luò)的深度追蹤器，其在利用目標信息提取出卷積特征之后，僅僅使用了卷積特征在搜索區(qū)域進行目標位置的匹配。文獻[13]在文獻[12]的基礎(chǔ)上直接將相關(guān)濾波轉(zhuǎn)化為了神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層，使得兩者合二為一，成為一個端到端的整體系統(tǒng)，但是依舊僅僅使用卷積網(wǎng)絡(luò)所提取出來的特征。在最近的研究中，孿生網(wǎng)絡(luò)受到了極大的關(guān)注。文獻[14]提出了一種動態(tài)孿生網(wǎng)絡(luò)通過在線學習目標的外形變化以獲得目標的時域信息；文獻[15]結(jié)合RPN改進了候選框的生成來提高追蹤的精度；文獻[16]則嘗試通過改變訓練樣本的數(shù)據(jù)分布來獲得更具有判別性的特征；文獻[17]基于FaceNet中的Triplet Loss來改進損失函數(shù)。本文認為，網(wǎng)絡(luò)卷積出來的特征其實是碎片化的，故而在進行目標位置匹配的時候，易在遠離目標的地方產(chǎn)生位置響應(yīng)噪聲，從而影響目標位置的確定。因此，本文設(shè)計了一種聯(lián)合外形響應(yīng)的深度目標追蹤器，利用外形信息的位置響應(yīng)來修正卷積的位置響應(yīng)，從而得到更準確的目標定位，并通過實驗與其他追蹤器進行了比較，驗證了思路的可行性。

1 模板匹配以及外形信息

模板匹配類的追蹤器，基本思想是通過衡量目標與搜索區(qū)域內(nèi)各個部分的相似度，選取相似度最大的位置作為目標位置。事實上，這種思想在基于深度學習的追蹤器[12]和基于相關(guān)濾波的追蹤器[5]中均有體現(xiàn)。

1.1 孿生網(wǎng)絡(luò)追蹤器

在深度追蹤器中，模板的匹配大都是通過孿生網(wǎng)絡(luò)來實現(xiàn)的，Bertinetto等[12]第一次將孿生網(wǎng)絡(luò)應(yīng)用于目標追蹤。圖1展示了一個典型的孿生網(wǎng)絡(luò)結(jié)構(gòu)圖，表示已經(jīng)訓練好的、權(quán)值固定的卷積網(wǎng)絡(luò)；表示上一幀的目標信息；表示搜索區(qū)域；表示相關(guān)操作，實踐中具體表現(xiàn)為卷積運算。當與分別經(jīng)過卷積網(wǎng)絡(luò)提取特征之后，分別得到卷積特征，以及，通過計算兩者之間的相關(guān)性可得到搜索區(qū)域中每個部分與目標之間的相關(guān)程度響應(yīng)(圖中的紅點表示搜索區(qū)域中紅色部分與目標的相關(guān)程度，而藍點則表示搜索區(qū)域中藍色部分與目標的相關(guān)程度)，當?shù)玫巾憫?yīng)圖之后，通過三線性插值，最大響應(yīng)值的位置便可作為當前幀的目標位置。

圖 1 孿生網(wǎng)絡(luò)追蹤器結(jié)構(gòu)圖Fig. 1 Siamese network tracker structure

1.2 相關(guān)濾波追蹤器

相關(guān)濾波類的追蹤器最早是由文獻[18]提出來的，文獻[7]在其基礎(chǔ)上發(fā)展了循環(huán)采樣以及引入了核方法，但在文獻[19]中，將目標位置和大小分開考慮，與本文將追蹤中兩大要素分而治之的思想更為契合，因此為本文所選用。為了獲取目標位置的響應(yīng)圖，相關(guān)濾波類的追蹤器要找到一個最優(yōu)化的濾波器，該濾波器由所構(gòu)成。通過最小化如下的代價函數(shù)獲得：

1.3 目標外形信息

在人類視覺中，目標的外形信息具有重要的意義，倘若缺少了目標的外形信息，人類就會產(chǎn)生‘一葉障目'的視覺障礙，因此在過去的幾十年中，學者們對于目標的外形信息有著大量的研究[20-23]。目標的外形信息一般存在于目標與背景之間，能夠有效地突出目標物，為雙眼提供一個良好的聚焦區(qū)域。由于目標與背景在外形上存在較大的差異，因而學者們常常使用微分的方式來檢測目標的外形信息，常見的方式有Canny、Sobel、Roberts、Scharr、Prewitt、Hog，此外，還有小波變換等方式，其檢測效果如圖2所示。

圖 2 外形信息檢測方法Fig. 2 The samples of methods to detect outlines

2 聯(lián)合外形響應(yīng)的深度目標追蹤器

本文在可視化卷積網(wǎng)絡(luò)特征后，觀察到其與文獻[24]所述的局部性、方向性的特征具有相似性后(如圖3)，更加驗證了本文聯(lián)合外形信息的想法。圖3(a)為卷積網(wǎng)絡(luò)所提取的特征，圖3(b)為稀疏編碼所求得的基，可以發(fā)現(xiàn)圖3(a)的特征與未完全處理的基具有很高的相似性。如前所述，提取目標外輪廓信息有相當多的方法，鑒于方向梯度直方圖在追蹤問題上的廣泛應(yīng)用，本文選擇使用方向梯度直方圖來提取外形信息。

圖 3 特征對比Fig. 3 Features comparison

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的聯(lián)合外形響應(yīng)的深度目標追蹤器的結(jié)構(gòu)如圖4所示，它由兩個部分組成，一個是由卷積網(wǎng)絡(luò)所構(gòu)成的位置匹配部分，這個部分主要使用卷積網(wǎng)絡(luò)提取的目標特征進行位置匹配，稱之為卷積匹配部分，另一個是利用外形信息使用相關(guān)濾波進行位置匹配，稱之為濾波匹配部分。

圖 4 本文目標追蹤器結(jié)構(gòu)Fig. 4 The architecture of the proposed deep tracker

2.1.1 卷積匹配部分

在追蹤器的卷積匹配部分僅使用卷積網(wǎng)絡(luò)提取的特征進行目標位置的匹配，同時融合了尺度考慮，同文獻[12]中所表示的那樣，本文僅使用了3種尺度，追蹤器的輸入同文獻[12]一樣是一對樣本，一個是在初始幀中標記出來的目標，用來表示，其維度是，另一個是在當前幀中，以上一幀目標中心為中心的包含背景的目標搜索區(qū)域，用表示，其維度是，將兩者通過權(quán)值固定的卷積網(wǎng)絡(luò)，是文獻[25]中所提出的AlexNet網(wǎng)絡(luò)(不包含全連接層)，提取出對應(yīng)的卷積特征和之后，通過相關(guān)操作得出目標的位置響應(yīng)。

2.1.2 濾波匹配部分

在追蹤器的濾波匹配部分，主要使用方向梯度直方圖來提取目標的外形信息。由于目標的外形信息常常存在于目標與背景之間，為了提取目標的外形信息，需要包含一些背景信息，因此本文直接在中進行目標的外形信息提取。如果當前幀是首幀的話，就使用式(2)初始化濾波匹配時所需要的和，如果當前幀不是首幀的話，就利用式(5)求得目標的位置響應(yīng)，然后再利用式(3)和式(4)更新和。

2.2 修正部分

在沒有使用外形信息對位置響應(yīng)進行修正的情況下，由于卷積特征中多是類似于局部的、方向性的特征，這種碎片化的特征容易導致在遠離目標的區(qū)域處產(chǎn)生極大的位置響應(yīng)點，從而形成位置響應(yīng)噪聲。如圖5中卷積匹配的位置響應(yīng)圖所示(X、Y軸無十分重要的物理意義，Z軸表示相關(guān)性程度，數(shù)值越大表示該處與目標的相關(guān)性越大，則顏色越紅)。相對的，在搜索區(qū)域中，目標的外形占比一定大于局部特征的占比，所以利用了外形信息的濾波匹配的位置響應(yīng)大多會集中在目標區(qū)域處，如圖5中濾波匹配的位置響應(yīng)圖所示，聯(lián)合該外形信息的位置響應(yīng)，可以有效地突出目標的所在區(qū)域，使得位置響應(yīng)集中在目標區(qū)域處，從而達到抑制噪聲，避免位置發(fā)生漂移的目的。如圖5中修正的位置響應(yīng)圖所示，可以看到目標的位置響應(yīng)圖在修正后，抑制住了左邊的噪聲響應(yīng)。聯(lián)合該外形位置響應(yīng)，涉及到數(shù)據(jù)融合技術(shù)，可以使用加權(quán)平均法、貝葉斯估計法[26]、卡爾曼濾波法[27]等，本文為驗證想法直接采用了最為簡單的加權(quán)平均法：

圖 5 位置響應(yīng)的變化Fig. 5 The transform of position response map

3 實驗配置以及評價指標

3.1 實驗細節(jié)

訓練時，網(wǎng)絡(luò)的輸入是一對樣本，并且，執(zhí)行

卷積匹配部分，網(wǎng)絡(luò)的構(gòu)成同文獻[12]一樣(去除了網(wǎng)絡(luò)的全連接部分)，權(quán)重的取值是經(jīng)過405 650次隨機梯度下降得到的，網(wǎng)絡(luò)訓練的數(shù)據(jù)集是從ILSVRC-2015視頻數(shù)據(jù)集[29]中提取出的4 417個視頻序列，網(wǎng)絡(luò)訓練的損失函數(shù)為一次梯度下降使用8對樣本，一對樣本中，的維度是，的維度是，經(jīng)過網(wǎng)絡(luò)后，的維度是，的維度是，經(jīng)過三線性插值后，維度為，學習率采用動態(tài)學習率，初始值為，然后使用如下的指數(shù)衰減法進行衰減：

圖 6 效果圖Fig. 6 The effect of

3.2 實驗設(shè)備

本文使用Tensorflow[30]框架來實現(xiàn)模型，版本為1.4.0，實驗是在配置為i5-7300HQ 2.5 GHz CPU，GeForce GTX1050 GPU的筆記本中運行的。

3.3 測試數(shù)據(jù)集以及評價指標

3.3.1 指標

目標追蹤需要解決兩個問題：位置和大小，因此，評價一個追蹤器的優(yōu)劣往往通過精度圖和成功圖來描述[4]。精度圖是指在不同的中心誤差下，目標追蹤的成功率所構(gòu)成的圖；成功圖是指在不同的重疊率下，目標追蹤的成功率所構(gòu)成的圖。其中，中心誤差是指：追蹤器所輸出的目標框的中心與標簽目標框的中心之間的誤差，常用歐氏距離表示，單位是像素；重疊率o的定義為

3.3.2 測試數(shù)據(jù)集

本文使用目標追蹤測試平臺(object tracking benchmark，OTB)[1,3]中 CVPR-2013、OTB-50和OTB-1003個數(shù)據(jù)集對現(xiàn)有的算法進行評估。這3個數(shù)據(jù)集分別有51、50和100個視頻序列，每個視頻序列都包含了IV、SV、OCC、DEF、MB、FM、IPR、OPR、OV、BC、LR中的多個干擾因素。在這些干擾因素的影響下，追蹤測試平臺統(tǒng)計追蹤器的成功率，以精度圖和成功圖的形式來反應(yīng)追蹤器的追蹤性能。

3.3.3 外形信息的時間花費

本文在不同分辨率圖上測試了提取外形信息以及獲得其對應(yīng)的位置響應(yīng)所花費的時間，如圖7所示。分別給出了提取外形信息的時間花費和獲取外形信息對應(yīng)的位置響應(yīng)所花費的時間。從圖中可以看出，外形信息的提取時間相對較為合理(和圖像分辨率之間接近線性關(guān)系)；同時，獲取位置響應(yīng)的時間相對較長，有待進一步改進。

圖 7 時間花費Fig. 7 The results of elapsed time

3.4 平臺測試結(jié)果

本文在目標追蹤測試平臺上和近幾年優(yōu)秀的追蹤器 CFNet_conv3[13]、SiamFC_3s[12]、Staple[8]、fDSST[7]、 ACFN-selNet[31]、 SAMF[9]、 LCT[33]、MEEM[32]、ACFN-attNet[31]、DSST[19]、KCF[5]進行了比較，其結(jié)果如圖8所示，這里僅給出了CVPR-2013的結(jié)果，并利用圖9，直觀展示了部分追蹤效果(更多的結(jié)果數(shù)據(jù)請訪問文獻[34])，圖8(a)代表數(shù)據(jù)集的成功圖結(jié)果，圖8(b)代表數(shù)據(jù)集的精度圖結(jié)果。從圖8(b)的結(jié)果中可以看出，在中心誤差閾值很大的情況下，本文追蹤器依舊有著優(yōu)秀的成功率，說明在追蹤的過程中，本文的追蹤器發(fā)生了較少的邊框漂移，反應(yīng)到圖8(a)的成功圖中，可以看到，在重疊率閾值很小的情況下，本文追蹤器的成功率依舊優(yōu)秀，而很多追蹤器的成功率卻不理想，說明他們在追蹤的過程中，發(fā)生了較多的邊框漂移現(xiàn)象，導致了目標丟失；而本文追蹤器在進行位置確定的時候，利用了外形信息來抑制原本位置響應(yīng)中的噪聲點，所以具有較少的邊框漂移現(xiàn)象。以上的結(jié)果表明本文的追蹤器具有優(yōu)秀的追蹤效果。

圖 8 測試結(jié)果Fig. 8 The results of object tracking benchmark

圖 9 追蹤效果直觀感受Fig. 9 The direct feeling of our tracker

3.5 直觀效果

在追蹤測試平臺的測試序列中，每個序列都包含了多個干擾因素。從這么多的測試序列中取得優(yōu)秀的追蹤效果是相當不容易，由于本文使用了外形信息來對目標的位置響應(yīng)進行噪聲抑制，所以從上面的測試平臺給出的追蹤結(jié)果可知，本文的追蹤器具有優(yōu)秀的追蹤能力，但由于篇幅限制，這里給出幾組具有代表性的視頻序列追蹤效果的直觀展示，如圖9所示，正紅為本文追蹤器。

4 結(jié)束語

本文嘗試從理解卷積特征的基礎(chǔ)上來理解目標追蹤中卷積位置響應(yīng)的結(jié)果，從而指導如何修正目標跟蹤中的卷積響應(yīng)。通過分析可知：卷積網(wǎng)絡(luò)抽離出的卷積特征類似于局部性、方向性的特征，是碎片化的，在進行位置匹配的時候，可以通過突出目標區(qū)域的方式來緩和這種碎片化特征的影響。和最近幾年優(yōu)秀的追蹤器相比，該思路具有一定的可行性，能夠有效提高目標位置定位的精度。接下來的工作可以進一步探究如何縮短位置響應(yīng)的時間；本文卷積網(wǎng)絡(luò)的許多特征之間具有很高的相似性，是否可以直接通過稀疏化的方式來實現(xiàn)抑制位置響應(yīng)中的噪聲也是值得研究的。