基于感知深度神經網絡的視覺跟蹤

侯志強 戴 鉑 胡 丹 余旺盛 陳 晨 范舜奕

?

基于感知深度神經網絡的視覺跟蹤

侯志強 戴 鉑*胡 丹 余旺盛 陳 晨 范舜奕

(空軍工程大學信息與導航學院 西安 710077)

視覺跟蹤系統中，高效的特征表達是決定跟蹤魯棒性的關鍵，而多線索融合是解決復雜跟蹤問題的有效手段。該文首先提出一種基于多網絡并行、自適應觸發的感知深度神經網絡；然后，建立一個基于深度學習的、多線索融合的分塊目標模型。目標分塊的實現成倍地減少了網絡輸入的維度，從而大幅降低了網絡訓練時的計算復雜度；在跟蹤過程中，模型能夠根據各子塊的置信度動態調整權重，提高對目標姿態變化、光照變化、遮擋等復雜情況的適應性。在大量的測試數據上進行了實驗，通過對跟蹤結果進行定性和定量分析表明，所提出算法具有很強的魯棒性，能夠比較穩定地跟蹤目標。

視覺跟蹤；特征表達；深度學習；感知深度神經網絡

1 引言

視覺跟蹤[1]是計算機視覺領域中的一個重要課題，主要研究如何在視頻的每一幀中定位目標，以生成目標的運動軌跡, 同時提供完整的目標區域。一個完整的視覺跟蹤框架[2]主要由運動模型、特征表達、觀測模型和模型更新4部分組成。由于特征是區分前景和背景的依據，高效的特征表達成為決定跟蹤魯棒性的關鍵，常用的特征有色彩、紋理、灰度、梯度方向直方圖等。在跟蹤過程中，目標和場景的動態變化要求觀測模型具備一定的在線學習能力，經典的在線目標跟蹤方法，如MIL算法[3]、TLD算法[4]，將跟蹤結果作為訓練樣本，對目標模型進行在線更新，取得了較好的效果。

近年來，基于深度學習的方法在數字圖像分類[5,6]、語音識別[7]和人臉識別[8]等領域取得了突破性的進展，它的成功之處在于通過多層非線性變換提取到了與傳統特征相比更加豐富而本質的特征。在視覺跟蹤問題中，基于深度學習理論的算法通過分層特征的提取實現了較好的特征表達[9,10]，提升了跟蹤的魯棒性。

然而，采用深度學習方法解決跟蹤問題還存在一些難點。首先，深度神經網絡的構建需要大量的樣本數據[11]，并且這種需求將隨著每層神經元個數的增多、網絡層級的加深而大幅增加，而在跟蹤場景中，與任務相關的樣本數量很有限，這使得網絡訓練更具挑戰性；其次，經過大數據預訓練的網絡在不同的應用場景中容易發生過擬合，進而導致跟蹤漂移。因此，如何將深度神經網絡更好地應用于在線跟蹤是一個重要的研究課題。

本文提出一種基于多網絡并行、自適應觸發的感知深度神經網絡，并以此建立跟蹤模型。通過對目標候選區的分塊，成倍地減少了網絡輸入的維度，從而大幅降低了網絡訓練的計算復雜度；在粒子濾波的跟蹤框架下，各子塊根據對應子網絡生成的粒子置信度動態調整網絡自身的權重，提高了模型對目標外觀變化和復雜場景的適應性。

2 感知深度神經網絡

本文算法采用堆棧式消噪自編碼器(Stacked Denoising AutoEncoder, SDAE)提取特征，并采用基于分塊思想構建跟蹤模型。本節主要介紹堆棧式消噪自編碼器，并提出感知深度神經網絡。

2.1堆棧式消噪自編碼器

SDAE是對消噪自編碼器(DAE)[12]逐層貪婪構成的深度神經網絡，而DAE是在自動編碼器(AE)[13]的基礎上，通過在訓練數據中加入噪聲，使編碼器學習到對輸入信號更加魯棒的表達，從而增強了系統的泛化能力。DAE的結構如圖1(b)所示，其工作過程主要分為編碼和解碼兩部分。

圖1 消噪自編碼器工作原理圖

為了更加直觀地理解深度神經網絡表達特征的過程，將隱藏層特征可視化。輸入來自car4數據集的10幅圖像，經過消噪自編碼器提取特征，得到特征圖如圖1(c)所示。可以看出，通過網絡學習獲得的特征是輸入圖像中涵蓋不同位置和方向的拐點和邊緣，這些抽象的特征是構成更加豐富特征的基礎。

2.2 感知深度神經網絡

SDAE深度神經網絡通過重構目標，有效地提取到了目標的特征表達，但是，在跟蹤過程中，目標的形變、部分的遮擋和復雜背景的干擾等因素使得網絡參數更新頻繁。網絡過于頻繁的更新不僅降低了跟蹤的實時性，而且容易引入遮擋物、背景等無關特征的表達。在Freeman1視頻序列的實驗中，當目標在白色屏幕前摘下眼鏡，跟蹤框的大部分停留在背景和手部，基于全局特征提取的DLT算法進行了多次的網絡更新，使得大量的背景噪聲引入而導致跟蹤失敗。

本文將HOG特征提取中對目標區域分割成分塊重疊子塊[14]的思想引入到基于SDAE的特征提取方法中。當目標有部分被其他物體遮擋或存在背景干擾時，干擾物體的影響將被局限在對應的子區域網絡中，而不會影響其他未受干擾的子區域網絡，合理地判斷和處理各子區域網絡在跟蹤過程中的變化，能抑制目標局部遮擋或背景干擾對跟蹤系統的影響，而各子區域自適應地分裂和合并使得整個系統具有了感知能力，我們將其命名為感知深度神經網絡(Perceptive Deep Neural Network, PDNN)，如圖2所示。其中，綠色網絡代表通過閾值判定觸發的網絡，紅色網絡代表當前幀被凍結的網絡，跟蹤結果由所有觸發網絡共同決定。

圖2 感知深度神經網絡示例圖

3 基于感知深度神經網絡的視覺跟蹤

視覺跟蹤等價于在連續的圖像幀間創建關于位置、顏色、形狀、輪廓、紋理等特征信息的對應匹配問題。而粒子濾波[15]是一種通過蒙特卡羅原理來實現遞歸貝葉斯濾波的算法，其適用于非線性非高斯的特性十分適合于目標跟蹤領域[16]。本文將深度神經網絡提取到的特征應用于粒子濾波的跟蹤框架，為了提高跟蹤的適應性，考慮根據各子網絡的置信度動態調整對應子塊的權重，同時進行子塊的分裂和合并。

3.1 粒子濾波算法

后續時刻的狀態估計為

跟蹤過程中，系統會進行粒子重采樣和相應的置信度、權重的計算以及必要的模型更新。

3.2 網絡粒子置信度計算

與傳統粒子濾波中的置信度計算不同，基于深度神經網絡的粒子置信度直接來源于網絡輸出。在具體操作中，首先，將目標圖像轉化為灰度圖并變換成32×32的圖像矩陣；然后，采用如圖3所示的帶重疊的方式對該矩陣圖像進行分塊，生成5個16×16的矩陣；將這5個矩陣按列展開輸入到上述的感知深度神經網絡，其子網絡均為5層，自輸入至輸出的各層神經元個數依次為256, 512, 256, 128, 64。5組輸出結果分別通過各自的函數分類器，得到粒子置信度矩陣：

由于基于SDAE架構的分塊是像素級的，因此，各子塊的相對位置始終恒定，一個采樣粒子可以映射到5個子塊分別計算對應的粒子置信度，即中相同行內共用同一粒子，且同一粒子對應的5個值無關。子塊相對位置的不變性與跟蹤目標的表觀特性是相適應的，而粒子置信度維數的升高增加了粒子的信息熵，大幅度增加了跟蹤的魯棒性。

3.3 網絡模型更新策略

由于采用分塊機制，在生成粒子的置信度矩陣后，首先，定義網絡的置信度為上述采樣粒子在對應子網絡中生成的粒子置信度的最大值；然后，考察每個網絡的置信度是否大于閾值，若小于，認為該網絡對應子塊的表觀模型發生重大改變，這種改變可能由于物體遮擋、光照變化等因素造成，為避免對整體相似度的影響，凍結該網絡，網絡權重直接設置為0。檢查結束后，剩余網絡數記為，若占總網絡數的比重大于，則認為目標的表觀模型可信，進行子塊權重的計算。

在計算子塊權重時，將子網絡對應的置信度進行升冪變換并做歸一化處理，作為該區域的置信度權重：

3.4 算法流程

綜合上述對深度神經網絡的分塊跟蹤算法的關鍵部分的描述，本文提出了一種基于感知深度神經網絡的視覺跟蹤(Perceptive Deep Neural network Tracker, PDNT)方法。算法流程見圖3。具體步驟如表1所示。

圖3 算法流程圖

表1 感知深度神經網絡的視覺跟蹤算法

4 實驗結果與分析

采用MATLAB2014a編寫程序對PDNT進行了測試，實驗在處理器為Intel Xeon 2.4 GHz的計算機上進行。算法中，取值為0.75,取值為0.6。實驗采用了10個常用的公共視頻對算法進行了測試，測試視頻來自于文獻[19]，其內容涵蓋了目標的尺度、旋轉、形變、遮擋以及光照變化等情況。對比算法選取同樣采用在線學習機制的經典算法 MIL(Multiple Instances Learning)[3], TLD (Tracking-Learning-Detection)[4]和DLT(Deep Learning Tracker)[9]，基于顏色特征的分塊算法FragTrack[14]以及目前適用性較強的CT (Compressive Tracking)[20]和DFT(Distribution Fields for Tracking)[21]。

4.1 定性對比

圖4給出了實驗結果的部分截圖，不同算法的跟蹤結果分別采用不同顏色的矩形框表示，每張圖的左上角記錄當前圖像幀數。下面將從7種情況對算法進行定性分析：

圖4 跟蹤算法性能的定性比較

(1)姿態變化：以視頻“mountainbike”為參考。視頻序列中，目標發生了不同程度的姿態變化。雖然目標的表觀變化比較大，但是整個變化過程是連續的，有效地考驗了算法的在線學習能力。大部分對比算法在第37幀至第96幀相繼發生跟蹤漂移，基于多實例學習的MIL在第160幀也丟失了目標，整個序列中，只有基于深度學習的算法PDNT和DLT能實現持續穩定的跟蹤，而且PDNT更好地適應了該視頻中目標的尺度變化。

(2)尺度變化：以視頻“carscale”、“singer1”為參考?！癱arscale”視頻中，目標存在遮擋及明顯的姿態和尺度變化，第162幀至第179幀目標被部分遮擋，DLT和DFT發生跟蹤漂移；在后續幀序列中，運動目標由遠及近、由側前轉變為側后，PDNT始終保持最為魯棒的跟蹤。“singer1”視頻在目標尺度變化的同時，第78幀至第147幀存在光照的顯著變化，PDNT也能較好地適應。

(3)旋轉變化：以視頻“david2”、“fleetface”為參考?！癲avid2”視頻中，運動目標做了一定的旋轉，第387幀后，只有基于在線學習的MIL、TLD和PDNT依然有效，而PDNT通過區域特征權值的更新使得效果更佳?！癴leetface”視頻中，運動目標在第626幀附近發生平面外旋轉，只有基于深度學習的DLT和PDNT依然保持跟蹤，但DLT發生嚴重漂移，PDNT表現的更加魯棒。

(4)光照變化：以視頻“cardark”、“singer1”為參考。“cardark”視頻中，運動目標相對較小，且目標與背景的對比度低，光照變化大，測試算法中，只有PDNT準確地完成了整個序列的跟蹤。

(5)遮擋：以視頻“faceocc1”為參考?！癴aceocc1”視頻通過不同方向、不同程度的遮擋檢驗算法的抗遮擋能力?；谡w模型的TLD和MIL在目標被長時間遮擋的過程中，將遮擋物也視為目標的一部分進行學習，產生跟蹤誤差；而基于分塊思想的Frag和PDNT取得了良好的跟蹤效果。

(6)復雜背景：以視頻“car4”、“fleetface”、“mountainbike”為參考?！癱ar4”視頻中包含了大量的光照變化和復雜背景干擾。第197幀中運動目標被陰影覆蓋，只有DLT和PDNT能夠實現穩定的跟蹤，其他算法均出現不同程度的漂移至跟蹤失敗。

(7)非剛性形變：以視頻“bolt”為參考?！癰olt”視頻中跟蹤目標附近有多個與其相似的運動目標，且目標有快速、持續的非剛性形變。在跟蹤過程中，基于分塊的Frag和PDNT取得了較好的效果，只有PDNT完成了整個序列的跟蹤，相比于其他對比算法有較高的魯棒性。

4.2 定量分析

采用中心位置誤差和覆蓋率2個指標評價本算法與其他算法的優劣。其中，中心位置誤差是指圖像中跟蹤結果的中心位置與實際值的中心位置之間的歐式距離。計算了每組視頻、每種算法的平均中心位置誤差，如表2所示；覆蓋率指跟蹤結果的區域和目標真實值的區域之間的重疊部分所占的比重，平均覆蓋率如表3所示。

表2 平均中心位置誤差值(單位為像素)

表3 平均覆蓋率(%)

分析實驗結果，可以看出本文算法在大部分視頻中保持了較低的中心位置誤差和較高的覆蓋率，表現出好于其它算法的跟蹤精度，具有較好的跟蹤魯棒性。

由于深度神經網絡涉及的參數多，而每個參數的調整都需要多次的迭代計算，結合實驗各部分耗時統計，我們發現：模型的算法復雜度主要集中在網絡的更新過程中，而基于分塊思想的PDNT采用的感知深度網絡通過縮小網絡寬度、多網絡自適應擇優，更好地適應了數據的多樣性，從而大幅度減少網絡更新的次數，降低了算法復雜度。實驗中，選擇基于堆棧式自編碼器的DLT作為對比，均輸入服從高斯分布的數據對兩個模型中的網絡進行初始化，記錄各組實驗中網絡更新的次數，比較網絡性能，如表4所示。

表4 網絡更新次數

分析實驗結果，PDNT采用的感知深度神經網絡對數據的適應性更強，有效降低了算法的復雜度。

在時效性上，在Windows操作系統下驅動GPU (TITANX), PDNT平均速率為8幀/s，相對于同樣基于深度學習的在線跟蹤方法DeepTrack[22]的2.5幀/s有較大幅度的提升。

4.3 討論

綜合上述實驗結果，基于深度學習的算法DLT和PDNT在大部分視頻中保持了較低的中心位置誤差和較高的覆蓋率，在跟蹤精度上優于其他對比算法。而在目標外觀變化較大的復雜場景中，基于分塊感知、區域特征融合的PDNT具有更好的魯棒性。

5 結束語

優秀的特征表達是魯棒視覺跟蹤的關鍵，本文算法通過多個深度神經網絡提取目標各子塊的分層特征，不僅提高了模型對目標外觀變化和復雜場景的適應性，而且大幅度降低了網絡訓練的計算復雜度。結合分塊模型的特點，設計了粒子濾波框架下的置信度計算方法和模板更新策略，使整個網絡具備了感知能力。在實驗中，針對姿態變化、尺度變化、光照變化、復雜背景和遮擋等情況，本文算法的適應能力優于對比算法，而且隨著圖像分辨率的提升，優勢愈發明顯。

分塊提取特征的分塊策略不僅限于文中所述的線性結構，根據目標的具體種類，不同的分塊策略會對跟蹤效果產生較大影響。如何設計一種自適應的非線性分塊方法是以后研究的重點方向。

[1] 侯志強, 韓崇昭. 視覺跟蹤技術綜述[J]. 自動化學報, 2006, 32(4): 603-617.

HOU Zhiqiang and HAN Chongzhao. A Survey of visual tracking[J]., 2006, 32(4): 603-617.

[2] WANG Naiyan, SHI Jianping, YEUNG Dityan,. Understanding and diagnosing visual tracking systems[C]. International Conference on Computer Vision, Santiago, Chile, 2015: 11-18.

[3] BABENKO B, YANG M, and BELONGIE S. Visual tracking with online multiple instance learning[C]. International Conference on Computer Vision and Pattern Recognition, Miami, FL, USA, 2009: 983-990. doi: 10.1109/CVPR.2009. 5206737.

[4] KALAL Z, MIKOLAJCZYK K, and MATAS J. Tracking learning detection[J]., 2012, 34(7): 1409-1422. doi: 10.1109/TPAMI.2011.239.

[5] HE Kaiming, ZHANG Xiangyu, REN Shaoqing,. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]. International Conference on Computer Vision, Santiago, Chile, 2015: 1026-1034.

[6] COURBARIAUX M, BENGIO Y, and DAVID J P. Binary Connect: training deep neural networks with binary weights during propagations[C]. Advances in Neural Information Processing Systems, Montréal, Quebec, Canada, 2015: 3105-3113.

[7] SAINATH T N, VINYALS O, SENIOR A,. Convolutional, long short term memory, fully connected deep neural networks[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, Brisbane, Australia, 2015: 4580-4584. doi: 10.1109/ICASSP.2015.7178838.

[8] PARKHI O M, VEDALDI A, and ZISSERMAN A. Deep face recognition[J]., 2015, 1(3): 6.

[9] WANG Naiyan and YEUNG Dityan. Learning a deep compact image representation for visual tracking[C]. Advances in Neural Information Processing Systems, South Lake Tahoe, Nevada, USA, 2013: 809-817.

[10] 李寰宇, 畢篤彥, 楊源, 等. 基于深度特征表達與學習的視覺跟蹤算法研究[J]. 電子與信息學報, 2015, 37(9): 2033-2039.

LI Huanyu, BI Duyan, YANG Yuan,. Research on visual tracking algorithm based on deep feature expression and learning[J].&, 2015, 37(9): 2033-2039. doi: 10.11999/JEIT150031.

[11] RUSSAKOVSKY O, DENG J, SU H,. Imagenet large scale visual recognition challenge[J]., 2015, 115(3): 211-252. doi: 10.1007/ s11263-015-0816-y.

[12] VINCENT P, LAROCHELLE H, LAJOIE I,. Stacked denoising autoencoders: Learning useful representations in a deep network with a local denoising criterion[J]., 2010, 11(11): 3371-3408.

[13] HINTON G E and SALAKHUTDINOV R. Reducing the dimensionality of data with neural networks[J]., 2006, 313(5786): 504-507. doi: 10.1126/science.1127647.

[14] ADAM A, RIVLIN E, and SHIMSHONI I. Robust fragments-based tracking using the integral histogram[C]. International Conference on Computer Vision and Pattern Recognition, New York, NY, USA, 2006: 798-805. doi: 10.1109/CVPR.2006.256.

[15] JULIER S J and UHLM J U. Unscented filtering and nonlinear estimation[J]., 2004, 192(3): 401-422. doi: 10.1109/JPROC.2003.823141.

[16] YILMAZ A, JAVED O, and SHAH M. Object tracking: a survey[J]., 2006, 38(4): 1-45.

[17] NICKEL K and STIEFELHAGEN R. Dynamic integration of generalized cues for person tracking[C]. European Conference on Computer Vision, Marseille, France, 2008: 514-526. doi: 10.1007/978-3-540-88693-8_38.

[18] SPENGLER M and SCHIELE B. Towards robust multi-cue integration for visual tracking[J]., 2003, 14(1): 50-58. doi: 10.1007/s00138-002- 0095-9.

[19] WU Yi, LIM Jongwoo, and YANG Minghsuan. Online object tracking: a benchmark[C]. International Conference on Computer Vision and Pattern Recognition, Portland, OR, USA, 2013: 2411-2418.

[20] ZHANG Kaihua, ZHANG Lei, and YANG Minghsuan. Real-time compressive tracking[C]. European Conference on Computer Vision, Florence, Italy, 2012: 866-879. doi: 10.1007/978-3-642-33712-3_62.

[21] SEVILLA-LARA L and LEARNED-MILLER E. Distribution fields for tracking[C]. International Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, 2012: 1910-1917. doi: 10.1109/CVPR.2012.6247891.

[22] LI Hanxi, LI Yi, and PORIKLI Fatih. Deeptrack: learning discriminative feature representations by convolutional neural networks for visual tracking[C]. Proceedings of the British Machine Vision Conference, Nottingham, UK, 2014: 110-119. doi: 10.1109/TIP.2015.2510583.

Robust Visual Tracking via Perceptive Deep Neural Network

HOU Zhiqiang DAI Bo HU Dan YU Wangsheng CHEN Chen FAN Shunyi

(,,’710077,)

In a visual tracking system, the feature description plays the most important role. Multi-cue fusion is an effective way to solve the tracking problem under many complex conditions. Therefore, a perceptive deep neural network based on multi parallel networks which can be triggered adaptively is proposed. Then, using the multi-cue fusion, a new tracking method based on deep learning is established, in which the target can be adaptively fragmented. The fragment decreases the input dimension, thus reducing the computation complexity. During the tracking process, the model can dynamically adjust the weights of fragments according to the reliability of them, which is able to improve the flexibility of the tracker to deal with some complex circumstances, such as target posture change, light change and occluded by other objects. Qualitative and quantitative analysis on challenging benchmark video sequences show that the proposed tracking method is robust and can track the moving target robustly.

Visual tracking; Feature description; Deep learning; Perceptive deep neural network

TP391.4

A

1009-5896(2016)07-1616-08

10.11999/JEIT151449

2015-12-22；改回日期：2016-05-04；網絡出版：2016-05-31*

戴鉑 daybright_david@163.com

國家自然科學基金(61175029, 61473309)，陜西省自然科學基金(2015JM6269, 2015JM6269, 2016JM6050)

Foundation Items: The National Natural Science Foundation of China (61175029, 61473309), The Natural Science Foundation of Shaanxi Province (2015JM6269, 2016JM6050)

侯志強： 男，1973年生，教授，主要研究方向為圖像處理、計算機視覺和信息融合.

戴 鉑： 男，1992年生，碩士生，研究方向為計算機視覺、機器學習.