結合SDAE網絡和ODB學習策略的多目標視覺跟蹤

孫艷青，潘廣貞，王 鳳

(中北大學 軟件學院，太原 030051)

1 引 言

多目標視覺跟蹤是計算機視覺應用中的基本問題，如視頻監控，活動識別和人機交互[1].在這些應用中，視覺跟蹤器必須能夠在運行時對目標外觀進行建模，并在線調整此模型以便在目標持續跟蹤過程中解決外觀改變如目標形變、目標相似以及目標被遮擋引起的跟蹤失效問題.針對這些問題，國內外學者提出許多優秀的在線多目標跟蹤算法，并取得顯著進展.

C.Huang，B.Wu，and R.Neva提出一種層次關聯多目標跟蹤方法，其使用低級特征，包括位置，大小和顏色直方圖的外觀，構建可靠的軌跡，并選擇匈牙利算法來關聯它們并產生更長的軌跡[2].Z.Wu，T.H.Kunz，and M.Betake提出網絡流和設置覆蓋技術跟蹤算法[3].B.Yang and R.Nevadian通過最小化能量函數提出基于條件隨機域(conditional random field，CRF)的軌跡關聯模型的目標跟蹤算法[4].

上述跟蹤方法通過提高目標的外觀特征一定程度上提高多目標跟蹤的魯棒性，然而上述算法提取和使用的是多目標跟蹤的低級別的外觀特征，如顏色直方圖，運動和紋理，無法從根本上解決如目標部分和全部遮擋，強烈的光照變化帶來的目標外觀變化，從而引起的目標漂移等問題，不適合在線和實時多目標視覺跟蹤[5].鑒于以上缺點本文提出結合SDAE網絡和在線Deep Boost學習策略的多目標視覺跟蹤算法.結合ODB中學習的局部-全局視覺圖像特征生成目標外觀模型進行實時跟蹤目標.

2 在線Deep Boost學習跟蹤

在線Deep Boost學習跟蹤作為boosting一類跟蹤器的改進，滿足實時跟蹤要求，是一種通過應用近似策略Deep Boost算法的在線簡化版本[6].算法原理為：

離線Deep Boost學習跟蹤算法的目標函數：

(1)

式(1)中其中第一項是具有指數損失函數的經驗誤差，第二項是具有混合權重α(α≥0)的Rademacher復雜度的加權平均值，候選分類器hi可輸出二進制值，根據其識別能力和復雜度，離線Deep Boost學習過程是通過選擇α最小化這種學習界限，其中

Λi=λRs(hi)+β，

(2)

h=Sigmoid(RsG(v))

(3)

參數λ控制這兩項的大小之間的平衡，Rs(hi)代表候選分類器hi的Rademacher復雜度，G(v)代表由類似高維度特征Haar(參數v表示)構成的弱分類器結構.Rs代表樣本集S={(zj，yi)}，yi∈(-1，1)的稀疏隨機矩陣.

由式(3)知候選分類器可返回實數值而非二進制數，因此可采用近似逼近策略近似刪除候選分類器的權重α和相關復雜度項，并且直接選擇候選分類器.因此ODB算法目標函數可重新表示：

(4)

其中參數θ∈Rn是稀疏向量，其中k項恒等于1，剩余n-k項為0.然后通過順序選擇k個候選分類器有效完成優化以最小化Q.對比式(1)和(4)知，ODB算法相對離線Deep Boost學習算法具有較高識別能力和較低復雜度，具體實現過程如圖1所示，基于此優勢可更快地選擇候選分類器.意味著從具有高辨別能力的候選分類器中選擇更簡單的候選分類器.顯然，ODB算法采用逼近策略提高整體跟蹤器特征學習的準確性，同時加快跟蹤器的速度[7].

圖1 ODB學習策略流程圖Fig.1 ODB learning strategy flow chart

3 基于ODB的多目標視覺跟蹤算法(Deep Boost Multi-object Tracking，DBMoT)

基于ODB學習策略，在SDAE網絡下提出一種魯棒的多目標視覺跟蹤算法.

3.1 DBMoT算法流程圖

圖2 DBMoT算法框圖Fig.2 DBMoT algorithm block diagram

由圖2知DBMoT算法通過三個階段實現：

1)ODB結合SDAE網絡在線學習視頻圖像的局部-全局特征，計算特征權重nn.W{l}.

2)采用粒子濾波器估計目標狀態，soft-max分類器計算目標最大相似度，由目標最相似狀態構建跟蹤模型.

3)引入時間信息得到目標動態持續時間在線更新并訓練模型.

3.2 DBMoT算法步驟為：

1)ODB結合堆疊去噪自動編碼器(SDAE)[8]學習局部-全局圖像特征.

在提出DBMoT算法的過程中，本文使用Image NET數據集作為輔助數據樣本，在這一階段，通過建立五層深的學習結構和訓練這種原始多目標跟蹤系統的脫機輔助自然圖像，利用ODB方法可在SDAE架構中學習并提取圖像局部-全局視覺特征nn.W{l}，其中nn是原多目標跟蹤系統，可創建的疊加去噪自編碼，W{l}是從第一層至第五層nn的權值.

根據每個跟蹤目標初始狀態和局部-全局特征nn.W，算法目的是訓練和完善一個新的深度學習系統，實現多個目標跟蹤這個視頻.現在，首先需計算每個隱藏層的值，包括輸入層、隱層、分類層，用nn.a{j}表示，最后問題可歸結到計算新圖像特征權值nn.w{l}，公式可寫為：

ΔW{l}=nn.d{l+1}′·nn.a{l}，l=1，2，3，4，5，

(5)

nn.W{l}=nn.W{l}-ΔW{l}

(6)

假設有n個訓練樣本，X=(x1，…，xn)表示原始數據樣本.X′=(x1′，…，xn′)表示X的損壞樣本，其中損壞可能是加入高斯噪聲或椒鹽噪聲.對于編碼器處理中的每個輸入xi，SDAE首先通過確定性映射公式將其映射到隱藏表示yi：

(7)

(8)

其中“′”不表示轉置，在給定代碼Y情況下，X°被視為X的預測.反向映射的權重矩陣W′可看做W′=WT，通過最小化正則化重建誤差優化該模型參數：

(9)

其中λ是平衡重建損失和權重罰值項的參數，“‖F”表示F范數.

2)粒子濾波器和soft-max分類器進行跟蹤.

假設對n個目標進行跟蹤，使用SDAE經過訓練的編碼器通過多個非線性變換學習豐富的外觀特征，并且是對圖像性質的高級描述，可進行圖像可視化和分類.

如圖3表示結合SDAE網絡的DBMoT跟蹤器實現過程圖，圖中包括N+1個類，包括n個正模板類和1個類，它表示所有的負模板，為了區分正、負樣本類，在采用ODB策略的局部-全局特征學習階段獲得的SDAE的頂層編碼器添加一個分類層，即a{6}分類層，編碼器假定網絡隱層數為M，將前一層得到的權重W{l}作為下一層輸入進行訓練，接著利用粒子濾波方法[9]估計隨機樣本每個對象m的粒子狀態，使用Soft-max分類器計算每個粒子和每個類的相似性，得到最相似和相應類；然后通過誤差反向傳播神經網絡(Backpropagation)的監督學習算法對整個網絡進行微調(Fine-tune).

圖3 基于SDAE網絡的DBMoT方法Fig.3 DBMoT method based on SDAE network

3)在線模型更新.

在獲得最相似粒子的位置和大小，并更新每個目標的最新狀態后，然后在線更新跟蹤模型以適應目標的外觀變化.為了形成成功的多目標跟蹤外觀模型，DBMoT算法引入時間信息，動態記錄目標持續時間內的外觀特征，有效生成在線學習模型.時間信息模型如圖4所示，其中x，y軸組成的平面表示跟蹤視頻當前幀的一部分，該跟蹤幀顯示一個跟蹤對象，t維是視頻運行時間，此模型表示跟蹤一個目標的持續時間，由于真實場景的復雜性，左邊灰色圖像不僅記錄了從左到右早期外觀特征而且記錄了最新外觀特征.此外觀模型可帶來比以往目標跟蹤方法更有價值的信息.

圖4 時間信息模型Fig.4 Temporal information model

4 實驗分析

4.1 實驗環境及步驟

實現提出算法(DBMoT)，以Intel (R)Pentium(R)CPUG645 @2.90GHz，4.00GB內存Windows7 64位的操作系統，以 MATLAB 8.1(R2013a)為開發工具，在CNTK深度學習平臺上對SDAE網絡進行訓練，部分代碼和訓練參數可從git-hub中獲取.根據ODB算法和DBMoT原理可設跟蹤參數：β=0.25，閾值Θ=0.8，平衡參數λ=0.001，實驗中各參數均保持固定.為了評價DBMoT算法，采用來源于Image Net數據集中的三組視頻幀：crossing、Jogging、VS-PETS 2009(Visual Surveillance and Performance Evaluation of Tracking and Surveillance)為實驗對象.實驗中將DBMoT算法與跟蹤算法：在線boosting跟蹤器(OBT)[10]、TLD跟蹤器[11]、在線多示例學習(MIL)[12]進行對比證明本算法更優的跟蹤效果.

4.2 性能指標

為了驗證跟蹤算法的有效性、可行性，通過多目標跟蹤準確率(multiple object tracking accuracy，MOTA)多目標跟蹤精確率(multiple object tracking precision，MOTP)[13]以及跟蹤成功率(Tracking success rate，TSR)評價該算法的優越性.

1)MOTA和MOTP

(10)

2)TSR[14]定義為跟蹤成功的幀數占視頻總幀數的百分比，TSR 數值越大，表明跟蹤結果的穩定性越好.

4.3 實驗結果分析

1)圖5(a)(b)(c)給出三組視頻目標Crossing、Jogging、VS-PETS采用本算法在不同光照強度、遮擋等條件下的跟蹤情況.不同顏色矩形框表示算法對視頻幀中每個目標的跟蹤準確度.

由圖5知在光照變化、遮擋、姿態變化等場景下DBMoT算法有效地對三組視頻對象不同幀進行跟蹤.圖5(a)可看出車輛與行人的互遮擋、不同光照條件下算法跟蹤效果更穩定.圖5(b)兩行人慢跑過程中發生姿態變化，場景變化時算法的效率.圖5(c)視頻目標中不同幀發生快速運動，目標間的互遮擋條件下DBMoT的跟蹤效率.上述三組對象均未出現目標丟失，漂移現象，跟蹤效果良好.

圖5 DBMoT算法多目標跟蹤結果Fig.5 Multi-target tracking results of DBMoT algorithm

2)不同幀條件下四種算法對兩組實驗對象中單一目標的跟蹤結果見圖6.

由圖6知，采用四種算法對實驗對象Crossing中的車輛以及Jogging中的其中一行人進行跟蹤，圖中四種顏色矩形框(白色、灰色、黑色、黑虛線)代表DBMoT、MIL、TLD、OBT的跟蹤效率.圖6(a)(b)對車輛、行人進行跟蹤，算法MIL、TLD、OBT不同程度上出現跟蹤對象丟失、目標漂移等問題，以及目標形態外觀變化引起的跟蹤失效問題，且跟蹤效率依次降低，而由圖知DBMoT算法已較好的解決了上述問題，跟蹤準確率最高，OBT準確率最低，TLD和MIL由于不同場景的變化準確率不穩定，出現部分目標漂移和錯誤匹配現象.

圖6 不同算法跟蹤結果Fig.6 Tracking results of different algorithms

3)表1為不同視頻目標用四種算法得到平均TSR結果.

表1 不同實驗對象TSR比較Table 1 Comparison of TSR in different subjects

4)視頻對象Crossing、Jogging在不同視頻幀條件下四種算法MOTP比較結果如圖7、圖8所示.

圖7 Crossing跟蹤精確率比較Fig．7 ComparisonofCrossingtrackingaccuracy圖8 Jogging跟蹤精確度比較Fig．8 ComparisonofJoggingtrackingaccuracy

圖7和圖8分別給出視頻對象Crossing、Jogging采用算法OBT、MIL、TLD和本文算法DBMoT在不同幀情況下的MOTP對比，經實驗知MOTP達到97.61%，比其他三種算法平均提高2.89%，DBMoT跟蹤精度更高，同時解決目標漂移、錯誤匹配問題.

5 結 語

本文提出基于SDAE網絡和ODB學習策略的多目標視覺跟蹤算法，其中得到的DBMoT跟蹤器可有效的對多目標視頻圖像進行實時跟蹤.算法在SDAE網絡中采用ODB學習提取目標的局部-全局視覺特征，采用粒子濾波法和Soft-max分類器估計目標對象的狀態并計算最大相似度，引入時間信息在線更新外觀跟蹤模型.實驗表明，該算法在不同的光照變化、姿態變化、遮擋及其它復雜場景中對多目標都有較好的跟蹤效果，更好解決目標漂移、錯誤匹配問題，對多目標的視覺跟蹤準確度、精確度都有明顯提高.然而當運動背景過于復雜時跟蹤精度會有所影響，在今后工作中將結合深度學習方式，建立訓練集，進一步測試、學習，以及多模態理論對目標進行跟蹤分析.

[1] Wang L，Liu T，Wang G，et al.Video tracking using learned hierarchical features[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2015，24(4)：1424-1435.

[2] Huang C，Wu B，Nevatia R.Robust object tracking by hierarchical association of detection responses[C].European Conference on Computer Vision，Springer-Verlag，2008：788-801.

[3] Wu Z，Kunz T H，Betke M.Efficient track linking methods for track graphs using network-flow and set-cover techniques[C].Computer Vision and Pattern Recognition，IEEE，2011：1185-1192.

[4] Yang B，Nevatia R.An online learned CRF model for multi-target tracking[C].Computer Vision and Pattern Recognition，IEEE，2012：2034-2041.

[5] He L，Bo Y，Zhao G.Accelerated multi-feature based compressive sensing tracking[J].Infrared Physics & Technology，2015，71：424-431.

[6] Wang J，Wang Y.Multi-period visual tracking via online DeepBoost learning[J].Neuro Computing，2016，200(C)：55-69.

[7] Huang C，Li Y，Nevatia R.Multiple target tracking by learning-based hierarchical association of detection responses[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2013，35(4)：898-910.

[8] Li H，Li Y，Porikli F.Deep track：learning discriminative feature representations online for robust visual tracking[J].IEEE Transactions on Image Processing a Publication of the IEEE Signal Processing Society，2016，25(4)：1834-1848.

[9] Hu J，Lu J，Tan Y P.Deep metric learning for visual tracking[J].IEEE Transactions on Circuits & Systems for Video Technology，2016，26(11)：2056-2068.

[10] Wang N，Yeung D Y.Learning a deep compact image representation for visual tracking[C].International Conference on Neural Information Processing Systems,Curran Associates Inc.2013：809-817.

[11] Mao Jia-liang.An improved TLD visual tracking and detection algorithm based on depth image information[C].International Conference on Mechanical Science and Engineering，Atlantis Press，2016.

[12] Xu C，Tao W，Meng Z，et al.Robust visual tracking via online multiple instance learning with Fisher information[J].Pattern Recognition，2015，48(12)：3917-3926.

[13] Kasturi R，Goldgof D，Soundararajan P，et al.Framework for performance evaluation of face，text，and vehicle detection and tracking in video：data，metrics，and protocol[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2009，31(2)：319-336.

[14] Li G，Jiang S，Zhang W，et al.Online web video topic detection and tracking with semi-supervised learning[J].Multimedia Systems，2016，22(1)：115-125.