一種基于深度置信網絡的目標跟蹤算法

李克靖，孫鳳梅

（中國電子科技集團公司第五十八研究所，江蘇無錫214035）

目標跟蹤，是指在視頻中利用目標的有效特征，結合適當方法在各幀圖像中獲取目標的位置、速度、運動軌跡等信息，在視頻監控、物體識別和人機交互等領域都有廣泛的應用[1-2]。

近年來，基于分類的目標跟蹤得到了較快的發展，涌現出大量的研究成果。文獻[3]采用一種步步為營的反饋式學習方法，通過正、負約束提高目標模型與分類器的判別能力和容錯能力；文獻[4]提出一種基于在線半監督boosting的協同訓練目標跟蹤算法，利用未標記的樣本對兩個特征視圖分類器進行協同訓練，并結合分類器在線迭代和先驗模型對未標記樣本作出類標記預測，同時得到其權重，該算法有效地提高了分類器的判別能力，從而對目標外觀的變化有了更好的適應性。然而這些基于分類的目標跟蹤方法都需要預先選取目標特征，而所選特征對目標的區分是否最為有效往往需要依賴人們的先驗知識，這樣既復雜又不具有普適性。不合適的特征還會造成分類器的分類精度下降，進而影響目標跟蹤的效果。針對以上情形，本文提出一種基于深度學習的目標跟蹤算法，該算法使用深度學習中深度置信網絡的方法對輸入圖像進行多層次的表示和抽取學習，獲取圖像特征，訓練得到一個分類器，對各幀圖像像素進行分類，得到目標分布圖，最后結合Camshift算法實現目標跟蹤。訓練過程中省去了一般分類器訓練所需的目標特征提取的步驟，同時在跟蹤過程中加入了Kalman濾波預測目標在下一幀圖像中的位置，縮小了分類和目標搜索的范圍，大大提高了目標跟蹤的效率。該算法對光照變化、遮擋、目標旋轉等復雜情況有較強的魯棒性，在多個典型視頻中對運動目標進行跟蹤實驗，驗證了本文算法的有效性。

1　深度學習

深度學習是機器學習研究中的一個新領域，其目的在于建立神經網絡模仿人腦機制來理解文本、圖像、聲音等數據。深度學習的概念源于人工神經網絡，由Hinton等[5]于2006年提出，它將低層特征組合形成更抽象的高層特征，從而得到數據的分布式特征表述形式。如圖1所示，典型的深度學習模型由輸入層、隱層（多層）、輸出層組成多層網絡，其中只有相鄰層節點之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個邏輯回歸模型，這種分層結構與人類的大腦結構比較接近。

1.1　深度置信網絡

深度置信網絡（DBN）是目前研究應用較為廣泛的一種深度學習結構，不同于傳統的區分型神經網絡，DBN能夠獲得觀測數據及其標簽的聯合概率分布，以方便同時對先驗概率和后驗概率進行估計，而區分型神經網絡只能估計后驗概率[6]。

圖1　深度學習模型

DBN是由一系列的受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）單元組成。玻爾茲曼機是基于能量理論的概率模型，通過熱力學能量函數定義了一個概率分布：Boltzmann分布[7]。如果對玻爾茲曼機加以約束條件，令其自身不與自身連接，則得到一個有向無環圖RBM。

典型的DBN結構用以下聯合概率分布表示輸入向量x和隱含向量h的關系：

其中x=h0，P（hk|hk+2）是條件概率分布，l是隱藏層數。DBN的可視層和隱藏層單元彼此互連，但層內無連接，隱藏層單元可以獲取輸入可視層單元的高階相關性。DBN與傳統的sigmoid信度網絡相比，更易于連接權值的學習。

1.2　深度置信網絡訓練過程

深度置信網絡的訓練過程分為兩個階段：1）預訓練階段：采用自下而上的非監督學習，利用無標記數據通過貪婪逐層的學習方法得到各層權值；2）權值調整階段：采用自頂向下的監督學習，通過帶標簽的數據去訓練，誤差自頂向下傳輸，對整個多層模型的權值進行進一步微調。

圖2　DBN網絡模型

如圖2所示，在預訓練階段，首先在可視層單元產生一個觀測向量V，映射給隱藏層單元，然后可視層單元由隱藏層單元重建，這些新可視層單元再次映射給隱藏層單元，這樣就獲取了新的隱藏層單元[8]；在貪婪學習過程中，向上的權值用于認知，向下的權值用于生成。然后使用Wake-Sleep算法調整所有的權值，讓認知和生成達成一致，從而保證所生成的最頂層表示盡可能正確地復原出底層原始輸入[9]。

在預訓練后，DBN利用帶標簽數據通過BP算法調整網絡的判別性能。頂層將被加上一個標簽集用以推廣聯想記憶，通過自下而上的學習得到識別權值，從而得到一個類似網絡的分類界面。

2　基于DBN的目標跟蹤算法

本文算法利用深度置信網絡訓練得到分類器，通過Camshift算法對運動目標進行定位，并結合Kalman預測目標位置以提高算法跟蹤效率，算法流程如圖3所示。

圖3　本文算法流程

2.1　訓練分類器

利用DBN訓練分類器可分為兩個階段：預訓練、參數調整。預訓練階段，將第一幀圖像I1（m,n,d）變換成包含全部像素rgb值的矩陣I1'（N,d），其中d為圖像的通道數，N=m×n為圖像的像素數，然后把I1'（N,d）作為輸入進行無監督貪婪逐層訓練，得到多層模型及各層的參數；參數調整階段，通過輸入標簽矩陣L（N,1）對整個多層模型的參數進行自頂向下的逐層調整。

2.2　Kalman濾波預測目標位置

一般視頻中，目標往往只占整個視頻圖像的一部分，如果在目標跟蹤過程中對整幅圖像的像素進行分類，將在一定程度上影響到跟蹤效率。如果可以較準確地預測出下一幀中目標的位置，就能夠縮小搜索范圍從而快速對目標進行鎖定，同時還能避免真實目標周圍疑似目標的干擾[10-11]。Kalman濾波作為一個最優化自回歸數據處理方法，對于很多預測問題，是最優的同時也是計算效率最高的方法[12-13]。因此，本文算法引入Kalman濾波對后續幀圖像中目標位置進行預測，只對預測位置周圍適當范圍內的像素進行分類，來得到目標分布圖，這樣既減小了算法的計算量，同時也避免了目標真實位置周圍的噪聲及相似目標的干擾。

2.3　Camshift算法定位目標

使用訓練所得DBN分類器對后續幀圖像進行分類得到目標分布圖，如圖4所示，使用Kalman濾波預測后，只對預測位置周圍的區域進行分類，效果明顯優于對整幅圖像進行分類。

圖4　本文算法分類效果

得到目標分布圖后，Camshift算法通過計算窗口內分布圖的零階矩、一階矩來確定窗口的質心位置，并以Kalman濾波預測的位置作為下一幀搜索窗口位置的初始值。主要過程如下[14-15]：

1）計算零階矩：

計算一階矩：

式中，I（x,y）是坐標為 （x,y）的像素值，x和y的變化范圍為搜索窗的范圍。

2）計算搜索窗的質心（xc,yc）:xc=M10/M00，yc=M01/M00。

3）重設搜索窗的大小s，s比之前的搜索窗稍大一些。

4）重復前3步直到迭代收斂，即質心變化小于給定的閾值或迭代次數超過上限。

3　實驗結果及分析

為了驗證本文算法的有效性，使用了多個場景下的典型視頻進行實驗。實驗平臺為MATLAB R2012b，電腦配置為Pentium（R）Dual-Core處理器，2G內存，WindowsXP操作系統。

實驗一考慮了目標出現遮擋的情況，并將本文算法的跟蹤結果與使用文獻[4]中算法的跟蹤結果進行了對比，算法跟蹤結果在圖中用方框標出。如圖5所示，視頻中目標在運動過程中目標姿勢、背景等條件存在明顯變化，同時出現嚴重的遮擋情況。從實驗結果可以看出，使用文獻[4]中的算法進行跟蹤時，會在目標發生遮擋后出現較大偏差；使用本文算法跟蹤時，能夠始終對目標實現準確跟蹤。這是由于本文使用深度學習中的DBN方法訓練分類器，能夠對圖像進行多層次的表示和抽取學習，學習到更高級別的圖像特征表示形式，分類效果更佳。

圖5　目標發生遮擋時的跟蹤結果對比

如圖6所示，本文算法在其他一些出現目標旋轉、光照變化、相似背景干擾等情況的場景中依然能準確地實現對目標的跟蹤，進一步驗證了本文算法的有效性。

圖6　算法跟蹤結果

基于DBN分類的目標跟蹤算法的跟蹤效率與DBN結構的層數密切相關，經過反復實驗對比，在跟蹤精確度與跟蹤效率之間做出權衡，本文采用隱藏層數為50的DBN結構，實驗結果如表1所示，其中平均誤差是指視頻幀中算法所得目標位置與目標真實位置之間誤差的平均值，可以看出層數越多所需訓練的時間越長，但一般也有更好的跟蹤精度。

表1　隱藏層數選擇實驗結果

實驗二對比了本文算法與其他兩種基于分類學習的算法的跟蹤效率，同時給出了DBN分類算法加入Kalman濾波預測之前的跟蹤效率，結果如表2所示。其中文獻[16]是一種基于半監督學習中局部與全局一致性的跟蹤算法，具體給出了算法處理第15～20幀圖像所需時間。可以看出DBN分類算法在加入Kalman濾波預測之前在跟蹤效率方面就有比較大的優勢，加入Kalman濾波預測之后，跟蹤效率進一步得到提高。

表2　算法效率對比

4　結束語

本文提出了一種基于深度學習中深度置信網絡的目標跟蹤方法，通過DBN網絡對輸入圖像進行多層次的表示和抽取學習，將低層特征組合成更加抽象的高層特征形式，得到圖像的分布式特征，提高了分類的精確度；同時加入Kalman濾波預測，進一步提高了算法的跟蹤效率。針對不同的情形利用本文提出的方法進行測試，如目標旋轉、遮擋、復雜背景、光照變化等，實驗結果表明，本文方法能夠很好地處理這些情形，實現對目標的有效跟蹤，且具有較高的跟蹤效率。下一步工作的重點是提升目標被遮擋后的跟蹤精度，以及深度學習在多目標跟蹤方面的應用。