目標視頻跟蹤方法

文/王冉

目標跟蹤用于連續的視頻序列，根據已有目標的位置，在后續幀中計算出最佳匹配位置，獲得目標的位置、大小等信息，將每幀獲得的關鍵點連接起來，形成目標的運動軌跡。視頻跟蹤依賴于目標檢測，必須先定位目標位置，才能進行目標跟蹤。多數情況下目標跟蹤的第一幀由人工指定，也有通過目標檢測進行全自動跟蹤。在多年的目標跟蹤的研究中，技術已經取得了較大的進步，但是由于目標物所處的環境因素等多種情況會影響跟蹤的準確性。如何解決在各種環境下都能保持良好的魯棒性，精準快速實時地處理碼率高的視頻序列也是當下亟需解決的問題。對于視頻跟蹤的干擾有以下來源：

（1）復雜背景干擾：被跟蹤的目標往往出現在復雜的環境中，從而目標物容易受到不同背景的干擾。例如背景與目標物的顏色，很容易造成跟蹤器誤判，丟失真正的目標。或者圖像中出現與目標相似的物體，跟蹤器極有可能偏離真正想要跟蹤的目標

（2）目標的外觀變化：視頻的拍攝往往不能控制的很好，視頻序列的每一幀都會出現光照亮度變化，目標的形變和拍攝角度的改變，拍攝過程中突然失焦導致目標物邊緣模糊。想要保證視頻跟蹤的魯棒性，就必須考慮到所有會出現的問題，合理的解決這些問題。

（3）目標遮擋問題：目標物體在被跟蹤的過程中，很容易被外界的干擾物造成部分遮擋或者全部遮擋。目標被部分遮擋時，目標的部分特征與先前獲取的信息不能完全匹配，只有局部信息可以用來繼續跟蹤，很容易造成不精確。目標被全部遮擋時，目標特征會暫時性的消失，跟蹤器能否快速的發現先前跟蹤的目標也是一個難題。根據目標的特征，可以將視頻跟蹤分為三類：基于區域的跟蹤算法；基于輪廓的跟蹤算法；基于已有的視頻跟蹤濾波算法如卡爾曼濾波器，粒子濾波器等，本文不再進行介紹。本文主要概述新近提出的基于深度學習的目標跟蹤方法與多任務粒子濾波法。

1 基于深度學習的跟蹤算法

深度學習是人工智能發展的又一個方向，許多之前機器學習領域的問題與難點逐步得到了解決，訓練效率與學習準確率都得到了質的提升。深度學習中的卷積神經網絡和對抗神經網絡已經廣泛應用于圖像處理和圖像預測，在視頻處理領域，深度學習也將大展拳腳。

深度學習的算法在圖像識別分類任務中取得了突破性的進展和廣泛的應用。將深度學習引入視頻頻跟蹤，為研究開辟了新的途徑。深度學習擁有多層的深層結構，可以從大量數據中主動學習目標特征，避免了傳統方法人工提取特征，大大減少人工長時間工作的疲勞。傳統方法在視頻追蹤中，通過生成矩陣，循環采樣逼近采樣方案。傳統的視覺跟蹤算法難以很好地解決復雜背景中的跟蹤問題，如光線變化、目標尺寸和姿態變化或目標被遮擋等。深度學習滿足了提高性能的要求，然而，基于深度學習的視覺跟蹤算法并不像分類、識別和檢測那樣容易成功。在跟蹤時，只對初始幀進行目標標注，在后續的視頻序列中根據學到的特征進行目標定位，但是仍然會因為在后續幀中目標的變形、場景變化、遮擋等因素容易產生跟蹤偏移，導致目標丟失。即使如此，有關學者依然相繼提出了基于深度學習的視覺跟蹤算。接下來介紹兩種基于深度學習的跟蹤算法：

GOTURN（Generic Object Tracking Using Regression Networks），即基于深度回歸網絡做目標跟蹤。GOTURN的優勢在于跟蹤未出現過的目標，對特定類別樣例的跟蹤效果更好，能夠實現100FPS的高速度的幀率，不需要對目標進行分類，而是對物體的邊緣進行回歸，獲得更高的幀率。

算法的主要步驟是：以前一幀的目標區域為中心擴展，擴展的原因是為了接受一些背景信息，并描繪出來。也就是說：在第t-1幀，追蹤器預測的邊緣位置為c=(cx, cy)，寬和高分別為w,h，追蹤框的大小為k1w, k1h, k1決定接受多少背景信息。

對于當前幀第t幀，基于上一幀的位置，找到待搜尋目標的區域，網絡的目的就是要回歸目標在當前搜尋域中位置。這里設置搜尋域的中心坐標為c'=(c'x, c'y )=c，和前一幀框出來的區域是一樣的，搜尋域的大小為k2w, k2h，w,h，是第t-1幀邊緣的大小，在其論文中設置k1=k2=2，對于快速移動的目標，k1=k2就需要增大了。在當前幀和前一幀分別描繪出區域后，送入網絡進行特征提取，這些提取的特征級聯并輸入全連接層，全連接層的作用是為了比較前一幀審定的目標物的特征和當前幀的特征，以找到目標物的位置。全連接層學習到的是一個復雜的特征比較函數，輸出目標的相對運動。隨后全連接層的輸出被連接到一個4節點的層，表示邊緣框兩個角的坐標，輸出目標物的位置。

2 多任務相關粒子濾波器（MCPF）

（1）多任務相關粒子濾波器利用特征之間的相互依賴性，聯合推導相關濾波器，使學習濾波器相互補充、增強，得到一致的響應。

（2）通過部分表示來處理局部遮擋，并通過空間約束來處理局部間的關系，以保持對象結構，共同學習相關濾波器。

（3）通過提取不同大小尺度的粒子用于目標狀態估計，通過采樣方案有效地處理大規模變化。

（4）它通過多任務關聯濾波器將采樣的粒子引導到目標狀態分布的模式，并且使用比傳統粒子濾波器更少的粒子來有效地覆蓋目標狀態，從而產生魯棒的跟蹤性能和低的計算成本。

多任務相關粒子濾波器基于貝葉斯序列重要性抽樣算法，該算法使用有限組加權樣本遞歸地逼近后驗分布，以估計狀態變量的后驗分布。設st、yt分別表示時間t上的對象的狀態變量及其觀測值。后驗密度函數p=(st|y1:t-1)可以在兩個時刻遞歸地獲得，即預測和更新。在時間t-1預測階段使用概率系統過渡模型p(st|st-1)來預測給定所有可用觀測值y1:t-1={y1,y2,…,yt-1}的后驗分布，并通過遞歸計算得到：

其中p=(st-1|y1:t-1)已知時間t-1，p(st|st-1)是預測的準確性。當觀測值yt已知，狀態由下面這個公式預測：

在多任務相關粒子濾波器中，假設連續幀之間是一個仿射運動模型。因此，狀態變量st由六個參數（2D線性變換和2D平移）組成。由于二維線性變換的粒子實在多個維度上繪制的，因此該模型可以處理尺度變化。對前一個目標狀態周圍的粒子進行采樣，以預測目標在時間t處的狀態st，從中我們裁剪當前圖像中的對應區域yt，并將其歸一化到相同大小。用對角高斯分布仿射運動模型對狀態轉移函數p(st|st-1)進行建模。觀測模型p(yt|st)反映了與狀態st對應的觀測圖像區域yt之間的相似性。

多任務相關粒子濾波器包括五個主要步驟。

（1）利用過渡模型p(st|st-1)繪制粒子，并對其進行重新采樣。

（2）將多任務相關濾波器應用于每個粒子，使其趨向于目標狀態分布的模式。

（3）使用多任務相關濾波器的響應更新權重。

（4）使用計算粒子的加權平均值。

3 總結

根據目標形態和目標所處的不同背景環境選擇最優算法或者融合，以達到高效精準的追蹤。如何處理好目標物被遮擋、光線環境變化、目標形態變化也是視頻跟蹤算法必須面臨和結解決的問題。現在常用于直接生產的視頻跟蹤算法還是以傳統方法為主，對于傳統方法的研究、改善的工作仍然在繼續。基于深度學習的視頻跟蹤已經超過了傳統方法的效率，但想要更加穩定仍需要研究人員再度完善。