基于核相關濾波的改進目標跟蹤算法

王偉東 羅瑩 王坤 呂俊峰

(新疆第二醫學院,新疆克拉瑪依 834000)

1 核相關濾波算法

當前基于判別式模型的跟蹤方法已經成為研究者研究的主流算法,該方法的最大優勢在于將圖像中的目標和背景區分開。在判別式的跟蹤方法中,基于相關濾波的跟蹤方法無論從速度上還是魯棒性上都有很出色的表現。2010年的CVPR會議上,Bolme[1]等人創造性地提出了MOSSE目標跟蹤算法。MOSSE算法首先將相關濾波器的概念引入到目標跟蹤當中,該算法的主要思想就是將空間域的計算轉換到頻域來進行簡化,論文的實驗結果可達到669FPS的速度。2014年,Henriques[2]等人提出了KCF算法,也就是本文所采用的核心算法。KCF算法的最大優勢就是將傅里葉變換引入進來,通過循環矩陣來對算法進行加速。KCF算法相比MOSSE算法的優勢在于將原始的灰度特征擴展到HOG特征,使算法整體的跟蹤性能大幅度提升。核相關濾波的工作流程如圖1所示:

圖1 核相關濾波框架圖Fig.1 Framework of kernel correlation filtering

2 卷積神經網絡基礎

卷積神經網絡的本質類似于生物系統,在深度學習算法中具有不可替代的重要地位。1987年,Alexander[3]等提出的時間延遲網絡,這是世界上第一個卷積神經網絡。為了解決計算機視覺相關問題,LeCun等人提出了具有跨時代意義的卷積神經網絡LeNet[4]。后面幾十年,卷積神經網絡受到了硬件發展的限制,并沒有得到廣泛的關注。卷積神經網絡重新回到研究者的視野是在2012年舉辦的Image Net競賽,AlextNet[5]一舉奪得了該大賽的冠軍。如今計算機硬件的快速發展,研究者無私地開源數據集,未來卷積神經網絡在計算機視覺領域必將越來越受歡迎。

常見的卷積神經網絡大致是由卷積層、池化層和全連接層三大模塊組成,每一層之間都是互相連接的,通過向前反饋來求解結構中的參數。卷積層的作用就是負責提取圖像的特征信息,這是最基本的操作。其中池化層的主要作用是減小特征維度,從而減少過擬合。全連接層是把前面已經提取的特征全部綜合起來,常用于分類。多個卷積單元組成卷積層,每個卷積單元都有相對應的參數,這些參數是通過反向傳播計算得到的。卷積層的作用就是提取圖像特征,一般卷積層的淺層只能提取一些邊緣特征,卷積層的深層才可以提取更加復雜的特征。池化層即下采樣層,目的是為了減小數據的空間大小。減小數據空間就是減少參數的數量,從而降低了網絡的計算量。卷積神經網絡通常會在每個卷積層之后插入池化層,這樣每個卷積后的特征也相應減小了。卷積層是獨立的,不會增加網絡的深度。池化層的運算一般有兩種,一種是最大池化操作,另一種是平均池化操作,其中最大池化操作最為常用。池化層的存在是非常必要的,幾乎每個卷積層后都會有池化層。從嚴格意義上講,池化層并不是真正的網絡層。在卷積神經網絡中,前面會存在眾多的卷積層和池化層。在卷積層和池化層后往往需要連接一個或多個全連接層,全連接層的前一層和全連接層的每一個神經元都需要互相連接。全連接層的作用就是對卷積層和池化層的信息進行整合,只有通過全連接層的信息才是完整的信息。全連接層中一般都使用ReLU這個函數作為激活函數來提高卷積神經網絡性能。全連接層并不是真正意義上的最后一層,最后一層通常是softmax層。softmax層用于完成多分類,這層的每一個神經元都有一個實數映射,這些映射值之和必須等于1。

由于卷積神經網絡自身的特性以及計算機計算性能的提升,優秀的卷積網絡結構層出不窮。VGGNet和ResNet憑借其優越的性能,在很多場景中大放異彩。VGGNet[6]網絡結構是由Karen和Andrew在2014年提出。VGGNet包含很多級別的網絡,深度從11層到19層不等,本文算法使用VGGNet-19網絡結構。VGGNet結構大致可以分為5段,每一段都有卷積層和最大池化層互相搭配,最后連接一個softmax層。VGGNet的結構非常清晰,在訓練過程中也很容易完成結構搭建,所以在很多領域都得到了廣泛的應用。

3 二次跟蹤算法

為了提高KCF算法的跟蹤精度,在改進過程中采用了二次跟蹤的方法。第一次的目標跟蹤過程對顏色和卷積兩大特征進行融合,實現了目標的粗略跟蹤。第二次的目標跟蹤主要為了解決遮擋問題,利用粒子濾波的重采樣過程和HOG特征對目標使用核相關濾波算法,實現了目標的精準跟蹤。

第一次跟蹤實現目標的粗定位,算法核心基于核相關濾波,使用顏色特征和深度特征的多特征融合策略。本文使用經典的VGG-19網絡結構用于卷積特征的提取[3],做到了特征的深度提取。VGG-19網絡結構具有16個卷積層和3個全連接層,此外還有5個池化層。無人機在跟蹤目標的過程中,通常拍攝的目標小,所以信息量就很少,這種情況下采用多特征融合策略會容易跟蹤目標。

第二次跟蹤實現目標的精定位,算法核心也是基于核相關濾波,使用粒子濾波和FHOG特征。本文使用到了粒子濾波中的重要性采樣[4],這是粒子濾波中的核心方法。重要性采樣就是通過估計粒子的重要性程度來分配不同的權重,對于信任度高的粒子分配的權重就大一些,反之分配的權重就小一些。保留下權重大的粒子,以這些粒子為中心形成小塊區域。然后把每一塊區域都進行FHOG特征的提取,經過多個核相關操作后會有很多響應值,最大的響應值就是要跟蹤目標的精準位置。粒子濾波在本文算法中的應用流程如下圖2所示:

圖2 粒子濾波應用流程圖Fig.2 Flow chart of particle filter application

4 實驗結果與分析

在OTB-50數據集上,本文的算法精確度達到了0.897,比STAPLE[5]、SAMF[6]、KCF[7]以及CSK[8]分別提升了0.112、0.132、0.173以及0.352;本文算法的成功率為0.669,比其他四種算法分別提高了0.09、0.087、0.166以及0.271。本文算法性能的提升主要得益于卷積特征的引入和粒子濾波算法的預測功能。表1所示,客觀地展示了各算法在數據集上的精確度和成功率:

表1 各算法實驗結果對比Tab.1 Comparison of experimental results of various algorithms

5 結語

本文的算法以核相關濾波跟蹤算法為核心,實現了二次目標跟蹤。跟蹤過程通過引入卷積特征和粒子濾波解決了目標小、運動遮擋以及運動形變等問題,提高了算法的精確度和準確率。但是針對各種影響因素的挑戰,該目標跟蹤算法仍具有很大的提升空間。經過研究分析,本文算法還可以采取一定的改進措施,未來希望能從提高算法跟蹤速度、適應多目標跟蹤以及與真實無人機結合三個方面來改進算法的缺陷:

(1)提高算法跟蹤速度。由于深度特征的引入,造成算法性能的下降。在后續的實驗中可以考慮使用其他的卷積神經網絡結構,比如AlexNet網絡結構。本文使用的深度特征都是卷積結構輸出的最原始的特征,沒有采取任何的降維處理措施,后面可以針對如何降低深度特征的維數來展開。(2)適應多目標跟蹤。本文的目標跟蹤算法為單目標跟蹤,后面要實現多目標的跟蹤需要進一步對算法進行改進。為了不降低多目標跟蹤的效率,主要可以從修改深度特征結構和減少粒子濾波粒子的角度出發。(3)與真實無人機結合。本文的研究主要是使用無人機拍攝的圖像來研究怎樣提高跟蹤算法的魯棒性,不過并沒有實現嵌入式平臺的開發。同時如何將無人機的控制算法、機載相機與目標跟蹤算法相結合起來也是將來一個很重要的研究方向。