基于背景建模的車輛跟蹤方法

李曉東， 劉 暢， 劉 鵬

(哈爾濱工業大學 計算機科學與技術學院， 哈爾濱 150001)

0 引 言

近年來，隨著人民生活水平提高，汽車數量快速增長，城市道路負擔加重，交通擁堵等問題也不容忽視，國內外對交通事件檢測、交通狀態判別及交通狀態預測的相關理論研究也日益關注。如果能預測未來時刻的道路交通狀態，道路狀況則能得到大幅度改善。目前，隨著計算機技術和人工智能的發展，利用機器學習方法可以預測交通狀態，卻需要實時采集交通要道的視頻、再加以分析處理。在交通預測問題中，目標跟蹤是研究熱點之一。運用目標跟蹤方法可以測量汽車速度、汽車數量以及預測車輛狀態變化。目標跟蹤問題根據視頻第一幀的目標狀態預測后面幀中的目標情況。目標跟蹤面臨的主要挑戰有：光照變化、尺度變化、遮擋、形變、運動模糊、快速運動、目標出視場、背景干擾和低分辨率等[1]。

1 研究現狀

目前，在目標跟蹤研究中，經常用到的方法有2種，即：產生式方法和判別式方法。其中，產生式方法主要研究目標外觀，在下一幀候選目標中挑選與目標外觀相似度最大的候選目標作為新一幀中的目標，代表性方法有增量子空間方法[2]。判別式方法把目標跟蹤視為分類問題，即訓練分類器區分目標與背景，在下一幀候選目標中，屬于目標概率最大的一個被視為新的目標，代表性方法為多示例學習方法[3]。

對于車輛跟蹤，國內外研究者進行了大量的研究，并取得了一定的成果。劉悅[4]使用傳統方法，用Harr 特征和SVM分類器對車輛進行跟蹤。劉國輝等人[5]使用VGG-M網絡提取特征，并使用深度神經網絡進行二分類來實現車輛跟蹤，與傳統的車輛跟蹤方法的性能相比有明顯的改善。徐樂等人[6]使用YOLOv2網絡，改善了候選搜索區域的生成質量，并提出加強目標特征信息降低跟蹤錯誤率。

車輛跟蹤的研究難點有多個方面。對此可做闡釋表述如下。

(1)實時性。道路交通瞬息萬變，車輛跟蹤算法必須足夠快才能滿足實際應用需求。

(2)天氣因素。在雨雪沙塵等惡劣天氣時，可見度低，視頻質量較差，跟蹤車輛比較難。

(3)干擾目標。車輛之間相似度很高，跟蹤車輛時容易發生漂移，轉而跟蹤干擾物體。

(4)快速運動。車輛運行速度較快，普通運動模型不適合車輛跟蹤，且快速運動中目標易丟失。

最新的速度較快、同時精度較高的跟蹤方法有相關性濾波，代表性方法為核化相關濾波算法(Kernelized Correlation Filter，KCF)[7]。但是KCF方法跟蹤區域較小，不適應快速運動的物體，且抗背景干擾能力較差。Liu 等人[8]提出利用背景信息，建立目標與背景的聯系，提高跟蹤精度。在跟蹤車輛時，同樣可以在使用KCF的基礎上，既保持較高的運行速度，又利用背景信息，擴大跟蹤區域，區分不同車輛，對抗惡劣天氣。

2 基于背景建模的車輛跟蹤方法

在車輛跟蹤中，車輛與車輛周圍背景對車輛的定位作用是不同的。車輛自身特征用于精確定位，但抗干擾能力差；車輛周圍背景能夠用來推測車輛位置，不能精確定位，但是抗干擾能力強。分析可知，若能同時利用車輛信息和車輛周圍背景信息，就可達到既精確定位又有較強抗干擾能力的跟蹤效果。這里為了滿足實時性要求，還使用了KCF作為基線跟蹤器。

2.1 核化相關濾波算法

Henriques 等人[7]提出了核化相關濾波算法(KCF)，將目標與周圍背景一起作為一個樣本進行訓練，利用循環移位方法構造大量的潛在樣本，再使用循環矩陣的特性，用快速傅里葉變換高速訓練與跟蹤。

KCF是一種判別式方法，使用樣本集X=[x1,x2,…,xn]T，和對應標簽y=[y1,y2,…,yn]T,訓練一個嶺回歸分類器y=f(x)。樣本集X是由一個基礎樣本x循環移位產生的，嶺回歸模型參數可以由式(1)進行計算：

(1)

在跟蹤時，新樣本z可以由式(2)跟蹤：

(2)

2.2 基于背景建模的車輛跟蹤框架

KCF將目標與背景作為整體來進行訓練，容易混淆目標與背景之間的關系，提出用目標特征訓練跟蹤器KCF1，用背景特征訓練跟蹤器KCF2，再估計融合參數。當新一幀到來時，使用2個KCF跟蹤器分別進行跟蹤，使用訓練得到的融合參數進行融合，得到跟蹤結果。基于背景建模的車輛跟蹤框架如圖1所示。

圖1 基于背景建模的車輛跟蹤框架

Fig. 1 Framework of vehicle tracking based on background modeling

2.3 基于背景建模的車輛跟蹤方法

為了能利用車輛以及車輛背景的不同作用，研究中需要將車輛與車輛背景分離。對于跟蹤區域矩形R，構造一個與R尺寸相同的全零矩陣，然后將其中目標對應的部分填充1，得到目標背景分離矩陣o。在得到上一幀目標位置后，以該位置為中心采樣與R尺寸相同的訓練區域，提取特征后得到x，于是有：

(3)

其中，xT和xB分別表示車輛目標與車輛背景部分的特征。利用公式(1)可以分別得到KCF1和KCF2的跟蹤器參數αT和αB。

2個KCF跟蹤器分別使用2個遺忘因子ηT和ηB進行在線更新以適應車輛和車輛背景變化，此時需用到如下數學公式：

(4)

其中，0:t表示從第0幀到第t幀累積的模型參數，t表示第t幀訓練得到的模型參數。

車輛模型和車輛背景模型是預測車輛運動的重要線索。在新一幀圖像中跟蹤目標時，先在上一幀目標位置提取跟蹤區域特征z，利用公式(2)可以得到2個KCF跟蹤器的跟蹤結果yT和yB。令T為車輛目標模型，B為車輛背景模型，不考慮跟蹤區域外的信息對車輛定位的影響，根據前面對目標背景的分離方有T∩B=φ和T∪B=U，使用貝葉斯框架融合目標和背景信息，跟蹤區域中任一點x是目標位置的概率為：

P(x)=P(x,T)+P(x,B)=P(x|T)P(T)+P(x|B)p(B),

(5)

(6)

對于模型預測可靠度，參考KCF跟蹤器的最大響應，即令：

(7)

融合跟蹤時目標被定位在P(x)值最大處，即：

xp=arg maxP(x),

(8)

跟蹤時使用上一幀的dxt-1，跟蹤后，更新dx，則有：

(9)

在車輛目標模型可靠時，目標特征會在跟蹤預測中發揮更大作用；在車輛目標模型不可靠時，車輛背景特征會發揮作用，協助定位目標。當獲取車輛位置后，使用SAMF方法[9]估計目標尺度。

3 實驗結果與分析

OTB數據集[1]中共有10個汽車視頻，對提出的方法、SAMF方法和KCF方法進行了對比實驗。使用的評價指標為距離精度(Distance Precision，DP)，重疊成功率(Overlap Success Rate，OS)和平均中心位置誤差(Center Location Error，CLE)。

圖2給出了在不同閾值下的距離精度曲線和重疊成功率曲線，圖例處的數值分別表示閾值為20像素的距離精度，以及重疊成功率曲線下面積。提出的方法取得了0.988的距離精度以及0.821的重疊成功率曲線下面積，使用基于背景建模的方法，相對不使用背景建模的SAMF方法提高了0.021的距離精度和0.107的重疊成功率曲線下面積。

(b) 不同閾值下的重疊成功率曲線

3個跟蹤器在10個汽車視頻中對應的平均中心位置誤差詳見表1。提出的方法在10個視頻中的7個都降低了平均中心位置誤差，在Car2視頻中與SAMF相同，在BlurCar3和Car4視頻中與SAMF接近。

表1 3個跟蹤器在10個汽車視頻中對應的平均中心位置誤差

Tab. 1 Average center location errors of the three trackers in ten vehicle videos像素

視頻提出的方法SAMFKCFBlurCar14.304.605.10BlurCar23.864.266.81BlurCar33.933.604.14BlurCar46.396.809.91Car11.241.5242.43Car21.751.753.97Car42.662.219.47Car242.4312.034.10CarDark1.432.765.76CarScale7.118.4116.14

為了更好地可視化跟蹤器的跟蹤效果，將3個跟蹤器在Car1、Car24和CarScale視頻中的跟蹤結果展示在圖3中。由圖3可知，在Car1視頻中，KCF由于未估計汽車尺度，當汽車尺度變化時，目標框中背景變多，逐漸發生了漂移；提出的方法將目標與背景分離跟蹤再融合，比SAMF方法對目標建模更精準，估計的目標框中包含了少量背景。在Car24視頻中，汽車發生尺度變化的同時，周圍背景變化也較大，KCF和SAMF方法都轉而跟蹤汽車的局部，而提出的方法始終準確地跟蹤了目標。在CarScale視頻中，汽車變形比較快，且汽車尺寸的長寬比發生了較大變化，目標模型難以適應汽車的變化，3個方法都未能準確估計汽車尺寸，但提出的方法利用了背景信息，給出了最準確的定位結果。

圖3 在Car1、Car24和CarScale視頻中的跟蹤結果

4 結束語

基于背景建模的車輛跟蹤方法對車輛目標和車輛背景分別跟蹤，協同建模，融合預測得到魯棒的跟蹤結果。實驗結果表明，提出的方法能提高車輛跟蹤的距離精度和重疊成功率，降低跟蹤結果的平均中心位置誤差，在復雜環境下，對車輛變形、車輛干擾、運動模糊和快速運動等因素具有魯棒性。