基于數據關聯融合KCF與Kalman濾波的車輛多目標跟蹤

宋俊芳, 王菽裕， 薛 茹， 李 瑩

(1.西藏民族大學信息工程學院， 咸陽 712082； 2.長安大學信息工程學院， 西安 710064)

基于視頻的運動目標跟蹤主要任務是在圖像序列中找到運動目標，并將不同幀中的同一目標關聯起來，形成目標的運動軌跡，這一技術已經成為計算機視覺與人工智能領域中熱門的研究課題之一。最初，學者主要從單目標如何設計外觀模型和運動模式進行有效跟蹤開展研究，如經典的Mean shift算法[1]、粒子濾波跟蹤算法[2]、卡爾曼濾波跟蹤算法[3]、TLD算法[4]、MOSSE算法[5]、KCF算法[6]、Staple算法[7]以及基于深度學習的C-COT算法[8]和ECO算法[9]等。后來考慮到目標在一定場景中，其運動相互之間存在關聯性，Luo等[10]首次提出多目標跟蹤的概念，但早期，跟蹤還是以單目標檢測的結果為基礎，然后通過手動匹配關聯目標的運動軌跡，這在實際應用中無法實現智能。隨著高精度的目標檢測已完善并普及應用，為智能數據關聯的多目標跟蹤技術實現奠定了扎實的基礎，吸引大量學者紛紛展開研究，并認為通過對不確定性觀測與已形成的目標軌跡簇的關聯配對，來確定出極大相似關聯度的目標-軌跡鏈的過程稱之為數據關聯。這一概念在1964年由Sittlter等[11]提出。隨后，產生出很多基于數據關聯的多目標智能跟蹤算法，大多是基于貝葉斯概率模型的，如最近鄰域標準濾波器[12](NNSF)、概率數據關聯濾波[13](PDA)、聯合概率數據關聯濾波[14](JPDA)和多假設跟蹤[15](MHT)。NNSF和PDA算法復雜度低、計算快，可以很好地滿足工程應用需求，但對強雜波環境下的復雜目標跟蹤，容易發生目標的偏移和聚合現象，而JPDA和MHT對此卻展現出良好的性能，但其運算量巨大難以在工程中應用，在隨后的幾十年間,學者們致力于探究算法實用性和優良性能的良好均衡。直到2008年，Huang等[16]提出了經典的多層跟蹤理論框架，片段軌跡由底層完成，片段軌跡之間的關聯度量及全局最優評價由中層完成，完整軌跡的形成由高層完成。該框架一直被使用到2015年，伴隨著機器學習的熱潮，同時，Xiang等[17]提出基于馬爾科夫決策的多目標跟蹤算法，通過機器學習來強化訓練多目標匹配模型的參數，采用構建出的激勵函數來達到多目標狀態跟蹤分析的目的。隨著神經網絡的研究成熟，將深度學習用于多目標跟蹤，從技術上優化了跟蹤評價和目標間相似性度量算法，并獲得較好的跟蹤效果，然而，基于深度學習的多目標跟蹤算法距工程應用還有一定的差距。為此，針對復雜交通場景下的車輛多目標跟蹤，在單目標跟蹤算法的基礎上有效融合數據關聯算法快速獲取可靠的軌跡數據。

1 多目標關聯跟蹤實現

基于數據關聯的多目標跟蹤其核心就是解決目標與軌跡間的關聯匹配，但這一問題在復雜交通場景下的車輛目標之間，因為其較高的相似性和交互性使得難度驟增，一方面要保證匹配精度，另一方面還要考慮實時性。以往絕大部分方法都是先在感興趣區域完成多幀的目標檢測，然后將當前幀的目標測結果作為關聯匹配的觀測量，通過設計最優匹配算法判斷出前后幀與各觀測量的關聯度，最后再整體繪出目標軌跡，這樣的處理方法軌跡形成要利用后續的檢測結果，導致基于軌跡的行為分析相比目標檢測要滯后，無法保證實時性，如果能夠以在線跟蹤的方式邊檢測目標邊在當前幀實時更新狀態軌跡，將對交通智能分析大有好處。

利用YOLOv3檢測器獲取輸入視頻序列的檢測結果，從第二幀的檢測結果開始，用IoU相似性度量對當前目標框與已形成的軌跡進行關聯匹配，得到目標與軌跡的關聯矩陣；然后通過改進的關聯判定準則尋找關聯矩陣中的最佳關聯對，完成初步軌跡匹配；考慮目標檢測可能存在漏檢和遮擋的情況，將KCF與Kalman相結合改進目標跟蹤方法，實現目標軌跡的持續跟蹤。整個跟蹤算法的流程如圖1所示。下面從目標與軌跡的數據關聯以及不同關聯結果的目標-軌跡處理兩方面進行研究。

2 數據關聯

在零漏檢和零誤檢的相對理想狀態下，目標的軌跡鏈通常由跟蹤過程中每幀的目標檢測標識框直接相連而得。真實而復雜的交通環境下，受到噪聲的干擾，無法做到車輛零漏檢零誤檢，這樣就會導致目標相連容易出現斷層，跟蹤無法持續。那么如何設計一個穩定的數據關聯算法實現目標的持續跟蹤成為多目標跟蹤的關鍵之一。數據關聯的過程主要包括關聯數據選取、關聯相似度度量和尋找最優關聯對3個模塊。下面分別從這幾個方面展開研究。

2.1 目標-軌跡 IoU相似性度量

(1)

總之，寒地水稻的品種的特性以及粒穗受力角度和水稻穗頭的含水率等因素都直接關系到收割機脫粒損失的大小以及脫粒帶柄率與損傷率的高低，影響收割機性能的正常發揮。該研究可為及時確定最佳的收割時間和為設計新的脫粒滾筒奠定了基礎。

按照此方法，結合式(1)計算最終可得到m個候選目標與n條跟蹤軌跡基于IoU雙向的相似性度量結果，用矩陣Amn表示為

Amn=

(2)

式(2)中：Dij=1-IoU(i,j)由目標特征信息、位置信息和狀態信息等組成，行i表示當前幀中候選目標與所有軌跡在最后一幀目標框的相似性度量，列j表示已形成蹤軌跡最后一幀目標框與當前幀中所有候選目標的相似性度量，稱矩陣Amn為多目標關聯矩陣，此矩陣首次提出雙向表示目標與軌跡之間的關聯度，為確定最佳關聯規則奠定了基礎。

2.2 行列最優耦合尋找最佳關聯對

數據關聯的最后一步是基于關聯矩陣，設置關聯判定準則搜索最佳關聯對。鑒于提出的雙向相似性度量方法，首先輸入相似性度量值集，設置經驗閾值k(取0.5)初步篩選出候選關聯對，然后用行列最優準則選取最佳關聯對，即每一行搜索到的最優度量對應的列其最優度量恰好也對應此行。這種方法不是單一考慮它們的度量應該完全一致，而是充分考慮到關聯匹配的誤差，在尋找最佳關聯對時，只要目標與軌跡相互數據關聯達到最優即可，這樣不僅計算速度快，還不用計算復雜的匹配誤差，結果也非常準確。基于此關聯判定準則，最終會出現圖2所示的三種關聯結果。第一種情況被認定為當前幀有新目標出現，將作為下一幀的關聯數據；第二種情況被認定為目標與軌跡配對成功；第三種情況是在當前幀中目標消失，可能是漏檢，也可能是目標離開檢測場景。

圖2 關聯判定結果Fig.2 Data association judgment results

3 軌跡處理

針對圖2的關聯判定結果，目標-軌跡處理又分為如下四種情況。

(1)新目標出現，不能直接認定為有效的車輛目標，因為在復雜交通場景里，目標檢測算法精度再高也無法保證不出現車輛誤檢，可以在目標首次出現時啟動一個計數器，當該目標連續三幀都被檢測到時才開始跟蹤，否則認為是無效目標，直接刪除。

(2)軌跡與目標配對成功，則持續跟蹤。

(3)目標丟失，若目標連續th幀再無出現，認為目標離開了當前場景，目標軌跡不再進行預測更新；若目標連續丟失幀小于th，認為是檢測算法不魯棒造成了目標漏檢，需要進行位置預測。

(4)目標離開遮擋，目標重新被檢測到，再次對目標與軌跡進行關聯配對。

3.1 基于KCF最大響應預測位置

KCF核相關濾波跟蹤算法[6]在目標尺度不變的情況下跟蹤精度高，而且預測速度快，以至于許多跟蹤算法都以KCF為基石完成構建。

基于方向梯度直方圖(HOG)特征提取對跟蹤目標建立跟蹤器是KCF的原理，其方法是在當前幀檢測區域內，通過跟蹤器模板循環采集，進而優化處理得到每一個采樣區域對應的響應，將響應最大的采樣區域作為目標在當前幀的預測位置。但是通過研究測試發現， KCF在進行遮擋漏檢目標位置預測時，由于遮擋是一個從信息不完整到信息丟失再到信息逐漸恢復的過程，跟蹤模板持續更新會將錯誤信息引入跟蹤器，導致跟蹤失敗。

為解決此問題，用KCF算法沒有直接先進行位置預測，而是用它先判定目標是被遮擋還是異常丟失。由于遮擋和非遮擋狀態下車輛正常行駛，用KCF計算得到的最大響應變化曲線顯著不同。如圖4所示，是對圖3連續多幀計算得到的最大響應變化曲線。從圖4看出，正常無遮擋情況下，最大響應值較高，都大于0.7；反之，大部分響應均小于0.5，兩者分界較為明顯。究其原因，遮擋發生時，跟蹤模板不能一成不變，需要將改變的目標特征實時更新到新模板中，導致最大響應值較正常情況明顯降低。為此，通過最大響應值閾值約束，即可快速判斷出目標是否被遮擋。如果沒有被遮擋是異常丟失，則直接用KCF預測目標位置是準確的；如果是被遮擋，則KCF停止模板更新，改用Kalman濾波預測目標位置，這樣可以避免由于跟蹤模板持續更新造成的錯誤匹配。

圖3 不同情形下車輛連續行駛態勢Fig.3 Unobstructed and covered vehicle moving process

基于KCF預測目標位置流程如圖5所示。初始化KCF跟蹤器的過程即依據已形成的目標軌跡，在最后一幀目標出現位置的附近選擇2.5倍區域循環采樣，提取其HOG特征構建目標跟蹤器模板；然后在當前幀的候選區域內，利用KCF跟蹤器計算出每個采樣樣本的響應，并將響應最大的位置標注為目標預測位置，同時更新跟蹤器模板，作為下一幀的關聯數據。

圖5 KCF預測目標位置流程Fig.5 Process of predicting target position combined KCF

3.2 基于Kalman濾波預測位置

在復雜交通場景下，車輛在短時間內的運動可以看作是勻速直線運動，而Kalman濾波本身是一個線性濾波器，其預測修正過程計算量較小，比較適用于實時處理。因此，可以在KCF完成遮擋檢測后，用Kalman濾波對遮擋目標進行位置預測，不至于明顯降低運算速度。

(3)

基于當前狀態的預測結果，只要再收集現在狀態的測量值Zk。通過對測量值和預測結果的加權平均處理，即可得到現在狀態的優化估算值xk：

(4)

式(4)中：Kk為卡爾曼增益，其計算過程為

(5)

式(5)中：H表示測量系統的參數。以此迭代，并更新協方差Pk完成目標位置的連續跟蹤。

4 實驗與分析

針對高速公路交通場景下的車輛目標，在YOLOv3檢測器獲得檢測結果之后，加載本文算法和經典方法線上全天候跟蹤實驗，取得如下實驗結果。實驗在杭金衢高速公路路段交通場景下完成，實驗過程中設置最大響應閾值為0.5，th=40。

4.1 正常數據關聯跟蹤結果

經數據關聯行列最優匹配得到圖6所示的關聯度量結果，圖6(a)是第188幀的目標檢測及配對結果，圖6(b)是第189幀的目標檢測結及配對結果，兩幀目標軌跡關聯配對得到圖6(c)所示關聯矩陣，在矩陣中都找到了行列最優度量，即5個目標都與前一幀軌跡配對成功。

圖6 正常數據關聯結果Fig.6 Normal data association results

4.2 KCF目標位置預測結果

圖7是實際測試實驗中目標非遮擋情況下漏檢，啟用KCF算法預測丟失車輛在當前幀中位置的代表性結果。

在第2 182幀，用目標檢測算法檢測到6個目標，且目標-軌跡關聯配對正常，共形成6條有效軌跡，但在第2 183幀，ID標識號為59的車輛沒有被檢測到，導致目標-軌跡數據關聯失敗，出現第6條軌跡未匹配到檢測目標的關聯判定結果，經KCF算法在候選區域循環采樣計算最大響應為0.78，判定出目標是異常丟失，啟動KCF進行位置預測，結果用黃色框標注顯示，人眼直觀分析預測位置較為準確。

圖7 漏檢情況下的軌跡處理結果Fig.7 Trajectory processing results under the condition of target loss

4.3 Kalman濾波目標位置預測結果

圖8、圖9是實際測試實驗中目標遮擋情況下漏檢，啟用Kalman濾波算法預測車輛在當前幀中位置的代表性結果，包括目標相互遮擋和障礙物引起的遮擋兩種特殊狀況。

在圖8遠端場景中，右側左車道的小車從2 166幀開始到2 205幀，一直被中間車道的大車遮擋，目標檢測算法未能成功檢測到小目標車輛，導致其軌跡在與目標關聯失敗。經KCF算法在每幀候選區域循環采樣計算最大響應都小于0.5，判定出目標持續被遮擋，停止KCF算法更新模板，啟動Kalman濾波進行位置預測。從2 171、2 188、2 205幀中預測標注的結果和形成的軌跡看出，卡爾曼濾波跟蹤在目標間相互遮擋較為嚴重的情況下，依然準確地預測出目標的位置。

圖8 目標間嚴重遮擋情況下的軌跡處理結果Fig.8 Trajectory processing results under the condition of target occlusion

在圖9場景中右側左車道的車輛在圖9(a)中關聯配對成功，在圖9(b)中，目標軌跡正常關聯配對失敗，自感應KCF跟蹤器啟動，判定此時車輛被路牌開始遮擋，確定采用卡爾曼濾波完成接下來的位置預測和配對，直到圖9(c)，車輛徹底被路牌淹沒，期間卡爾曼濾波跟蹤器都較好地完成了車輛的位置預判一直到圖9(d)，車輛再次被成功捕捉，恢復到正常的目標跟蹤狀態。

4.4 方法對比

為定量分析本文方法的性能，從MOTA、MOTP、MT、ML、IDS和檢測速度幾個技術指標與傳統方法進行對比試驗和分析。MOTA表示目標定位準確性，與目標漏檢率和虛警率相關，值越大，越利于跟蹤；MOTP表示目標框的平均重疊率，值越大，跟蹤效果越好；IDS表示軌跡與目標切換的次數，值越小，穩定性越好；MT表示目標與軌跡配對成功占比，一般認為值大于80%算法較為穩定；ML表示目標跟丟的軌跡占比，此值一般要求小于20%。

從表1得知，本文方法在目標定位準確性相同的情況下，由于改進了應對遮擋漏檢等特殊情況下的新舉措，聯合KCF算法和卡爾曼濾波對漏檢和嚴重遮擋引起的軌跡關聯失敗進行有效預測，結果在MT、ML和IDS指標上明顯優于JPDA、MHT、MDP經典方法，不僅如此，在檢測時間上也有很大的優勢，能更好地滿足實時性要求。

表1 方法對比結果

5 結論

在目標檢測結果的基礎上，針對復雜交通場景下的車輛多目標跟蹤，提出基于數據關聯融合KCF與Kalman濾波的車輛多目標跟蹤方法。完成了基于IoU相似性度量和行列最優耦合原則關聯評價目標-軌跡配對的過程，并針對關聯異常，通過最大響應值遮擋檢測聯合卡爾曼濾波分層遞進處理，實現了目標軌跡的準確持續跟蹤。實驗結果表明，本文所提跟蹤方法對誤檢、漏檢及嚴重遮擋問題均可以準確有效解決，并且在高速公路環境下可以準確實現對目標軌跡的定位，因此該算法能給予城市智能交通可靠的數據保障。