基于卡爾曼預(yù)測的軌跡片段關(guān)聯(lián)目標(biāo)跟蹤算法

劉德華

摘要：利用卡爾曼算法對運動目標(biāo)跟蹤展開研究，提出了一種基于卡爾曼預(yù)測的軌跡片段關(guān)聯(lián)目標(biāo)跟蹤算法。首先利用卡爾曼預(yù)測縮小搜索區(qū)域，對檢測結(jié)果進行匹配關(guān)聯(lián)，生成可信的短軌跡片段；然后對每個軌跡片段通過卡爾曼預(yù)測迭代關(guān)聯(lián)，形成單個目標(biāo)的跟蹤軌跡集合。實驗證明該方法可有效提高軌跡片段關(guān)聯(lián)跟蹤算法效率，解決目標(biāo)相互遮擋問題，實現(xiàn)對目標(biāo)的穩(wěn)定跟蹤。

關(guān)鍵詞：目標(biāo)跟蹤；卡爾曼預(yù)測；軌跡片段關(guān)聯(lián)DOIDOI：10.11907/rjdk.162647 中圖分類號： TP312〖HT10.H〗文獻標(biāo)識碼： A

文章編號：16727800（2017）004006403

0引言 視頻目標(biāo)檢測跟蹤是計算機視覺領(lǐng)域重要的研究內(nèi)容，已經(jīng)應(yīng)用在交通監(jiān)控、汽車監(jiān)控等很多領(lǐng)域。視覺分析步驟包括視覺檢測（Visual detection）、視覺跟蹤（visual tracking）和視覺理解（visual understanding）[1]。視覺跟蹤是視覺理解的基礎(chǔ)，同時它又依賴于視覺檢測的結(jié)果。目標(biāo)檢測算法研究很多，但在一些復(fù)雜的場景，如目標(biāo)重疊、目標(biāo)遮擋、目標(biāo)消失或目標(biāo)的顏色與背景顏色相近等情況下，對跟蹤產(chǎn)生很大的干擾，使得跟蹤框跟蹤不到目標(biāo)，或者產(chǎn)生漂移現(xiàn)象，這對跟蹤算法提出了更高要求。 視頻目標(biāo)跟蹤研究可從目標(biāo)顏色特征、角點特征、輪廓特征等考慮。在視頻目標(biāo)跟蹤研究中，有些算法是根據(jù)目標(biāo)顏色來研究的，但在大多數(shù)情況下，跟蹤算法采用的是數(shù)學(xué)統(tǒng)計學(xué)方法。比較經(jīng)典的統(tǒng)計學(xué)方法有：多假設(shè)跟蹤（multiple hypothesis tracking）[2]和聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)（JPDAF）[3]。聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)假設(shè)被檢測的目標(biāo)個數(shù)是固定的，對于不同的假設(shè)，計算結(jié)果是一個概率值，錯誤的假設(shè)概率會隨著時間的推移慢慢降低，最終排除掉。文獻[4]在聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)的基礎(chǔ)上，加上時間和空間約束，實現(xiàn)了對多目標(biāo)的跟蹤。但是聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)假定目標(biāo)個數(shù)不變，當(dāng)目標(biāo)數(shù)目改變時，跟蹤結(jié)果會有很大出入。多假設(shè)跟蹤原理與聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)相近，也是計算各個假設(shè)概率的值，然后將每個概率值聯(lián)合起來，最后把最大的值作為最終結(jié)果。與聯(lián)合概率數(shù)據(jù)融合濾波技術(shù)不同的是場景中目標(biāo)個數(shù)可變。這兩種算法都有一個不足之處，就是在跟蹤場景中，當(dāng)跟蹤目標(biāo)一直在增加時，假設(shè)的空間指數(shù)也不斷增長，最終使得計算代價也不斷增長。 還有一些跟蹤算法是從軌跡片段關(guān)聯(lián)的思想來考慮的[5]，它分兩個階段：首先通過跟蹤軌跡生成較短的跟蹤片段；再根據(jù)這些短軌跡片段之間的聯(lián)系，生成一個長的完整的軌跡片段，達到跟蹤目的。文獻[6]、[7]根據(jù)軌跡片段關(guān)聯(lián)思想解決了目標(biāo)跟蹤過程中目標(biāo)被遮擋問題；文獻[8]根據(jù)軌跡片段關(guān)聯(lián)思想實現(xiàn)了對行人的穩(wěn)定跟蹤，并且算法具有很好的魯棒性。 文獻[9]中的Huang C等利用跟蹤片段分層，實現(xiàn)了多層關(guān)聯(lián)。文獻[10]用預(yù)設(shè)最大獨立權(quán)重的方法來合并兩個大小相同的短軌跡，關(guān)聯(lián)成一條完整的長軌跡。 文獻[11]、[12]通過同一個相似框架下的全局外觀約束，解決了文獻[10]的局限性。 本文綜合以上思想，提出一種基于卡爾曼預(yù)測的軌跡片段關(guān)聯(lián)目標(biāo)跟蹤算法。該算法將軌跡片段關(guān)聯(lián)和概率預(yù)測策略相結(jié)合，實現(xiàn)對運動目標(biāo)實時穩(wěn)定跟蹤。 該算法先在檢測器中輸入跟蹤視頻，然后在檢測器中得到響應(yīng)，最后采用卡爾曼預(yù)測的軌跡片段關(guān)聯(lián)算法對幀間被跟蹤目標(biāo)的運動參數(shù)（位置、速度和加速度）進行預(yù)測匹配得到可靠的目標(biāo)短軌跡片段。對每個軌跡片段通過卡爾曼預(yù)測迭代關(guān)聯(lián)，通過高層軌跡片段關(guān)聯(lián)，將目標(biāo)的短軌跡片段合并成一個長的軌跡片段，達到跟蹤目的。通過實驗仿真分析可知，本文算法可以有效提高跟蹤效率，當(dāng)目標(biāo)出現(xiàn)重疊以及丟失情況時，都可以很好地跟蹤目標(biāo)，實現(xiàn)了跟蹤算法的魯棒性。

1視頻片斷跟蹤 1.1算法概述 獲取f幀的前景檢測值，對這些檢測值作幀間匹配，以得到置信度較高的軌跡片段（每個軌跡片段幀數(shù)規(guī)定大于4幀），這樣是為了保證每一軌跡片段只屬于一個目標(biāo)。幀間匹配：在前后相鄰兩幀中，每幀圖像中目標(biāo)的位置與特征不會有明顯變化，因此在關(guān)聯(lián)前后兩幀圖像目標(biāo)時，將重點關(guān)聯(lián)目標(biāo)的位置與形狀特征，實現(xiàn)片段關(guān)聯(lián)。為了提高匹配準(zhǔn)確度和匹配效率，加入了卡爾曼預(yù)測，對其運動模型進行預(yù)測和匹配。對前后兩幀中檢測到的目標(biāo)進行預(yù)測，得到置信度較高的軌跡片段，進而提高跟蹤的魯棒性。1.2算法實現(xiàn)1.2.1算法過程根據(jù)上一幀圖像確定搜索區(qū)域，利用卡爾曼預(yù)測來匹配當(dāng)前幀中的關(guān)聯(lián)點，找到最佳匹配點。在確定目標(biāo)起點位置時，同時將坐標(biāo)軸分開來考慮，并單獨用兩個卡爾曼算法預(yù)測，分別對應(yīng)跟蹤的x、y坐標(biāo)。將二維目標(biāo)跟蹤轉(zhuǎn)化為兩個一維的目標(biāo)跟蹤，以提高預(yù)測跟蹤效率。1.2.2卡爾曼預(yù)測方程矩陣

2視頻跟蹤〖BT2〗〖STHZ〗〖WTHZ〗2.1短軌跡片段關(guān)聯(lián)特征利用卡爾曼軌跡預(yù)測軌跡片段關(guān)聯(lián)算法，得到的短軌跡片段具有以下特征：①由于視頻中幀與幀之間時間相隔很短，因此關(guān)聯(lián)片段應(yīng)具有連續(xù)性、平滑性；②根據(jù)平滑特征，目標(biāo)運動時作曲線運動，可得到目標(biāo)運動的相關(guān)信息如速度、位置等。因此，本文可通過以上特征，再利用關(guān)聯(lián)算法得到一條長的軌跡片段。〖BT2〗〖STHZ〗〖WTHZ〗2.2長軌跡片段關(guān)聯(lián) 在短軌跡片段中提取頭部幀和尾部幀數(shù)據(jù)，對其中所有的軌跡片段頭部和尾部進行卡爾曼預(yù)測，進行目標(biāo)匹配，進而把屬于同一個目標(biāo)的軌跡片段關(guān)聯(lián)在一起，形成長的軌跡片段，具體預(yù)測算法同上。這里需要指出的是，短軌跡片段的高層關(guān)聯(lián)只需要對相鄰的一個短軌跡片段首尾幀進行預(yù)測，把相鄰的短軌跡片段的首尾幀作為卡爾曼預(yù)測的前幀和后幀，對部分參數(shù)進行修改，包括τ。在短軌跡生成階段中的τ為幀間間隔時間，在長軌跡高層關(guān)聯(lián)中的τ為軌跡片段間隔時間，其它關(guān)聯(lián)步驟相同。綜合上述算法過程，就可得到一條完整的視頻跟蹤目標(biāo)軌跡。〖BT1〗〖STHZ〗〖WTHZ〗3實驗仿真結(jié)果及分析 用MATLAB分別編寫傳統(tǒng)關(guān)聯(lián)算法程序和本文提出的算法程序，對240×220的視頻數(shù)據(jù)共800幀進行仿真與分析。本文采用卡爾曼預(yù)測算法來關(guān)聯(lián)軌跡片段并達到跟蹤目的。在跟蹤前期，先根據(jù)卡爾曼預(yù)測算法來預(yù)測目標(biāo)區(qū)域，然后對前后幀進行匹配，并找到確定的目標(biāo)區(qū)域，最后對結(jié)果進行匹配關(guān)聯(lián)，生成短的軌跡片段；將短片段進行關(guān)聯(lián)，再通過卡爾曼預(yù)測迭代關(guān)聯(lián)，形成單個目標(biāo)的跟蹤軌跡集合。 圖1是第396幀、第408幀、第414幀的跟蹤算法和基本的軌跡片段跟蹤算法的效果對比。

黑色跟蹤為改進算法效果（運行時間：12 800ms，平均：16ms/幀），白色為基本軌跡片段跟蹤算法效果（運行時間：56000ms，平均：61 ms/幀）。

黑色跟蹤為改進算法效果（總共 531幀 ，運行時間：9292ms，平均：17.5ms/幀），白色為基本軌跡片段跟蹤算法效果（運行時間：35 046ms，平均：67 ms/幀）。 當(dāng)多目標(biāo)跟蹤和目標(biāo)間相互遮擋時，一般的軌跡片段跟蹤算法有跟丟跟錯情況，當(dāng)目標(biāo)再次出現(xiàn)時，要花費較多時間來修正目標(biāo)跟蹤（整個過程跟蹤誤差很大），跟蹤不穩(wěn)定；而基于卡爾曼預(yù)測的跟蹤軌跡片段關(guān)聯(lián)跟蹤算法在多目標(biāo)和目標(biāo)間相互遮擋時跟蹤穩(wěn)定。 從上面的仿真結(jié)果可以看出，改進后的算法在目標(biāo)之間相互遮擋下具有較強的跟蹤效果，解決了部分目標(biāo)跟丟跟錯的問題。同時，在跟蹤效率問題上，改進的跟蹤算法明顯優(yōu)于一般的軌跡片段關(guān)聯(lián)跟蹤算法，改進算法在實時性上得到了很好的改善。

4結(jié)語 基于卡爾曼預(yù)測的軌跡片段目標(biāo)跟蹤算法首先利用卡爾曼預(yù)測縮小搜索區(qū)間，對檢測結(jié)果進行匹配關(guān)聯(lián)，生成可信的短軌跡片段；然后對每個軌跡片段再次通過卡爾曼預(yù)測迭代關(guān)聯(lián)，形成單個目標(biāo)的跟蹤軌跡集合。實驗結(jié)果表明，本文算法在目標(biāo)之間相互遮擋情況下具有較強的跟蹤效果，解決了部分目標(biāo)跟丟跟錯問題。同時，在跟蹤效率問題上，改進的跟蹤算法明顯優(yōu)于一般的軌跡片段關(guān)聯(lián)跟蹤算法，實時性好。

參考文獻：[1]WANG L， HU W， TAN T. Recent developments in human motion analysis[J]. Pattern recognition， 2003， 36（3）： 585601.

[2]ARRAS K O， GRZONKA S， LUBER M， et al. Efficient people tracking in laser range data using a multihypothesis legtracker with adaptive occlusion probabilities[C].Robotics and Automation，ICRA 2008，IEEE International Conference on，2008：17101715.

[3]SCHULZ D， BURGARD W， FOX D， et al. People tracking with mobile robots using samplebased joint probabilistic data association filters[J]. The International Journal of Robotics Research， 2003， 22（2）： 99116.

[4]BENNETT B， MAGEE D R， COHN A G， et al. Enhanced tracking and recognition of moving objects by reasoning about spatiotemporal continuity[J]. Image and Vision Computing， 2008， 26（1）： 6781.

[5]王江峰， 張茂軍， 熊志輝，等. 一種利用時空約束軌跡片段關(guān)聯(lián)的目標(biāo)跟蹤方法[J]. 計算機應(yīng)用研究， 2011， 3（3）：11651167.

[6]KAUCIC R， PERERA A G A， BROOKSBY G， et al. A unified framework for tracking through occlusions and across sensor gaps[C].Computer Vision and Pattern Recognition，CVPR 2005. IEEE Computer Society Conference on，2005（1）：990997.

[7]PERERA A G A， SRINIVAS C， HOOGS A， et al. Multiobject tracking through simultaneous long occlusions and splitmerge conditions[C].Computer Vision and Pattern Recognition， 2006 IEEE Computer Society Conference on，2006（1）：666673.

[8]SINGH V K， WU B， NEVATIA R. Pedestrian tracking by associating tracklets using detection residuals[C].Motion and video Computing， Workshop on IEEE， 2008： 18.

[9]HUANG C， WU B， NEVATIA R. Robust object tracking by hierarchical association of detection responses[M].Computer VisionECCV， Springer Berlin Heidelberg， 2008： 788801.

[10]BRENDEL W， AMER M， TODOROVIC S. Multiobject tracking as maximum weight independent set[C].Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on， 2011： 12731280.

[11]BEN SHITRIT H， BERCLAZ J， FLEURET F， et al. Tracking multiple people under global appearance constraints[C].Computer Vision （ICCV）， 2011 IEEE International Conference on， 2011： 137144.

[12]PELLEGRINI S， ESS A， VAN GOOL L. Improving data association by joint modeling of pedestrian trajectories and groupings[M].Computer VisionECCV，Springer Berlin Heidelberg， 2010： 452465.

[13]徐劍， 段哲民. 卡爾曼預(yù)測器在目標(biāo)相關(guān)跟蹤中的應(yīng)用[J]. 計算機仿真， 2005， 22（11）：120122.

（責(zé)任編輯：杜能鋼）