多特征融合匹配的多目標跟蹤

閆 輝，許廷發，吳青青，徐磊，吳 威

（北京理工大學光電學院光電成像技術與系統教育部重點實驗室，北京100081）

多特征融合匹配的多目標跟蹤

閆 輝，許廷發*，吳青青，徐磊，吳 威

（北京理工大學光電學院光電成像技術與系統教育部重點實驗室，北京100081）

針對復雜背景的視頻圖像多目標跟蹤遮擋問題，提出了一種多特征融合匹配的多目標跟蹤方法。基于自適應高斯混合背景模型重構和更新背景策略，實現當前幀背景減除和多目標檢測；采用目標的顏色特征、質心位置、運動速度等特征進行融合匹配跟蹤；最后，通過區域輔助判定策略將場景下的目標狀態分為目標進入場景、目標退出場景、目標暫消、目標重現、目標融合和分裂5種狀態，用質心預測方法和遮擋因子輔助匹配來提高匹配正確率。仿真實驗結果表明：采用該方法跟蹤同一目標和不同目標的相似度平均值分別為0.949 71和0.505 73，優于單一顏色特征信息匹配；目標遮擋結束后重新匹配相似度為0.972 83，實現了復雜背景下具有表面相似性的多目標實時跟蹤。

多目標跟蹤；高斯模型；多特征融合；質心預測；遮擋因子

1 引 言

視頻圖像多目標跟蹤在計算機視覺領域應用廣泛，如視頻監控、交通監控、客流量統計等[1-3]，目前對其展開的相應研究也較多。當背景較為簡單，目標之間不存在嚴重遮擋等情況下，多目標跟蹤可以取得較為理想的效果。但是在一些較為復雜和擁擠的環境下，目標表面的相似性、目標間的相互遮擋、目標的頻繁消失和重現等都給視頻多目標跟蹤帶來了很大困難。基于特征的跟蹤算法在處理目標遮擋和多目標跟蹤問題時具有良好的跟蹤效果[4-5]，將多運動目標檢測的思想引入多目標跟蹤，結合多目標檢測結果和目標的特征信息進行多目標的特征匹配跟蹤不失為一種較好的思路，但是，單一特征對環境適應性較弱，受環境變化影響較大，不利于進行魯棒跟蹤，因此可以考慮采用多個特征進行匹配跟蹤[6-8]。

本文對視頻圖像進行多個運動目標的檢測，采用目標的顏色特征、質心位置、運動速度進行融合匹配。對場景下的目標狀態采用區域輔助判定方法，分為目標進入場景、目標退出場景、目標暫消、目標重新出現、目標融合和分裂5種狀態，針對目標的暫消和重現以及目標的融合和分裂問題，采用質心預測和遮擋因子輔助匹配方法來提高匹配正確率。

2 自適應高斯模型的多目標檢測

自適應背景混合模型的方法具有較好的魯棒性和較小的計算量，本文采用自適應高斯混合背景模型來重構和更新背景[9]。

利用建立的背景模型對每幀圖像進行處理，得到包含多個前景目標的二值圖像，對其采用金字塔方法進行圖像分割，得到多個前景目標，即分割出的運動目標。

經過分割之后，獲得的二值圖像包含多個運動目標，反映在圖像中就是圖像中含有多個不連通的子區域，在此基礎上，進行一系列的圖像預處理，對圖像進行平滑、膨脹、腐蝕等形態學處理以及聯通區域分析，得到預處理后的運動目標。

在預處理的工程中，一些較大的圖像噪聲會被作為目標統計進來，為了得到更為準確的結果，要進行篩選判定，根據實際需要為目標區域面積設定一個閾值T，計算每個被視為目標區域的面積S1，S2，S3……Sn，并規定：

將面積較小的區域當作噪聲予以剔除，剩下的區域作為目標按照自上而下、從左到右進行標記識別并保存。

3 多特征匹配的多目標跟蹤

3.1 跟蹤過程中事件類型判定

在多目標跟蹤過程中，固定遮擋物或者目標間的遮擋會使目標暫時消失和重新出現，目標數目的變化給穩定跟蹤帶來了很多困難。為了解決這一問題，本文采用區域輔助判定法確立跟蹤過程中的事件判定原則。

圖1 跟蹤場景區域劃分Fig.1 Zoning in the tracking scene

如圖1所示，對跟蹤場景劃分區域，絕大部分目標會從A、B、C、D 4個區域進入或者退出場景，因此將這4個區域定義為緩沖區，將中間區域E定義為跟蹤區（緩沖區和跟蹤區大小可以根據實際情況自己劃定）。將跟蹤過程中事件判定原則定義如下：

（1）目標出現：第i幀圖像中，在緩沖區出現的目標，認為目標進入場景。

（2）目標消失：第i幀圖像中，在緩沖區消失的目標，認為目標退出場景。

（3）目標重現：在跟蹤區域檢測到的新目標，認為舊目標重現。

（4）目標暫消：在第i幀圖像中，在跟蹤區消失的目標，由于失檢測或者遮擋暫時失去跟蹤，并沒有退出場景，認為目標的暫消。

（5）目標融合和分裂：多個目標間開始出現遮擋，在檢測結果中會出現包含多個目標的目標團塊，將這個過程認為是多個目標的融合；當遮擋結束，目標團塊重新分為多個目標時，認為是目標的分裂。

3.2 目標跟蹤中的多特征匹配

在目標跟蹤中，常用的特征信息有顏色特征、形狀特征、運動特征、紋理特征等，例如Nummiafo等[10]人利用目標的顏色信息對目標進行跟蹤，Vignon等[11]人利用目標的形狀信息來跟蹤目標。由于多個目標之間具有相似性、跟蹤場景較為復雜、目標的頻繁暫消和重現等原因，單一的使用目標特征進行匹配跟蹤會有很大的不穩定性，所以本文提出基于目標的顏色信息、位置信息和運動信息進行多特征融合聯合匹配跟蹤。

（1）顏色特征相似度計算

采用目標的顏色直方圖信息作為顏色模型，假設第m幀目標i區域共有A個點，hm（mi）統計了此目標在RGB空間下的顏色分布。則對其歸一化如下：

這里將Hm（mi）作為m幀目標i的顏色信息模板。計算兩個目標直方圖分布的歐氏距離Dist（Hmi，Hnj）并進行歸一化如下：

這里將Sco1（mi|nj）作為兩個目標模板間的顏色相似度，用以表示第m幀中目標i和第n幀中目標j顏色模型的匹配程度，當顏色相似度越大則表示兩個目標越相近。

（2）位置特征相似度計算

采用目標的質心位置為目標位置信息，即檢測出的目標外接矩形的中心位置。定義質心相似度計算如下：

Scen（m|n）反映了第m幀的第i個目標質心位置（，）和n幀第j個目標質心位置（，）的相似程度。這兩個目標質心點越靠近，相似度Scen（m|n）越趨近于1越大；這兩個目標質心點位置為m幀目標和n幀目標中距離最遠的時，相似度Scen（m|n）為0。

（3）運動特征相似度計算

采用目標的速度作為目標的運動信息，定義運動特征相似度計算如下：

Sv（m|n）反映了第m幀的第i個目標運動速度，和第n幀第j個目標運動速度，的差異。相似度越大，則表示兩個目標越相近。在速度的計算上，規定以視頻幀中自左至右和自下至上的運動為正，因此在計算中速度的正負代表著運動方向的不同，這樣有利于更好地區分相對運動的兩個人。

目標匹配相似度公式如下：

S（mi|nj）即在跟蹤中目標的匹配相似度，它的值越大說明目標為同一目標的可能性越大。在實際跟蹤過程中，可以根據場景的不同和特征穩定性的不同對權值α，β進行調整，提高跟蹤穩定性。

3.3 目標遮擋問題

目標的遮擋按照遮擋物的不同可以分為固定遮擋物的遮擋和目標間的遮擋；按照遮擋程度可以分為部分遮擋和完全遮擋，傳統的算法不能很好地解決遮擋問題[12]。本文對于目標間的遮擋，采用目標的融合和分裂思想，遮擋期間將相互遮擋的目標視為合并跟蹤，分裂后重新匹配跟蹤；目標被固定物遮擋時，如完全遮擋則采用最小二乘法預測目標位置保持跟蹤；未完全遮擋則利用剩余信息繼續跟蹤。

（1）目標暫消

目標被完全遮擋時，無法通過檢測算法檢測出目標，也就丟失了目標信息，無法通過特征信息匹配進行跟蹤。由于視頻中的同一個目標在整個視頻幀的運動趨勢一般是不變的，可以根據目標的運動趨勢預測目標新的位置[13]，維持跟蹤軌跡，并對目標重新出現后的目標匹配跟蹤進行輔助判定。本文采用最小二乘法擬合預測目標質心位置。

通過最小二乘法擬合可以得到質心運動趨勢函數的系數a0，a1，b0，b1，根據式（7）和（8），可以求出t時刻i目標質心的預測位置（，）。目標完全被遮擋時，可以采用此方法預測目標質心位置，并不斷利用新預測到的目標位置更新運動趨勢函數的參數a0，a1，b0，b1，以保持持續預測跟蹤。當遮擋過程結束目標重新出現時，將前一幀的目標預測質心位置輔助進行目標匹配，能夠提高匹配精度。

（2）目標重現

當多個目標出現遮擋時，將會被作為一個目標團塊檢測出來，即目標融合，目標的融合期間可以進行合并跟蹤，當目標重新分裂為多個單一目標時分別與暫消前目標進行重新匹配。

目標重新出現進行特征匹配時，由于信息的不完整會造成匹配相似度降低，從而導致跟蹤錯誤。為此，引入遮擋因子Rt來實現匹配閾值的自適應調節，提高目標的跟蹤精度。

τ作為遮擋程度的描述，由代表目標的外接矩形方框和兩目標間的質心位置計算可得，無遮擋出現時τ=0，完全遮擋時τ=1。定義：

α作為一個固定常數，根據實際情況自己設定。遮擋后目標情況中目標跟蹤過程中的匹配過程如下：

式中，mc，nz分別為m幀暫消的目標和n幀重新出現的目標，經過遮擋因子的調整，相當于變相地降低了兩者的匹配閾值，對于重新出現目標的和暫消目標的匹配成功率有一定程度的提高，能夠在目標重新出現后以盡可能短的時間重新穩定跟蹤。

3.4 目標跟蹤算法流程

本文采用基于檢測的跟蹤，邊檢測邊跟蹤，算法流程如下：

步驟1：采用自適應高斯混合背景模型來重構背景。

步驟2：利用當前視頻幀對背景幀進行相減，然后進行二值化操作，并進行圖像平滑、形態學處理、聯通區域分析等處理，得到當前幀檢測出的M個目標。

步驟2：對檢測出的M個目標建立目標模板，提取位置信息、運動信息和顏色特征。

步驟3：對比上一幀的目標個數，如果目標數發生變化，則按照上一節提出的跟蹤過程中區域輔助判定法的判定原則，判定目標數目的增加或者減少在跟蹤過程中的事件歸屬（新目標出現、目標消失、目標暫消、目標重新出現、目標的融合和分裂）。

步驟3.1：若出現新目標，則為之建立新的跟蹤軌跡；若目標消失，將其對應的目標模板置空，刪除跟蹤軌跡。

步驟3.2：若目標暫消，保留對應的目標模板，采用質心預測公式推算目標質心位置，保持跟蹤軌跡。

步驟3.3：若目標重現，與暫消目標進行匹配，采用遮擋因子輔助匹配。

步驟3.4：若目標融合，將其作為一個目標進行跟蹤，分裂后分別匹配跟蹤。

步驟4：進入下一幀，重新執行步驟2、3。

4 仿真實驗和結果分析

本文實驗數據來源于IBM人類視覺研究中心監視系統性能評價提供的戶外視頻序列，像素為384 pixe1×288 pixe1。

4.1 自適應高斯混合背景模型的多目標檢測

實驗采用的視頻中含有多個行人和車輛，建立自適應高斯背景模型，通過背景減除法提取運動目標。圖2為背景減除后包含前景目標的二值圖像，從實驗結果可以看出，除了前景目標，很多噪聲點也被統計進來。在二值圖像幀上進行閾值篩選，在試驗中取閾值T=140，實驗結果表明：視頻幀中的運動車輛和行人均能被準確檢測出來，圖3給出了部分幀的檢測結果，第229幀被樹木遮擋住的車輛、第402幀剛剛進入畫面的行人和從遮擋中出現一半的車輛、第447幀和779幀中大小不一的行人，均能準確檢測出來，沒有漏檢測和錯誤檢測。

圖2 包含前景目標的二值圖像Fig.2 Binary images containing foreground objects

圖3 利用閾值T=140進行目標檢測的結果Fig.3 Resu1ts ofmu1ti-object detection with T=140

4.2 多特征融合匹配跟蹤

視頻中先后出現3個目標，包括目標進入場景、目標的暫消和重現等情況的發生，在跟蹤中采用顏色直方圖、質心信息、運動信息3個特征融合匹配，權重分別設為0.6、0.3和0.1；圖4為多特征融合匹配跟蹤實際效果圖，第19幀目標2進入跟蹤區，在第33幀因為樹木的遮擋發生了暫消，在第56幀重新出現，實驗結果表明，多特征融合匹配跟蹤方法能夠實現目標的穩定跟蹤。

為了對多特征融合匹配跟蹤效果進行評價，將跟蹤過程中多特征融合匹配相似度和較為常見的顏色直方圖匹配相似度進行比較。圖5（a）為目標01在第57幀和第102幀期間分別采用單一顏色信息和顏色、質心、速度多特征信息融合計算的相鄰幀自身匹配相似度，兩者平均值分別為0.968 47和0.949 71；圖5（b）為在第57幀和第102幀期間分別采用單一顏色信息和顏色、質心、速度多特征信息融合計算的相鄰幀目標01和目標02的匹配相似度，兩者平均值分別為0.80461和0.505 73。實驗結果表明，多特征融合匹配跟蹤算法在計算自身相似度時差別不大，但是在區分不同目標時具有較好的效果，明顯優于單一顏色特征信息匹配，特別適合于目標具有表面相似性的多目標跟蹤。

圖4 多特征融合匹配跟蹤效果圖Fig.4 Examp1es of tracking resu1tswithmu1ti-feature jointmatching

圖5 多特征融合匹配跟蹤和單一特征匹配跟蹤相似度比較Fig.5 Simi1arity comparison ofmu1ti-featurematching track and sing1e featurematching track

圖6 遮擋期間跟蹤效果圖Fig.6 Examp1es of tracking resu1ts with occ1usion

4.3 目標遮擋實驗

圖6（a）為目標間的遮擋跟蹤效果，采用目標融合和分裂思想，遮擋期間將相互遮擋的目標01和目標02進行合并跟蹤，分裂后重新匹配跟蹤；圖6（b）中，目標02在第33幀被固定物完全遮擋發生了暫消，在第56幀重新出現，在目標02暫消期間采用最小二乘法預測目標02質心位置，保持跟蹤，圖6（b）給出了采用最小二乘法預測法在第48幀的跟蹤結果。

遮擋結束后目標的重新匹配跟蹤精度尤為重要，在圖6（b）所屬視頻序列中，目標在第56幀重新出現后，由于目標依然有部分被遮擋，信息不完整，且由于目標模板依然是完全遮擋前的目標，導致目標匹配相似度降低，容易出現目標的誤判。試驗中采用文中所述的遮擋因子輔助匹配跟蹤調節匹配精度，在遮擋因子的計算中，取ε為1.5，表1給出了在視頻中目標02重新出現的第56幀未引入和引入遮擋因子的匹配相似度對比結果。可以看出，經過遮擋因子輔助匹配的相似度要高于未引入遮擋因子匹配前，對于目標重現后的跟蹤匹配具有明顯效果。

表1 引入遮擋因子前后的匹配相似度Tab.1 Sim ilarity com parison of tracking w ith occlusion factors

5 結 論

針對多目標跟蹤中目標表面的相似性、目標間的相互遮擋、目標的頻繁消失和重現等問題，采用基于檢測的多特征融合匹配算法，將目標的顏色特征、質心特征、運動特征進行融合后進行匹配跟蹤；將跟蹤場景劃分為緩沖區域和跟蹤區域，對場景中目標狀態進行區分歸類，避免因為目標的頻繁消失和重現出現的跟蹤錯誤概率；對于完全遮擋問題，采用了最小二乘法質心預測策略；對于遮擋后的目標重新匹配問題，一是采用質心預測提供質心位置，二是提出遮擋因子進行輔助匹配來提高匹配精度。采用IBM人類視覺研究中心監視系統性能評價提供的戶外視頻序列對以上算法性能進行評估，實驗結果證明了算法的有效性。

[1] 顧鑫，王海濤，汪凌峰，等.基于不確定性度量的多特征融合跟蹤[J].自動化學報，2011，37（5）：550-559. GU X，WANGH T，WANG L F，etal..Fusingmu1tip1e features for object tracking based on uncertaintymeasurement[J]. Acta Automatica Sinica，2011，37（5）：550-559.（in Chinese）

[2] 李安平.復雜環境下的視頻目標跟蹤算法研究[D].上海：上海交通大學，2006. LIA P.Research oi1tracking a1gorithm for visua1targetunder comp1ex environments[D].Shanghai：Shanghai Jiaotong U-niversity，2006.（in Chinese）

[3] 郝志成，高文.多模跟蹤技術在輪式偵察車圖像處理器的應用[J].中國光學，2011，4（5）：480-488. HAO ZH CH，GAOW.App1ication ofmu1ti-pattarn tracking technique in image processor of whee1 type scout car[J]. Chinese Optics，2011，4（5）：480-488.（in Chinese）

[4] HARINIV，PAUL S，NIKOS P.Robust target detection and tracking through integration ofmotion，co1or，and geometry [J].Computer Vision and Image Understanding，2006，103（2006）：121-138.

[5] 顏佳，吳敏淵.遮擋環境下采用在線Boosting的目標跟蹤[J].光學精密工程，2012，20（2）：439-446. YAN J，WU M Y.On-1ine boosting based target tracking under occ1usion[J].Opt.Precision Eng.，2012，20（2）：439-446.（in Chinese）

[6] 胡江龍，方景龍，王大全.多目標跟蹤算法在水質監測中的應用[J].機電工程，2012，39（5）：613-615. HU JL，FANG JL，WANG D Q.Water qua1itymonitoring usingmu1ti-object tracking a1gorithm[J].J.Mechanical Elec-trical Eng.，2012，39（5）：613-615.（in Chinese）

[7] 王坤峰，李鎮江，湯淑明.基于多特征融合的視頻交通數據采集方法[J].自動化學報，2011，37（3）：322-330. WANG K F，LIZH J，TANG SH M.Visua1 traffic data co11ection approach based on mu1ti-features fusion[J].Acta Automatica Sinica，2011，37（3）：322-330.（in Chinese）

[8] 丘文濤，趙建，劉杰.結合區域分割的SIFT圖像匹配方法[J].液晶與顯示，2012，20（2）：439-446. QIUW T，ZHAO J，LIU J.Image matching a1gorithm combining SIFT with region segmentation[J].Chinese J.Liquid Crystals and Displays，2012，20（2）：439-446.（in Chinese）

[9] STAUFFER C，GRIMSONW.Learning patterns of activity using rea1-time tracking[J].IEEE Transactions on Pattern A-nalysis and Machine Intelligence，2000，22（8）：747-757.

[10] NUMMIAFO K，KOLLER-MEIER E，GOOL L V.Co1or features for tracking non-rigid objects[J].Acta Automatics Sinica，2003，29（3）：345-355.

[11] VIGNON D，LOVELL B C，ANDREWSR J.Genera1purpose rea1-time object tracking using Hausdorff transforms[C]// 9th Internationa1Conference on Information Processing and Managementof Uncertainty in Know1edge-Based Systems，Annency，France，Ju1y 1-6，2002：1-6.

[12] GARQIP.Robustmu1tip1e target tracking under occ1usion using fragmented mean shift and Ka1man fi1ter[C]//2011 Internation Conference on Communications and Signa1Processing（ICCSP），Kera1a，India，Feb 10-12，2011：5171521.

[13] PAPADAKISN，BYGEAU A.Tracking with occ1usions via graph cuts[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（1）：144-157.

Multi-object tracking based on multi-feature jointmatching

YAN Hui，XU Ting-fa*，WU Qing-qing，XU Lei，WUWei
（Key Laboratory of Photoelectronic Imaging Technology and System of the Ministry of Education，School of Optoelectronics，Beijing Institute of Technology，Beijing 100081，China）
*Corresponding author，E-mail：ciom_xtf1@bit.edu.cn

In order to so1ve the occ1usion prob1em in mu1ti-object tracking for the comp1ex background of a video image，an approach for the mu1ti-object tracking based on mu1ti-feature jointmatching is presented. First，the adaptive Gaussian mixture background mode1is used for reconstructing and updating the background to achieve the background subtraction of current frame and mu1ti-object detection.Then，the jointmatching tracking is deve1oped based onmatching co1or characteristics，positions and objects ve1ocities.Fina11y，the objects in the scene are divided into entering，exiting，temporari1y disappear of the object，the re-emergence of the object and themerge and sp1it of the object，and the predicted position and the occ1usion factor of the object are used to improve the accuracy ofmu1ti-feature jointmatching.Experimenta1 resu1ts indicate that the simi1arities of the same object and the different objects are 0.949 71 and 0.505 73 respective1y in the tracking with the proposed approach，which is better than that ofmatching with the co1or characteristics.Furthermore，the simi1arity of object is0.972 83 after occ1usion.The approach is satisfactory for rea1-time tracking ofmu1tiobjectwith appearance simi1arity in a comp1ex environment.

mu1ti-sobject tracking；Gaussian background mode1；mu1ti-feature jointmatching；predicted position；occ1usion factor

TP391.41

A

10.3788/CO.20130602.0163

閆 輝（1986-），男，山東菏澤人，碩士研究生，2008年于北京航空航天大學獲得學士學位，主要從事圖像處理、目標跟蹤等方面的研究。E-mai1：yanhui17 @sina.com

許廷發（1968—），男，黑龍江肇東人，博士，教授，博士生導師，1992年、2000年于東北師范大學獲得學士、碩士學位，2004年于中國科學院長春光學精密機械與物理研究所獲得博士學位，2006于華南理工大學電子與信息學院完成博士后工作，主要從事光電成像探測與識別等方面的研究。E-mai1：ciom_xtf1@bit.edu.cn

吳青青（1986—），男，陜西安康人，碩士研究生，2009年于北京理工大學獲得學士學位，主要從事目標檢測與跟蹤方面的研究。E-mai1：wuqing3511380 @163.com

徐 磊（1989—），男，山西忻州人，碩士研究生，2010年于長春理工大學獲得學士學位，主要從事FPGA開發和圖像融合方面的研究。E-mia1：xu1ei2114 @163.com

吳 威（1988—），男，安徽六安人，碩士研究生，2010年于中北大學獲得學士學位，主要從事電子穩像算法及硬件實現的研究。E-mai1：wu3944387@ 163.com

1674-2915（2013）02-0163-08

2012-11-17；

2013-01-13

國家自然科學基金重點資助項目（科學儀器專項）（No.61027002）；國家973重點基礎研究發展計劃資助項目（No.2009CB72400603）；國家自然科學基金資助項目（No.60972100）