一種紅外和可見光雙通道視頻目標跟蹤方法

趙高鵬 薄煜明 尹明鋒

(南京理工大學自動化學院 南京 210094)

1 引言

視頻目標跟蹤的任務是在連續兩幀中找到同一目標在空間位置的對應關系，在智能視頻監控、軍事偵察、目標識別等領域有著廣泛的應用。在室外復雜環境下，受光照變化、陰影、地面背景物體干擾、圖像噪聲等多種因素的影響，單一視頻傳感器由于成像原理的限制，難以有效處理場景環境變化影響，許多研究人員利用紅外和可見光雙傳感器提高系統的目標檢測跟蹤性能[1-6]。

均值漂移(Mean Shift,MS)跟蹤算法[7]將跟蹤問題當作最優化問題來處理，采用核函數直方圖進行建模和匹配，通過MS算法迭代實現，具有特征穩定、實時性好、魯棒性強等優勢，自從其提出后就成為視頻跟蹤領域的重要方法。然而該算法也存在不足之處，例如，目標尺度估計困難[8,9]，尺度定位的準確性一定程度上會影響空間定位的準確性；大多改進算法單一的圖像特征，在目標外觀變化較大或非目標干擾時，容易導致跟蹤失敗，采用多個特征能夠改善跟蹤性能，但多特征跟蹤算法[10,11]存在特征加權權值計算困難、計算量大的缺點。視頻多目標跟蹤中遮擋問題是視頻跟蹤的難點之一，本文討論多目標之間的相互遮擋問題，其關鍵在于如何判斷多目標合并和分離，以及遮擋時如何定位目標。

在已有研究的基礎上，本文利用紅外和可見光雙通道視頻進行目標跟蹤，利用目標的顏色特征和輪廓特征，通過將均值漂移算法與水平集曲線演化算法有效結合，實現了室外復雜場景下的視頻目標穩定跟蹤。采用實際場景下的視頻實驗表明了本文方法的有效性。

2 目標跟蹤方法

本文目標跟蹤方法使用顏色特征和輪廓特征，總體框架如圖1所示，包括5個部分：(1)基于顏色特征的均值漂移迭代定位；(2)基于水平集的目標輪廓提?。?3)目標合并與分離判斷；(4)遮擋處理；(5)目標尺度和模型更新。

單目標跟蹤時，算法不進行第(3)和第(4)部分的處理；多目標跟蹤時，則每一幀都執行第(3)部分判斷，如果發生目標合并(遮擋)，則執行第(4)部分處理，否則，算法相當于進行多個單目標跟蹤。

2.1 均值漂移定位分析

均值漂移算法采用核函數加權的特征直方圖描述目標，在每幀中對目標模板模型和候選目標模型進行相似性度量，并沿著核直方圖相似性的梯度方向迭代搜索目標位置。

式中m表示特征直方圖的量化級數；qu,pu分別表示目標模板和候選目標核直方圖各級概率密度；C,Ch為歸一化系數，使得n,nh分別表示目標模板和候選目標的像素個數；k為核函數，一般取為Epanechnikov核函數；δ為Kronecker delta函數；b為像素在直方圖中的索引值；為目標模板區域像素的歸一化位置，xi為候選目標像素當前幀的位置，h為目標尺度，即為核窗寬，通常取目標跟蹤窗寬的一半。

在獲得目標模板和候選目標的核直方圖模型后，MS采用Bhattacharyya系數度量兩個模型之間的相似性，即計算兩個離散概率分布q和p(y)之間的相似性，如式(3)：

目標定位就是在當前幀中，根據目標的初始位置y0尋找使相似性系數ρ取最大的位置y1。將ρ(y)在y0處泰勒展開，求其最大值，可得位置y1的計算如式(4)：

通過反復迭代式(4)，使候選目標不斷沿著相似性度量的梯度方向移動到新的位置y1，直到相似性系數ρ達到最大，從而得到目標最優位置y1。

由于顏色特征對平移、尺度變化和部分遮擋具有較好的魯棒性，為了對光照變化不敏感，本文方法將可見光圖像轉化到HSV顏色空間，計算目標的HSV顏色特征直方圖，直方圖量化級數為16×4×4，然后進行均值漂移迭代定位，根據目標的初始位置y0計算可得到當前幀的目標最優位置y1。

2.2 基于水平集的輪廓提取

在均值漂移迭代定位的基礎上，本文方法進一步提取目標輪廓，估計出目標尺度和精確位置。由于紅外圖像不受光照和陰影變化的影響，因此在紅外圖像中提取目標輪廓。基于水平集的輪廓提取方法[12,13]的基本思想是將輪廓隱含地表達為2維曲面函數φ的零水平集，通過建立關于輪廓的能量函數，采用變分方法最小化該能量函數，最終得到輪廓的進化方程。文獻[13]提出了一種新的水平集曲線演化方法，優點在于對輪廓的初始化位置不敏感，不需要重新初始化，計算速度快，定位精度高。

能量函數定義為

式中Ω為圖像定義域；右側第1項為規則化距離項，第2項表示零水平集曲線的長度，第3項表示零水平集曲線內部區域的面積，μ,λ,α為各項的加權系數；p為距離規則化函數；δ為Dirac delta函數；H為Heaviside函數；為邊緣指示函數。

通過變分法，從而推出水平集函數演化方程為

圖1 本文視頻目標跟蹤方法框圖

本文基于水平集的輪廓提取采用式(6)給出的模型，通過給定輪廓初始位置φ0，進行曲線演化，從而得到目標的最終輪廓，根據目標輪廓可計算得到目標位置、寬和高，即目標尺度。

2.3 本文跟蹤方法

如圖1所述，跟蹤單個目標時，本文方法包括第(1)，第(2)，第(3)3個部分，第(1)，第(2)部分分別如2.1節和2.2節所述。為了保持長時間跟蹤的穩定性，必須對目標尺度和模型進行更新，以適應目標自身變化和背景環境的變化。本文尺度更新方法利用水平集輪廓提取的結果來估計目標尺度，如式(7)，尺度更新結果用于下一幀的均值漂移定位。

式中h表示可見光當前幀用于均值漂移定位的目標尺度；hcontour表示紅外當前幀根據水平集輪廓提取結果得到的目標尺度；hnew表示尺度更新結果，用于下一幀跟蹤；α為尺度更新速度因子，表示輪廓提取結果權重，其取值范圍為α∈[0,1]。

經典均值漂移跟蹤算法是基于目標模型基本不發生改變這一假設的，跟蹤過程中一直采用初始目標模型；大多數改進方法都采用整體模型更新策略，即用當前幀跟蹤結果和目標模型進行加權折中，從而獲取下一幀的目標模型。當目標跟蹤結果定位不準確時，這種更新方法容易使目標模型偏離真實目標，導致跟蹤進一步惡化。文獻[14]提出了一種選擇性子模型更新策略，通過計算目標模型每個分量的匹配貢獻度MCDu，根據MCDu值的大小對目標模型進行有選擇的更新，如式(8)，式(9)。

本文目標模型更新方法為：在得到可見光圖像均值漂移迭代定位，不采用當前幀該位置處的目標模型進行更新，而是在紅外圖像中進行輪廓提取后，根據輪廓定位結果和尺度更新結果，在可見光圖像中計算該定位位置處的目標模型，表示為p，采用式(8)，式(9)進行選擇性目標模型更新。

根據前文所述，本文方法單目標跟蹤步驟可以概括為

步驟1 目標初始化，給定初始目標位置y0和尺度h，根據式(1)在可見光圖像計算目標模板模型q。

步驟2 設當前幀為第t幀，按式(2)-式(4)進行均值漂移迭代，得到可見光圖像第t幀的目標最優位置y1。

步驟3 在紅外圖像第t幀中，根據y1和尺度h計算輪廓初始位置φ0，按式(5)，式(6)輪廓模型進行水平集曲線演化，提取得到目標輪廓φ；根據輪廓φ計算目標精確位置y2和尺度hcontour。

步驟4 根據式(7)更新目標尺度，得到尺度更新結果hnew；在可見光圖像第t幀位置y2處，計算目標模型p，按式(8)，式(9)更新目標模板模型q。

步驟5 更新目標位置和尺度參數，令y0=y2,h=hnew。

步驟6 令t=t+1，返回步驟2進行下一幀跟蹤。

如圖1所述，跟蹤多個目標時，本文方法每一幀都執行第(3)部分目標合并與分離判斷，如果發生目標合并(遮擋)，則執行第(4)部分處理，否則，算法相當于進行多個單目標跟蹤。多個目標運動過程中相互遮擋過程可以描述為：多目標接近，多目標合并，合并目標運動，多目標分離。

本文方法根據目標間距離和目標尺度來判斷多目標是否發生目標合并，根據水平集輪廓提取的結果判斷多目標是否分離，以兩個運動目標相互遮擋為例進行說明，假定在遮擋過程中被遮擋目標的顏色特征保持不變。

令y1,k表示第k個目標在進行均值漂移迭代定位后得到的位置，hk表示第k個目標當前幀的尺度，k取值為1或2。根據式(10)在行和列兩個方向進行判斷，若兩個方向上式(10)同時成立，則認為發生目標合并(遮擋)。

此時，根據顏色特征的匹配程度將兩個目標分為前景目標和被遮擋目標，根據式(3)計算顏色特征相似度系數表示匹配程度，取相似度系數值較大者為前景目標，相似度系數值較小者為被遮擋目標，圖1中第(4)部分目標遮擋處理對這兩類目標分別進行處理。

對于前景目標，當前幀均值漂移迭代定位結果認為是目標最優位置，用于下一幀目標跟蹤的起始位置；由于發生目標合并，根據兩個目標均值漂移迭代定位的位置初始化輪廓初始位置φ0，進行水平集曲線演化可得到合并目標的輪廓和位置，因此，對于被遮擋目標，根據輪廓提取結果和前景目標位置估計出被遮擋目標位置，如式(11)；假定在目標遮擋過程中，兩個目標尺度不發生改變，不更新目標尺度參數。

式中y2表示輪廓提取得到的合并目標位置；y1,1表示前景目標位置，y1,2表示被遮擋目標位置。

由于水平集曲線模型能夠收斂到任意輪廓拓撲結構，當目標合并時，輪廓提取結果數量為1，當目標分裂時，輪廓曲線演化結果收斂于兩個獨立目標，因此，可根據水平集輪廓提取結果判斷目標是否分離。多目標分離后，根據顏色特征計算相似度系數完成目標關聯，此后，算法對兩個目標跟蹤相當于進行兩個單目標跟蹤。

根據前文所述，本文方法多目標跟蹤步驟可以概括為：

步驟1 多個目標初始化，給定初始目標位置y0,k和尺度hk，根據式(1)在可見光圖像分別計算每個目標的目標模板模型q。

步驟2 設當前幀為第t幀，對每個目標按式(2)-式(4)進行均值漂移迭代，得到可見光圖像第t幀每個目標最優位置y1,k。

步驟3 按式(10)進行目標合并判斷，如果發生目標合并，執行步驟4，步驟5；否則，跳轉到步驟6繼續執行。

步驟4 按式(3)計算顏色特征匹配程度，區分前景目標和被遮擋目標；在紅外圖像第t幀中按式(5)，式(6)輪廓模型進行水平集曲線演化，根據輪廓提取結果φ計算合并目標位置y2；按式(11)計算被遮擋目標位置。

步驟5 根據輪廓提取結果φ判斷目標是否分離，如果目標合并沒有分離，更新目標位置參數，令y0,k=y1,k，跳轉到步驟9；如果目標分離，根據輪廓φk計算每個目標的精確位置y2,k和尺度hcontour,k，根據顏色特征計算相似度系數完成目標關聯，跳轉到步驟7。

步驟6 在紅外圖像第t幀中，對每個目標根據y1,k和尺度hk計算輪廓初始位置φ0,k，按式(5)，式(6)輪廓模型進行水平集曲線演化，提取得到目標輪廓φk；根據輪廓φk計算目標精確位置y2,k和尺度hcontour,k。

步驟7 根據式(7)更新目標尺度，得到尺度更新結果hnew,k；在可見光圖像第t幀位置y2,k處，計算目標模型pk，按式(8)，式(9)更新每個目標的目標模板模型q。

步驟8 更新每個目標的位置和尺度參數，令y0,k=y2,k,hk=hnew,k。

步驟9 令t=t+1，返回步驟2進行下一幀跟蹤。

3 實驗結果與分析

為了驗證本文方法的有效性，本文在 Matlab 2009環境下進行了仿真。硬件采用 Intel Core 2 CPU 2.9 GHz處理器，內存 2 G。測試視頻采用OTCBVS數據庫中的可見光和紅外視頻。具體參數為：紅外傳感器為Raytheon PalmIR 250D，可見光傳感器為Sony TRV87 Handycam；紅外視頻為8位灰度表示，大小為 320像素×240像素；可見光視頻為24位彩色表示，大小為320像素×240像素。

實驗1 對單個目標進行跟蹤，視頻特點為跟蹤過程中存在光照變化，陰影。實驗中對比了文獻[14]方法，該方法采用可見光視頻，目標特征采用HSV顏色特征，目標尺度采用±10%縮放。圖2給出了跟蹤結果的部分視頻幀，本文方法在可見光和紅外視頻幀用外接矩形框同時標記目標跟蹤結果，并在紅外視頻幀中用閉合曲線標出了輪廓提取結果。

由圖2可見：跟蹤初始時兩種方法都能正確跟蹤目標；當發生光照變化時，由于HSV顏色特征對光照有一定的魯棒性，兩種方法仍能跟蹤到目標；隨著跟蹤進行，目標進入陰影區域，文獻[14]方法發生較大偏差，跟蹤丟失(170幀)，而本文方法始終能夠穩定地跟蹤目標。

圖3給出了兩種方法跟蹤結果目標中心點坐標與目標真實中心點坐標的距離誤差，真實值采用手工逐幀標定。由圖3可見：在整個跟蹤過程中，本文方法的距離誤差相對較小，行和列的坐標距離誤差最大不超過5個像素。此外，本文方法對該視頻的平均處理速度達到10幀/s。

實驗2 對多個目標進行跟蹤。視頻特點為跟蹤過程中發生兩個目標相互遮擋。圖4給出了本文方法跟蹤結果的部分視頻幀，在可見光和紅外視頻幀用外接矩形框同時標記目標定位結果，并在紅外視頻幀中用閉合曲線標出了輪廓提取結果。圖5給出了目標跟蹤結果與目標真實位置兩點間的距離誤差曲線圖，真實值采用手工逐幀標定。

圖4視頻中兩個目標在運動過程中發生相互遮擋，在發生遮擋前(15幀)和兩個目標分離后(72幀)，本文方法相當于對兩個目標分別進行單目標跟蹤，在遮擋過程中(50幀，57幀)，本文方法綜合利用顏色和輪廓特征能夠準確定位目標，由于在發生遮擋時將合并目標作為整體進行輪廓提取，因而對目標的遮擋程度不敏感(57幀)。由圖5可見，在第45幀～第70幀中，目標發生互相遮擋導致某些幀的跟蹤誤差相對較大，但仍能夠跟蹤到目標。

圖2 跟蹤結果部分視頻幀(1～3行分別為文獻[14]方法，本文方法可見光視頻幀，本文方法紅外視頻幀；1～4列分別為第40,100,170,198幀)

圖3 跟蹤結果中心點位置誤差曲線比較

圖4 跟蹤結果部分視頻幀(1～2行分別為本文方法可見光視頻幀，本文方法紅外視頻幀；1～4列分別為第15,50,57,72幀)

實驗1中本文方法利用紅外和可見光圖像的互補特性能夠有效處理復雜場景下光照、陰影等變化，提高跟蹤的穩定性；實驗2中本文方法對兩個目標跟蹤中的互遮擋現象能夠有效處理，準確定位目標。

圖5 跟蹤結果距離誤差曲線

4 結束語

本文提出了一種紅外和可見光圖像目標跟蹤方法，利用雙感器的互補性，提高室外場景下目標跟蹤的穩定性。采用可見光圖像顏色和紅外圖像輪廓特征，將均值漂移算法與水平集曲線演化結合實現目標定位，克服了光照和陰影的影響；通過判斷目標合并與分離，解決了多目標互相遮擋時的定位問題。采用紅外和可見光雙傳感器視頻進行實驗，結果表明本文方法的有效性。需要說明的是，本文方法要求紅外和可見光圖像序列在跟蹤處理前已經過圖像配準，配準屬于另一個研究方向，在此不做討論，本文選用的測試視頻已經過配準。在進一步研究中，考慮引入目標運動狀態，對發生遮擋的目標數量大于2的情況，以及目標發生不規則運動和目標與背景物體發生遮擋等情況進行研究。

[1]Bondzulic B and Petrovic V.Multisensor background extraction and updating for moving target detection[C].Proceedings of 2008 11th International Conference on Information Fusion,Cologne,Germany,2008：1-8.

[2]Han J and Bhanu B.Fusion of color and infrared video for moving human detection[J].Pattern Recognition,2007,40(6)：1771-1784.

[3]Davis J W and Sharma V.Background-subtraction using contour-based fusion of thermal and visible imagery[J].Computer Vision and Image Understanding,2007,106(2,3)：162-182.

[4]Leykin A and Ran Y.Thermal-visible video fusion for moving target tracking and pedestrian classification[C].Object Tracking and Classification in and Beyond the Visible Spectrum Workshop at the International Conference on Computer Vision and Pattern Recognition,Minneapolis,USA,2007：1-8.

[5]Conaire C and Connor N.Thermo-visual feature fusion for object tracking using multiple spatiogram trackers[J].Machine Vision and Applications,2008,19(5,6)：483-494.

[6]程詠梅,王進行,魏坤,等.基于加權mean-shift可見光/紅外雙通道目標跟蹤[J].光子學報,2010,39(2)：357-363.Cheng Yong-mei,Wang Jin-xing,Wei Kun,et al..Visible/infrared dual-channel target tracking based on weighted mean-shift[J].Acta Photonica Sinica,2010,39(2)：357-363.

[7]Comaniciu D,Ramesh V,and Meer P.Kernel-based object tracking[J].IEEE Transactions on Patten Analysis and Machine Intelligence,2003,25(5)：564-575.

[8]左軍毅,梁彥,趙春暉,等.Mean Shift跟蹤算法中尺度自適應策略的研究[J].中國圖象圖形學報，2008,13(9)：1750-1757.Zuo Jun-yi,Liang Yan,Zhao Chun-hui,et al..Researches on scale adaptation strategy in mean shift tracking algorithm[J].Journal of Image and Graphics,2008,13(9)：1750-1757.

[9]錢惠敏,茅耀斌,王執銓.自動選擇跟蹤窗尺度的Mean-Shift算法[J].中國圖象圖形學報,2007,12(2)：245-249.Qian Hui-min,Mao Yao-bin,and Wang Zhi-quan.Mean shift tracking with self-updating tracking window[J].Journal of Image and Graphics,2007,12(2)：245-249.

[10]李遠征,盧朝陽,高全學,等.基于多特征融合的均值遷移粒子濾波跟蹤算法[J].電子與信息學報,2010,32(2)：411-415.Li Yuan-zheng,Lu Zhao-yang,Gao Quan-xue,et al..Particle filter and mean shift tracking method based on multi-feature fusion[J].Journal of Electronics＆Information Technology,2010,32(2)：411-415.

[11]Han Z J,Ye Q X,and Jiao J B.Combined feature evaluation for adaptive visual object tracking[J].Computer Vision and Image Understanding,2011,115(1)：69-80.

[12]Osher S and Shthian J.Fronts propagating with curvaturedependent speed：algorithms based on Hamilton-Jacobi formulations[J].Journal of Computer and Physics,1988,79(1)：12-49.

[13]Li C M and Xu C Y.Distance regularized level set evolution and its application to image segmentation[J].IEEE Transactions on Image Processing,2010,19(12)：3243-3254.

[14]沈志熙,楊欣,黃席樾.均值漂移算法中的目標模型更新方法研究[J].自動化學報,2009,35(5)：478-483.Shen Zhi-xi,Yang Xin,and Huang Xi-yue.Study on target model update method in mean shift algorithm[J].Acta Automatica Sinica,2009,35(5)：478-483.