邊界約束的核密度估計紅外人體目標(biāo)跟蹤方法

郭永彩，王 琨，高 潮

邊界約束的核密度估計紅外人體目標(biāo)跟蹤方法

郭永彩，王 琨，高 潮

（重慶大學(xué)光電工程學(xué)院光電技術(shù)及系統(tǒng)教育部重點實驗室，重慶400030）

基于核密度估計的均值漂移算法因其良好的實時性而被廣泛地應(yīng)用于目標(biāo)跟蹤，但傳統(tǒng)的均值漂移算法極易因顏色等信息的缺乏而使跟蹤不穩(wěn)定，且目標(biāo)尺度的變化也不利于目標(biāo)位置的準確估計，為此，提出了一種具有邊界約束的均值漂移紅外人體目標(biāo)跟蹤新方法。該方法通過各向異性擴散，并聯(lián)合紅外圖像的梯度與亮度信息來獲取目標(biāo)邊界，自適應(yīng)調(diào)整核窗寬，從而利用均值漂移策略進行紅外人體目標(biāo)跟蹤。實驗結(jié)果表明，該方法在紅外人體目標(biāo)尺度改變時仍能實現(xiàn)良好的跟蹤。

紅外目標(biāo)跟蹤；人體；邊界約束；均值漂移；核窗寬

1 引 言

基于紅外圖像的目標(biāo)跟蹤技術(shù)在紅外制導(dǎo)、偵察等軍事領(lǐng)域及視頻監(jiān)控、輔助駕駛等民用領(lǐng)域都發(fā)揮著重要作用［1－2］。而人體目標(biāo)作為環(huán)境中的主要因素，一直以來都是目標(biāo)跟蹤領(lǐng)域的研究熱點和難點。

目前存在的目標(biāo)跟蹤方法有很多，比如卡爾曼濾波［3］跟蹤，其前提是假設(shè)目標(biāo)運動模型滿足線性高斯分布的動態(tài)系統(tǒng)，但人體的運動往往具有隨意性、不確定性，這使得卡爾曼濾波在人體目標(biāo)跟蹤中有著一定的局限性；粒子濾波［4］克服了卡爾曼濾波局限于高斯線性分布的不足，可以用于人體目標(biāo)的跟蹤，但是該算法的實時性較差且會面臨粒子退化問題；均值漂移算法是一種核密度估計算法，由Fukunaga［5］首次提出，然后Comaniciu和Meer等人［6－7］將其成功運用于人體等非剛性目標(biāo)的跟蹤，該算法計算量小，收斂速度快，特別適合視頻監(jiān)控等實時性要求較高的目標(biāo)跟蹤場合。但傳統(tǒng)的均值漂移算法目標(biāo)定位精度不高，且固定的核窗寬不能適應(yīng)目標(biāo)尺度的變化。為此，文中提出了一種紅外人體目標(biāo)跟蹤的新方法，充分利用紅外圖像最直接也是最有效的梯度與亮度信息來獲取目標(biāo)邊界，通過邊界約束進而在均值漂移跟蹤框架下實現(xiàn)變尺度人體目標(biāo)的良好跟蹤。

2 均值漂移算法原理

均值漂移算法是一種基于核密度估計的有效無參數(shù)統(tǒng)計迭代算法。假設(shè)X是d維空間Rd的采樣點集合，X＝｛xi，1≤i≤n｝，K（·）是帶寬為H的核函數(shù)，則在點x處的核密度估計為：

其中，H∈Rd×d，為了簡化算法，取H＝h2I，則上式可改寫為：

其中，k（·）是K（·）的輪廓函數(shù)，且是非負非增和分段連續(xù)的；ck為歸一化系數(shù)。令g（x）＝－k′（x），則有：

定義：

為Mean Shift向量。將樣本集中的點按照：

反復(fù)迭代，通常認為｜Mg（x）｜小于一定的閾值ε時完成迭代過程，即x收斂到概率密度局部最大值。

3 邊界約束的均值漂移紅外人體目標(biāo)跟蹤方法

文中提出的紅外人體目標(biāo)跟蹤方法主要包含兩個步驟：①目標(biāo)邊界獲取；②目標(biāo)定位與核窗寬調(diào)整。

3.1 目標(biāo)邊界獲取

通過均值漂移跟蹤算法得到當(dāng)前幀的目標(biāo)定位區(qū)域，但該區(qū)域可能存在一定的定位偏差。為此，將該區(qū)域進行一定的擴大（通常認為擴大了的區(qū)域會包含完整的目標(biāo)），從擴大的區(qū)域中獲取目標(biāo)邊界，這樣就避免了整幅圖像上的操作，減少了不必要的計算量。

為便于獲取人體目標(biāo)邊界，文中首先對擴大區(qū)域圖像進行各向異性擴散［8］，在梯度小的地方以較大的擴散速率平滑圖像，而在梯度較大的地方擴散速率較小，以此來保留邊緣信息。圖1給出了紅外人體目標(biāo)邊界的獲取過程。首先，對擴大區(qū)域圖像進行各向異性擴散，擴大區(qū)域圖像如圖1（a）所示；經(jīng)過各向異性擴散得到圖像1（b），顯然，在平滑圖像1（a）的同時，人體目標(biāo)的邊緣信息也得到很好的保留，這有利于之后的目標(biāo)邊界獲取；然后，根據(jù)紅外圖像的梯度與亮度信息來獲取人體目標(biāo)邊界，從圖1（c）所示的梯度圖像可以觀察到，人體目標(biāo)邊界信息較為突出，為此可以進一步利用亮度信息來準確獲取人體目標(biāo)邊界，得到如圖1（d）所示的人體目標(biāo)輪廓。通過以上步驟最終可獲得如圖1（e）所示的人體目標(biāo)區(qū)域。

圖1 紅外人體目標(biāo)邊界獲取過程

3.2 目標(biāo)定位與核窗寬調(diào)整

紅外圖像中，人體目標(biāo)受衣物等表面覆蓋物影響會造成目標(biāo)亮度分布不均勻，進而影響目標(biāo)邊界的完整性獲取。為了減少這種影響，提出以下策略以實現(xiàn)目標(biāo)的準確定位和核窗寬的實時調(diào)整。首先，在當(dāng)前幀的紅外圖像中，通過上文方法獲取目標(biāo)區(qū)域，其頂點分別標(biāo)記為1，2，3，4，如圖2所示。

圖2 當(dāng)前幀目標(biāo)區(qū)域標(biāo)記

然后，將通過均值漂移算法得到的跟蹤窗口進行4次平移，分別使其左上、左下、右上和右下頂點與圖2中的對應(yīng)頂點重合，將4次平移得到的矩形區(qū)域作為當(dāng)前幀的候選目標(biāo)區(qū)域，并依次標(biāo)記為Ω1，Ω2，Ω3，Ω4。為了進一步約束以獲得最佳候選目標(biāo)區(qū)域，增加了2個區(qū)域Ω5和Ω6，分別代表均值漂移算法獲得的目標(biāo)區(qū)域和前一幀的目標(biāo)定位區(qū)域，則最佳候選目標(biāo)區(qū)域可用下式來確定：

其中，Ω為最佳候選目標(biāo)區(qū)域；n為目標(biāo)區(qū)域的像素個數(shù)；T為目標(biāo)模板，通常將初始幀手動獲取的人體目標(biāo)作為目標(biāo)模板；Ii為候選目標(biāo)圖像。這里，需要定義為候選區(qū)域圖像與目標(biāo)模板的粗略匹配誤差，匹配誤差最小的區(qū)域即為最佳候選目標(biāo)區(qū)域。

通常認為序列圖像中相鄰幀的目標(biāo)尺度變化是比較小的，據(jù)此，設(shè)置一個尺度變化閾值t（t值可設(shè)定在5～8個像素），當(dāng)且僅當(dāng)獲得的當(dāng)前幀的人體目標(biāo)區(qū)域與前一幀的窗寬變化小于閾值t時，按照由人體目標(biāo)邊界確定的區(qū)域大小來調(diào)整核窗寬。

4 實驗結(jié)果與分析

文中算法在Matlab上實現(xiàn)，對多組紅外人體目標(biāo)序列圖像進行跟蹤實驗，均獲得了良好的跟蹤效果。在這里，選取了三組具有代表性的紅外序列圖像，均由紅外熱像儀（THERMOVISION A40）所拍攝，分辨率為320×240，以下便是這三組序列圖像的跟蹤實驗結(jié)果與分析。

序列Ⅰ是一組人體目標(biāo)尺度變化不大，但存在高亮背景像素干擾的圖像。圖3給出了序列Ⅰ在傳統(tǒng)均值漂移跟蹤算法和文中算法下其中6幀的跟蹤結(jié)果，可以看出文中方法目標(biāo)定位準確，跟蹤效果良好；而傳統(tǒng)均值漂移算法的跟蹤窗口出現(xiàn)一定的定位偏差，在第30幀左右跟蹤窗口下移。

傳統(tǒng)的均值漂移跟蹤算法核窗寬是固定的，故不能應(yīng)對目標(biāo)尺度發(fā)生變化的情況，文獻［7］對核窗寬進行正負10%的修正，選擇Bhattacharyya系數(shù)最大的帶寬作為最佳核窗寬。以下通過文中方法與文獻［7］方法跟蹤結(jié)果的對比來驗證文中方法的有效性。

圖3 序列Ⅰ跟蹤結(jié)果（從左至右依次為第10，20，30，40，50，60幀。第一行：傳統(tǒng)均值漂移算法；第二行：文中算法）

序列Ⅱ是一組人體目標(biāo)逐漸變小的圖像，從圖4的跟蹤結(jié)果可以看出文獻［7］方法基本可以應(yīng)對目標(biāo)變小的跟蹤，但文中方法在核窗寬調(diào)整和目標(biāo)定位的準確性上具有更好的效果。圖5是該序列圖像在兩種方法下核窗寬變化的對比，文中方法在50到90幀之間窗寬明顯變小，是由于人體目標(biāo)在這段時間內(nèi)側(cè)身導(dǎo)致目標(biāo)寬度明顯變窄，這體現(xiàn)了人體目標(biāo)邊界信息對于核窗寬調(diào)整的重要意義，相對文獻［7］方法具有更好的自適應(yīng)性。

圖4 序列Ⅱ跟蹤結(jié)果（從左至右依次為第5，40，80，100，145，175幀。第一行：文獻7方法；第二行：本文方法）

圖5 序列Ⅱ核窗寬變化比較

序列Ⅲ是一組紅外人體目標(biāo)逐漸增大的圖像，圖6給出了序列Ⅲ在文獻［7］方法和文中方法下其中6幀的跟蹤結(jié)果。文中方法實現(xiàn)了核窗寬的自適應(yīng)調(diào)整，且跟蹤準確，明顯優(yōu)于文獻［7］方法。從圖7所示的兩種方法下核窗寬變化比較圖可以看出，文中方法的核窗寬呈增大趨勢且變化平緩；文獻［7］方法在130幀左右，核窗寬沒有隨目標(biāo)尺度的增大而做出增大調(diào)整，反而急劇減小，如第155幀的跟蹤結(jié)果圖所示，只定位到人體目標(biāo)手部這一小區(qū)域。這充分說明核窗寬正負10%修正的方法不能應(yīng)對目標(biāo)逐漸增大的跟蹤問題；Bhattacharyya系數(shù)往往在較小的跟蹤窗口達到最大，利用Bhattacharyya系數(shù)來度量候選目標(biāo)模型與目標(biāo)模板的相似性在一定程度上是不可靠的。另外，該序列圖像還存在著目標(biāo)灰度分布不均勻以及較明顯的偽影問題，一定程度上影響到人體目標(biāo)邊界的完整獲取，但文中方法的良好跟蹤效果表明文中提出的具有邊界約束的跟蹤策略發(fā)揮了重要作用。

圖6 序列Ⅲ跟蹤結(jié)果（從左至右依次為第2，30，70，100，130，155幀。第一行：文獻7方法；第二行：本文方法）

圖7 序列Ⅲ核窗寬變化比較

5 結(jié) 論

提出了一種具有邊界約束的均值漂移紅外人體目標(biāo)跟蹤新方法。該方法首先通過均值漂移策略獲得目標(biāo)初步估計區(qū)域，將目標(biāo)初步估計區(qū)域進行一定的擴大，在擴大的區(qū)域中利用紅外圖像的梯度與亮度信息來獲取人體目標(biāo)邊界，最后采取一種約束性策略來實現(xiàn)人體目標(biāo)的定位以及核窗寬的自適應(yīng)調(diào)整。實驗結(jié)果表明，該方法在人體目標(biāo)尺度發(fā)生改變時仍能夠?qū)崿F(xiàn)良好跟蹤。

［1］ SONG Xin，WANG Luping，WANG Ping，et al.IR target tracking based on improved Mean Shiftmethod［J］.J.Infrared Millim.Waves，2007，26（6）：429－432.（in Chinese）

宋新，王魯平，王平，等.基于改進均值位移的紅外目標(biāo)跟蹤方法［J］.紅外與毫米波學(xué)報，2007，26（6）：429－432.

［2］ LIJianfu，GONG Weiguo，YANG Jinfei.Co-occurrence matrix locality preserving projections for pedestrian tracking in infrared image sequences［J］.Infrared and Laser Engineering，2010，39（6）：1012－1017.（in Chinese）

李建福，龔衛(wèi)國，楊金妃.共生矩陣保局投影紅外人體目標(biāo)實時跟蹤方法［J］.紅外與激光工程，2010，39（6）：1012－1017.

［3］ LUO Huan，YU Lei，CHEN Zhongqi，et al.Research on infrared target tracking based on IMM［J］.Laser＆Infrared，2009，39（7）：776－779.（in Chinese）

羅寰，于雷，陳中起，等.基于過模型交互的紅外目標(biāo)跟蹤方法研究［J］.激光與紅外，2009，39（7）：776－779.

［4］ FANGWentao，WANG Xiangjun，TANG Qijian，et al.Object tracking system for MUAV based on particle filter［J］.Laser＆Infrared，2012，42（7）：841－844.（in Chinese）

房文濤，王向軍，湯其劍，等.基于粒子濾波的機載目標(biāo)跟蹤系統(tǒng)設(shè)計［J］.激光與紅外，2012，42（7）：841－844.

［5］ Fukanaga K，Hostetler L D.The estimation of the gradient of a density function，with application in pattern recognition［J］.IEEE Trans.Information Theory，1975，21（1）：32－40.

［6］ Comaniciu D，Ramesh V，Meer P.Real-time tracking of non-rigid objects using mean shift［C］.Proc.IEEE Conference on Computer Vision and Pattern Recognition，2000：142－149.

［7］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（5）：564－577.

［8］ BAIJunqi，CHEN Qian.Algorithm for infrared image noise filtering based on anisotropic diffusion［J］.Acta Optica Sinica，2008，28（5）：866－869.（in Chinese）

白俊奇，陳錢.基于各向異性擴散的紅外圖像噪聲濾波算法［J］.光學(xué)學(xué)報，2008，28（5）：866－869.

Infrared pedestrian target tracking based on KDE w ith boundary constraint

GUO Yong-cai，WANG Kun，GAO Chao
（Key Laboratory of Optoelectronic Technology and Systems of Education Ministry，College of Optoelectronic Engineering，Chongqing University，Chongqing 400030，China）

Asmean shiftalgorithm based on KDE has good performance of real-time，ithas been widely used in target tracking.However，the tracking robustof traditionalmean shiftalgorithm is often depended on such features like color，etc.Moreover，the tracked position is usually affected by the scale change of target during tracking procedures.To overcome these disadvantages，a new infrared pedestrian target tracking approach based on mean shift with boundary constraint is proposed.Thismethod uses the gradientof infrared image processed by anisotropic diffusion.Particularly，the target boundary is obtained by its gradient aswell as brightness information，kernel bandwidth is adaptively adjusted.At last，the infrared pedestrian target tracking is carried outby the strategy ofmean shiftalgorithm，and the experimental results show that the proposed approach can achieve efficient tracking when the scale of the target changes.

infrared target tracking；pedestrian；boundary constraint；mean shift；kernel bandwidth

TP391.4

A

10.3969／j.issn.1001-5078.2014.10.021

1001-5078（2014）10-1169-05

教育部博士點基金（No.20130191110021）項目資助。

郭永彩（1963－），女，教授，博士生導(dǎo)師，博士，主要從事光電測控技術(shù)與智能儀器、數(shù)字信號處理方面的研究工作。

E-mail：ycguo＠cqu.edu.cn

2014-02-18；

2014-02-28