多線(xiàn)索融合和區(qū)域劃分的粒子濾波跟蹤算法

姜華，范勇

1.綿陽(yáng)市圖書(shū)館，四川綿陽(yáng) 621000

2.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川綿陽(yáng) 621000

多線(xiàn)索融合和區(qū)域劃分的粒子濾波跟蹤算法

姜華1，范勇2

1.綿陽(yáng)市圖書(shū)館，四川綿陽(yáng) 621000

2.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川綿陽(yáng) 621000

1 引言

視頻序列的目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)中經(jīng)典的核心技術(shù)之一，要在目標(biāo)快速移動(dòng)、遮擋、變形、光照變化、背景噪聲以及有實(shí)時(shí)性要求等條件下實(shí)現(xiàn)穩(wěn)健的目標(biāo)跟蹤是研究人員關(guān)注的焦點(diǎn)，也是目前實(shí)際應(yīng)用中一個(gè)急待解決的難題。

近年來(lái)，基于粒子濾波的跟蹤算法成了視覺(jué)跟著領(lǐng)域的研究重點(diǎn)之一，為復(fù)雜背景和遮擋條件下的目標(biāo)跟蹤問(wèn)題提供了一個(gè)可行的解決框架，使得目標(biāo)跟蹤更為可靠[1]。目標(biāo)跟蹤的關(guān)鍵是提取目標(biāo)模板進(jìn)行匹配和估計(jì)，目前使用較多的特征有顏色、紋理、邊緣線(xiàn)索等，已有很多關(guān)于目標(biāo)模板構(gòu)建方法的研究。文獻(xiàn)[2]提出用顏色和紋理信息描述目標(biāo)特征，顏色線(xiàn)索具有對(duì)旋轉(zhuǎn)和尺度不變性以及對(duì)目標(biāo)姿態(tài)變化不敏感性；紋理描述了圖像所對(duì)應(yīng)景物的表面性質(zhì)。但是僅僅采用顏色和紋理信息，當(dāng)目標(biāo)和背景顏色相似，或者光線(xiàn)變化時(shí)，往往導(dǎo)致跟蹤失敗。文獻(xiàn)[3]提出用邊緣線(xiàn)索描述目標(biāo)的高頻細(xì)節(jié)，反應(yīng)圖像的形狀信息，但是檢測(cè)的精度和抗噪聲性能不是很好。為了更好地描述目標(biāo)，融合目標(biāo)的多種信息是非常必要的，其中，線(xiàn)索融合關(guān)系到能否自適應(yīng)多種觀(guān)測(cè)信息的變化。文獻(xiàn)[4]采用簡(jiǎn)單的乘性融合策略，不能自適應(yīng)融合多線(xiàn)索。

針對(duì)單線(xiàn)索和簡(jiǎn)單乘性融合算法的問(wèn)題，本文在粒子濾波框架[1]基礎(chǔ)上，采用自適應(yīng)融合多線(xiàn)索、多區(qū)域的粒子濾波跟蹤算法。在粒子濾波更新階段，對(duì)特征模型進(jìn)行改進(jìn)，選取多特征（顏色、邊緣、紋理）于粒子樣本模型，自適應(yīng)融合多個(gè)線(xiàn)索權(quán)重，實(shí)時(shí)更新樣本模型。該方法有效地彌補(bǔ)了文獻(xiàn)[2]選取目標(biāo)模板的有限性，比文獻(xiàn)[4]采用簡(jiǎn)單的乘性融合策略更能自適應(yīng)目標(biāo)模板的變化。粒子濾波初始化階段，多區(qū)域劃分方法初始化粒子，比傳統(tǒng)的粒子濾波方法更能適應(yīng)遮擋情況，同時(shí)降低了粒子濾波目標(biāo)模型的計(jì)算量，提高了粒子濾波跟蹤的魯棒性和實(shí)時(shí)性。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜的背景下，本文算法更能實(shí)時(shí)、可靠地跟蹤與定位目標(biāo)中心位置。

2 粒子濾波基本原理

粒子濾波核心思想是用一組加權(quán)隨機(jī)樣本（粒子）來(lái)近似表征后驗(yàn)概率密度函數(shù)，在測(cè)量的基礎(chǔ)上，通過(guò)調(diào)節(jié)權(quán)值的大小和樣本的位置獲得服從實(shí)際分布的樣本，并以樣本均值作為系統(tǒng)狀態(tài)的估計(jì)值。

粒子濾波是由序列觀(guān)測(cè)值z(mì)t估計(jì)動(dòng)態(tài)系統(tǒng)xt的狀態(tài)[1]的。用{}表示帶有權(quán)重的粒子，表示t時(shí)刻系統(tǒng)的可能狀態(tài)，重要性權(quán)重，p(表示后驗(yàn)概率密度。

粒子濾波算法如下：

（1）初始化初始N個(gè)粒子，i=1，2，…，N，賦予相等的權(quán)重，

權(quán)重的和為1。（2）預(yù)測(cè)

（3）更新

（4）估計(jì)

（5）重采樣

閾值小則重采樣，丟棄權(quán)重小的粒子，復(fù)制權(quán)重大的粒子，從而避免粒子退化問(wèn)題。

3 基于多線(xiàn)索融合粒子濾波

粒子濾波在測(cè)量的基礎(chǔ)上，通過(guò)調(diào)節(jié)權(quán)值的大小和樣本的位置獲得服從實(shí)際分布的樣本，因此目標(biāo)似然函數(shù)的估計(jì)至關(guān)重要。對(duì)目標(biāo)進(jìn)行多特征描述時(shí)，首先選取獨(dú)立的線(xiàn)索分別構(gòu)建似然函數(shù)，在此基礎(chǔ)上，引入加權(quán)直方圖，對(duì)離目標(biāo)相近的像素賦予更大的權(quán)重，然后采用自適應(yīng)乘性融合策略構(gòu)建多線(xiàn)索的粒子似然函數(shù)，最后根據(jù)新的觀(guān)測(cè)值與粒子模型的距離以及相似性決定是否更新似然函數(shù)。多線(xiàn)索融合流程圖如圖1所示。

圖1 多線(xiàn)索融合流程圖

3.1 多線(xiàn)索選取

粒子濾波視頻跟蹤中如何選擇合適的特征十分重要。不同的特征有不同的優(yōu)點(diǎn)，其中顏色特征對(duì)非剛性、旋轉(zhuǎn)和部分遮擋具有魯棒性；紋理描述了圖像所對(duì)應(yīng)景物的表面性質(zhì)；邊緣方向直方圖檢測(cè)對(duì)于亮度變化不敏感。因此，目標(biāo)顏色、紋理、邊緣特征同時(shí)應(yīng)用于本文研究中，用來(lái)確定樣本的觀(guān)測(cè)模型。

3.1.1 顏色線(xiàn)索

顏色線(xiàn)索對(duì)于目標(biāo)旋轉(zhuǎn)、遮擋以及形變等情況具有較強(qiáng)的適應(yīng)性，因而被廣泛使用。本文選擇顏色直方圖表示目標(biāo)的顏色分布，采用基于HSV空間顏色直方圖，比其他顏色空間更能抑制光線(xiàn)變化。顏色直方圖塊為Bc=h×s+ν（h、s、ν分別表示色調(diào)和飽和度、亮度）。顏色分布直方圖如下[2]：

3.1.2 紋理線(xiàn)索

紋理是圖像的重要信息和特征，它描述了圖像景物的表面結(jié)構(gòu)屬性，是物體特性分析的良好工具。

局部二值模式[2]（1ocal Binary Pattern），LBP算子對(duì)圖像局部紋理特征有卓越的描述能力，有很強(qiáng)的分類(lèi)能力和較高的計(jì)算效率。本文引入LBP非參數(shù)紋理算子來(lái)分析圖像紋理特征。為了刻畫(huà)像素點(diǎn)在鄰域內(nèi)的灰度變化，LBP(i，j)表示圖像在像素點(diǎn)I(i，j)處的紋理值：

其中，IP表示I(i，j)鄰域內(nèi)各像素點(diǎn)的灰度值。二值矩陣s(IP-I(i，j))作為一個(gè)二值紋理模式（紋理基元）來(lái)刻畫(huà)鄰域內(nèi)像素點(diǎn)的灰度相對(duì)于中心點(diǎn)的變化情況，表示如下：

統(tǒng)計(jì)圖像各像素點(diǎn)的紋理值LBP(i，j)的頻數(shù)，得到圖像的256級(jí)紋理直方圖。表示如下：

3.1.3 邊緣線(xiàn)索

為了濾除噪聲，只有邊緣強(qiáng)度大于閾值才用到邊緣方向。

3.2 多線(xiàn)索的自適應(yīng)融合策略

3.2.1 空間信息加權(quán)直方圖

以上線(xiàn)索直方圖都不包含圖像的空間信息，因此，引入包含圖像空間信息的加權(quán)直方圖構(gòu)建線(xiàn)索的似然函數(shù)，賦予圖像中心位置像素更大的權(quán)重，該直方圖由一個(gè)凸的單調(diào)遞減的橢圓高斯核函數(shù)實(shí)現(xiàn)[5]：

其中σ是高斯噪聲的標(biāo)準(zhǔn)方差。

3.2.2 似然函數(shù)融合策略

不同研究者對(duì)多線(xiàn)索關(guān)系的處理是不一樣的，文獻(xiàn)[4]采用簡(jiǎn)單的乘性融合策略，用特征的觀(guān)察概率的乘積作為目標(biāo)狀態(tài)的觀(guān)測(cè)似然概率，乘性融合使概率密度分布變得更加尖銳，它抑制了分布的多峰性，放大了噪聲。當(dāng)兩個(gè)相似目標(biāo)相互靠近甚至出現(xiàn)相互遮擋情況時(shí)，或背景出現(xiàn)強(qiáng)干擾時(shí)，乘性融合對(duì)目標(biāo)位置的估計(jì)會(huì)發(fā)生很大的偏差，甚至跟蹤錯(cuò)目標(biāo)。

針對(duì)乘性融合中所出現(xiàn)的問(wèn)題，本文采用以帶權(quán)重的乘積形式實(shí)現(xiàn)線(xiàn)索的自適應(yīng)融合。在假設(shè)多種線(xiàn)索是條件獨(dú)立的情況下，對(duì)每種線(xiàn)索的觀(guān)測(cè)概率值賦予自適應(yīng)權(quán)重系數(shù)εl，利用特征的觀(guān)測(cè)值與模型的距離計(jì)算自適應(yīng)權(quán)重。因此，粒子濾波的似然函數(shù)定義為：

因此，本文的融合策略對(duì)噪聲放大較小，沒(méi)有抑制分布的多峰性，能更好地處理相似目標(biāo)靠近甚至相互遮擋的情況，提高了后驗(yàn)概率密度的置信度，使跟蹤結(jié)果更加可靠。

3.3 線(xiàn)索模型更新策略

建立粒子模型過(guò)程中，模型更新是一個(gè)關(guān)鍵問(wèn)題。光線(xiàn)的變化，攝像頭的抖動(dòng)都會(huì)影響跟蹤區(qū)域的顏色、紋理、邊緣分布，需要實(shí)時(shí)更新線(xiàn)索來(lái)獲得更加魯棒的跟蹤結(jié)果。各個(gè)線(xiàn)索的觀(guān)測(cè)值分別更新模型pl。

參數(shù)α∈[0，1]表示觀(guān)測(cè)值在更新模型過(guò)程中所占的比例。文獻(xiàn)[6]的模型更新是設(shè)定固定參數(shù)α，為避免背景或者遮擋物更新模型，本文采用只更新與觀(guān)測(cè)值p^l距離小于閾值θ的模型（實(shí)驗(yàn)中θ=0.15），定義α=1-ρ(pl，p^l)，根據(jù)模型與觀(guān)測(cè)值p^l的距離以及相似性自動(dòng)更新各個(gè)線(xiàn)索模型。

4 區(qū)域劃分的遮擋增強(qiáng)處理

多線(xiàn)索動(dòng)態(tài)融合粒子濾波算法比傳統(tǒng)的粒子濾波算法更加魯棒，但是依然不能解決長(zhǎng)時(shí)間的目標(biāo)遮擋[7]。傳統(tǒng)的粒子濾波模型是將整個(gè)目標(biāo)區(qū)域作為粒子的狀態(tài)，在目標(biāo)被完全遮擋的情況，會(huì)導(dǎo)致粒子跟蹤失敗。如圖2（b）所示，由于目標(biāo)被遮擋，跟蹤結(jié)果（綠色窗口）向上漂移了，而目標(biāo)本身（紅色窗口）并沒(méi)有向上移動(dòng)。跟蹤結(jié)果的移動(dòng)是由于粒子濾波跟蹤能最大化沒(méi)被遮擋的目標(biāo)和被遮擋的候選模型的相似性（巴氏距離），弊端在于整個(gè)目標(biāo)區(qū)域表示樣本。

為了改進(jìn)粒子濾波跟蹤的效果，本文采用多區(qū)域的方法，在初始粒子樣本時(shí)，在目標(biāo)位置隨機(jī)的選擇固定大小區(qū)域，分別表示粒子的初始狀態(tài)，如圖2（c）中黃色方塊所示，N個(gè)粒子模型的狀態(tài)隨機(jī)的定位在目標(biāo)區(qū)域。圖2（c）選擇局部區(qū)域（黃色方塊）作為粒子，明顯優(yōu)于圖2（b）中選擇整個(gè)目標(biāo)作為粒子的跟蹤結(jié)果。粒子濾波的多模態(tài)處理能力，加上局部多區(qū)域劃分有效地避免了遮擋問(wèn)題，提高了跟蹤的可靠性；同時(shí)，選擇局部區(qū)域描述目標(biāo)狀態(tài)，減少了計(jì)算量。

圖2 局部目標(biāo)與整個(gè)運(yùn)動(dòng)目標(biāo)作為粒子目標(biāo)模型的跟蹤結(jié)果比較

5 實(shí)驗(yàn)結(jié)果

依照本文算法對(duì)320×240（25幀/s）的視頻圖像幀進(jìn)行跟蹤，實(shí)驗(yàn)使用普通PC機(jī)（奔騰3 GHz的CPU），初始100個(gè)粒子樣本，執(zhí)行速度能達(dá)到15幀/s，實(shí)現(xiàn)了實(shí)時(shí)的應(yīng)用。為了驗(yàn)證算法的有效性，對(duì)多段測(cè)試序列進(jìn)行了跟蹤實(shí)驗(yàn)，并將結(jié)果與其他算法作比較。

5.1 單線(xiàn)索與多線(xiàn)索融合的比較

為驗(yàn)證本文提出的自適應(yīng)融合多線(xiàn)索跟蹤算法的魯棒性，首先對(duì)單線(xiàn)索與本文自適應(yīng)融合多線(xiàn)索算法進(jìn)行比較。圖3比較了不同線(xiàn)索算法跟蹤目標(biāo)中心位置的誤差。由圖可以看出，單線(xiàn)索會(huì)受目標(biāo)變化、目標(biāo)遮擋、光照變化、背景噪聲的影響，導(dǎo)致誤差變化較大。而自適應(yīng)融合多線(xiàn)索算法的誤差值一直很穩(wěn)定，不會(huì)受第48幀邊緣線(xiàn)索誤差值突然變小的影響，也不會(huì)受第59幀顏色線(xiàn)索誤差值突然變大的影響，始終保持在平穩(wěn)狀態(tài)。

圖3 單線(xiàn)索、簡(jiǎn)單乘性融合多線(xiàn)索和本文自適應(yīng)融合多線(xiàn)索算法誤差

圖4分別采用顏色、紋理、邊緣以及融合多線(xiàn)索算法跟蹤汽車(chē)。第1行顏色線(xiàn)索跟蹤，第2301幀，黑車(chē)和背景較接近，黑車(chē)跟蹤的不完整。第2行紋理跟蹤，第2301幀的黑車(chē)形狀發(fā)生變化，導(dǎo)致跟蹤結(jié)果不完整，而白車(chē)的跟蹤已經(jīng)完全失效。第3行的邊緣跟蹤能提供較準(zhǔn)確的跟蹤信息。第4行是本文的融合策略，多線(xiàn)索具有很好的互補(bǔ)性，不會(huì)受某一線(xiàn)索的影響而導(dǎo)致跟蹤的失敗，即使顏色特征隨光照變化產(chǎn)生退化現(xiàn)象，邊緣特征仍能發(fā)揮作用，從而實(shí)現(xiàn)魯棒的跟蹤。

圖4 單線(xiàn)索與多線(xiàn)索融合算法的比較

5.2 簡(jiǎn)單乘性融合與自適應(yīng)融合的比較

圖3給出了簡(jiǎn)單乘性融合和本文的自適應(yīng)融合算法跟蹤目標(biāo)中心位置的誤差，實(shí)驗(yàn)顯示本文的自適應(yīng)融合方法誤差值更小，自適應(yīng)能力和穩(wěn)定性更強(qiáng)。

圖5是本文算法與文獻(xiàn)[4]采用簡(jiǎn)單乘性融合算法分別跟蹤視頻中的白車(chē)。第1行是簡(jiǎn)單乘性融合算法，第1102幀白車(chē)車(chē)頭離開(kāi)場(chǎng)景，第1779幀又進(jìn)入場(chǎng)景，尺寸發(fā)生較大變化，導(dǎo)致目標(biāo)的中心位置發(fā)生偏離。圖6也是采用以上兩種算法分別跟蹤視頻中的人、車(chē)。第595、608幀的人、車(chē)相互遮擋后再分開(kāi)，第1行的乘性融合算法，目標(biāo)被遮擋后難以恢復(fù)跟蹤，第2行是用本文算法能夠準(zhǔn)確分離遮擋后的目標(biāo)。

圖5 簡(jiǎn)單乘性融合算法和本文自適應(yīng)融合算法比較一

圖6 簡(jiǎn)單乘性融合算法和本文自適應(yīng)融合算法比較二

實(shí)驗(yàn)證明，運(yùn)動(dòng)目標(biāo)的特征選取直接影響跟蹤效果的好壞，而且有效地融合目標(biāo)的多種信息是非常必要的。

5.3 遮擋處理

魯棒的粒子濾波跟蹤要能處理長(zhǎng)時(shí)間的遮擋問(wèn)題。圖7對(duì)比分析了傳統(tǒng)粒子濾波和本文多區(qū)域劃分遮擋處理。第1行是傳統(tǒng)粒子濾波的跟蹤結(jié)果，第576幀的人被汽車(chē)長(zhǎng)時(shí)間遮擋，同時(shí)汽車(chē)和人靠近，干擾了車(chē)的跟蹤，導(dǎo)致人、車(chē)跟蹤結(jié)果發(fā)生偏差，第594幀的人、車(chē)跟蹤都丟失了。第2行是本文的跟蹤算法，第594幀人被車(chē)長(zhǎng)時(shí)間遮擋后能夠成功的恢復(fù)，保證遮擋時(shí)可靠的跟蹤。這證明了第4章中描述的在目標(biāo)范圍內(nèi)選擇多個(gè)局部區(qū)域表示粒子，能夠解決長(zhǎng)時(shí)間的遮擋問(wèn)題。

圖7 本文算法與傳統(tǒng)粒子濾波跟蹤的比較結(jié)果

采用局部區(qū)域作為粒子樣本模型，比起傳統(tǒng)的用整個(gè)目標(biāo)區(qū)域作為樣本模型，計(jì)算量更小，每秒能處理15幀，因此能夠滿(mǎn)足實(shí)時(shí)的要求。實(shí)驗(yàn)中，樣本的局部區(qū)域大小為c·min（目標(biāo)長(zhǎng)，目標(biāo)寬），c的值為0.3～0.5。

6 總結(jié)

本文提出多線(xiàn)索融合和目標(biāo)區(qū)域劃分的粒子濾波跟蹤算法。首先，多線(xiàn)索包含顏色、邊緣、紋理，作為粒子濾波的似然函數(shù)；其次，線(xiàn)索模型的自適應(yīng)融合和實(shí)時(shí)更新使得跟蹤過(guò)程更具有靈活性；最后，利用合理的多區(qū)域劃分解決了遮擋問(wèn)題。實(shí)驗(yàn)結(jié)果證明，多線(xiàn)索動(dòng)態(tài)融合的算法使得粒子濾波更能精確、魯棒地跟蹤運(yùn)動(dòng)目標(biāo)。今后的研究方向是數(shù)據(jù)融合策略研究，以及算法的穩(wěn)定性分析。

[1]Arulampalam M，Maskell S，Gordon N，et al.A tutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Trans on Signal Process，2002，50（2）：174-188.

[2]Ying Hongwei，Qiu Xuena.Particle filtering object tracking based on texture and color[C]//Proceedings of IEEE Confence on Intelligence Information Processing and Trusted Computing，2010：626-630.

[3]Morwald T，Zillich M，Vincze M.Edge tracking of textured objects with a recursive particle filter[C]//Proceedings of Graphicom 2009，Moscow，Russia，2009.

[4]馮桂蘭，田維堅(jiān)，黃昌清.基于序貫蒙特卡羅的多線(xiàn)索目標(biāo)跟蹤算法[J].光電工程，2010，37（8）：5-11.

[5]Nummiaro K，Koller-Meier E，Gool L V.An adaptive colorbased particle filter[J].Image and Vision Computing，2003，21（1）：99-110.

[6]Giebel J，Gavrila D，Schnorr.A Bayesian framework for multicue 3D object tracking[C]//Proc of Europ Conf on Computer Vision，2004.

[7]Duan Z，Cai Z.Adaptive evolutionary particle filter based object tracking with occlusion handling[C]//Proceedings of the ICNC 2009，2009：358-361.

JIANG Hua1,FAN Yong2

1.Mianyang Library,Mianyang,Sichuan 621000,China
2.School of Computer Science and Technology,Southwest University of Science and Technology,Mianyang,Sichuan 621000,China

This paper presents visual cues fusion and tracking local object properties for object tracking in video sequences using particle filtering.The visual cues,color,edge and texture,form the likelihood of the developed particle filter,a method for self-adaptively weighted product fusion strategy is proposed,and the cues real-time is updated.By using local object properties instead of the global ones,the performance of the tracker is greatly improved when the object undergoes partial occlusion.The results show that the proposal is more robust than simple cue fusing or conventional particle filter,and fast enough for real-time applications.

particle filter;multiple cues;fusion strategy;occlusion

提出一種多線(xiàn)索動(dòng)態(tài)融合和目標(biāo)區(qū)域劃分的粒子濾波視覺(jué)跟蹤算法。在粒子濾波框架基礎(chǔ)上，選取顏色、紋理、邊緣線(xiàn)索于目標(biāo)模型中，采用帶權(quán)重的乘性融合策略自適應(yīng)計(jì)算粒子權(quán)重，并實(shí)時(shí)更新目標(biāo)模型。為增強(qiáng)在遮擋時(shí)的跟蹤能力，采用局部目標(biāo)而非整個(gè)運(yùn)動(dòng)目標(biāo)作為粒子目標(biāo)模型。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法比簡(jiǎn)單的線(xiàn)索融合、傳統(tǒng)的粒子濾波模型選取方法更能魯棒并實(shí)時(shí)地跟蹤目標(biāo)。

粒子濾波；多線(xiàn)索；融合策略；遮擋

A

TP391.4

10.3778/j.issn.1002-8331.1112-0551

JIANG Hua,FAN Yong.Particle filter tracking by fusing multiple cues and tracking local object properties.Computer Engineering and Applications,2013,49（19）：186-190.

姜華（1982—），女，碩士，主要研究領(lǐng)域?yàn)檫\(yùn)動(dòng)目標(biāo)跟蹤、檢測(cè)，智能視覺(jué)監(jiān)控；范勇（1972—），男，博士。E-mail：migrhua@qq.com

2012-01-07

2012-03-01

1002-8331（2013）19-0186-05

CNKI出版日期：2012-05-21http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1138.013.html