基于BOX-PHD的紅外視頻目標(biāo)跟蹤算法

李 瞳， 吳孫勇， 楊 標(biāo)

(桂林電子科技大學(xué) 數(shù)學(xué)與計(jì)算科學(xué)學(xué)院,廣西 桂林 541000)

隨著科技水平的與日俱增，視頻目標(biāo)跟蹤的研究應(yīng)用在醫(yī)療、安防、軍事以及生活等各個(gè)領(lǐng)域當(dāng)中。常見的視頻研究主要圍繞著彩色視頻目標(biāo)，通過顏色和紋理等信息對視頻目標(biāo)進(jìn)行處理，最終實(shí)現(xiàn)對視頻目標(biāo)的檢測與跟蹤。然而，在彩色視頻的研究中，當(dāng)遇到霧、霾、雨、雪等惡劣天氣或夜間作業(yè)時(shí)，針對目標(biāo)的處理過程就存在著一定的局限性。為了應(yīng)對上述環(huán)境，并實(shí)現(xiàn)指定范圍的全天候監(jiān)控[1]，國內(nèi)外專家學(xué)者對紅外視頻目標(biāo)進(jìn)行了相關(guān)研究。紅外目標(biāo)跟蹤是基于紅外熱像儀獲取視頻圖像，因其信噪比低，與周圍環(huán)境灰度值相差不大的特點(diǎn)，使得跟蹤過程存在一定難度。

對于紅外目標(biāo)跟蹤的研究，通常分為2大類：

1)紅外弱小目標(biāo)的跟蹤。此類研究常用的是檢測前跟蹤(track before detect，簡稱TBD)算法[2]。TBD算法根據(jù)目標(biāo)運(yùn)動連續(xù)性這一特征，對目標(biāo)所有可能的運(yùn)動軌跡進(jìn)行積累，通過目標(biāo)特征對各條軌跡的后驗(yàn)概率進(jìn)行判定，實(shí)現(xiàn)目標(biāo)的跟蹤。

2)紅外面目標(biāo)的跟蹤。行人作為非剛體，具有形態(tài)不定[3]的特點(diǎn)，給跟蹤過程帶來了困難。華宇寧等[4]在一種無向圖即馬爾可夫隨機(jī)場上實(shí)現(xiàn)了粒子濾波跟蹤；王梅梅等[5]提出了一種基于目標(biāo)灰度和運(yùn)動特征的粒子濾波跟蹤算法；吳敏等[6]實(shí)現(xiàn)了一種融合深度特征和梯度特征的特征融合紅外目標(biāo)跟蹤算法；張紹明等[7]用有向梯度直方圖來描述所要跟蹤目標(biāo)的特征，在粒子濾波的框架下實(shí)現(xiàn)了紅外行人目標(biāo)的跟蹤。雖然粒子濾波可以解決非線性、非高斯條件下的多目標(biāo)跟蹤，但存在數(shù)據(jù)關(guān)聯(lián)的問題，在目標(biāo)數(shù)或虛警較多時(shí)，計(jì)算量會大幅增加，同時(shí)會影響目標(biāo)狀態(tài)的估計(jì)。

為了處理數(shù)據(jù)關(guān)聯(lián)帶來的問題，Mahler[8]提出了隨機(jī)有限集的概念，可以在解決上述問題的同時(shí)，實(shí)現(xiàn)對多目標(biāo)的有效跟蹤。Reza等[9]在對視頻多目標(biāo)進(jìn)行跟蹤的過程中，通過核密度估計(jì)的方法對目標(biāo)進(jìn)行提取，用多伯努利濾波的方法實(shí)現(xiàn)對視頻多目標(biāo)的跟蹤，其跟蹤過程是通過粒子濾波來實(shí)現(xiàn)，用以擬合目標(biāo)的后驗(yàn)概率密度，所以算法在效率上相對較差，同時(shí)在對目標(biāo)的數(shù)目以及狀態(tài)的估計(jì)上存在一定偏差。針對此類問題，采用BOX-PHD濾波估計(jì)目標(biāo)狀態(tài)，并提升計(jì)算效率。針對紅外行人目標(biāo)跟蹤中紅外圖像信噪比低、粒子濾波實(shí)現(xiàn)計(jì)算量大、目標(biāo)狀態(tài)估計(jì)不準(zhǔn)確等問題，使用箱粒子濾波[10]來處理。箱粒子濾波實(shí)現(xiàn)過程中，所需粒子數(shù)少，且存在雜波時(shí)仍然可以估計(jì)目標(biāo)狀態(tài)。本算法首先借用文獻(xiàn)[9]中用于提取目標(biāo)的核密度估計(jì)的方法對背景進(jìn)行剔除，將所獲紅外行人目標(biāo)的質(zhì)心等狀態(tài)信息作為量測信息，利用箱粒子濾波與概率假設(shè)密度[11-12]相結(jié)合的BOX-PHD濾波算法，實(shí)現(xiàn)目標(biāo)跟蹤過程的預(yù)測和更新。實(shí)驗(yàn)表明，本算法可有效提升運(yùn)算效率，箱粒子濾波實(shí)現(xiàn)過程所需粒子數(shù)相對于粒子濾波少很多。由于行人目標(biāo)不是點(diǎn)目標(biāo)，目標(biāo)產(chǎn)生的量測是區(qū)間量測，于是在實(shí)現(xiàn)行人目標(biāo)跟蹤時(shí)，使用箱粒子濾波中的區(qū)間分析[13]思想更為合適。實(shí)驗(yàn)結(jié)果表明，本算法對目標(biāo)數(shù)和狀態(tài)的估計(jì)較為準(zhǔn)確。

1 背景減除

為了獲取紅外目標(biāo)的量測信息，通過核密度估計(jì)技術(shù)[9]將紅外視頻圖像進(jìn)行背景減除，一方面無需通過訓(xùn)練建立目標(biāo)模板，另一方面不用直接對目標(biāo)的類型或者外觀進(jìn)行預(yù)先假定，就能夠有效地抑制背景或雜波帶來的干擾。

本研究所處理的圖像是紅外視頻圖像，為了操作方便，計(jì)算簡單，將紅外視頻圖像的灰度值映射到[0,1]，可得到第k幀灰度圖像的像素點(diǎn)i的映射值：

di(k)=hi(k)/255，

(1)

其中hi(k)為第k幀灰度圖像的像素點(diǎn)i的像素值。

為了通過核密度估計(jì)的方法實(shí)現(xiàn)對每個(gè)像素點(diǎn)的背景概率，首先設(shè)置一個(gè)大小為N0的棧，棧用于存放樣本圖像，將采樣間隔設(shè)為K0，紅外圖像序列的采樣時(shí)間分別為0、K0、2K0、…、(N0-1)K0。也就是說，在采樣過程中，從原紅外圖像中的第1幀圖像開始，每隔K0幀圖像后提取當(dāng)前幀圖像，并存入棧中。當(dāng)?shù)趉幀圖像能被K0整除時(shí)，將該幀圖像存入棧中，用于棧的更新，將該幀所要更新的圖像放在棧的最前面，最先入棧的幀圖像最先出棧，以此方式循環(huán)更新棧中的樣本，用于消除背景輕度變化所帶來的影響，并建立合適的背景模板來估計(jì)像素點(diǎn)的核密度。在棧中，圖像的序號為

將棧中樣本值N0設(shè)置為10，將樣本采樣間隔K0設(shè)置為10。

通過將當(dāng)前幀圖像與棧中圖像依次作減操作，獲取像素點(diǎn)i為背景的概率：

(2)

其中：di(k)為由式(1)所得的像素點(diǎn)i的映射值；kl為k時(shí)刻棧中第l-1幀圖像，

(3)

σd,i(k)為k時(shí)刻像素點(diǎn)i的高斯核帶寬。而在核密度估計(jì)過程中，帶寬的選取非常重要，當(dāng)樣本數(shù)無限多時(shí)，帶寬的選擇對結(jié)果帶來的影響并不明顯，但在實(shí)際操作中，樣本數(shù)是固定的，此時(shí)帶寬的選擇就顯得尤為重要。核帶寬的計(jì)算公式為

(4)

其中median表示取中值。

假設(shè)將像素點(diǎn)i通過核密度背景減除操作得到的該像素點(diǎn)為背景的概率為yi，將式(3)代入式(2)，再進(jìn)行歸一化，則

(5)

通過背景減除操作獲得的背景密度圖可用y=[y1,y2,…,ym]來表示，m為背景密度圖中像素點(diǎn)的總個(gè)數(shù)。在得到的背景密度圖里獲取前景目標(biāo)，采用形態(tài)學(xué)操作來消除前景目標(biāo)中散落的噪點(diǎn)，便于后續(xù)操作。通過對圖像的連通區(qū)域分析來獲取前景目標(biāo)的狀態(tài)信息，作為下一時(shí)刻目標(biāo)量測值的輸入。圖1為背景減除操作處理后所獲得的前景目標(biāo)圖像信息。

圖1 原圖與前景目標(biāo)圖

2 BOX-PHD濾波算法實(shí)現(xiàn)

通過背景減除操作獲得目標(biāo)的狀態(tài)信息后，通過引入BOX-PHD濾波算法實(shí)現(xiàn)紅外視頻目標(biāo)的跟蹤。

2.1 箱粒子濾波

在紅外視頻目標(biāo)跟蹤中，所獲量測不是常見的點(diǎn)量測，前景目標(biāo)作為區(qū)域進(jìn)行處理，而量測作為區(qū)間進(jìn)行處理。箱粒子濾波較之傳統(tǒng)的粒子濾波，箱粒子具有一定大小，且大小可控，其主要思想是傳統(tǒng)的點(diǎn)粒子被最大誤差已知的箱粒子所取代，是一種基于區(qū)間分析的方法。在有效處理量測的3個(gè)不確定性的同時(shí)，僅使用幾十個(gè)箱粒子就可以實(shí)現(xiàn)類似于傳統(tǒng)點(diǎn)粒子的跟蹤效果，而點(diǎn)粒子則需要上千個(gè)粒子，因此箱粒子濾波能夠在降低計(jì)算復(fù)雜度的同時(shí)提升計(jì)算效率。

2.2 算法流程

2.2.1 初始化

(6)

(7)

其中bk-1為k-1時(shí)刻新生目標(biāo)數(shù)的期望值。則k時(shí)刻所要傳遞的粒子狀態(tài)集為

(8)

k時(shí)刻粒子總數(shù)為

Nk=Jk-1+Nk-1。

(9)

2.2.2 預(yù)測

新生初始化后，箱粒子由新生的部分和持續(xù)存活的部分構(gòu)成。在預(yù)測過程中，通過狀態(tài)轉(zhuǎn)移矩陣[fk|k-1](·)及存活概率PS(·)分別對箱粒子集的狀態(tài)和權(quán)值進(jìn)行預(yù)測，即

(10)

(11)

2.2.3 更新

約束后箱粒子的似然函數(shù)為

(12)

在更新過程的最后，根據(jù)得到的似然函數(shù)來計(jì)算更新后的每個(gè)箱粒子的權(quán)值：

(13)

λk|k-1=λc([zj])+

(14)

2.2.4 重采樣

在重采樣中，由于濾波過程是用區(qū)間的方式進(jìn)行目標(biāo)跟蹤，其重采樣方法不同于傳統(tǒng)的粒子濾波方法。本研究采用隨機(jī)劃分的重采樣方法，可以有效地增多粒子多樣性。先計(jì)算目標(biāo)的期望數(shù)

即為真實(shí)量測的個(gè)數(shù)，再將選中的箱粒子隨機(jī)劃分為多個(gè)箱粒子，取代傳統(tǒng)的復(fù)制方式。重采樣后得到的新的箱粒子及權(quán)值為

其中Nk+1為重采樣的箱粒子數(shù)。

2.2.5 目標(biāo)狀態(tài)估計(jì)

預(yù)測箱粒子所對應(yīng)的各個(gè)區(qū)間量測的更新權(quán)值：

(15)

3 仿真實(shí)驗(yàn)

選用一列紅外視頻圖像序列用于視頻跟蹤，為了操作簡便，將用于更新棧中圖像樣本，并將樣本進(jìn)行提取和存儲，且隨核密度估計(jì)的實(shí)現(xiàn)過程對樣本進(jìn)行更新，在視頻序列中有目標(biāo)新生的情況出現(xiàn)。圖2為文獻(xiàn)[9]伯努利濾波算法與本BOX-PHD濾波算法對同一序列紅外視頻圖像的跟蹤結(jié)果。圖2中從左到右分別為序列圖像中的第2幀、第49幀和第83幀圖像。從圖2可看出，本算法在對紅外行人目標(biāo)的數(shù)目和狀態(tài)的估計(jì)較為準(zhǔn)確，文獻(xiàn)[9]的算法在對目標(biāo)數(shù)的估計(jì)上存在漏檢的情況，在對目標(biāo)狀態(tài)的估計(jì)上不夠準(zhǔn)確。

圖2 紅外視頻的實(shí)驗(yàn)結(jié)果

伯努利濾波算法與BOX-PHD濾波算法在對紅外視頻序列中的多行人目標(biāo)估計(jì)的示意圖如圖3所示。從圖3可看出，BOX-PHD濾波算法在對行人目標(biāo)數(shù)目的估計(jì)效果較好且較穩(wěn)定，這是因?yàn)锽OX-PHD濾波算法在處理區(qū)間量測的問題上比較適用。

圖3 2種算法目標(biāo)數(shù)估計(jì)

圖4 2種算法OSPA距離估計(jì)

采用最優(yōu)子模式分配(OSPA)距離[14]對多目標(biāo)的跟蹤算法進(jìn)行評價(jià)。該方法常被用在多目標(biāo)跟蹤算法的實(shí)驗(yàn)結(jié)果評價(jià)中，對紅外視頻多目標(biāo)的跟蹤結(jié)果也同樣適用。

圖4為伯努利濾波算法與BOX-PHD濾波算法OSPA距離估計(jì)的對比。從圖4可看出，BOX-PHD濾波與伯努利濾波相比，OSPA距離顯著降低，跟蹤誤差較小，這是因?yàn)锽OX-PHD濾波采用的是區(qū)間量測的算法，對目標(biāo)狀態(tài)的估計(jì)上較為穩(wěn)定。從圖4還可看出，從第40幀圖像開始，OSPA距離有一定程度的波動，這是因?yàn)橛行律繕?biāo)出現(xiàn)，但過了幾幀之后，BOX-PHD濾波的OSPA距離又趨于穩(wěn)定，這表明本濾波算法可以有效地處理目標(biāo)新生的問題。

4 結(jié)束語

為了處理紅外視頻多行人目標(biāo)紋理細(xì)節(jié)少、噪聲強(qiáng)的問題，用核密度估計(jì)的方法結(jié)合BOX-PHD濾波算法實(shí)現(xiàn)跟蹤，一方面可以提升跟蹤過程的計(jì)算效率，另一方面可以有效估計(jì)目標(biāo)狀態(tài)，保證了算法的準(zhǔn)確性和穩(wěn)定性。通過核密度估計(jì)實(shí)現(xiàn)對目標(biāo)的提取，將背景進(jìn)行有效地濾除，并將目標(biāo)的位置以及狀態(tài)信息作為量測，用于后續(xù)跟蹤。基于箱粒子PHD濾波的紅外視頻目標(biāo)跟蹤算法比伯努利濾波跟蹤算法有更好的跟蹤效果，同時(shí)實(shí)驗(yàn)結(jié)果表明，在對目標(biāo)數(shù)的估計(jì)以及OSPA距離的計(jì)算上，本算法可以有效地實(shí)現(xiàn)紅外視頻多行人目標(biāo)的跟蹤。本算法在對目標(biāo)數(shù)目以及狀態(tài)的估計(jì)上有著更強(qiáng)的魯棒性，且在運(yùn)算上相比伯努利濾波算法具有更高的跟蹤精度和計(jì)算效率。