基于選定區(qū)域顏色直方圖的粒子濾波行人跟蹤算

法付麗梅

摘 ?要：針對(duì)城市中智能視頻監(jiān)控問(wèn)題，提出一種基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法。首先實(shí)現(xiàn)了Eiji Ota在2011 年實(shí)現(xiàn)的算法，該算法只能對(duì)紅色目標(biāo)進(jìn)行跟蹤，然后對(duì)該算法進(jìn)行改進(jìn)，改進(jìn)后能夠根據(jù)選定區(qū)域RGB顏色直方圖的粒子濾波算法對(duì)行人進(jìn)行跟蹤。自動(dòng)提取跟蹤視頻的第一幀，然后在第一幀上選擇要跟蹤的區(qū)域，再計(jì)算選定區(qū)域的RGB平均值，最后根據(jù)該區(qū)域的RGB顏色空間直方圖進(jìn)行粒子濾波行人跟蹤。實(shí)驗(yàn)結(jié)果表明，采用改進(jìn)的方法對(duì)視頻監(jiān)控的行人進(jìn)行跟蹤，效果較好。

關(guān)鍵詞：RGB;直方圖;粒子濾波;行人跟蹤

中圖分類(lèi)號(hào)：TP391.41 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

Particle Filter Pedestrian Tracking Algorithm based on

Color Histogram of Selected Area

FU Limei

（Department of Software Engineering， Dalian Neusoft University of Information， Dalian 116023， China）

fulimei@neusoft.edu.cn

Abstract： Aiming at the problem of intelligent video surveillance in cities， this paper proposes a pedestrian tracking algorithm based on RGB （Red， Green， Blue） histogram particle filter in selected area. The paper first implements the algorithm implemented by Eiji Ota in 2011， which can only track red targets， and then improves the algorithm. After the improvement， it can track pedestrians based on the particle filter algorithm of the RGB color histogram of the selected area. The first frame of the tracking video is automatically extracted， and then the area to be tracked is selected on the first frame. After that， the RGB average value of the selected area is calculated， and finally， the particle filter pedestrian tracking is performed according to the RGB color space histogram of the area. Experimental results show that the improved algorithm is effective in tracking pedestrians under video surveillance.

Keywords： RGB; histogram; particle filter; pedestrian tracking

1 ? 引言（Introduction）

視頻監(jiān)控技術(shù)就是利用計(jì)算機(jī)視覺(jué)來(lái)代替人工處理一些圖像及視頻信息，為人類(lèi)減輕負(fù)擔(dān)。采用智能監(jiān)控系統(tǒng)可以利用計(jì)算機(jī)視覺(jué)技術(shù)代替人工進(jìn)行視頻的觀(guān)察甚至分析。本文所研究的行人跟蹤屬于計(jì)算機(jī)視覺(jué)領(lǐng)域中的目標(biāo)跟蹤問(wèn)題，可以在智能監(jiān)控中進(jìn)行應(yīng)用，諸如安全、運(yùn)營(yíng)、交通運(yùn)輸?shù)确矫妗?/p>

國(guó)內(nèi)外一些城市部署了眾多視頻監(jiān)控系統(tǒng)，對(duì)監(jiān)控視頻進(jìn)行實(shí)時(shí)分析，可以發(fā)現(xiàn)其中的犯罪行為，從而發(fā)現(xiàn)并制止犯罪行為的發(fā)生，為防止犯罪行為和犯罪行為的偵破作出了貢獻(xiàn)。對(duì)行人進(jìn)行跟蹤有更廣泛的應(yīng)用，可以為監(jiān)控者減輕負(fù)擔(dān)，也可以挖掘出諸如禁區(qū)侵入檢測(cè)、打斗檢測(cè)、區(qū)域人群密度檢測(cè)等一系列分析，這些都具有重要的實(shí)用和經(jīng)濟(jì)價(jià)值[1]。同時(shí)，行人跟蹤作為行人行為分析之前的步驟，也具有重要的研究意義，如果要對(duì)行人的行為進(jìn)行分析就要持續(xù)并高效地對(duì)行人目標(biāo)進(jìn)行跟蹤。

2 ? 粒子濾波算法概述（An overview of particle filter algorithm）

行人跟蹤問(wèn)題主要包括基于概率的跟蹤和基于模型的跟蹤兩種主要方法。粒子濾波是一種基于概率的跟蹤方法。它是基于蒙特卡羅思想的非線(xiàn)性、非高斯的一種濾波方法，這一算法改變了傳統(tǒng)的卡爾曼濾波（Kalman Filter）的種種限制和不足，沒(méi)有限制測(cè)量噪聲與系統(tǒng)的過(guò)程噪聲[2]。粒子濾波算法是一種貝葉斯估計(jì)方法，可以通過(guò)更新來(lái)自系統(tǒng)概率密度函數(shù)的采樣集來(lái)近似非線(xiàn)性系統(tǒng)[3]。

粒子濾波（Particle Filter， PF）算法是一種基于貝葉斯估計(jì)理論和蒙特卡羅方法（Monte Carlo Method）的統(tǒng)計(jì)濾波方法[4]。粒子濾波算法是根據(jù)系統(tǒng)狀態(tài)模型的經(jīng)驗(yàn)分布，在狀態(tài)空間當(dāng)中生成一組隨機(jī)樣本空間[5]。這一組隨機(jī)樣本空間的集合就是粒子濾波中的粒子，通過(guò)觀(guān)測(cè)對(duì)粒子的位置與權(quán)重進(jìn)行相關(guān)調(diào)整，再通過(guò)這些經(jīng)過(guò)調(diào)整后的粒子來(lái)修正最初的通過(guò)經(jīng)驗(yàn)條件得到的分布[6]。當(dāng)能利用很大的樣本的時(shí)候，粒子濾波算法就能估算出接近真實(shí)值的后驗(yàn)概率密度。可以將粒子濾波算法用如下過(guò)程表示[7]：

第一步，進(jìn)行粒子的初始化。根據(jù)先驗(yàn)概率產(chǎn)生一個(gè)粒子群，并將所有的粒子的權(quán)值設(shè)定為。

第二步，進(jìn)行更新。在n時(shí)，更新粒子的權(quán)值：

（1）

并進(jìn)行歸一化處理：

（2）

此時(shí)可以得到n時(shí)刻的位置參數(shù)x的最小方差：

（3）

第三步，進(jìn)行重采樣，可以得到新的粒子集合。

第四步，進(jìn)行預(yù)測(cè)。可以根據(jù)狀態(tài)方程f來(lái)預(yù)測(cè)位置參數(shù)。

第五步，當(dāng)時(shí)刻n=n+1的時(shí)候，從步驟二開(kāi)始繼續(xù)重復(fù)以上步驟。

3 ?改進(jìn)粒子濾波行人跟蹤算法（Improved particle filter pedestrian tracking algorithm）

首先實(shí)現(xiàn)Eiji Ota在2011 年實(shí)現(xiàn)的只能對(duì)紅色目標(biāo)進(jìn)行跟蹤的算法[7-8]，之后在該算法基礎(chǔ)上進(jìn)行改進(jìn)，提出一種能選定某一區(qū)域，并根據(jù)該區(qū)域的RGB顏色空間直方圖進(jìn)行跟蹤的粒子濾波行人跟蹤算法[9]。

3.1 ? 基于單顏色的粒子濾波行人跟蹤算法

如圖1所示是基于單顏色的粒子濾波行人跟蹤算法的一個(gè)框圖表示，簡(jiǎn)單介紹了該算法的整個(gè)流程。

算法描述如下：首先可以選擇使用攝像頭或者從影片中讀取視頻;之后進(jìn)行算法的處理，先選擇一幀的視頻，之后進(jìn)行預(yù)測(cè)，計(jì)算相似性，重采樣;最后是結(jié)果的顯示，在圖像上顯示粒子并顯示狀態(tài)估計(jì)。

下面按步驟進(jìn)行解析，首先是預(yù)測(cè)，在該算法中如式（4）所示：

（4）

在該公式中，為位置和速度，為噪聲。

接下來(lái)進(jìn)行粒子的重采樣。具有更高相似性的粒子更有可能被采集，這一過(guò)程將會(huì)采集相同數(shù)目的粒子。

第三步，進(jìn)行的是粒子的估計(jì)。這一過(guò)程要移動(dòng)粒子，如式（5）所示：

（5）

第四步，計(jì)算相似性。該步驟可以分為如下幾個(gè)步驟：

首先在粒子的像素中取出顏色，之后將該像素的顏色值和紅色的顏色值進(jìn)行比較，如果觀(guān)測(cè)到的該像素的顏色值與紅色的顏色值越接近，則代表該粒子的似然性（likelihood）越高。這一過(guò)程可以用式（7）表示，假設(shè)為高斯分布：

（6）

（7）

之后通過(guò)上面的公式，計(jì)算每一個(gè)粒子的似然性，根據(jù)似然性程度執(zhí)行粒子的更新。

3.2 ? 基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法

上述算法只能對(duì)紅色或者單一顏色人體目標(biāo)進(jìn)行跟蹤，而且跟蹤的前提是已知跟蹤目標(biāo)的顏色直方圖特征，這樣的人體跟蹤算法存在不確定和不方便的缺點(diǎn)。因此，本文提出一個(gè)能自動(dòng)獲取人體目標(biāo)選定區(qū)域顏色的粒子濾波行人跟蹤算法，該算法流程如圖2所示。

改進(jìn)后的算法會(huì)自動(dòng)提取跟蹤視頻的第一幀，并允許用戶(hù)在第一幀上選擇要跟蹤的區(qū)域，之后計(jì)算跟蹤區(qū)域的RGB平均值。這一過(guò)程的具體算法如下：

（1）用戶(hù)從第一幀視頻中截取需要跟蹤的行人身上的某個(gè)區(qū)域;

（2）計(jì)算選定區(qū)域R分量、G分量和B分量的總和;

（3）將圖像由RGB圖像轉(zhuǎn)換成灰度圖像，并計(jì)算該灰度圖像的行數(shù)和列數(shù);

（4）用行數(shù)和列數(shù)相乘，得到選定區(qū)域圖像的面積;

（5）用R分量、G分量和B分量的總和值分別除以圖像的面積值，得到該區(qū)域的RGB分量的平均值;

（6）存儲(chǔ)選定區(qū)域RGB平均值。

4 ?算法實(shí)驗(yàn)結(jié)果與對(duì)比（Experimental results and comparison of the algorithm）

4.1 ? 改進(jìn)前的實(shí)驗(yàn)結(jié)果

首先使用單顏色的目標(biāo)進(jìn)行跟蹤，該算法僅能對(duì)紅色目標(biāo)進(jìn)行跟蹤，對(duì)其他目標(biāo)進(jìn)行跟蹤的時(shí)候會(huì)丟失目標(biāo)。實(shí)驗(yàn)數(shù)據(jù)采用該算法自帶的實(shí)驗(yàn)數(shù)據(jù)，可以看出，能夠完成對(duì)紅色人體目標(biāo)的跟蹤。此時(shí)設(shè)置的RGB值為（255，0，0），代表紅色的RGB值。接下來(lái)用其他視頻材料進(jìn)行實(shí)驗(yàn)，將一個(gè)足球比賽的運(yùn)動(dòng)員作為目標(biāo)跟蹤對(duì)象。實(shí)驗(yàn)后發(fā)現(xiàn)，并沒(méi)有成功地對(duì)運(yùn)動(dòng)員目標(biāo)進(jìn)行跟蹤，因?yàn)槟壳八惴▍?shù)僅能對(duì)RGB值為（255，0，0）的目標(biāo)進(jìn)行跟蹤，所以導(dǎo)致無(wú)法正常跟蹤目標(biāo)。

4.2 ? 改進(jìn)的基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法實(shí)驗(yàn)

對(duì)基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法進(jìn)行實(shí)驗(yàn)，選取的實(shí)驗(yàn)材料為足球賽的比賽視頻，在啟動(dòng)算法之后，算法會(huì)顯示第一幀的內(nèi)容，然后等待用戶(hù)選定要跟蹤的區(qū)域。由于粒子濾波的跟蹤特點(diǎn)，需要盡量選擇目標(biāo)人體上和背景差異大的區(qū)域，以保證可以正確成功地完成跟蹤。實(shí)驗(yàn)如圖3所示，可以看到跟蹤效果良好，能夠根據(jù)第一幀選定的圖片進(jìn)行持續(xù)的人體目標(biāo)跟蹤。

可以看出，改進(jìn)之后的算法能夠直接對(duì)選定的人體目標(biāo)進(jìn)行跟蹤，算法可以計(jì)算選定區(qū)域的RGB的平均值，而且有一定的容錯(cuò)能力，只要選定區(qū)域大部分是人體目標(biāo)就可以進(jìn)行正常的跟蹤，避免了由于無(wú)法正確設(shè)置跟蹤目標(biāo)的RGB值，而導(dǎo)致的跟蹤失敗和RGB提取過(guò)程復(fù)雜的問(wèn)題。

5 ? 結(jié)論（Conclusion）

本文提出了一個(gè)能自動(dòng)獲取人體目標(biāo)選定區(qū)域的顏色的粒子濾波行人跟蹤算法。與改進(jìn)前算法不同的是，改進(jìn)后的算法會(huì)自動(dòng)提取跟蹤視頻的第一幀，并允許用戶(hù)在第一幀上選擇要跟蹤的區(qū)域，之后會(huì)計(jì)算這一需要跟蹤區(qū)域的RGB平均值。改進(jìn)之后的算法可以直接對(duì)選定的人體目標(biāo)進(jìn)行跟蹤，可以計(jì)算選定區(qū)域的RGB的平均值，而且具有一定的容錯(cuò)能力，只要選定區(qū)域大部分是人體目標(biāo)就可以進(jìn)行正常的跟蹤，避免了由于無(wú)法正確設(shè)置跟蹤目標(biāo)的RGB值，而導(dǎo)致的跟蹤失敗和RGB提取過(guò)程復(fù)雜的問(wèn)題。本文提出的算法也存在某些不足之處，比如跟蹤的效率問(wèn)題、在夜間情況下進(jìn)行跟蹤的問(wèn)題等，因此也不能成為一個(gè)在所有場(chǎng)景下都可以適用的算法。

參考文獻(xiàn)（References）

[1] 卜言生，賀俊吉.基于多特征融合與背景目標(biāo)雙加權(quán)的行人跟蹤[J].計(jì)算機(jī)應(yīng)用與軟件，2020，37（10）：225-238.

[2] 徐君妍，崔宗勇.復(fù)雜場(chǎng)景下的加權(quán)粒子濾波行人跟蹤方法[J].信號(hào)處理，2017，33（7）：934-942.

[3] 李敏，吳莎.基于深度學(xué)習(xí)的粒子濾波視頻目標(biāo)跟蹤算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（6）：23-28.

[4] 劉芳，黃光偉，路麗霞，等.自適應(yīng)模板更新的魯棒目標(biāo)跟蹤算法[J].計(jì)算機(jī)科學(xué)與探索，2019，13（1）：83-96.

[5] 劉淑波，張園.模糊遺傳粒子濾波算法研究[J].艦船電子工程，2020，40（2）：18-20.

[6] 吳孫勇，薛秋條，朱圣棋，等.雜波環(huán)境下基于粒子濾波的微弱擴(kuò)展目標(biāo)檢測(cè)前跟蹤算法[J].雷達(dá)學(xué)報(bào)，2017，6（3）：252-258.

[7] 周明，涂宏斌.一種基于改進(jìn)粒子濾波的多目標(biāo)檢測(cè)與跟蹤方法[J].華東交通大學(xué)學(xué)報(bào)，2016，33（2）：121-126.

[8] LI D， WEN G， KUAI Y， et al. Learning padless correlation filters for boundary-effect free tracking[J]. IEEE Sensors Journal， 2018， 18（18）：7721-7729.

[9] 李鍇，馮瑞.基于粒子濾波的多特征融合視頻行人跟蹤算法[J].計(jì)算機(jī)工 程，2012，38（24）：141-145.

作者簡(jiǎn)介：

付麗梅（1977-），女，碩士，副教授.研究領(lǐng)域：計(jì)算機(jī)圖像處理，移動(dòng)應(yīng)用開(kāi)發(fā).