一種用于智能監(jiān)控的目標(biāo)檢測和跟蹤方法

摘 要：在對現(xiàn)有目標(biāo)檢測、跟蹤算法進(jìn)行分析對比的基礎(chǔ)上，設(shè)計并實現(xiàn)了一種簡單有效的目標(biāo)檢測和跟蹤方案。首先提出了一種基于像素灰度歸類和單模態(tài)高斯模型的背景重構(gòu)算法，能夠利用多幀包含前景目標(biāo)的場景圖像重構(gòu)準(zhǔn)確的背景模型。進(jìn)而以此為基礎(chǔ)采用背景減法進(jìn)行各幀中目標(biāo)的檢測，并選取形心作為匹配特征實現(xiàn)了場景中多個目標(biāo)的有效跟蹤。實驗表明，該方法實現(xiàn)簡單，無須事先提供背景圖像即可實現(xiàn)目標(biāo)的準(zhǔn)確檢測和跟蹤，其性能明顯優(yōu)于傳統(tǒng)基于時間平均背景模型的方法。

關(guān)鍵詞：目標(biāo)檢測； 目標(biāo)跟蹤； 背景重構(gòu)； 高斯模型； K均值聚類

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號：1001-3695(2008)08-2393-03

Object detection and tracking method for intelligent surveillance

WANG Su-yu1，2， SHEN Lan-sun1， LI Xiao-guang1

(1.Signal Information Processing Lab， Beijing University of Technology， Beijing 100022， China; 2.College of Electronic Information Engineering， Hebei University， Baoding Hebei 071002， China)

Abstract:This paper designed and realized a simple and effective object detection and tracking scheme， based on a review of the existed detection and tracking algorithms. At first， proposed a pixel intensity classification and the single Gaussian model based background reconstruction algorithm， which could provide an accurate background model through a sequence of scene images with foreground objects. Then used the background subtraction method for object detection， selected the center of the object as the matching feature for tracking of multi-objects among the sequence. Experimental results show that the proposed algorithm and scheme is simple to realize， and can detect and track the moving objects effectively， it shows obvious perfor-mance improvement compared with the traditional time-averaged background based method.

Key words：object detection; object tracking; background reconstruction; Gaussian model; K-means cluster

隨著現(xiàn)代社會監(jiān)控難度的增加，越來越多的領(lǐng)域?qū)鹘y(tǒng)意義上的視頻監(jiān)控提出了更高的要求，因此，新一代的智能視覺監(jiān)控技術(shù)^[1]得到了日益廣泛的關(guān)注。即賦予監(jiān)控系統(tǒng)觀察分析場景內(nèi)容的能力，使其更加智能化，能夠在無須人為干預(yù)的情況下，對攝像機(jī)拍錄的視頻序列進(jìn)行自動分析，并及時作出反應(yīng)。智能監(jiān)控技術(shù)的發(fā)展，將在交通管理、公共場所監(jiān)控、安全生產(chǎn)和國家重點部門安防等方面發(fā)揮日益重要的作用。

在智能監(jiān)控系統(tǒng)中，運動目標(biāo)的檢測與跟蹤處于最底層，是各種后續(xù)高級處理如目標(biāo)分類、行為理解等的基礎(chǔ)。運動目標(biāo)的檢測是指從監(jiān)控圖像中實時提取出目標(biāo)區(qū)域，而跟蹤過程則確定其在連續(xù)各幀中的運動軌跡。目前典型的目標(biāo)檢測算法主要包括背景減法、相鄰幀差法和光流法等^[2]。其中，背景減法通過將當(dāng)前幀圖像與事先存儲或?qū)崟r獲取的背景圖像相減確定目標(biāo)區(qū)域，能夠得到關(guān)于目標(biāo)的位置、大小、形狀等信息的完整描述，是攝像機(jī)靜止情況下運動目標(biāo)實時檢測的首選方法。相鄰幀差法利用序列中連續(xù)兩幀或幾幀圖像間的差異進(jìn)行目標(biāo)的檢測和提取^[3]。該方法具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特征像素點，在運動實體內(nèi)容易產(chǎn)生空洞現(xiàn)象。光流法^[4]通過計算圖像序列的光流場實現(xiàn)運動目標(biāo)的檢測，無須預(yù)先知道場景的任何信息，并可用于攝像機(jī)運動的情況。但算法復(fù)雜度較高，難以實現(xiàn)實時檢測。

運動目標(biāo)的跟蹤過程，就是選取目標(biāo)的有效描述，并在后續(xù)幀中搜索與該描述最匹配的目標(biāo)位置的過程。目前，常用的目標(biāo)跟蹤算法包括基于特征的方法、基于3-D模型的方法、基于活動輪廓模型的方法等^[2]。其中，基于特征的方法通過各幀間運動目標(biāo)個體特征如周長、面積、質(zhì)心、角點等的匹配實現(xiàn)跟蹤。該方法簡單易于實時處理，且能夠?qū)崿F(xiàn)多個目標(biāo)的跟蹤，但受觀測視角的影響較大，跟蹤識別率較低?；?-D模型和活動輪廓模型的方法雖然從一定程度上提高了算法的跟蹤效果，但復(fù)雜度均較大，實時性差。

1 基于像素灰度歸類和單模態(tài)高斯模型的背景重構(gòu)

背景模型的建立和更新是背景減法目標(biāo)檢測的關(guān)鍵。最簡單的方法是直接選取不含前景目標(biāo)的場景圖像作為背景，但是這在多數(shù)場合難以獲得，且缺乏實時性，難以適應(yīng)場景中光照等情況的變動。時間平均法是解決這一問題的經(jīng)典方法，即對一段時間內(nèi)的連續(xù)多幀圖像求平均作為近似的背景圖像，但這種方法難免會將運動目標(biāo)混入其中，產(chǎn)生混合現(xiàn)象。近年來，背景模型的建立和更新得到了更為深入的研究，相關(guān)工作主要可分為兩類^[5]，即基于模型的方法和基于重構(gòu)的方法。其中，前者首先對每個背景像素的灰度值建立相應(yīng)的參數(shù)模型，通過判斷未知像素是否符合該模型實現(xiàn)目標(biāo)的檢測，并可通過調(diào)整其參數(shù)實現(xiàn)模型的自適應(yīng)更新。所采用的模型主要包括單模態(tài)和多模態(tài)高斯模型^[6]。單模態(tài)高斯模型實現(xiàn)簡單，但不能有效描述場景內(nèi)運動目標(biāo)和擾動等對背景模型的影響。多模態(tài)高斯模型通過多個高斯分布的加權(quán)和表示每個像素的分布情況，如文獻(xiàn)[7]采用三個高斯模型分別對應(yīng)于場景中的背景、前景和陰影灰度，每個像素的灰度值采用三個模型的加權(quán)和來表示。文獻(xiàn)[8]進(jìn)一步提出K個高斯分布方法?？梢钥闯觯S著高斯模型個數(shù)的增加，算法的復(fù)雜度也會隨之上升?；谥貥?gòu)的方法利用一組已獲取的觀測圖像，通過一定的規(guī)則選擇其中的部分像素重構(gòu)背景圖像。該方法能夠在場景中存在前景目標(biāo)的情況下重建單一的背景圖像，但目標(biāo)檢測過程中參數(shù)的設(shè)置需要靠經(jīng)驗選取，缺乏統(tǒng)一的標(biāo)準(zhǔn)。另外，背景的更新過程也不夠及時。

本文在對上述兩類背景模型的建立方法進(jìn)行總結(jié)分析的基礎(chǔ)上，提出一種基于像素灰度歸類和單模態(tài)高斯模型的背景重構(gòu)方法。對于一組包含前景目標(biāo)的場景圖像，首先采用基于像素灰度歸類的方法對各像素在該組圖像中的取值進(jìn)行分類，選取與背景相關(guān)的灰度值采用單模態(tài)高斯模型進(jìn)行建模。該方法兼顧了兩類背景建模方法的特點，不僅能夠利用包含前景目標(biāo)的多幀圖像，建立準(zhǔn)確的背景模型，而且實現(xiàn)簡單，檢測門限參數(shù)具有明確的物理意義和統(tǒng)一的設(shè)置標(biāo)準(zhǔn)。

1.1 背景像素的選擇

背景像素的選擇引入了背景重構(gòu)的思想，僅選取連續(xù)多幀圖像中與背景圖像相關(guān)的像素灰度用于背景建模，而無須考慮運動目標(biāo)和擾動等因素的影響。像素灰度歸類方法的基本依據(jù)為背景在圖像序列中總是最經(jīng)常被觀測到的^[9]。其具體實現(xiàn)過程如下：

a） 任意選取一組監(jiān)控圖像中的K幀用于背景重構(gòu)。

b） 將圖像中每個像素點的灰度取值范圍（0～255）等分為N個區(qū)間。N的取值可根據(jù)前景目標(biāo)與背景之間的對比度確定，當(dāng)對比度較高時，目標(biāo)與背景較容易區(qū)分，可選取較小的N值以降低運算量。通常N在10～25取值均能正確重構(gòu)背景^[4]。

c） 對于所選取的K幀圖像，逐像素計算各點所處的灰度區(qū)間，即

gk(x，y)=[fk(x，y)/(256/N)](1)

其中：fk(x，y)表示第k幀圖像中像素點(x，y)的灰度值；gk(x，y)為該像素點所處的灰度區(qū)間；[·]表示取整操作。

d） 統(tǒng)計各灰度區(qū)間像素點出現(xiàn)的頻率，確定每個像素點的最高頻率灰度區(qū)間gm(x，y)。

e） 選取灰度值位于相應(yīng)像素最高頻率灰度區(qū)間的像素點用于背景重構(gòu)，即

Bk(x，y)=1 if gk(x，y)=gm(x，y)

0 其他(2)

其中：Bk(x，y)=1表示該點可用于背景模型的重構(gòu)。

需要說明的是，該方法在實際應(yīng)用中無須記錄過多的連續(xù)圖像幀進(jìn)行逐像素統(tǒng)計，只要等間隔采樣若干幀即可，并可以邊采樣邊丟棄。

1.2 背景模型的建立和更新

采用上述基于像素灰度歸類的方法對參與背景重構(gòu)的像素進(jìn)行選擇處理后，所選取像素的灰度取值范圍比較集中，因此可直接采用單模態(tài)高斯模型進(jìn)行建模。對于背景圖像中的任一像素點（x，y），其灰度值bx，y的高斯分布函數(shù)可表示為

p(bx，y)=1/2πσ(x，y)e^{[bx，y-μ(x，y)]2/2σ2(x，y)(3)}

其中:均值μ(x，y)和方差σ(x，y)的估計公式為

μ∧(x，y)=∑K-1k=0fk(x，y)Bk(x，y)/∑K-1k=0Bk(x，y)(4)

σ∧(x，y)=∑K-1k=0[fk(x，y)Bk(x，y)]2/∑K-1k=0Bk(x，y)-μ2(x，y)(5)

其中：μ∧(x，y)和σ∧(x，y)分別表示相應(yīng)參數(shù)的估計值；fk(x，y)為第k幀圖像中像素點（x，y）的灰度值。背景模型的建立過程即利用式(4)(5)逐像素估計參數(shù)μ(x，y)和σ(x，y)的過程?？梢钥闯?，模型的均值圖像即為基于像素灰度歸類背景重構(gòu)法^[5]所得的背景圖像，方差則給出了背景像素灰度的分散情況，為檢測參數(shù)的設(shè)置提供依據(jù)。

由于監(jiān)控場景中光照等因素的影響，背景模型不可能是一成不變的，而是需要在檢測過程中對其進(jìn)行及時更新。通常的做法是：在目標(biāo)檢測過程中判斷所檢測到的前景目標(biāo)區(qū)域的面積，若連續(xù)幾幀中目標(biāo)區(qū)域面積占總面積的比例均大于某一閾值（如80%），則認(rèn)為背景相對于當(dāng)前幀圖像存在較大變化，重新抽取圖像序列重構(gòu)背景。但是該方法中閾值的選擇需要根據(jù)經(jīng)驗確定，缺乏一致的標(biāo)準(zhǔn)。而且模型的更新存在明顯的滯后現(xiàn)象。因此本文提出一種在目標(biāo)檢測過程中對背景進(jìn)行實時更新的方法，利用每一幀圖像中屬于背景區(qū)域的像素灰度值對當(dāng)前背景模型的參數(shù)進(jìn)行更新，其更新過程可表示為

μk+1(x，y)=[1-α×Bk(x，y)]μk(x，y)+α×Bk(x，y)fk(x，y)(6)

σk+1(x，y)={[1-α×Bk(x，y)]σ2k(x，y)+

α×Bk(x，y)[fk(x，y)-μk(x，y)]2}1/2(7)

其中:α為常數(shù)，反映了背景模型的更新速度。該方法能夠有效利用每一幀圖像中的背景像素，且有效避免了前景目標(biāo)的干擾，因而能夠?qū)崿F(xiàn)背景模型的準(zhǔn)確，及時更新。

2 目標(biāo)檢測

對于當(dāng)前幀圖像I(xiàn)k，運動目標(biāo)的檢測過程即判斷圖像中任意像素I(xiàn)k(x，y)是否服從式（3）所示的高斯分布的過程，令D(x，y)=[Ik(x，y)-μ(x，y)]/σ(x，y)，則目標(biāo)檢測過程可表示為

Tk(x，y)=k(x，y) if D(x，y)＞Th

255其他(8)

其中:Tk(x，y)為第k幀目標(biāo)圖像?？梢钥闯觯獶(x，y)體現(xiàn)了像素灰度與背景模型的均值和方差的相對關(guān)系，與像素的絕對灰度值無關(guān)，因此閾值的設(shè)置標(biāo)準(zhǔn)更為統(tǒng)一。如取Th=6.0時，由標(biāo)準(zhǔn)正態(tài)分布表可得Φ(6.0)=0.999 999 999 01，即此時若D(x，y)＞Th，則該點以99.999 999 901%的概率不屬于背景，因而被判定為目標(biāo)點。

由于噪聲和擾動的影響，采用上述算法直接得到的目標(biāo)圖像中可能會存在一定的目標(biāo)空洞和孤立噪聲。本文首先對所檢測到的目標(biāo)圖像進(jìn)行二值化處理；然后采用中值濾波去除圖像中存在的孤立噪聲，通過形態(tài)學(xué)膨脹操作填充目標(biāo)區(qū)域中存在的空洞；最后利用處理后的模板圖像到場景圖像中重新截取目標(biāo)區(qū)域，取得了較好的效果。

3 目標(biāo)跟蹤

綜合考慮算法的速度和性能，本文采用基于特征的方法實現(xiàn)多個運動目標(biāo)的跟蹤。選取形心作為匹配特征，對于給定的二值化目標(biāo)模板：

MT(x，y)=1if Tk(x，y)=Ik(x，y)

0其他(9)

目標(biāo)的水平、垂直形心坐標(biāo)分別為

xc=∑Mx=1∑Ny=1xMT(x，y)/∑Mx=1∑Ny=1MT(x，y)

yc=∑Mx=1∑Ny=1yMT(x，y)/∑Mx=1∑Ny=1MT(x，y)(10)

其中：M和N分別表示圖像在寬、長方向的像素點數(shù)。

式（10）只適用于場景中存在單一目標(biāo)的情況，對于多個目標(biāo)的跟蹤，本文采用K均值聚類^[10]方法求解多個目標(biāo)的形心。其具體實現(xiàn)步驟如下：

a） 首先設(shè)定最大可能目標(biāo)數(shù)K，任意選取目標(biāo)區(qū)域中的K個點作為初始形心坐標(biāo)(xk0，yk0)；

b） 對于第n次迭代，根據(jù)目標(biāo)像素點坐標(biāo)到各形心坐標(biāo)的均方距離將圖像中的所有目標(biāo)像素點分配給與其距離最近的目標(biāo)，重新求解各目標(biāo)的形心坐標(biāo)(xkn，ykn)；

c）若(xkn，ykn)=(xkn-1，ykn-1)，則停止迭代，否則返回b）；

d） 對形心距離較近的目標(biāo)進(jìn)行合并，認(rèn)為是一個目標(biāo)，并剔除總像素個數(shù)小于一定值的極小目標(biāo)，以進(jìn)一步排除孤立噪聲的影響。

特征的匹配過程即確定連續(xù)各幀圖像中目標(biāo)的對應(yīng)關(guān)系，實現(xiàn)目標(biāo)跟蹤的過程。連續(xù)兩幀中同一目標(biāo)產(chǎn)生的運動距離通常會小于其與鄰近目標(biāo)的距離，因此這里采用距離最近準(zhǔn)則，選取連續(xù)各幀中形心距離最近的目標(biāo)作為同一目標(biāo)進(jìn)行跟蹤，并進(jìn)一步對目標(biāo)間的最小距離進(jìn)行約束，若目標(biāo)與下一幀中所有目標(biāo)的最小距離仍比較大，則認(rèn)為該目標(biāo)在下一幀中已經(jīng)消失，不存在對應(yīng)目標(biāo)，以避免產(chǎn)生錯誤的跟蹤路徑。對于連續(xù)兩幀中目標(biāo)個數(shù)不等的情況，采用距離最小的原則確定目標(biāo)間的對應(yīng)關(guān)系，剩余的目標(biāo)不進(jìn)行跟蹤。

4 實驗結(jié)果

為驗證算法性能，本文采用PETS 2000^[11]序列對其進(jìn)行了測試。實驗中所用到的部分測試圖像如圖1所示。

4.1 背景模型的建立

實驗中首先對背景模型重構(gòu)方法的性能進(jìn)行了測試，其實驗結(jié)果如圖2第一行所示。其中，（a）為對全部100幀圖像采用時間平均法得到的背景圖像（第二行）；（b）為從100幀圖像中等間隔截取10幀采用本文方法重構(gòu)所得的背景模型的均值圖像。可以看出，采用時間平均法得到的背景圖像中存在明顯的混合現(xiàn)象，而本文方法能夠利用存在前景目標(biāo)的多幀場景圖像重構(gòu)純凈的背景，因而為進(jìn)一步的目標(biāo)檢測奠定了基礎(chǔ)。

4.2 目標(biāo)的檢測

進(jìn)一步利用圖2（a）所示的兩種背景模型對測試序列中的運動目標(biāo)進(jìn)行檢測，其部分實驗結(jié)果（第80幀）如圖2（b）。其中圖2（b）上下兩行分別為采用兩種背景模型直接檢測的結(jié)果，時間平均法的檢測門限取經(jīng)驗值20，本文方法的閾值為6；圖2(c)為經(jīng)中值濾波和膨脹處理后得到的目標(biāo)圖像?？梢钥闯?，本文算法所建立的背景模型對于實現(xiàn)更準(zhǔn)確的目標(biāo)檢測具有非常重要的意義，中值濾波和膨脹過程能夠有效地去除初始檢測結(jié)果中存在的空洞和孤立噪聲，提高檢測的準(zhǔn)確性。

4.3 目標(biāo)的跟蹤

對連續(xù)多幀圖像進(jìn)行目標(biāo)檢測后，以目標(biāo)區(qū)域的形心為匹配特征，采用最小距離準(zhǔn)則得到的跟蹤結(jié)果如圖2（d）所示。可以看出，本文方法能夠?qū)崿F(xiàn)運動目標(biāo)的準(zhǔn)確跟蹤。

5 結(jié)束語

本文針對智能監(jiān)控應(yīng)用中運動目標(biāo)的檢測和跟蹤問題，提出一種基于單模態(tài)高斯模型的背景重構(gòu)方法，利用多幀包含前景目標(biāo)的場景圖像實現(xiàn)背景模型的重構(gòu)和及時更新；進(jìn)一步以此為基礎(chǔ)，以目標(biāo)區(qū)域的形心為匹配特征，采用幀間距離最小準(zhǔn)則實現(xiàn)了場景中多個目標(biāo)的跟蹤。實驗結(jié)果表明，本文方法實現(xiàn)簡單，能夠建立準(zhǔn)確的背景模型，有效避免了傳統(tǒng)時間平均法中存在的混合現(xiàn)象，并進(jìn)一步實現(xiàn)了運動目標(biāo)的有效跟蹤，因而是一種簡單而有效的目標(biāo)檢測和跟蹤方法，為智能監(jiān)控技術(shù)的進(jìn)一步開發(fā)奠定了基礎(chǔ)。

致謝：北京工業(yè)大學(xué)電控學(xué)院03級自動化專業(yè)董燕同學(xué)在畢業(yè)設(shè)計期間參與了本文的部分工作，在此表示感謝。

參考文獻(xiàn)：

[1]HU Wei-ming，TAN Tie-niu， STEVE M. A survey on visual surveillance of object motion and behaviors[J]. IEEE Trans on Systems， Man and Cybernetics-Part C: Applications and Reviews， 2004，34(3):334-352.

[2]王素玉，沈蘭蓀. 智能視覺監(jiān)控技術(shù)研究進(jìn)展[J]. 中國圖象圖形學(xué)報，2007，12（9）：1505-1514.

[3]宋磊，黃祥林，沈蘭蓀. 視頻監(jiān)控中的快速異常檢測與分析[J].高技術(shù)通訊， 2004，14(10):1-6.

[4]HORN B K P， SCHUNCK B G. Determining optical flow[J].Artificial Intelligence， 1981，17（1-3）:185-203.

[5]侯志強(qiáng)，韓崇昭. 基于像素灰度歸類的背景重構(gòu)算法[J]. 軟件學(xué)報，2005，16(9):1568-1576.

[6]劉亞，艾海舟，徐光佑. 一種基于背景模型的運動目標(biāo)檢測與跟蹤算法[J]. 信息與控制，2002，31（4）：315-319.

[7]FRIEDAN N， RUSSELL S. Image segmentation in video sequences: a probabilistic approach[C]//Proc of the 13th Confe-rence on Uncertainty in Artificial Intelligence (UAI).San Francisco: [s.n.]，1997:175-181.

[8]STAUFFER C， GRIMSON W. Adaptive background mixture model for real-time tracking[C]//Proc of IEEE Computer Society Confe-rence on Computer Vision and Pattern Recognition.Colorado:[s.n.]，1999:246-252.

[9]KORNPROBST P， DERICHE R， AUBERT G. Image sequence ana-lysis via partial difference equations[J].Journal of Mathematical Imaging and Vision，1999，11(1):5-6.

[10]邊肇祺，張學(xué)工.模式識別[M].2版. 北京：清華大學(xué)出版社，2002.

[11]DAVID P， OUND Y， JAMES M F.PETS metrics: on-line performance evaluation service[C]//Proc of the 2nd Joint IEEE International Workshop on VS_PETS.Beijing:[s.n.]，2005:317-324.