多攝像機環境下的目標跟蹤

申明軍,歐陽寧,莫建文,張 彤

摘 要:在多攝像機智能視頻監控系統中,主要的難點是在多個攝像機之間對相同的目標建立正確的對應關系,即目標交接。利用目標離開視野域的時間和空間作為約束條件,結合模板匹配的方法,對沒有視野重疊域的多攝像機監控下的目標進行連續跟蹤。避免視野域內將所有目標進行匹配,提高了交接的實時性和準確率。

關鍵詞:視頻監控;多攝像機跟蹤;顏色直方圖;目標交接

中圖分類號:TP911.73文獻標識碼:A

文章編號:1004-373X(2009)12-061-03

Multi-camera Object Tracking

SHEN Mingjun,OUYANG Ning,MO Jianwen,ZHANG Tong

(Graphic Information Institute,Guilin University of Electronic Technology,Guilin,541004,China)

Abstract:The main difficulty in multiple-camera tracking system is that the correct relationship to the same object between the multiple-camera is established.It can track the object in multi-camera video surveillance system of non-overlapping,using constraint conditions of the time and space when the object both leaving and entering the view of the camera,combined with the color histogram matching method.The immediacy and the accurate for avoiding the match to all of the objects in the view are improved.

Keywords:video surveillance;multi-camera tracking;color histogram;target handoff

0 引 言

由于具有直觀性等特點,視頻檢測器被廣泛用來對各種環境、區域和場所進行實時監控。例如:社區和重要建筑物內部的安全監控,城市路網交通狀況的監控,地鐵站和飛機場的監控,以及停車場和超市的監控等。受單個攝像機視域范圍的限制,為了適應廣域監控的需要,大量的視頻檢測器被廣泛安置在整個監控區域中。隨著視頻檢測器數量的急劇增加,傳統的人工被動監控已經遠遠無法滿足監控任務的需要。因此,實現可以代替人眼的智能自動監控功能已成為視頻監控研究的目標,大量的研究成果也隨之出現。

由于單攝像機的視野范圍有限,難以實現大范圍、多角度、長時間對人的跟蹤,這使得多攝像機的使用成為必然。多攝像機具有監控范圍大,視野寬闊,全方位視點等優點,使得多攝像機環境下的人體跟蹤成為計算機視覺領域內的一個主要研究方向。多攝像機監控應用可以很好地解決監控中的阻塞問題,確保對目標長時間多角度的跟蹤,可以彌補單攝像機監控的不足。

多攝像機跟蹤中的目標交接是建立在單攝像機的檢測和跟蹤基礎之上,對各個單攝像機的跟蹤結果進行處理,從而得出正確的目標網絡標號。文獻[1]利用三維立體匹配算法,對目標建立靈活的外觀模型,利用目標基于地面的深度信息對目標跟蹤,最后由多攝像機融合部分利用目標的運動軌跡以及時間空間線索進行匹配。文獻[2]是利用外觀模型和軌跡相結合的方法進行多攝像機目標的跟蹤。在多攝像機的協同工作問題上,這里利用目標距攝像機的距離作為限制條件,對攝像機在目標的監控進行優先安排。本文在單攝像機跟蹤的基礎上利用目標的位置坐標和時間對交接的目標進行匹配的范圍予以約束,利用顏色-空間直方圖匹配的方法對目標進行交接,達到連續的跟蹤。構建2臺攝像機組成的實驗平臺,驗證可以實現連續跟蹤的目的。

1 多攝像機監控的構建

多攝像機的目標監控可以分為有重疊視域和無重疊視域兩種情況。這里主要討論沒有重疊視域情況下多攝像機監控系統的目標交接問題。

目標交接的定義:當對一個大的場景進行監控時,必須用到多個攝像機。假定有一個目標,當前在攝像機C1的視野內,經過一段時間后,該目標進入到攝像機C2的視野內,這時就必須確定目標的身份,即目標交接達到連續跟蹤的目的。目標交接問題是多攝像機運動目標跟蹤系統中的一個關鍵步驟,在多攝像機運動目標跟蹤中起著舉足輕重的作用,只有在成功解決這個問題的基礎上,才能進行相關的后續工作,如行為分析、場景理解等。因此,它在整個系統中的地位非常重要。圖1是存在重疊視野范圍的多攝像機系統示意圖。其中,C1,C2是兩臺攝像機。攝像機視野域之間是沒有重疊區域的。

圖1 無重疊域的多攝像機系統示意圖

2 多攝像機監控的目標交接

2.1 目標的坐標和時間約束

當一個目標進入某個攝像機視野時,可能會出現以下2種情況:

(1) 此目標之前在另外一個或者另外幾個攝像機的視野內,即為在其他攝像機中出現過的目標;

(2) 此目標之前不在任何其他攝像機的視野內,也即為新目標。為了判定此目標是否為新目標(即是否在其他攝像機中出現過),可以根據攝像機的視野邊界線來確定。

在用單攝像機運動目標檢測模塊檢測到有一個目標Oj進入或者離開攝像機Cj視野時,檢查目標的質心坐標P(x,y)所在區域范圍是否在兩臺攝像機兩條相鄰視野邊界線的區域內,如圖2所示。C1,C2是兩臺攝像機的視野域。Area1,Area2分別是攝像機C1,C2毗鄰且沒有重疊域的視野部分。當目標由Area1行進進入Area2時,急需進行目標身份的確認,即進行目標的交接,對目標進行連續跟蹤。當目標由攝像機C1離開進入攝像機C2時,記錄目標從攝像機C1離開時刻T1和進入攝像機C2的時刻T2。設T為離開攝像機C1到進入攝像機C2的間隔時間限制,一般設為3~5 s。如果(T1-T2)≤T,對這兩個目標進行匹配,以確認監控網絡的標號。如果目標出現在C1,C2時,質心坐標不在Area1或者Area2區域范圍內,則將這個目標當作新目標。對目標給予坐標和時間的約束,很大程度上減少了目標交接時,進行目標直方圖匹配所需的匹配目標直方圖個數,提高了實時性和準確性。

2.2 目標空間-顏色直方圖及匹配

顏色直方圖是一種最直接反映目標顏色信息的方法,但是一般的顏色直方圖只能反映出目標顏色信息的統計特征。失去了目標顏色的空間分布特征,而目標顏色的空間分布特征對目標而言是很重要的一種信息。文章采用一種基于顏色-空間二維直方圖進行目標匹配的方法。將目標圖像分割成5×5的小塊,再將這些小塊按照與目標質心距離給予不同的權重重新組合成一種具有重疊方式的圖像塊;然后統計每塊區域內的顏色直方圖,以得到該圖像的顏色-空間二維直方圖;最后結合目標的時間-坐標約束,對直方圖進行匹配,利用得到的目標直方圖進行相似性的計算。

圖2 目標質心坐標約束示意圖

2.2.1 空間-顏色直方圖

這里采用具有重疊方式的圖像分塊方法,通過在每一區域內統計顏色直方圖來獲得顏色的空間分布信息。首先,將目標圖像均分成5×5塊:A=[P1,P2,P4,P5,P7,P8],B=[P1,P2,P3,P4,P5,P6],C=[P2,P3,P5,P6,P8,P9],D=[P4,P5,P6,P7,P8,P9],E=[P10,P13,P15],F=[P10,P11,P12],G=[P12,P14,P17],H=[P15,P16,P17],如圖3所示。其中,E,F,G,H分別位于圖像的左、上、右、下部分,代表場景;A,B,C,D是對位于圖像中央主體部分的細分,分別代表目標圖像主體的左半部、上半部、右半部和下半部。A,B,C,D四部分彼此是相互重疊的,這樣的分塊方法使每塊都包含了圖像的中心部分P5,從而在一定程度上避免了由于分塊過小而破壞目標顏色完整性的缺點,并保留足夠豐富的顏色信息。E,F,G,H的寬度較窄,這樣可以通過限定信息有效性的方法來提高匹配的準確性。因此任意兩個子塊顏色直方圖的加權平均都相當于對重疊區域進行加權后,在兩個區域的并集內統計的“加權”顏色直方圖,這更有利于突出圖像主要部分(重疊區域)的顏色分布特征。例如:顏色直方圖A+B 強調了圖像左上部分的特征;顏色直方圖A+C 強調了圖像垂直中間部分的特征。因此可以根據圖像內容的空間分布更靈活和準確地描述圖像的顏色特征。

圖3 目標圖像分塊

由于人體目標屬于非剛性目標,受到姿勢變化等的影響較大,目標上半身中間的顏色信息給予較大的權重,而其他部分的顏色信息給予較小的權重。

2.2.2 目標直方圖匹配

在單攝像機跟蹤基礎上得到目標的顏色-空間直方圖。對于得到的直方圖在需要進行交接時如2.1所述,使用Bhattacharyya系數方法可用來計算2個目標圖像直方圖的相似程度。對于2個有m級的直方圖p和q,有:

p={pu}u=1,2,…,m,∑mu=1pu=1(1)

q={qu}u=1,2,…,m,∑mu=1qu=1(2)

式中:pu,qu表示在顏色直方圖p,q 中分別屬于顏色級數u的概率。直方圖p,q的相似度可以利用式(3)計算得到:

d(p,q)=1-∑mu=1puqu(3)

在將目標直方圖顏色分塊后,計算兩個目標分塊直方圖p,q的匹配程度時,計算這兩個直方圖的距離:

D(p,q)=∑8i=1ωidi(4)

式中:i=1,2,…,8,分別對應A,B,C,D,E,F,G,H這8個分塊;ωi是每一個分塊的權重值,根據距離質心的距離,可給予不同的權重值;di是兩個目標直方圖對應子塊的Bhattacharyya距離,這里得到的是一個Bhattacharyya系數,即一個度量值。通過分析D(p,q)值可知兩個直方圖顏色不匹配的程度,從而得到正確的匹配結果。結合對交接目標進行的時間和坐標限制,對目標進行正確的交接,以達到連續跟蹤的目的。

3 實驗結果及分析

這里構建一個由兩臺攝像機組成的沒有重疊視野域的實驗平臺。單攝像機的跟蹤是采用blob跟蹤算法。對目標進行跟蹤,并構建目標的直方圖顏色模型。實際場景如圖4所示。圖4(a),(b)分別為攝像機C1,C2的視野域,兩臺攝像機間沒有重疊視野域。圖4(a)中有兩個目標,圖4(b)中沒有目標,穿越中間的區域間隔時間為3~5 s。

圖4 無重疊視野域的兩臺攝像機

圖5是目標交接的結果。圖5(a)在C1第17幀中檢測到這個目標2;圖5(c)在C2的第111幀中檢測到這個目標,這個目標是C2中第1個目標,在C2中的標號是1。C1_2表示這個目標在第1臺攝像機中的標號是2,即給出了目標的網絡標號,對其進行連續的跟蹤。同樣,對第1個攝像機中的第3個目標給出標號C1_3,以達到統一標號連續跟蹤的目的。

圖5 兩個目標交接

參考文獻

[1]Zhao Tao,Aggarwal M,Kumar R,et al.Real-time Wid Area Multi-camera Stereor Tracking[A].IEEE Computer Society Coneference on Computer Vision and Pattern Rcognieiton,2005,1:976-983.

[2]Jinman Kang,Cohen I,Medioni G.Continuous Tracking within and across Camera Streams[A].2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C].2003,1:267-272.

[3]Yue Zhnaefng,Zhou S K,Chellappa R.Robust Two-camera Tracking Using Homognarhy[A].IEEE International Conference on Acoustics,Speech and Signal Processing[C].2004,3:1-4.

[4]Omar Javed,Sohaib Khan,Zeeshan Rasheed,et al.Camera Handoff: Tracking in Multiple Uncalibrated Stationary Cameras[J].Workshop Human Motion,2000:113-118.

[5]Jvaed O,Rasheed Z,Alatas O,et al.KNIGHTM:A Real-time Surveillance System for Multiple Overlapping and Non-overlapping Cameras[A].International Conefrence on multimedia and EXPO[C].2003,1:49-52.

[6]Utsumi A,Tetsutnai N.Human Tracking Using Multiple-Camera-based Head Appearance modeling[A].Sixth IEEE International Conference on Automatic Face and Gesture Reeongition[C].2004:657-662.

[7]陳偉宏.基于多攝像頭的目標跟蹤算法研究[D].長沙:湖南大學,2005.

[8]Javed O,Rasheed Z,Shafique K,et al.Tracking Across Multiple Cameras with Disjoint Views[A].Ninth IEEE International Conference on Computer Vision[C].2003(2):952-957.