基于視頻的行人車輛檢測(cè)與分類

楊 陽(yáng),唐慧明,2

(1.浙江大學(xué)信息與通信工程研究所,杭州310027;2.浙江省綜合信息網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室,杭州310027)

其中,β為相互作用系數(shù);c表示領(lǐng)域Ni的子群;C表示子群集合;fNi表示像素點(diǎn)i周圍點(diǎn)的映射關(guān)系。式(3)的作用在于計(jì)算周圍像素點(diǎn)的映射與i點(diǎn)映射的相似性。

在傳統(tǒng)混合高斯模型中,運(yùn)動(dòng)檢測(cè)過(guò)程等同于求取后驗(yàn)概率p(xi/f(i))最大值的問(wèn)題。對(duì)后驗(yàn)進(jìn)行濾波:

基于視頻的行人車輛檢測(cè)與分類

楊 陽(yáng)1,唐慧明1,2

(1.浙江大學(xué)信息與通信工程研究所,杭州310027;2.浙江省綜合信息網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室,杭州310027)

針對(duì)傳統(tǒng)智能監(jiān)控中行人車輛檢測(cè)與分類算法存在目標(biāo)分割不完整、分類準(zhǔn)確率低等問(wèn)題,提出一種基于視頻的行人車輛檢測(cè)與分類算法。利用領(lǐng)域信息動(dòng)態(tài)調(diào)整置信區(qū)間構(gòu)造混合高斯模型,采用卡爾曼濾波預(yù)測(cè)目標(biāo)下一幀的位置。通過(guò)自適應(yīng)EM聚類方法提取目標(biāo)長(zhǎng)寬比和面積作為特征,將目標(biāo)分為行人和車輛。在模型估計(jì)過(guò)程中假設(shè)相鄰幀目標(biāo)做勻速直線運(yùn)動(dòng),推導(dǎo)出目標(biāo)面積變化滿足線性關(guān)系,并對(duì)目標(biāo)跟蹤和分類進(jìn)行修正,進(jìn)一步提高檢測(cè)準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明,該算法的人車檢測(cè)準(zhǔn)確率達(dá)到90%以上,分類準(zhǔn)確率達(dá)到80%以上。

行人車輛檢測(cè);智能監(jiān)控;運(yùn)動(dòng)目標(biāo)檢測(cè);目標(biāo)跟蹤;目標(biāo)分類;模型估計(jì)

1 概述

智能監(jiān)控系統(tǒng)［1］可不在人為干預(yù)情況下對(duì)攝像機(jī)記錄的視頻序列進(jìn)行分析,并且對(duì)其中的行人和車輛等目標(biāo)進(jìn)行檢測(cè)和分類,從而實(shí)現(xiàn)視頻信息檢索。目前常用的行人車輛檢測(cè)分類方法可以分為:基于監(jiān)督學(xué)習(xí)的方法和基于運(yùn)動(dòng)分割的方法。

基于監(jiān)督學(xué)習(xí)的方法需要預(yù)先對(duì)分類器進(jìn)行訓(xùn)練,例如,文獻(xiàn)［2］提取行人的HoG特征放入SVM分類器進(jìn)行訓(xùn)練,類似的有Harr特征與Adabost［3］算法,這類方法的優(yōu)點(diǎn)在于準(zhǔn)確度高、攝像機(jī)晃動(dòng)影響小,但是缺點(diǎn)在于時(shí)間復(fù)雜度大,而且需要事先進(jìn)行訓(xùn)練,場(chǎng)景變換后需要重新訓(xùn)練。

基于運(yùn)動(dòng)分割的方法要求攝像機(jī)固定,對(duì)運(yùn)動(dòng)的物體進(jìn)行檢測(cè)分類。例如,文獻(xiàn)［4］通過(guò)幀差法檢測(cè)運(yùn)動(dòng)物體,提取運(yùn)動(dòng)物體長(zhǎng)寬比作為特征進(jìn)行分類,然后利用跟蹤將目標(biāo)在每一幀獲得的分類結(jié)果進(jìn)行統(tǒng)計(jì),最終輸出統(tǒng)計(jì)結(jié)果的總數(shù)。然而,由于采用固定閾值進(jìn)行目標(biāo)分類,缺乏自主學(xué)習(xí)能力,因此對(duì)應(yīng)用場(chǎng)景有嚴(yán)格限制。文獻(xiàn)［5］對(duì)上述方法進(jìn)行了改進(jìn),對(duì)運(yùn)動(dòng)目標(biāo)的特征進(jìn)行聚類,形成樹分類器,能夠得到較好的結(jié)果,然而該算法也存在過(guò)訓(xùn)練、收斂速度慢的問(wèn)題。

本文針對(duì)靜止場(chǎng)景的視頻序列,提出一種基于運(yùn)動(dòng)分割的視頻內(nèi)容檢索算法,以提高檢測(cè)和分類的準(zhǔn)確性。

2 行人車輛檢測(cè)與分類原理

本文算法主要包括4個(gè)部分:運(yùn)動(dòng)目標(biāo)檢測(cè),目標(biāo)跟蹤,目標(biāo)分類和模型估計(jì),如圖1所示。

圖1 行人車輛檢測(cè)與分類算法流程

2.1 運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)檢測(cè)作為視頻分析的最初階段,其結(jié)果好壞直接影響后期處理的準(zhǔn)確性。一個(gè)好的檢測(cè)算法需要能夠處理光線亮度的變化、動(dòng)態(tài)背景、前景目標(biāo)與背景相近等問(wèn)題。文獻(xiàn)［6］提出混合高斯模型來(lái)解決動(dòng)態(tài)背景的問(wèn)題,但是像素點(diǎn)之間是獨(dú)立關(guān)系,沒(méi)有利用到鄰域信息。文獻(xiàn)［7］采用無(wú)參數(shù)窗函數(shù)估計(jì),得到的概率模型更貼近實(shí)際,但時(shí)間復(fù)雜度高。文獻(xiàn)［8］采用單高斯模型與馬爾科夫隨機(jī)場(chǎng)(Markov Random Fields,MRF)融合對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行改進(jìn),能夠得到更加完整的前景,但是仍然存在噪聲抑制差的缺點(diǎn)［9］。

本文利用鄰域信息構(gòu)建一個(gè)濾波函數(shù),得到一種混合高斯模型(Gaussian Mixture Model,GMM)的改進(jìn)算法。

假設(shè)像素點(diǎn)i當(dāng)前的灰度值為x(i),x(i)隱含的映射關(guān)系為f(i)(前景和若干個(gè)背景)。假定f(i)條件下,灰度值x(i)滿足高斯分布,即:

其中,μj為高斯分布j的均值;∑j為j的方差。

定義像素點(diǎn)i所在鄰域Ni范圍內(nèi)的濾波函數(shù)為:

其中,Z為歸一化常數(shù);E(f(i))為勢(shì)能函數(shù),定義如下:

其中,β為相互作用系數(shù);c表示領(lǐng)域Ni的子群;C表示子群集合;fNi表示像素點(diǎn)i周圍點(diǎn)的映射關(guān)系。式(3)的作用在于計(jì)算周圍像素點(diǎn)的映射與i點(diǎn)映射的相似性。

在傳統(tǒng)混合高斯模型中,運(yùn)動(dòng)檢測(cè)過(guò)程等同于求取后驗(yàn)概率p(xi/f(i))最大值的問(wèn)題。對(duì)后驗(yàn)進(jìn)行濾波:

將式(1)、式(2)代入式(5)中得到:

如果直接計(jì)算式(6)的最大值,則計(jì)算過(guò)于繁瑣,實(shí)際中采用判斷是否落入置信區(qū)間進(jìn)行近似,得到:

其中,N為置信度,取值2～3。已知傳統(tǒng)混合高斯模型的匹配公式為:

對(duì)比式(7)、式(8)可以看出,改進(jìn)算法在傳統(tǒng)混合高斯模型基礎(chǔ)上對(duì)置信度進(jìn)行了修正,利用鄰域信息動(dòng)態(tài)地增加或減少匹配該模型的概率。

2.2 目標(biāo)跟蹤

為得到更準(zhǔn)確的行人和車輛分類結(jié)果,需要跟蹤目標(biāo)從出現(xiàn)到消失的所有狀態(tài),從而聯(lián)合各幀信息提高分類正確率。常見的目標(biāo)跟蹤算法有:幀間匹配［10］,卡爾曼濾波［11］,粒子濾波,Camshift以及Estembling Tracking［12］等。

本文采用卡爾曼濾波預(yù)測(cè)目標(biāo)下一幀位置,同時(shí)提取目標(biāo)的顏色直方圖作為幀間匹配特征［13］。因?yàn)樵谶\(yùn)動(dòng)目標(biāo)檢測(cè)階段可以得到每一個(gè)目標(biāo)的掩膜,所以跟蹤時(shí)不需要在原始圖像中進(jìn)行搜索,只需在前景圖中進(jìn)行目標(biāo)匹配,這樣做可以大大節(jié)省跟蹤時(shí)間。然而,如果目標(biāo)之間出現(xiàn)遮擋情況,則運(yùn)動(dòng)目標(biāo)檢測(cè)會(huì)將其判斷為一個(gè)目標(biāo),導(dǎo)致上述方法失效。如果目標(biāo)之間存在遮擋的情況,本文采用Camshift算法。

2.3 目標(biāo)分類

目標(biāo)分類旨在自動(dòng)判定目標(biāo)所屬類別,實(shí)現(xiàn)過(guò)程包含2個(gè)步驟:特征提取和分類判斷［14］。本文選取目標(biāo)長(zhǎng)寬比和面積作為特征,將目標(biāo)分為行人和車輛。采用一種自適應(yīng)EM［15］聚類方法,實(shí)現(xiàn)步驟如下:

(1)將圖像劃分為若干個(gè)1 616的區(qū)域,每一個(gè)區(qū)域分別記錄覆蓋該區(qū)域的行人和車輛的信息,包括面積均值、面積方差以及樣本數(shù)量,并假設(shè)該區(qū)域內(nèi)的行人和車輛目標(biāo)面積滿足高斯分布。

(2)EM初始化階段:采用一個(gè)固定長(zhǎng)寬比閾值來(lái)判定行人和車輛,例如height/width＞1表示行人,否則為車輛,相應(yīng)地記錄行人和車輛的面積平均值。

(3)EM估計(jì)階段:對(duì)于每一個(gè)區(qū)域,當(dāng)有新目標(biāo)進(jìn)入時(shí),計(jì)算目標(biāo)面積值所匹配的高斯分布,從而得出分類結(jié)果,相應(yīng)地更新該類的參數(shù)。

通過(guò)上述步驟,隨著樣本數(shù)量的增加,高斯分布的參數(shù)逐漸收斂［11］,分類效果逐漸改善。

2.4 模型估計(jì)

模型估計(jì)是對(duì)歷史信息的一種統(tǒng)計(jì)應(yīng)用,要求假設(shè)能夠逼近實(shí)際情況。在相鄰幀,由于運(yùn)動(dòng)時(shí)間很短、位移較小,本文假設(shè)目標(biāo)做勻速直線運(yùn)動(dòng),可以證明其面積變化呈線性關(guān)系。

設(shè)(X,Y,Z)和(X′,Y′,Z′)分別表示第k幀和第k+1幀時(shí)刻目標(biāo)的世界坐標(biāo)位置。目標(biāo)的平移、旋轉(zhuǎn)運(yùn)動(dòng)可以用式(9)表示:

忽略目標(biāo)的深度信息,假設(shè)目標(biāo)為一平面,即:

如果運(yùn)動(dòng)目標(biāo)與攝像機(jī)的距離遠(yuǎn)大于目標(biāo)本身的深度,即為正投影模型,則存在如下近似關(guān)系:

將式(11)代入式(9)、式(10)得到:

分別取第k幀和第k+1幀時(shí)目標(biāo)矩形框的左側(cè)上下頂點(diǎn):

因?yàn)榇嬖趚1=x2,x′1=x′2的關(guān)系,將其代入式(12)和式(13)中得到,矩形高度滿足h′=a2·h。同理,矩形寬度滿足w′=a1·w。所以,矩形框面積為S′=kS,呈線性關(guān)系。

利用上述結(jié)論,可以對(duì)目標(biāo)分類和目標(biāo)跟蹤進(jìn)行修正。目標(biāo)分類階段圖像特定區(qū)域存在特征樣本少或者收斂速度慢的問(wèn)題,由于相鄰區(qū)域面積滿足比例變化,因此可以利用周圍塊的平均值代替當(dāng)前塊。目標(biāo)跟蹤階段,由于目標(biāo)面積變化滿足線性條件,因此可以增加目標(biāo)面積作為卡爾曼濾波器的狀態(tài)量,從而改善跟蹤的準(zhǔn)確性。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在PETS2006視頻庫(kù)以及真實(shí)采集的監(jiān)控視頻上進(jìn)行,以下介紹各階段的實(shí)驗(yàn)結(jié)果。

3.1 運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果

圖2展示了本文方法與文獻(xiàn)［5-7］方法的實(shí)驗(yàn)對(duì)比結(jié)果。

圖2 運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

由圖2可知,與混合高斯模型相比,本文方法運(yùn)動(dòng)目標(biāo)分割更加完整、噪聲影響更小。對(duì)比其他常用的運(yùn)動(dòng)檢測(cè)方法,針對(duì)不同的室內(nèi)室外場(chǎng)景,本文方法都能得到較好效果。

表1統(tǒng)計(jì)了圖2中3個(gè)不同場(chǎng)景下,高斯混合模型和本文方法的平均錯(cuò)誤率,可以看出虛警率和漏警率都有明顯的下降。其中,虛警率和漏警率的定義如下:

虛警率=背景點(diǎn)被誤檢為前景的數(shù)量/檢測(cè)為前景的總數(shù)

漏警率=被遺漏的前景點(diǎn)數(shù)量/真實(shí)前景點(diǎn)的總數(shù)

表1 運(yùn)動(dòng)檢測(cè)錯(cuò)誤率 %

3.2 目標(biāo)分類實(shí)驗(yàn)結(jié)果

圖3展示了目標(biāo)分類的一幀結(jié)果,即使存在遮擋情況,仍然能夠得到準(zhǔn)確的分類。表2為視頻中車輛從出現(xiàn)到消失過(guò)程中,每一幀分類結(jié)果的統(tǒng)計(jì)圖,可以看出分類準(zhǔn)確度在80%以上。

圖3 人車分類結(jié)果

表2 人車分類結(jié)果的統(tǒng)計(jì)

3.3 模型估計(jì)實(shí)驗(yàn)結(jié)果

圖4展示了一個(gè)做勻速直線運(yùn)動(dòng)的行人,面積隨時(shí)間的變化關(guān)系。可以看出面積值可以近似擬合為線性,從而證明本文假設(shè)貼近實(shí)際情況。

圖4 目標(biāo)面積變化

4 結(jié)束語(yǔ)

本文提出一種行人車輛檢測(cè)算法,通過(guò)運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)跟蹤、目標(biāo)分類和模型估計(jì)等步驟實(shí)現(xiàn)。利用該算法能夠準(zhǔn)確地檢索出監(jiān)控視頻中特定目標(biāo)的信息。與傳統(tǒng)算法相比,優(yōu)勢(shì)在于能夠大幅提高準(zhǔn)確度,并且由于采用自適應(yīng)學(xué)習(xí)與分類方法,應(yīng)用場(chǎng)景更加廣泛。在今后工作中,將通過(guò)統(tǒng)計(jì)目標(biāo)在圖像上各區(qū)域的特征信息對(duì)場(chǎng)景進(jìn)行建模,估計(jì)圖像深度,自動(dòng)學(xué)習(xí)場(chǎng)景參數(shù)。

［1］ 劉治紅,駱云志.智能視頻監(jiān)控技術(shù)及其在安防領(lǐng)域的應(yīng)用［J］.兵工自動(dòng)化,2009,28(4):75-78.

［2］ Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press,2005:25-28.

［3］ Viola P,Jones M,Snow D.Detecting Pedestrians Using Patterns of Motion and Appearance［J］.International Journal of Computer Vision,2005,63(2):153-161.

［4］ Lipton A J.Moving Target Classification and Tracking from Real-time Video［C］//Proceedings of the 4th IEEE Workshop on Applications of Computer Vision.Princeton, USA:IEEE Press,1998:8-14.

［5］ Stauffer C.Learning Patterns of Activity Using Real-time Tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intellignece,2000,22(8):747-757.

［6］ Stauffer C,GrimsonW E L.AdaptiveBackground Mixture Models for Real-time Tracking ［C］// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Computer Society,1999:2246-2257.

［7］ Elgammal A,Harwood D R.Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance［J］.Proceedings of the IEEE, 2002,90(7):1151-1163.

［8］ Kertesz C.Texture-based Foreground Detection［J］.International Journalof SignalProcessing ofImage Processing and Pattern Recognition,2011,4(4):51-61.

［9］ Geman S,Geman D.Stochastic Relaxation Gibbs Distributions and the Bayesian Restoration of Images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,1984,6(6):721-741.

［10］ Surendra G,Osama M.Detection and Classification of Vehicles ［J］.IEEE Transactions on Intelligent Transportation Systems,2002,3(1):37-47.

［11］ Kalman R E.A New Approach to Linear Filtering and Prediction Problems［J］.Journal of Basic Engineering, 1960,82(10):35-45.

［12］ Avidan S.Ensemble Tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(2): 261-267.

［13］ 劉 亞,艾海舟,徐光佑.一種基于背景模型的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法［J］.信息與控制,2002,31(4): 315-319.

［14］ 萬(wàn) 纓,韓 毅,盧漢清.運(yùn)動(dòng)目標(biāo)檢測(cè)算法的探討［J］.計(jì)算機(jī)仿真,2006,23(10):221-226.

［15］ Dempster A P,LairdN M,RubinD B.Maximum Likelihood from Incomplete Data via the EM Algorithm［J］.Journal of the Royal Statistical Society,1977,l39(1): 1-38.

編輯 陸燕菲

Pedestrian-vehicle Detection and Classification Based on Video

YANG Yang1,TANG Huiming1,2
(1.Institute of Information and Communication Engineering,Zhejiang University,Hangzhou 310027,China;
2.Zhejiang Provincial Key Laboratory of Information Network Technology,Hangzhou 310027,China)

Aiming at the problem of incomplete target segmentation and low classification accuracy of traditional pedestrian-vehicle detection and classification algorithm in intelligent monitoring,this paper presents a pedestrian-vehicle detection and classification algorithm based on video.The algorithm dynamically adjusts confidence intervals for constructing Gaussian mixture model using neighborhood information,and uses the Kalman filter to predict the position of the target in the next frame.It extracts the target aspect ratio and area through adaptive EM clustering as a feature,then divides target into pedestrians and vehicles.Assume that target makes the uniform linear motion in adjacent frame and derive the target area to meet the linear relationship change.Thus target tracking and classification can be modified to improve the detection accuracy in the end.Experimental result show that the algorithm detection rate is over 90% and classification rate is over 80%.

pedestrian-vehicle detection;intelligent surveillance;motion object detection;objcet tracking;object classification;model estimation

1000-3428(2014)11-0135-04

A

TP391

10.3969/j.issn.1000-3428.2014.11.027

國(guó)家科技重大專項(xiàng)基金資助項(xiàng)目(2010ZX03004-003-01);中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)基金資助項(xiàng)目(2012FZA5008)。

楊 陽(yáng)(1988-),男,碩士研究生,主研方向:視頻圖像處理,智能監(jiān)控;唐慧明,副教授。

2013-12-18

2014-01-10E-mail:thm@zju.edu.cn

中文引用格式:楊 陽(yáng),唐慧明.基于視頻的行人車輛檢測(cè)與分類［J］.計(jì)算機(jī)工程,2014,40(11):135-138.

英文引用格式:Yang Yang,Tang Huiming.Pedestrian-vehicle Detection and Classification Based on Video［J］.Computer Engineering,2014,40(11):135-138.