基于智能監(jiān)控視頻的人流量統(tǒng)計

牛秋月 李超 唐國良

摘 要針對復雜環(huán)境下人流量統(tǒng)計準確度較低問題，本文提出新的人流量統(tǒng)計算法。首先對采集到的視頻幀圖像進行預處理增強前景物體邊緣，接著用背景建模法完成運動物體檢測；其次通過HOG提取樣本特征并投入SVM分類器中進行訓練，然后使用訓練好的分類器進行人體目標的識別，輸出目標位置；最后采用Camshift與Kalman濾波相結合的方法來實現(xiàn)人體跟蹤計數(shù)。經(jīng)實驗，算法具有較高準確性和實時性。

【關鍵詞】背景建模 HOG SVM Camshift Kalman濾波

1 引言

隨著網(wǎng)絡和多媒體信息處理技術的不斷發(fā)展，智能視頻監(jiān)控系統(tǒng)作為安全防范、城市規(guī)劃、市場決策的一種重要手段越來越受追崇，廣泛應用于銀行、醫(yī)院、車站、商場等公共場所中。復雜環(huán)境下的人數(shù)流量統(tǒng)計對監(jiān)控視頻中的人群密度分析和目標跟蹤提供了極大的便利。

近幾年，智能監(jiān)控視頻人數(shù)統(tǒng)計作為計算機視覺領域的難點受到了國內外學者的密切關注，并取得了一定的進展。例如Viola[1]等人提出基于運動特征的人數(shù)統(tǒng)計方法。Antonin[2]等人提出一種基于軌跡的行人估計方法，王強[3]等人提出一種基于顏色和形狀信息的人數(shù)統(tǒng)計方法。隨著計算機視覺的發(fā)展，現(xiàn)階段很多學者又把機器學習相關技術應用到人流量統(tǒng)計中。例如Wang[4]等人提出一種基于深度卷積神經(jīng)網(wǎng)絡回歸模型計算圖像中人數(shù)，Li[5]等人提出一種基于人頭檢測和跟蹤的計數(shù)方法，周治平[6]等人提出一種基于特征回歸與檢測結合的人數(shù)統(tǒng)計方法，吳冬梅[7]等人提出一種基于線性內插透視矯正的SURF算法進行大規(guī)模人數(shù)統(tǒng)計。盡管國內外許多學者投入大量精力研究出別出心裁的行人檢測和人數(shù)統(tǒng)計算法，但在實際應用中易受人體姿態(tài)、目標遮擋、光線等外界因素的影響，在準確性和實時性方面有待進一步提高。針對以上問題，本文提出的人流量統(tǒng)計算法首先對采集的視頻幀圖像進行預處理，減少外界因素的干擾，緊接著用背景建模技術檢測出運動物體。其次通過HOG提取樣本特征并投入SVM分類器中進行訓練，然后使用訓練好的分類器進行人體目標的識別，輸出目標位置。最后用Camshift與Kalman濾波相結合的算法實現(xiàn)自動跟蹤計數(shù)。經(jīng)實驗，算法具有較高準確性和實時性。

2 系統(tǒng)概述

為精確統(tǒng)計人流量，視頻采集設備安裝在室內入口頂部或其它不容易遮擋的位置進行試驗。如圖1所示，本文人流量統(tǒng)計系統(tǒng)主要包括視頻預處理、行人檢測、跟蹤計數(shù)三部分。對于采集到的視頻幀圖像先進行二值化和形態(tài)學處理，簡化后期運動目標檢測工作，使圖像前景物體的邊界更加平滑。運動物檢測主要是利用均值背景建模的方法估算得到背景，分離出前景運動物體。行人識別是通過HOG特征提取和SVM分類器進行人體目標的識別并輸出目標位置。跟蹤計數(shù)采用Camshift和Kalman濾波相結合的算法來實現(xiàn)人體跟蹤，能夠有效避免目標變形和其它障礙物的遮擋，從而精確統(tǒng)計出人流量。

3 視頻預處理

為了更精確的檢測出輸入視頻幀序列的行人，先對圖像進行二值化和形態(tài)學處理，處理結果如圖2所示。二值化主要是將圖像原來每個像素點的灰度值都設為255和0兩種取值，輸入圖像經(jīng)過二值化處理之后，圖像變得簡單易處理，且數(shù)據(jù)量減少，能夠凸顯出目標物體的輪廓，提高后期處理的效率。

形態(tài)學處理主要是借助數(shù)學中的集合論來描述的，二值圖像的基本形態(tài)學運算包括腐蝕、膨脹、開運算、閉運算。腐蝕和膨脹是形態(tài)學最基本的兩種運算。若A為輸入圖像，B為結構元素，A被B膨脹的運算記為：，定義如下：

（1）

式（1）可理解為：A被B膨脹是所有位移x的集合，B的映射與A至少有一個元素是重疊的。其主要是用結構元素B掃描圖像的每一個像素A，并與其覆蓋的二值圖像做“與”運算，作用是填補分割后物體中的空洞，使圖像中的目標“生長”或“變大”。

腐蝕作用相反，會使目標圖像縮小，A被B腐蝕，記為：，定義如下：

（2）

結構元素B對A的開運算，記為：，可定義為：，即先用結構元素B對A腐蝕，再用B對腐蝕結果進行膨脹，可使目標物體輪廓變得更光滑，斷開狹窄的間斷，消除小的突出物。

閉運算和開運算相反，記為：，可定義為：，即是先用B對A膨脹，然后再用B對其腐蝕結果進行腐蝕，可使目標物體輪廓更加光滑，消除狹窄的間斷和小的孔洞并填補中間的斷裂。

腐蝕和膨脹雖可以減少圖像噪聲，使目標物邊界更加明顯，但改變了原目標物體的大小，圖像失真可能性較大；開操作與閉操作能在不明顯改變原目標物體大小的同時，有效地平滑目標物的邊緣，減少圖像的失真，因此本文選擇先進行開操作后進行閉操作來達到形態(tài)學的處理。

4 運動目標檢測

本文最終目的是人流量統(tǒng)計，重點是從監(jiān)控視頻中識別出行人，因此應首先從視頻中檢測到運動物體，然后進行人體目標識別和跟蹤計數(shù)。運動目標檢測主流方法有三種：Frame Difference（幀差法）、Optical Flow（光流法）、Background Modeling（背景建模法）。

幀差法主要是通過視頻序列中當前幀和相鄰幀像素點灰度值的差異檢測出運動目標。在視頻序列中，臨近的幀圖像之間具有連續(xù)性，若視頻中有運動物體時，臨近幀圖像之間的像素點灰度值差別會較大，反之，若視頻中無運動物體時，臨近幀圖像之間的像素點灰度值差別會較小，幀差法就是利用此特性檢測運動物體的。基本原理如圖3所示，先用相鄰兩幀做差分運算，然后檢測出運動目標。幀差法算法易于實現(xiàn)，且能較快檢測出運動物體，但若運動物體速度較快且連續(xù)兩幀間隔時間長，同一運動物體可能會被判別為兩個不同的物體；若運動物體速度較慢且連續(xù)兩幀間隔時間短，運動物體可能會被判別為背景。

光流法主要是通過觀察視頻幀圖像內的光流矢量是否發(fā)生連續(xù)變化來判定是否有運動物體的，如果光流矢量連續(xù)變化，則判定為沒有運動物體；否則，被判定為有運動物體。由于光流法不需要提前知道場景信息，能廣泛應用于靜態(tài)背景和動態(tài)背景運動物體檢測。但其算法耗時較長，實時性較低，且易受周圍噪聲影響。

背景建模法是近階段運動物體檢測應用較多的一種方法，其算法關鍵是如何建立背景模型，當前背景建模主要采用易于實現(xiàn)且實時性較高的參數(shù)化背景建模方法。參數(shù)化背景建模過程如圖4所示，首先根據(jù)背景參數(shù)構建背景模型，接著用模型和當前幀圖像做差分運算，最后通過差分圖像灰度值變化情況判定當前圖像是屬于前景還是背景，若灰度值變化較大為前景，否則為背景。背景建模法實現(xiàn)簡單，實時性較高，且能有效地從變換頻繁的背景中檢測出運動物體。因此本文在運動檢測時主要使用背景建模法，經(jīng)實驗，效果良好，符合復雜場景中運動目標檢測的要求。

5 人體目標識別

本文基于OpenCV平臺，利用HOG特征和SVM分類器來進行人體目標識別。OpenCV雖然自帶有HOG和SVM的應用編程接口和人體目標識別的Model，但是OpenCV沒有提供樣本訓練的Model。因此很多學者只能用OpenCV自帶的已經(jīng)訓練好的分類器來進行人體目標識別。然而，OpenCV自帶的分類器是基于HOG人體目標識別的提出者NavneetDalal博士和Bill Triggs博士的INRIA Person Dataset中的樣本進行訓練的，INRIA 數(shù)據(jù)庫提供的樣本圖片多是靜態(tài)行人，不能滿足監(jiān)控視頻對行人檢測的需要。因此本文將針對監(jiān)控視頻圖像進行重新訓練，以便得到精度較高的分類器。訓練及識別流程如圖5所示，首先搜集合適的樣本圖（部分正樣本如圖6所示、負樣本如圖7所示）并輸入，其次通過HOG提取樣本特征并投入SVM分類器中進行訓練，最后使用訓練好的分類器即可進行人體目標的識別，輸出目標位置。

經(jīng)實驗，重新訓練得到的分類器能夠快速的檢測出視頻幀圖像中的人體目標，實驗結果如圖8所示。

6 跟蹤計數(shù)

上節(jié)已利用HOG特征提取與SVM成功檢測出視頻幀圖像中的人體目標，但監(jiān)控視頻中人流量的統(tǒng)計要解決的問題是視頻幀圖像序列，而不是簡單的靜態(tài)圖片，因此檢測出人體目標之后還需對人體進行跟蹤直至其消失在監(jiān)控畫面中。本文使用Camshift（連續(xù)自適應的MeanShift算法）與Kalman filtering（卡爾曼濾波）來實現(xiàn)人體跟蹤，采用虛擬門的方式實現(xiàn)人流量計數(shù)，并規(guī)定行人從左向右走為進，反之為出。

6.1 Camshift算法

Camshift是基于圖像的顏色特征來進行跟蹤，其使用MeanShift算法不斷對視頻每一幀圖像進行迭代，能夠自適應調整目標跟蹤區(qū)域的大小，實現(xiàn)流程如下：

（1）將視頻幀圖像的RGB彩色空間模型轉換為在顏色分割中占優(yōu)勢的HSV模型，并提取代表色彩的H分量。

（2）由人體目標識別所得結果建立初始搜索窗口，并統(tǒng)計出搜索范圍內的顏色密度分布和顏色直方圖。

（3）運行MeanShift算法，得到新的窗口信息。

（4）重復（2）（3）兩步，達到實時跟蹤。

6.2 Kalman 濾波

Camshift算法是利用圖像的顏色特征不斷迭代確定目標區(qū)域，進而實現(xiàn)實施跟蹤，復雜環(huán)境下若目標周圍存在噪聲發(fā)生遮擋現(xiàn)象，Camshift算法可能會出現(xiàn)跟蹤目標丟失現(xiàn)象，因此需結合具有預估能力的Kalman 濾波，防止跟蹤目標丟失。

Kalman 濾波是卡爾曼（R.E.Kalman）和布塞（R.S.Bucy）在論文《線性濾波和預測理論的新成果》中提出的，Kalman 濾波是一個遞歸的過程，主要通過時間更新和狀態(tài)更新兩個過程來預估目標的位置坐標和速度。以下是卡爾曼濾波的兩個重要方程：

狀態(tài)方程：X（K）=H（K）X（K-1）+Q（K-1）

觀測方程：Y（K）=A（K）X（K）+R（K）

其中，

假設，X（K）和X（K-1）分別代表K和K-1時刻的狀態(tài)矢量，Y（K）代表K時刻的測量值，Q（K）和R（K）為高斯白噪聲，H（K）為觀測矩陣，A（K）為狀態(tài)轉移矩陣。

Kalman濾波首先將Camshift算法檢測到的目標質心位置信息賦值給零時刻的X（0）和Y（0）；在跟蹤的時刻K，由上一時刻的最優(yōu)估算值X（K-1）得到當前時刻的最優(yōu)估算值X（K）；接著再通過Camshift算法計算當前時刻目標的質心信息賦值給Y（K）；最后通過測量值和最優(yōu)估算值可以得到當前的最優(yōu)估算X（K），并用于Camshift下一幀的計算。

為了驗證本文使用的Camshift與Kalman 濾波相結合的跟蹤算法的準確性和實時性，分別使用室外監(jiān)控視頻和室內監(jiān)控視頻來驗證此算法的效果。實驗結果如圖9所示。

7 總結

本文主要研究了智能視頻監(jiān)控中的人流量統(tǒng)計，為了簡化后期行人檢測工作，使圖像前景物體的邊界更加平滑，首先對采集到的圖像進行二值化和形態(tài)學處理工作；在運動目標檢測部分，使用易于實現(xiàn)且實時性較高的背景建模法；在人體目標識別中，首先通過HOG提取樣本特征并投入SVM分類器中進行訓練，然后使用訓練好的分類器進行人體目標的識別；最后采用Camshift與Kalman濾波相結合的方法來實現(xiàn)人體跟蹤計數(shù)。經(jīng)過不同場景下的實驗，本文所使用的人體目標識別和跟蹤算法具有較高準確性和實時性，具有一定的使用價值，但僅局限于在靜態(tài)背景和單目環(huán)境下使用，下一步研究將會在多變的動態(tài)背景下，使用多個攝像頭實現(xiàn)聯(lián)動跟蹤計數(shù)。

參考文獻

[1]Viola P，Jones M J，Snow D.Detecting Pedestrians Using Patterns of Motion and Appearance[J]. International Journal of Computer Vision，2005，63（02）：153-161.

[2] Antonini G，Martinez S V，Bierlaire M， et al.Behavioral Priors for Detection and Tracking of Pedestrians in Video Sequences[J].International Journal of Computer Vision，2006， 69（02）：159-180.

[3]王強，馮燕.基于顏色和形狀信息的快速人數(shù)統(tǒng)計方法[J].計算機測量與控制，2010，18（09）：2157-2159.

[4]Wang C，Zhang H，Yang L，et al.Deep People Counting in Extremely Dense Crowds[C].ACM International Conference on Multimedia.ACM， 2015：1299-1302.

[5]Li B，Zhang J，Zhang Z，et al.A people counting method based on head detection and tracking[C]// International Conference on Smart Computing.IEEE，2015：136-141.

[6]周治平，許伶俐，李文慧.特征回歸與檢測結合的人數(shù)統(tǒng)計方法[J].計算機輔助設計與圖形學學報，2015，27（03）：425-432.

[7]吳冬梅，王靜，李白萍等.基于改進SURF算法的大規(guī)模群體人數(shù)統(tǒng)計[J].西安科技大學學報，2015，35（05）：650-655.

[8]吳辰夏.二值化圖像特征及其應用[D].浙江大學，2013.

[9]崔寶俠，李愛軍，蘇桂華.基于數(shù)學形態(tài)學的交通圖像濾波處理方法研究[J].沈陽工業(yè)大學學報，2007，29（02）：192-196.

[10]Fan X，Cheng Y，F(xiàn)u Q.Moving Target Detection Algorithm Based on Susan Edge Detection and Frame Difference[C].International Conference on Information Science and Control Engineering.IEEE，2015：323-326.

[11] LIU Hong-bin，CHANG Fa-liang. Moving object detection by optical flow method based on adaptive weight coefficient[J].Guangxue Jingmi Gongcheng/optics＼s&＼sprecision Engineering，2016，24（02）：460-468.

[12]Tanaka T，Shimada A，Taniguchi R I，et al.Towards Robust Object Detection：Integrated Background Modeling Based on Spatio-temporal Features[M]// Computer Vision-ACCV 2009.Springer Berlin Heidelberg， 2010：201-212.

[13]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C].Computer Vision and Pattern Recognition，2005.CVPR 2005. IEEE Computer Society Conference on. IEEE，2005：886-893.

[14]Alonso I P，Llorca D F，Sotelo M ?，et al.Combination of Feature Extraction Methods for SVM Pedestrian Detection[J].IEEE Transactions on Intelligent Transportation Systems， 2007，8（02）：292-307.

[15]王晉疆，劉陽，吳明云.基于快速魯棒特征的CamShift跟蹤算法[J].計算機應用，2013，33（02）：499-502.

[16]翟衛(wèi)欣，程承旗.基于Kalman濾波的Camshift運動跟蹤算法[J].北京大學學報（自然科學版），2015，51（05）：799-804.

[17]姚放吾，許辰銘.基于目標質心的Meanshift跟蹤算法[J].計算機技術與發(fā)展，2012，22（06）：104-106.

作者簡介

牛秋月（1990-），女，河南省鹿邑縣人。碩士學位。主要研究方向為模式識別與人工智能。

作者單位

河南中醫(yī)藥大學信息技術學院 河南省鄭州市 450046