基于人頭目標檢測的商場人流量自動統計

賈世杰,吳化斌,張源源

(大連交通大學 電氣信息學院，遼寧 大連 116028)

?

基于人頭目標檢測的商場人流量自動統計

賈世杰,吳化斌,張源源

(大連交通大學 電氣信息學院，遼寧 大連 116028)

針對商場人流量自動統計中行人遮擋情況下計數的困難，提出基于人頭目標檢測的商場人流量自動統計算法.首先提取Haar特征訓練Adaboost人頭目標分類器，再利用Camshift算法對目標進行跟蹤，使用Kalman縮小跟蹤目標的搜索范圍，最后利用人頭模板匹配方法，判斷目標是否屬于同一行人.實驗結果表明，此方法平均正確率達到98.2%，且統計每個行人目標只需19 ms.

商場人流量統計；人頭模板匹配，Adaboost；Camshift

0 引言

一個實時、準確的人流量統計系統可以給商場的管理帶來巨大的便利[1].用人工的方法對監控視頻中行人進行統計，費力費時費財.特別是在多人密集的情況下，更是困難重重.近年來利用模式識別，圖像處理技術解決行人流量自動統計問題已成為一個十分活躍的領域.文獻[2]對視頻人數識別近年來的發展作了比較詳細的論述,從基于特征點跟蹤、基于區域的跟蹤和基于模板匹配的跟蹤三個方面分析近些年人數識別進展情況；文嘉俊[1]提取目標的Haar特征，采用Adaboost 算法獲得一個人頭檢測分類器，得到95%以上的正確率；文獻[3]建立了一種基于人體頭部特征的行人計數系統，系統采用輪廓、顏色信息建立用于目標檢測的人頭模型，通過對目標運動軌跡的分析實現行人計數，正確率達95%以上；Kulrapat[4]等利用建立的人體頭肩模型來檢測場景中存在的人頭目標，并通過snake模型跟蹤目標；Lu[5]等利用顏色密度和LBP建立了四維直方圖用以表示待測目標的顏色信息和紋理信息，并將卡爾曼濾波和MeanShift 搜索算法結合應用于目標的跟蹤.基于模板匹配的方法對監控場景的環境變化敏感，如光照的變化、復雜的背景往往會影響檢測的精度.本文采用基于統計分類的方法，首先需要通過對大量頭部樣本和非頭部樣本的離線訓練獲得一個人頭目標分類器，通過該分類器對場景中的目標進行檢測，在此基礎上實現人流量自動統計.

1 本文方法

針對在行人遮擋，重疊密集情況下存在的誤

圖1 行人統計流程圖

檢和漏檢的問題，本文使用基于統計分類的方法，首先提取Haar特征訓練Adaboost人頭目標分類器，再利用Camshift算法對目標進行跟蹤，使用Kalman算法縮小跟蹤目標的搜索范圍；最后通過人頭模板匹配方法，判斷幀間目標是否屬于同一行人.具體流程如圖1所示.

1.1 人頭目標分類器

1.1.1 讀入樣本圖像

樣本圖像包括人頭和非人頭圖像，是將商場門口以45°俯視角拍攝的視頻圖像，通過截圖得到.

1.1.2 灰度化處理

利用公式gray=red*0.3+green*0.59+blue*0.11進行灰度化處理，并將樣本圖像歸一化成20*20的大小.

1.1.3 Haar特征提取

Haar特征[13]分為三類：邊緣特征、線性特征、中心特征和對角線特征，如圖2(a)，(b)，(c)所示.每個特征由2～3個矩形組成，分別檢測邊界、細線、中心特征.特征模板由白色和黑色兩種矩形組成，模板的特征值定義為白色矩形像素總數與黑色矩形像素總數之差，反映了圖像的灰度變化情況.

圖2 Haar特征

1.1.4 訓練Adaboost人頭分類器

Adaboost是一種迭代的方法，它的核心思想是針對不同的訓練集訓練多個弱分類器，然后把這些在不同訓練集上訓練得到的弱分類器集合起來，構成一個強分類器[14].本文基于樣本圖像Haar特征，使用Opencv自帶的Adaboost分類程序訓練人頭分類器.

1.2 行人計數

1.2.1 讀入視頻

導入商場行人監控的視頻，視頻拍攝的環境和角度都是和訓練人頭目標分類器一致的.

1.2.2 圖像預處理

對圖像目標進行檢測之前，還需對目標圖像進行適當的預處理，可以減少計算量.本文對原始圖像進行以下兩步處理：

(1) 使用1.1.2描述的方法將彩色圖像轉化為灰度圖像，即圖像灰度化；

(2) 設置感興趣區域.本文把圖像中縱坐標100～140之間的區域作為感興趣區域，以提高檢測速度.

1.2.3 檢測人頭目標

使用人頭目標分類器對圖像感興趣區域進行目標檢測，再根據人頭目標在二值圖中長度、所占據的像素數量將非人頭目標排除.

1.2.4 行人目標保存至鏈表

在目標檢測、跟蹤之后，把目標保存至動態鏈表中.鏈表儲存了目標的坐標，序列等信息，鏈表保存的目標信息隨圖像序列的更新而更新.

1.2.5 人頭目標跟蹤、人頭模板匹配及計數

本文采用Kalman+Camshift的算法實現人頭目標的跟蹤.運用Kalman算法來預測目標可能出現的區域，可減少搜尋范圍.Kalman濾波器是一種遞推估計器，采用的遞歸技術是其最有意義的特點之一，無需考慮多個過去的輸入信號，而且在每次遞歸運算時，只需要前一個輸入信號就可以，即認為信號現在的狀態只依賴前一個，而不依賴以前所有信號的狀態[15].這樣就無需將過去的測量值都存起來，實時性較高.Camshift即“Continuously Apative Mean-Shift”算法，是一種運動跟蹤算法.它主要通過視頻圖像中運動物體的顏色信息達到跟蹤的目的，Camshift跟蹤目標可以減少大量的搜尋時間，具有良好的實時性.由于運動物體在前后幀運動的空間不會很大，因此和Kalman結合使用，就可以進一步減少搜尋的區域，從而更快速，準確的跟蹤運動物體.當視頻序列逐幀變化時，Camshift算法逐幀進行處理，這樣就能達到連續對視頻序列中運動目標進行跟蹤.

為區分目標是否是同一個行人，本文采用人頭模板匹配的算法.通過連續兩幀間目標的Hu不變矩特征和目標質心的歐氏距離相結合來判斷目標是否匹配.判斷出目標之后，根據目標是否經過感興趣區域中設置的計數線來計數.

2 實驗結果及分析

為了驗證本文提出的方法，本文使用商場實時視頻進行了測試，分行人密集(視頻一)和行人不密集(視頻二)兩種情形，使用Vs 2008+Opencv 2.4.3進行實驗仿真.測試平臺采用CPU主頻2.5 GHz、4 G內存的PC機，視頻每幀圖像分辨率為400*304，幀速為25 幀/秒.

采集2 000 張人頭正樣本和5 000 張人頭負樣本，圖3(a)、(b)為部分樣本示例.

(a) 部分正樣本

(b) 部分負樣本

圖4為圖像灰度化效果圖，圖5為感興趣區域設置，將第一根線和第三根線之間的區域設置為感興趣區域，中間是計數線.

圖4 圖像灰度化

圖5 感興趣區域設置

人頭目標及非人頭目標的示例圖像如圖6所示.

(a)人頭目標 (b)非人頭目標

圖6 目標檢測示例

通過分析人頭目標特點，本文根據目標在二值圖中長度、所占據的像素數量來剔除人頭目標，人頭目標判斷條件為：目標的長度在5和32個像素之間，像素總數低于270，如式(1)、(2)所示：

剔除了非人頭目標之后，人頭目標檢測效果如圖7所示.

圖7 人頭檢測效果

圖8給出了本文方法和背景差法檢測效果圖對比，表1為兩種方法實驗結果對比.

(a) 行人密集情況(本文方法)

(b) 行人不密集情況(本文方法)

(c) 行人密集情況(背景差法)

表1 本文方法和背景差法實驗結果對比

視頻編號人工統計/人本文方法統計/人本文方法統計正確率/%背景差法統計/人背景差法統計正確率/%本文方法統計時間(人/ms)背景差法統計時間(人/ms)1(行人不密集)80801008010018302(行人密集)11211098．29685．71935

由表1所示，在行人密集的情況下，本文方法比背景差法的正確率高了12%；原因主要是在行人遮擋的情況下多個行人在二值圖中形成連通域，背景差法沒法將其準確分離出來，但是本文方法利用人頭分類器完全避免了這個問題.

3 結論

針對行人遮擋情況下計數的困難，本文提出基于人頭目標檢測的商場人流量自動統計算法.實驗結果表明，本文方法平均正確率達到98.2%，比文獻[1]提升了3%；且統計每個行人目標只需19 ms，達到了實時性的要求.為進一步減少商場行人統計的漏檢和誤檢，以后將通過優化人頭分類器以進一步提高檢測效果.

[1]文嘉俊,徐 勇,戰蔭偉.基于Adaboost和幀間特征的人數統計[J].中國圖象圖形學報,2011,16(9):1729-1735.

[2]趙明瀚,王晨升.基于視頻的人數識別方法綜述[J].軟件，2013,34(3):10-12.

[3]田煜衡,肖志濤,耿 磊,等.基于頭部特征的行人計數系統[J].天津工業大學學報,2013(3):66-71.

[4]KULRAPAT J,PAKORN K,SUPAKORN S.Object detection and modeling algorithm for automatic visual people counting system[C].Proceedings of 6th International Conference on Electrical Engineering/Electronices,Computer,Telecommunications and Information Technology，2009:1062-1065.

[5]LU H.Head detection and tracking by mean-shift and kalman filter[C]//Proceedings of 3rd International Conference on Innovative Computing Information and Control，2008:357.

[6]SALAKHUTDINOV R, TORRALBA A, TENENBAUM J. Learningto share visual appearance for multiclass object detection[C]. In CVPR, 2011.

[7]ZHENG L, WANG S. Visual phraselet: Refining spatialconstraints for large scale image search.Signal Processing Letters[J]. IEEE, 2013,20(4):391-394.

[8]ZHOU W, LU Y, LI H, et al. Scalar quantization for large scale image search[C]. In ACM MM, 2012.

[9]宋濤,馬宇峰,藺海峰.OpenCV在目標跟蹤中的應用及實現[J].計算機與網絡,2009,24:38-41.

[10]覃劍.視頻序列中的運動目標檢測與跟蹤研究[D].重慶: 重慶大學,2008.

[11]LIN S F,CHEN J Y,CHAO H X.Estimation of number of people in crowed scences using perspective transformation[J].Systems,Man and Cybernetics,Part A:Systems and Humans,IEEE Transactions on,2001,31(6):645-654.

[12]XIAOWEI XU,ZHIYUAN WANG,YINGHONG LIANG,et al.A rapid method for passing people counting in monocular video sequences [C] //Proceedings of the Sixth International Conference on Machine Learning and Cybernetics,Hong Kong, 2007:19-22.

[13]文學志,方巍,鄭鈺輝.一種基于類Haar特征和改進AdaBoost分類器的車輛識別算法[J].電子學報,2011(5):1121-1126.

[14]PAUL V,MICHAEL JONES.Rapid object detection using a boosted cascade of simple features [C]//Proceedings of the IEEE Computer Vision and Pattern Recognition.Piscataway,NJ,USA:IEEE Press,2001:151-155.

[15]趙其杰,屠大維,高健,等.基于 Kalman 濾波的視覺預測目標跟蹤及其應用[J].光學精密工程,2008,16(5):937-942.

Automatic Mall Traffic Statistics Based on Head Target Detection

JIA Shijie,WU Huabin,ZHANG Yuanyuan

(School of Electronic and Information Engineering, Dalian Jiaotong University, Dalian 116028, China)

Mall traffic automatic statistics has great significance in security management, staff scheduling and commodity procurement. For the counting difficulty in the case of overlapping, automatic mall traffic statistical algorithms is put forward based on the human head target detection. Firstly, Haar features are extracted to train Adaboost head target classifier. Secondly, Camshift algorithm is employed to track the target, and Kalman algorithm is used to narrow the search scope. Finally, head template is used to match the pedestrian target. Experiment results show that the average accuracy of the proposed method is 98.2%, and the counting time of each pedestrian target is only 19 ms.

mall traffic statistics; head template matching; Adaboost; Camshift

1673-9590(2015)03-0082-05

2014-09-01

國家自然科學基金資助項目(61471080)；遼寧省教育廳高等學校科研計劃資助項目(L2014174)

賈世杰(1969-)，男，教授，博士，主要從事圖像處理與模式識別技術的研究E-mail:jsj@djtu.edu.cn.

A