吳冬梅，王 靜，李白萍，郭 婷

（西安科技大學 通信與信息工程學院，陜西 西安 710054）

基于改進SURF算法的大規模群體人數統計

吳冬梅，王 靜，李白萍，郭 婷

（西安科技大學 通信與信息工程學院，陜西 西安 710054）

為了在高密度大規模群體人數統計的問題上有效的克服遮擋與攝像機透視畸形帶來的影響，文中采用了一種基于線性內插透視矯正的SURF（SpeededUpRobustFeature）算法。首先，采用背景差與滑動平均相結合的方式得到人群前景，并通過對二值前景圖像的形態學處理進行去噪。其次，對獲取到的前景圖像進行多特征提取，將傳統的灰度共生矩陣特征與SURF算法特征相結合，并通過線性內插權值的透視矯正方法進行攝像畸形矯正，將矯正后的特征值組成了表征人群數目特征的特征向量。從而減少了深度信息丟失而引起的誤差，得到了優化的人群特征向量；最后，通過支持向量回歸的方式擬合出人群人數統計模板，以此預測監控區域的人數。實驗表明文中方法具有較高的準確性，較傳統SURF算法準確率有了很高的提升。

人數統計；SURF；灰度共生矩陣；透視矯正；支持向量回歸

0 引 言

隨著世界人口數量的逐漸增多，近年來，有關公共場所的大規模人群的不安全事件層出不窮。重要公共場所的視頻監控系統無處不在，如果能夠有效地利用現有的資源，使監控系統智能化，就能有效的避免或預警災害事件的發生。智能人數統計系統[1]，較傳統方式而言，不僅能夠起到預警、免災的作用，同時還能夠有效地提高公共場所各類設施的利用率，有效安排工作人員的工作額度等。

人數統計算法主要分為2大類：直接方式與間接方式[2-3]。直接方式就是直接利用運動人群的特征，如顏色、形狀等進行人數統計。直接法進行人數統計，主要是對個體或者團塊進行分割，可選用的統計特征如人頭、人臉等。這種方法通常算法較為復雜，更適用于低密度小規模人群的監測。針對于大規模高密度人群的人數統計，目前國內外的主要研究方法是間接法的人數統計[4-6]。這種方法主要是對人群整體提取特征，通過統計回歸的方式得到人數。但這類方法目前在統計精度方面還不夠準確，需要進一步深入研究。

文中主要以PETS2009視頻庫中[7]的三段視頻為研究對象。SURF特征具有旋轉、平移以及尺度縮放的不變性，能夠反映出人群數量的特點。但是對于大規模的人群，當遮擋情況嚴重時，就不能很好的表征人數了。而紋理特征中灰度共生矩陣特征能夠有效的克服遮擋問題帶來的影響，因此文中提出了將灰度共生矩陣特征與SURF特征相結合的方式，并對提取的特征進行線性內插權值的透視效應矯正，最后通過支持向量回歸的方式得到訓練模板，進而預測人群人數。

1 SURF特征提取

SURF（SpeededUpRobustFeature）是一種高魯棒性的局部特征點檢測器，且運算速度高。由于它的尺度變換和視角變換的良好不變性，因此目前在很多特征提取方面都作為重要的提取算法。基于SURF的人群特征點提取過程如下[8-10]

1）對原始圖形進行一遍全局掃描，求解積分圖像；

2）Hessian矩陣逼近，求得尺度空間的極值點，這些極值點就是所要求得的特征點。初步檢測后，還要進一步進行特征點的確認。為了驗證尺度空間的極值點，要對每一個采樣點和所有與它相鄰的點進行比較，看其是否大于或小于圖像域和尺度域的相鄰點。也就是相鄰尺度域中的18個點和相同圖像域中的相鄰8個點，一共26個點進行比較；

3） 對于檢測出的特征點進行方向的確定，對每一個特征點確定一個主方向。主方向確定后，最終形成一個64維的特征描述矢量。

文中在提取SURF特征點過程中，首先對輸入圖像提取了二值前景圖像，使用了背景差與滑動平均更新背景相結合的方式。然后對二值前景圖像進行SURF特征點提取，這樣做的目的是：比較對圖像全局進行提取，僅對二值前景圖像進行SURF特征提取降低了算法的運算量，并且不會對背景圖像造成誤提取。圖1為對二值前景提取的SURF特征點。

圖1 SURF特征點提取Fig.1 SURF feature points extraction

二值前景圖像的白色區域為運動區域。根據算法原理，對于二值前景圖像求SURF特征點，絕大多數的特征點將落在運動區域內，但會有少部分特征點在運動區域的周圍。如圖2所示，此時的特征點個數并不能有效的反應出人數多少的特點。因此要對提取出的特征點進行非興趣區域的特征點剔除。剔除的過程只需要對原圖提取的所有特征點進行一遍掃描，通過其像素特征進行判別，滿足興趣區域的特征點進行保留，其余的進行剔除，按式（1）處理。

圖2 非興趣區域特征點剔除后Fig.2 Non-interest area feature points out

（1）

其中 surf（x，y）為點（x，y）的特征判別值，1為保留，0為剔除；i（x，y）為該點的像素值。通過圖2可以看出，保留的興趣區域內的SURF點能夠真實有效的反應出人群的特征。

2 SURF與灰度共生矩陣相結合的特征向量構造

SURF特征具有旋轉、平移以及尺度縮放的不變性，能夠反映出人群數量的特點。但是對于大規模的人群，遮擋情況嚴重時，就不能很好的表征人數了。由于紋理特征中灰度共生矩陣特征能夠有效的克服遮擋問題帶來的影響[11]，文中提出了將灰度共生矩陣特征與SURF特征相結合的方式。在灰度共生矩陣構建的4個不相關特征（熵、能量、對比度、逆差距）的基礎上，增加了SURF算法得到的SURF點個數特征。

灰度共生矩陣4個特征向量為[12-13]

1） 能量（Energy）：反映一致性的統計量。能夠反映出圖像的紋理粗細程度以及灰度分布的均勻程度。紋理粗，則能量值大；紋理細，則能量值小。

2） 對比度（Contrast）：反差統計量。對比度反映了圖像的清晰程度。紋理越精細，對比度越大；紋理越粗，對比度越小。

3） 熵（Entropy）：計算灰度級d分布隨機性的特征參數。熵表示了圖像中紋理的非均勻程度或復雜程度。紋理越細，熵值越大；紋理越粗，熵值越小。

4） 相關性（Correlation）：灰度值的相關統計量。相關性反映了紋理的方向，顯示行或列上的相似程度。元素間的像素值相差越大，相關值就越小。

通過上述的原理，形成了6維的人群特征向量，并以SURF特征點個數作為主要的特征值

（numsurf，s，featureentropy，featureenergy，featurecontrast，featurecorrelation）

其中numsurf為透視效應矯正后的SURF點個數；s為透視效應矯正后的前景人群圖像面積；featureentropy為灰度共生矩陣的熵特征值；featureenergy為灰度共生矩陣的能量特征值；featurecontrast為灰度共生矩陣的對比度特征值；featurecorrelation為灰度共生矩陣的相關性特征值。

3 線性內插權值的透視矯正

攝像機的監控區域由于距離攝像機的距離的遠近不同而產生近大遠小的情況。為了減少深度信息丟失所帶來的影響，結合了監控區域劃分的方法，采用線性內插權值的方式進行圖像的透視矯正[14]。線性內插權值的透視矯正方法，具有很強的適應性，它的實時性高，并且在實際應用中無需對現場的環境進行測量。

圖3 線性內插權值的透視效應矯正Fig.3 Perspective effect correction of the linear interpolation weight

圖像劃分為4個網格區域，在每個網格區域的入口和出口統計參考人物的最小外接正矩形的寬度與高度。通過區域中的參考人物的面積變化率，可求得區域的內插權數的值。圖3中網格區域abcd，它的面積變化率為

（2）

其中 （h1，w1），（h2，w2）分別為參考人物在入口和出口統計的高度與寬度。

首先將每幀中的監控空間進行分塊，然后分別對每塊人群特征進行處理。其目的是為了提高逆透視矯正的精度。將原始監控空間人工的劃分為有限個單元，以單元為對象進行后續的線性內插權值的透視矯正。

圖4給出了PETS視頻序列中單人行走的一段視頻序列。通過單人的最小外接正矩形可以得到面積的變化關系，通過這種關系，將監控區域人為的劃分為4個區域，保證劃分的每個區域的監控面積一致。劃分的區域越精細，當然矯正的效果越準確，但劃分的區域過多，所要內插的權值就越多，確定這些權值的過程也就越加復雜。

圖4 PETS2009單人行走視頻序列Fig.4 PETS2009 single moving video sequence

對于上述劃分的4個區域，分別內插4個權值。提取單人行走的特征點，如圖4中給出的點個數關系，通過統計回歸的方式，計算出這4個權值的值。從圖5可以看出，矯正前與矯正后SURF點個數的明顯差異。橫坐標代表幀數，縱坐標代表SURF點個數。從圖5（a）中可以，看出隨著行人逐漸遠離攝像機，SURF點個數在逐步減少。通過線性擬合得到點數減少關系，就能夠得到這內插的4個權值。從圖5（b）中可以看出，通過內插這4個權值的矯正后，單人的SURF點數基本保持在一個穩定的范圍內。

圖5 線性內插權值透視矯正對單人SURF點數的矯正效果Fig.5 Correction effect of linear interpolation weight perspective correction on single SURF points

圖6 線性內插權值透視矯正對行人面積的矯正效果Fig.6 Correction effect of linear interpolation weight on the pedestrian area

從圖6可以看出，矯正前與矯正后前景面積的差異。橫坐標代表幀數，縱坐標代表運動前景面積。從圖6（a）中可以看出隨著單個行人逐漸遠離攝像機，像素面積在逐步減少。從圖6（b）中可以看出，通過內插4個權值的矯正后，單個行人的面積基本保持在一個穩定的范圍內。通過圖5，6可以看出，線性內插權值的透視效應矯正能夠快速有效的矯正透視畸形帶來的影響。

4 測試結果及分析

實驗是在WindowsXP操作系統下采用MicrosoftVisualC++ 6.0軟件環境下開發的，使用了OpenCV1.0作為圖像處理庫。經過透視矯正的人群特征向量，通過ε-SVR訓練后得到回歸模板[15]，就可以進行人數的預測估計了。文中對PETS2009視頻庫中的三段視頻進行測驗。圖7給出了測試視頻的真實人數、未使用透視矯正的測驗人數與透視矯正后的測驗人數的曲線結果。

對高密度人群測試結果的分析，主要通過3個指標：平均絕對誤差（MeanAbsoluteError，MAE）、平均相對誤差（MeanRelativeError，MRE）、最大絕對誤差（MaximumAbsoluteError，MAXE）。

（3）

（4）

圖7 測試視頻的人數預測與分析Fig.7 Forecast and analysis of the number of test video

其中n為視頻幀數；N（i）為第i幀的測試人數；N0（i）為第i幀的真實人數。

測試實驗結果見表1.其中，未透視矯正方法在人群特征向量構造上采用了SURF點特征，沒有加透視矯正；灰度共生矩陣方法在人群特征向量構建上僅選取了灰度共生矩陣特征，加透視矯正；SURF方法在人群特征向量構造上僅采用了SURF點特征，加透視矯正。

表1 測試視頻實驗結果分析

從表1可以看出，文中算法在檢測人群數目時錯誤率較低。與未透視矯正的SURF算法相比，檢測誤差有很大下降；與灰度共生矩陣方法相比，有明顯下降；與SURF特征的人數估計方法相比，文中方法對于視頻3的效果明顯，平均相對誤差MRE從19.4%下降到11.55。說明在SURF點特征基礎上融合了灰度共生矩陣特征，能夠有效的解決大規模人群的遮擋問題，對于視頻3遮擋嚴重的情況，能夠提升人數估計的精度。同時也說明了文中方法對于環境的適應性要更強。

5 結 論

針對大規模人群的人數統計問題，提出了一種基于線性內插權值透視矯正的SURF算法。實驗研究發現，線性內插權值透視矯正方法，是一種簡單有效的透視畸形矯正方法，能夠有效地提高人數預測的精度。文中的算法具有較強的適應性，能夠較準確估計出人群人數。但文中研究背景較為簡單，針對實際環境的多變與復雜化，還需做進一步的深入研究。

References

[1] 劉向東.高密度人群計數方法的研究與應用[D].杭州：浙江工業大學，2012.

LIU Xiang-dong.Research and application of high-density counting method[D].Hangzhou：Zhejiang University of Technology，2012.

[2] 楊 華，蘇 航，鄭世寶.大規模群體密度估計算法[J].視頻應用與工程，2010，34（5）：113-116.

YANG Hua，SU Hang，ZHENG Shi-bao.Large-scale crowd density estimation[J].Video Application & Project，2010，34（5）：113-116.

[3] 呂濟民，曾昭賢，張茂軍.基于非最大抑制聚類的視頻人數估測方法[J].模式識別與人工智能，2012，25（1）：150-156.

LV Ji-min，ZENG Zhao-xian，ZHANG Mao-jun.Counting pedestrains in video sequences based on non-maxima suppression clustering[J].Pattern Relognition and Artificial Infeuigence，2012，25（1）：150-156.

[4] Cho S Y，Chow T W S，Leung C T.A neural-based crowd estimation by hybrid global learning algorithm[J].IEEE.Transactions on Systems，Man，and Cybernetics-Part B：Cybernetics，1999，29（4）：535-541.

[5] Nevatia R,Zhao T.Tracking multiple humans in crowded environments[C]//IEEE International Conference on Computer Vision and Pattern Recognition，Washington DC，USA，2004

[6] Damian Roqueiro A，Valery A，Petrushin.Counting people using video cameras[J].International Journal of Parallel.Emergent and Distributed Systems，2007：193-209

[7] Proceedings of eleventh IEEE international workshop on performance evaluation of tracking and surveillance（PETS 2009）[R].IEEE Computer Science，2009.

[8] Conte D，Foggia P，Percannella G，et al．A method for counting moving people in video surveillance videos[J]．EURASIP Journal on Advances in Signal Processing，2010，5（1）：1-8.

[9] HOU Ya-li，Pang K H.People counting and human detection in a challenging situation[J].IEEE Transactions on Systems，Man and Cybernetics：Part A：Systems and Humans，2011，41（1）：245-253.

[10] Bay H，Ess A，Tuytelaars T，et al.SURF：speeded up robust features[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[11] 楊德坤，侯德文，步亞東.灰度共生矩陣在紋理特征提取中的發展[J].信息系統工程，2012，15（1）：22-25.

YANG De-kun，HOU De-wen，BU Ya-dong.Development of gray co-occurrence matrix in texture feature extraction[J].Information system engineering，2012，15（1）：22-25.

[12] Rahmalan H，Nixon M，Carter J.On crowd density estimation for surveillance[J].Institution of Engineering and Technology，2006，8（12）：315-325.

[13] 王雅琳.基于灰度共生矩陣的人群密度估計算法研究[D].西安：西安科技大學，2013.

WANG Ya-lin.Algorithm of crowd density estimation based on gray level co-occurrence matrix[D].Xi’an：Xi’an University of Science and Technology，2013.

[14] 陳 鴻.重點視頻監控區域的人群密度估計改進算法的研究與實現[D].南京：南京郵電大學，2013.

CHEN Hong.The research and implementation of the improve the crowded density estimation in important area[D].Nanjing：Nanjing University of Posts and Telecommunications，2013.

[15] Antoni B.Chan，Nuno Vasconcelos.Counting people with low-level featuresand bayesian regression[J].IEEE Transactions on Image Processing，2012，4（4）：21-26.

LargecrowdcountbasedonimprovedSURFalgorithm

WUDong-Mei，WANGJing，LIBai-Ping，GUOTing

（CollegeofCommunicationandInformationEngineering,Xi’anUniversityofScienceandTechnology,Xi’an710054,China）

The SURF based on the method of Linear Interpolation for camera distortion calibration is adopted for high-density crowd counting.The eigenvalues are built on the Gray Level Co-occurrence Matrix（GLCM）features and the SURF features.To get the foreground image，firstly，gray and smooth the input image.Then getting foreground image by background subtraction operation and moving average method.And also morphology processing was performed on the binary image to eliminate noise.And then，extracting feature parameters of foreground image.Though the method of linear interpolation，weight values are interpolated to reducethe error，which is caused bycamera distortion calibration.Linear interpolation weights perspective correction method is considered for camera deformity correction.The optimized crowd feature vector can be obtained then.Through the method of support vector regression（SVR），the crowd number can be forecasted by the training model.The experiment result shows that the method of this paper has a higher accuracy than the previous methods.

crowd count；SURF；gray level co-occurrence matrix；perspective-correct；support vector regression

2015-06-15 責任編輯：高 佳

國家自然科學基金項目（61302133）；陜西省工業攻關計劃項目（2012K06-16）；西安科技大學博士啟動金資助項目（2014QDJ066）

吳冬梅（1964-），女，浙江義烏人，教授，E-mail：wdm562@163.com

10.13800/j.cnki.xakjdxxb.2015.0520

1672-9315（2015）05-0650-06

TN

A