基于線性內插權值人群密度估計的方法研究

張朋 溫宏愿

摘 要： 針對密集人群環境中行人相互遮擋造成人數難以準確統計問題，提出一種基于線性內插權值的人數密度統計方法。系統從視頻監控設備獲取圖像后，首先對圖像進行預處理以減少原始圖像的干擾，通過混合高斯建模提取前景圖像，然后通過線性內插權值進行透視矯正，最后通過構造和提取能量、對比度、熵和相關性四個特征參數進行人數統計。結果表明，在不同的測試環境下所提方法的準確率在90%以上，能夠達到人群密度監控的基本要求。

關鍵詞： 人群密度估計； 混合高斯建模； 透視矯正； 能量； 對比度； 相關性

中圖分類號： TN911.73?34 文獻標識碼： A 文章編號： 1004?373X（2018）14?0079?04

Research on crowd density estimation method based on linear interpolation weights

ZHANG Peng， WEN Hongyuan

（Taizhou Institute of Sci. & Tech.， NUST， Taizhou 225300， China）

Abstract： In allusion to the problem that it is difficult to accurately count the number of pedestrians in a crowded environment due to people′s blocking from each other， a population density statistical method based on linear interpolation weights is proposed. The image obtained from the video surveillance equipment of the system is preprocessed to reduce the interference of the original image and extract the foreground image by using the mixed Gaussian modeling， and then the perspective correction is performed by using the linear interpolation weights. Population statistics are obtained by constructing and extracting the four characteristic parameters of energy， contrast， entropy and correlation. The results indicate that the method in this paper has over 90% of accuracy rate in different test environments， which can meet the basic requirement of population density monitoring.

Keywords： crowd density estimation； mixed Gaussian modeling； perspective correction； energy； contrast degree； correlation

0 引 言

隨著視頻監控技術的快速發展，采用視頻圖像處理技術可以為公共場所，如：車站、商場、公園等提供人群密度估計，為安全管理及社會經濟效益提供準確的數據依據。人群密度估計系統包括視頻采集、圖像預處理、前景圖像提取、圖像透視矯正以及圖像特征參數提取，最后通過特征參數估計出人群密度及人數。

人群密度檢測系統研究現狀，美國 Silicon Recognition 公司的 Passenger Counting System 和美國 Shopper Track 公司的 Orbit 系統采用視覺分析技術完成行人的統計任務，在正常行人流量的情況下，其統計準確率[1]維持在94%左右。英國的Central London Partnership（CLP）在 2005 年開展了一個自動行人統計的項目，以更好地了解和展示倫敦戶外環境中的現有產品。美國馬里蘭大學研究的 w4 系統和美國 FDI 公司推出的智能視頻監控系統（Smart System）等都涉及人流量統計功能的實現[2]。

1 人群密度估計

人群密度統計系統采用混合高斯模型建模的方法提取前景像素，由于圖像從三維空間轉換到二維空間后存在圖像畸變情況，需要進行透視矯正后才能對前景圖像進行紋理特征提取，最后根據特征量進行場景人數密度估計。

1.1 圖像前景提取

攝像機采集到的圖像首先需要進行圖像預處理然后才能夠進行圖像前景提取。圖像前景提取就是將視頻圖像中有效變化的像素提取出來。但是現場視頻采集過程中，存在各種背景因素的干擾，如：隨著時間的變化光照角度及強度不斷變化，隨風擺動的樹枝或波光粼粼的水面等。這些看似是靜止的背景因素，卻在圖像前景提取過程中都會造成不同程度的影響。針對上述背景的微小變化，本文提出了采用混合高斯模型進行圖像前景的提取。混合高斯建模是一種密度分布模型，是在圖像采集過程中對每一幀圖像中的某一個像素按時間序列進行概率統計，其分布模型由K個高斯模型組成。假設某一位置的像素在一段時間內像素值為{X1，X2，…，Xt}，某一個時刻該像素值概率為：

[P（Xt）=i=1kωi，tηXt，νi，tΣi，t] （1）

式中：[ωi，t]表示t時刻第i個高斯分布權重；[η]表示高斯分布密度函數；[νi，t]表示t時刻的第i個高斯分布均值向量；[Σi，t]表示第i個高斯分布的協方差矩陣。

將生成的K個高斯分布與每一個新采集的像素值進行匹配，若新采集的像素值[Xt]符合K個高斯分布中某一個分布，則更新高斯分布的權重值。更新權重值的方法如下：

[ωi，t=（1-α）ωi，t-1+αωi，t] （2）

[νi，t=（1-ρ）νi，t-1+ρXt] （3）

式中：[α]用來表示權重的更新率，[α]值越大則更新的速度越快，反之越慢；[ρ]是均值和方差的更新率：

[ρ=αηXt，νi，t，Σi，t] （4）

若新采集的像素值[Xt]沒有落在K個高斯分布中，則權重值不變，不進行更新，并為[Xt]生成一個新的高斯分布。將原K個高斯分布中位于排序最后的一個高斯分布用該[Xt]高斯分布替代，系統重新將K個高斯分布由大到小進行重新排序：

[B=argminbi=1bωi，t>T] （5）

式中：B表示背景圖像；T表示閾值；K個高斯分布中的K值大小由T來決定。在進行前景提取時，若新采集的像素值[Xt]不能夠與系統中的所有高斯分布匹配，則這個像素值屬于前景像素，反之則屬于背景像素。

1.2 透視矯正

前景圖像提取之后，需要對提取的前景圖像進行透視矯正。因為監控設備將三維空間轉換到二維空間時存在射影畸形現象。即同樣的一個物體距離攝像機鏡頭近時在圖像中占的像素空間比距離攝像頭遠時所占的像素空間要大的很多。

在人群密度估計中若不解決攝影畸形問題則無法準確估算出人群密度。所以透視矯正是人群密度估計系統必須考慮的一個重要問題。線性內插權值算法能夠較好地解決射影畸形現象。線性內插權重是通過對攝像頭采集的區域劃定一個敏感區域，并根據距離攝像頭遠近將被采集物體的像素值進行權重矯正，具體實現如圖1所示。在圖1中：首先要測量出ab和cd兩條水平線的長度；其次設定一個參考物，記錄此參考物在ab水平線時的像素面積[S1=w1h1]和在cd水平線時的像素面積[S2=w2h2]；最后計算出此參考物在不同位置時的像素面積，得到系統的像素面積比率[μ]：

[μ=S2S1=w2h2w1h1] （6）

根據等比例原理，式（6）中[w1]和[w2]的比值可以通過ab與cd的比值進行相應替換，因此，式（6）可以轉換成：

[μ=h2cdh1ab] （7）

式（7）可以計算出圖像不同位置的像素面積比率[μ]的大小；也可以得出，距離鏡頭越近的物體所占的的像素越多，這就是射影畸形現象。若設ab水平線上的像素權重[w1]=1，則可得到cd水平線上的權重[w2=h1abh2cd]。

利用線性內插權值的方法可以得到水平線ab和cd之間的像素點的權重系數。

圖1中，[li]位于直線ab和cd之間，距離之間ab的距離為[l2]，距離直線cd距離為[l1]，根據等比例的方法可以計算出在直線[li]處的像素權值[wi]，如下：

[wi=w0+l2l1wn1+l2l1=l1h2cd+l2h1ab（l1+l2）h2cd] （8）

式中，[wi]表示透視矯正參數，是描述圖像中基于線性內插權值的某一點的透視矯正參數。圖像中不同物體位于監控設備的距離不同，對應的[wi]矯正參數不同。通過這種方法來矯正射影畸形造成的誤差。在人群密度估計中采用像素作為統計依據時，就必須通過[wi]視矯正參數對前景圖像進行透視矯正。在統計時依據前景圖像像素越多，圖像中的人數越多的線性關系進行估算。若對未進行透視矯正的圖像進行人數預估處理時，由于受人群分布的不同，相同的前景圖像像素但實際的人數卻不相同。通過對前景圖像進行透視矯正，圖像中不同位置的物體給與不同的像素權值，從而消除射影畸形所造成的誤差，提高視頻監控的人數密度統計準確率。

1.3 構造特征向量

經過前景圖像的提取，并對前景圖像進行透視矯正后，就可以對前景圖像進行特征提取，在紋理特征提取中通常采用灰度共生矩陣的方法。灰度共生矩陣的主要優點是能夠減小人群相互遮擋對統計造成的影響，對高密度人群的檢測較為敏感。

在紋理特征提取過程中，一般不會直接采用灰度共生矩陣的數據，而是通過構建特征向量來處理共生矩陣產生的數據，最后通過依據特征向量的數據來估計人群密度及人數。構建的特征向量主要是以下四個：

1） 能量。其通過能量特征參數來表述前景圖像的一致性：

[ASM=i=0N-1j=0N-1{P（i，jd，θ）}2] （9）

2） 對比度。其主要做反差統計量：

[Con=i=0N-1j=0N-1i-j2P（i，jd，θ）] （10）

通過對比度的大小可以描述前景圖像的紋理特征，對比度數值越大，圖像越清晰，反之圖像較為模糊。

3） 熵。其主要是描述灰度分布的隨機情況：

[Ent=-i=0N-1j=0N-1P（i，jd，θ）log P（i，jd，θ）] （11）

通過熵值的大小，可以反應出前景圖像的紋理分布情況。紋理分布較為密則該數值較大。否則反之。

4） 相關性。其主要反應圖像的灰度值：

[Cor=i=0L-1j=0L-1ijp（i，jd，θ）-μ1μ2σ1σ2] （12）

式中，μ和σ為灰度共生矩陣求得的均值和標準方差。

[μ1=i=0L-1ij=0L-1p（i，jd，θ）]

[μ2=j=0L-1ji=0L-1p（i，jd，θ）]

[σ21=i=0L-1（i-μ1）2j=0L-1p（i，jd，θ）]

[σ22=j=0L-1j-μ22i=0L-1p（i，jd，θ）]

通過相關性的大小來反應前景圖像中像素的變化情況，若相鄰像素的數值變化較小，則相關性值較大。

2 仿真與結果分析

通過選擇實際測量環境來驗證系統的實際應用情況。首先根據實際應用環境的情況將人群密度設定為3個等級：低密度人群、中密度人群和高密度人群。硬件平臺為華碩I7?6700HQ，軟件平臺為Matlab R2015a。圖像選擇的是本校教學樓一側的通道處，圖像的視頻大小格式為1 280×720像素，幀率為30 f/s。在視頻圖像預處理后，通過混合高斯模型和紋理特征對前景圖像進行特征提取。選擇第25幀圖像、第12 198幀圖像、第55 678幀圖像為例進行人數統計，如圖2所示。

通過灰度共生矩陣來分析人群圖像紋理，4個參數設置如下：灰度級為32，方向為0°和45°，距離為4。先單獨分析訓練低、中、高情況下的人群圖像紋理特征。

表1是基于紋理分析的人群密度估計訓練樣本估計結果，查全率均在93%以上；表2是基于紋理分析的人群密度估計測試樣本估計結果，查全率均在90%以上。由仿真結果可得，基于問題分析的人群密度估計算法的查全率在90%以上，已達到算法設計的要求。

3 結 語

由于通過基于線性內插權值的人數統計方法，在處理過程中只對前景圖像進行處理，并通過前景像素估算出人數。大大節省了系統的處理資源，提高了系統的處理效率。系統的三種不同人群密度的環境下測試結果都在90%以上，特別在中等密度人群時系統的準確率達到96.67%。

實驗結果表明，基于線性內插權值人群密度估計的方法能夠達到人群密度監控的基本要求。但是在低密度人群和高密度人群時系統的準確率出現下降。對于這種問題將是后期研究的重點。

參考文獻

[1] 丁藝，陳樹越，劉金星，等.基于歸一化目標像素的人群密度估計方法[J].計算機應用與軟件，2016，33（4）：212?214.

DING Yi， CHEN Shuyue， LIU Jinxing， et al. Crowd density estimation based on normalized target pixels [J]. Computer applications and software， 2016， 33（4）： 212?214.

[2] 任慶云.智能視頻監控中的人群密度估計方法[D].石家莊：河北師范大學，2011.

REN Qingyun. Crowd density estimation methods in intelligent video surveillance [D]. Shijiazhuang： Hebei Normal University， 2011.

[3] 黃璐，林燕.一種基于視頻的車站人群密度估計算法[J].計算機時代，2012（7）：23?25.

HUANG Lu， LIN Yan. Estimation of crowd density at the station based on video monitoring [J]. Computer era， 2012（7）： 23?25.

[4] 覃勛輝，王修飛，周曦，等.多種人群密度場景下的人群計數[J].中國圖象圖形學報，2013，18（4）：392?398.

QIN Xunhui， WANG Xiufei， ZHOU Xi， et al. Counting people in various crowd density scenes using support vector regression [J]. Journal of image and graphics， 2013， 18（4）： 392?398.

[5] 周蕓韜.基于R語言的大數據處理平臺的設計與實現[J].現代電子技術，2017，40（2）：53?56.

ZHOU Yuntao. Design and implementation of big data processing platform based on R language [J]. Modern electronics technique， 2017， 40（2）： 53?56.

[6] 李寅，王貴錦，林行剛.結合局部和全局特征的人群密度估計算法[J].清華大學學報（自然科學版），2013，53（4）：542?545.

LI Yin， WANG Guijin， LIN Xinggang. Population density estimation algorithm combining local and global characteristics [J]. Journal of Tsinghua University （Science and technology）， 2013， 53（4）： 542?545.

[7] 羅維薇，王陽萍，翟鳳文.基于混合高斯背景建模的交通視頻運動目標檢測[J].蘭州交通大學學報，2014，33（4）：26?29.

LUO Weiwei， WANG Yangping， ZHAI Fengwen. Moving object detecting of transportation video based on mixture Gaussian model algorithm [J]. Journal of Lanzhou Jiaotong University， 2014， 33（4）： 26?29.

[8] 白向峰，李艾華，李喜來，等.新型背景混合高斯模型[J].中國圖象圖形學報，2011，16（6）：983?988.

BAI Xiangfeng， LI Aihua， LI Xilai， et al. A novel background Gaussian mixture model [J]. Journal of image and graphics， 2011， 16（6）： 983?988.

[9] 王小鵬，陳璐，魏沖沖，等.一種改進的Retinex彩色圖像增強方法[J].蘭州交通大學學報，2015，34（1）：55?59.

WANG Xiaopeng， CHEN Lu， WEI Chongchong， et al. Color image enhancement based on improved Retinex algorithm [J]. Journal of Lanzhou Jiaotong University， 2015， 34（1）： 55?59.

[10] 王凱，黃山，趙瑜，等.面向圖像目標提取的改進連通域標記算法[J].計算機工程與設計，2014，35（7）：2438?2441.

WANG Kai， HUANG Shan， ZHAO Yu， et al. Improved algorithm of connected component labeling for image targets extraction [J]. Computer engineering and design， 2014， 35（7）： 2438?2441.

[11] JACQUES JUNIOR J C S， MUSSE S R， JUNG C R. Crowd analysis using computer vision techniques [J]. IEEE signal processing magazine， 2010， 27（5）： 66?77.

[12] FRUIN J J. Crowd dynamics and the design and management of public places [C]// Proceedings of International Conference on Building Use and Safety Technology. Washington DC： [s.n.]， 1984： 110?113.