融合直方圖高階統計特征與GLCM特征的室內紅外圖像人群密度分類

李熙瑩，黃秋筱

?

融合直方圖高階統計特征與GLCM特征的室內紅外圖像人群密度分類

李熙瑩，黃秋筱

（中山大學 工學院 廣東省智能交通系統重點實驗室，視頻圖像智能分析與應用技術公安部重點實驗室，廣州 5100061）

公共場所的人群密度信息在公共安全、交通管理、應急減災等方面具有重要作用，采用紅外技術，可以在拍攝人群圖像時避免環境光照影響。為了實現室內場景下的紅外圖像人群密度分類，提出一種融合灰度直方圖高階統計特征與灰度共生矩陣特征的人群密度分類方法。首先，根據紅外圖像的特點，分析并提取樣本圖像灰度直方圖的高階統計特征，隨后與提取的灰度共生矩陣特征串行融合，最后作為多分類支持向量機的輸入，對不同人群密度等級進行分類。實驗結果表明，提出的方法對于不同密度人群圖像的分類準確率可達92.13%，同時特征向量提取簡潔、算法耗時短。

人群密度分類；紅外圖像；直方圖高階統計特征；灰度共生矩陣

0 引言

公共場所中通過監控攝像機實現人群密度估計具有重要的應用價值和研究意義。可靠的人群密度信息在諸多場所發揮著關鍵作用，例如，商場中實時的人群密度信息，可直觀了解到各品牌的受關注度；公共場合中監控到某片區域的人群密度短時內發生極大變化，這也許意味著遇到緊急情況或突發事件造成的變化。現有的關于人群密度估計方法的研究大多基于可見光圖像，然而，由于受光照、陰影、行人衣著等的影響，可見光圖像中人群密度估計的研究存在著諸多難以攻克的問題。相比于可見光圖像，紅外圖像在環境噪聲不是很大的情況下，實現人群與背景之間的準確分割[1]和克服光線變化的影響有著較高的優勢，并且涵蓋了豐富的紋理特征和灰度信息。因此，利用紅外圖像實現人群密度估計有著良好的應用前景。

已有的人群密度估計方法主要包括像素統計的方法和紋理分析的方法，其中，紋理分析法得到了廣泛的應用。最初，像素統計的方法由Davies和Chow等人[2-3]提出，該方法將像素統計特性作為人群密度特征，在低密度時取得不錯的效果，但高密度時由于人群之間相互遮擋致使誤差增大。此后，Marana[4]提出紋理分析的方法，其依據在于不同密度的人群圖像對應的紋理模式不同，而利用灰度共生矩陣來描述紋理特征是目前該領域發展的趨勢[5]。

有學者根據圖像紋理在頻率域具有明顯的表現特性這一原理，將小波變換[6]、快速傅里葉變換引入人群密度估計中，如Marana[7]、Kim[8]、楊國慶等人[9]，在頻率域進行灰度共生矩陣特征提取，作為人群密度圖像分類的依據。但該類方法在獲取紋理特征之前還需對圖像進行頻域變換，這在一定程度上增加了算法的復雜性，并且行人陰影以及圖像背景紋理對分類正確率影響較大。

為了適應復雜的應用場景，有學者提出將多種特征融合的方法以提高人群檢測的性能，如Jiang等人[10]利用像素統計特征對人群密度進行初步判定，然后采用灰度共生矩陣法來確定最終的分類結果；為了能充分利用局部二值描述算子（Local Binary Patterns，LBP）和灰度共生矩陣（Gray-level co-occurrence matrix，GLCM）紋理特征提取的有效性，薛翠紅等人[11]提出融合局部二值模式與灰度共生矩陣特征提取的人群密度分類方法，首先用旋轉不變的LBP算子進行濾波，隨后對濾波后圖像提取灰度共生矩陣特征，這些方法對于可見光圖像人群密度分類均獲得了較高的準確率。

由于紅外圖像所具有的紋理特征不同于可見光圖像[12]，致使現有的人群密度估計方法所具有的優越性能難以有效地在紅外圖像中完全得以體現。本文結合紅外圖像的特點，提出一種基于灰度直方圖高階統計特征和灰度共生矩陣特征的紅外圖像人群密度估計方法，整體流程圖如圖1所示。由于目前尚未有公開的紅外人群圖像素材，因此首先采集素材并按照Polus[13]提出的服務等級（見表1）將訓練素材分類和預處理，隨后提取素材圖像的灰度直方圖高階統計特征和灰度共生矩陣特征，送入分類器進行分類。實驗結果表明，本文方法能夠有效地解決室內公共場所下外圖像中人群密度自動分類的問題。

1 紅外人群圖像特征提取

1.1 灰度直方圖高階統計特征

灰度直方圖是用以表示數字圖像中灰度級分布的直方圖，標繪了圖像中每種灰度級的像素的個數。圖像灰度直方圖具有一幅圖像灰度分布的總體統計性質，為圖像的分析提供強有力的工具。紅外圖像不但具有豐富的紋理特征，并且還蘊含了大量的灰度信息，基于此，本文將灰度直方圖引入人群密度分類領域，研究其統計特性對于分類效果的影響。

表1 服務級別定義

如圖2所示，圖2(a)是人群密度低時的紅外圖像示意圖和對應的灰度直方圖，圖2(b)是人群密度高的情況，灰度直方圖的橫坐標是灰度值，縱坐標是灰度值出現的次數。由圖可見，不同密度等級圖像的灰度直方圖具有不同的形態。低密度圖像的直方圖集中于灰度值低的區域，而高密度圖像的直方圖灰度值分布相對分散，并且前者直方圖峰值要高于后者直方圖的峰值。與紋理分析法的基本思想類似，不同密度的人群圖像對應的灰度直方圖不同。因此，灰度直方圖的統計特征可以作為不同密度等級的人群圖像分類的依據之一。

圖1 算法整體框架

Fig.1 The algorithm framework of proposed method.

圖2 人群密度低（左）、高（右）的紅外圖像及對應的灰度直方圖

灰度直方圖統計特性一般包括：均值、方差、傾斜度、峰度。其中，傾斜度和峰度是對于直方圖分布的標準三階、四階中心距。假設灰度直方圖數學表達式為式(1)，則各統計特征的計算公式如式(2)至式(5)所示：

式中：N表示灰度值為的像素數；為圖像總像素數；為灰度級數；表示均值；表示方差；表示傾斜度；表示峰度。

為了有效地對4類不同密度等級圖像進行區分，接下來對上述4個統計特征的分類能力進行測試，找出具有區分不同密度人群圖像能力的特征。從4類不同密度等級的圖像中分別隨機選取20張圖像，計算它們的灰度直方圖統計特征，結果如圖3所示。整體來看，各密度人群圖像對應的灰度直方圖的傾斜度和峰度特征值差異顯著且無重疊，而均值和方差特征值相反，說明傾斜度和峰度這2個特征具有較好的區分能力。

1.2 灰度共生矩陣特征

灰度直方圖描述的是圖像灰度出現的概率，而灰度共生矩陣其反映的是圖像灰度對出現的概率。前者專注于圖像灰度的全局特征，后者主要反映圖像局部的灰度信息，包括灰度對偏移量和變化幅度等。用數學公式表示：對于一幅含有個不同灰度值的圖像，其×大小的共生矩陣可表示為：

式中：和是灰度值；和是圖像中某點的空間位置；(,)表示圖像點(,)的灰度值，偏移量(D,D)表示該矩陣的空間關系，該偏移量也可用2個參數即距離、像素點方向來進行替代。一般情況下，距離取1、2、3、4、5，像素點方向取0°、45°、90°和135°。

為了更直觀地用共生矩陣描述紋理狀況，Haralick[14]定義了灰度共生矩陣的14個特征參數，最常用的有以下幾種[15]：

1）角二階矩（能量）：

它是各元素值的平方和，刻畫了圖像灰度分布均勻狀況和紋理粗細程度。

2）慣性矩（對比度）：

對比度直接反映了像素灰度對的亮度對比情況，也間接反映了圖像的清晰度，以及紋理溝紋情況。

3）熵：

熵反映了圖像中紋理的復雜程度，其值大則表示元素呈分散分布。

4）逆差距：

逆差距是圖像局部平穩性的度量，反映圖像紋理的同質性。

1.3 特征融合

在將灰度直方圖統計特征和灰度共生矩陣特征進行融合前，首先需要選取合適的灰度共生矩陣構造參數，包括像素間距、像素方向和灰度級。與1.1節中確定灰度直方圖統計特征的實驗一樣，分別觀察各構造參數的不同取值對各特征值的影響，從而確定具有區分不同密度人群圖像能力的構造參數值。經實驗分析研究，本文最終選取像素間距為5、像素方向為0°和90°、灰度級為16的共生矩陣其能量、對比度、熵和逆差距值，來綜合表示圖像的紋理信息。而對于灰度直方圖特征，如1.1節所述，選取峰值和傾斜度2個高階統計特征值，用于表述人群密度圖像的灰度信息。

在確定特征構造參數后，采取串行融合的機制。設該圖像的灰度直方圖特征向量用下式表示：

1＝[11,12] (11)

灰度共生矩陣特征向量用下式表示：

2＝[21,22, …,28] (12)

則將它們串行融合后的10維特征向量為：

＝[11,12,21,22, …,28] (13)

2 多分類器設計

支持向量機（SVM）是一種分類算法，其目標是基于結構風險最小化原理，構造一個目標函數將兩類模式盡可能地區分開來。由于本文所采用的人群圖像樣本有限，并且支持向量機非常適用于小樣本的分類，因此本文使用支持向量機作為人群密度分類器。

支持向量機最早用于解決二分類問題，它主要通過核函數將輸入變量映射到一個高維空間，旨在這個高維空間構造一個線性最優的分類面。用數學公式表示就是，設給定的訓練集(x,y)，＝1, …,;∈R;∈{＋1, －1}，在式(14)的約束條件下：

對求解下列目標函數的最大值：

式中：為與每個樣本對應的拉格朗日乘子。這是一個不等式約束下二次函數的尋優問題，解上述問題后得到的最優分類函數為：

式中：sgn()是函數符號；(,)是內積核函數。

當遇到多類別的時候，支持向量機一般采取“一對一法”的策略，即在任意2類樣本之間設計一個SVM，以本文的人群密度分類器為例，結構圖如圖4所示，內積核函數采用RBF核函數，因此4個類別的樣本就需要設計6個SVM。當對一個未知樣本進行分類時，對這些SVM分類器采用Friedman提出的決策投票法，即最后得票最多的類別，則為該未知樣本的類別，若獲相同票數，樣本類別則判斷為類別標簽小的那一類。

圖4 人群密度分類器結構圖

3 實驗結果與分析

3.1 實驗設置

實際測試中，紅外圖像的采集工具為FLUKE Ti25，采集地點為商場公共場所（樣本采集區域面積約為15m2），采集時間涉及平峰期和高峰期。訓練圖片共360張，測試圖片共559張，大小統一為490×455。本文結合Polus定義的服務級別，將人群密度分為低（L）、中低（ML）、中高（MH）和高（H）4類，實驗樣本分布情況如表2所示，示例圖片如圖5所示。

表2 實驗樣本分布情況表

圖5 不同人群密度圖像示例圖

3.2 本文人群密度分類結果

為證明本文方法的有效性，實驗還對僅使用灰度共生矩陣的人群密度分類以及僅使用灰度直方圖統計特性的人群密度分類進行了實驗，結果如表3和表4所示。從結果來看，灰度直方圖統計特性在人群密度偏高時的分類效果優于灰度共生矩陣；而灰度共生矩陣特征在人群密度偏低時分類更加準確。表5是基于本文方法的人群密度分類結果。本文將2種特征進行融合，有效提高了灰度共生矩陣法對于處理低密度、中低密度人群圖像分類的準確性。

表3 灰度共生矩陣分類結果

表4 灰度直方圖統計特性分類結果

表5 本文方法分類結果

3.3 與其他方法的比較

本節實驗選擇了2種分類性能較優的人群密度分類算法和本文方法從分類效果和算法耗時上進行綜合比較。其中，文獻[6]采用的方法是：對圖像進行三級小波分解，得到10個子帶及相應的小波系數，以9個高頻子帶作為特征提取的基礎，分別從這9個子帶中提取紋理特征[6]。文獻[11]采用的方法是：用旋轉不變的LBP算子進行濾波，得到LBP圖像，然后提取濾波后圖像的GLCM特征，最后采用有向無環圖支持向量機DAGSVM（Directed Acyclic Graph Support Vector Machine）進行密度分類。圖6是本文方法和所選算法對于各人群密度等級圖像的分類效果比較。

經比較可知，本文方法在處理低密度和中高密度人群圖像時，分類準確率和其他2個方法相差不大，然而在處理中低密度和高密度人群圖像時效果較其他方法略顯優勢。

為了進一步對比本文算法和其他方法之間的性能，接下來對各算法的耗時進行了實驗，如表6所示。分析可知，本文方法在達到較高的準確率的基礎上，所利用的特征向量和耗時均相對較少。因此，本文方法具有較好的實時性。

圖6 不同方法分類準確率比較

4 結論

本文針對紅外圖像的特點，引入灰度直方圖高階統計特性，提出了一種融合灰度直方圖高階統計特征和灰度共生矩陣特征的人群密度分類方法，以SVM支持向量機構成分類器，實現人群密度分類。通過與其他方法對比，驗證了該方法針對紅外圖像人群密度分類的有效性和準確性。即便如此，對于非常高密度的人群，分類精度還是會下降，這也是下一步研究的重點。

致謝

感謝華南師范大學附屬中學的楊學霖在紅外圖像采集標定和人群密度分類器部分算法設計的工作。

表6 本文方法和其他方法的比較

[1] 葉華, 朱明旱, 王日興. 紅外和可見光圖像互補融合的運動目標檢測方法[J]. 紅外技術, 2015, 37(8): 648-654.

YE Hua, ZHU Minghan, WANG Rixing. Fusion of Complementary Information from Infrared and Visual Image for Moving Object Detection[J]., 2015, 37(8): 648-654.

[2] Davies A C, Yin J H, Velastin S A. Crowd monitoring using image processing[J]., 1995, 7(1): 37-47.

[3] Cho S Y, Chow T W S, Leung C T. A neural-based crowd estimation by hybrid global learning algorithm[J].,(), 1999, 29(4): 535-541.

[4] Marana A N, Cavenaghi M A, Ulson R S, et al. Real-time crowd density estimation using images[C]//., 2005: 355-362.

[5] Saqib M, Khan S D, Blumenstein M. Texture-based feature mining for crowd density estimation: A study[C]//(), 2016., 2016: 1-6.

[6] 胡波, 李曉華, 沈蘭蓀. 場景監控中的人群密度估計[J]. 電路與系統學報, 2007, 12(6): 19-22.

HU Bo, LI Xiaohua, SHEN Lansun. Estimation crowd density for surveillance[J]., 2007, 12(6): 19-22.

[7] Marana A N, Verona V V. Wavelet packet analysis for crowd density estimation[C]//,,,, 2001(1): 535-540.

[8] Kim D, Lee Y, Ku B, et al. Crowd Density Estimation Using Multi-class Adaboost[J]., 2012, 191(15): 4951-8.

[9] 楊國慶, 崔榮一. 基于概率神經網絡的人群密度估計[J]. 延邊大學學報:自然科學版, 2010, 36(3): 250-253.

YANG Guoqing, CUI Rongyi. Crowd Density Estimation Based on Probabilistic Neural Network[J].,, 2010, 36(3): 250-253.

[10] Jiang M, Huang J, Wang X, et al. An Approach for Crowd Density and Crowd Size Estimation[J]., 2014, 9(3): 757-762.

[11] 薛翠紅, 于洋, 張朝, 等. 融合LBP與GLCM的人群密度分類算法[J]. 電視技術, 2015, 39(24): 7-10.

XUE Cuihong, YU Yang, ZHANG Zhao, et al. Fusing LBP and GLCM for Crowd Density Classification Algorithm[J]., 2015, 39(24): 7-10.

[12] 王磊. 紅外圖像中的行人檢測算法研究[D]. 合肥: 合肥工業大學, 2015.

WANG Lei. Research on Pedestrian Detection Algorithm in Infrared Images[D]. Hefei: Hefei University of Technology, 2015.

[13] Polus A, Schofer J L, Ushpiz A. Pedestrian Flow and Level of Service[J]., 1983, 109(1): 46-56.

[14] Haralick R M. Texture features for image classification[J]., 1990, smc-3(6): 610-621.

[15] 徐麥平. 安防監控中人群人數統計方法的研究[D]. 西安: 西安理工大學, 2015.

XU Maiping. Crowd Counting Research of Security Monitoring[D]. Xi'an: Xi'an University of Technology, 2015.

Indoor Crowd Density Classification in Infrared Images Based on Fusing High-order Statistics of Histogram with GrayLevel Co-occurrence MatrixFeatures

LI Xiying，HUANG Qiuxiao

(,,,510006,)

The crowd density information in public places plays an important role in public safety, traffic management, and disaster reduction in emergencies. The use of infrared technology can avoid the influence of ambient light whilecapturing crowd images. In order to realize indoor crowd density classification in infrared images, this paper proposes a method that fuses high-order statistics of a grayscale histogram with gray level co-occurrence matrix features (GLCM). First, considering the characteristics of infrared images, this paper analyzes and extracts the high-order statistics of the grayscale sample image histograms. Next, the histogram and GLCM features of sample images are fused serially. Finally, the fusion feature is input to the multi-class support vector machine and the classified crowd density level is output. The experimental results show that the proposed method can achieve 92.13% accuracy for different crowd density classifications in infrared images, with fewerfeatures in lesstime．

crowd density classification，infrared image，high-order statistics of histogram，gray level co-occurrence matrix

TP391

A

1001-8891(2017)07-0626-06

2017-03-27；

2017-06-27.

李熙瑩（1972-），女，副教授，博士，主要研究方向為圖像處理、目標檢測與跟蹤、圖像識別技術以及各項技術在智能交通、治安監控中的應用。E-mail：stslxy@mail.sysu.edu.cn.

國家自然科學基金（U1611461）。