基于混合高斯模型與聯合特征的行人檢測方法

鄭 銳， 邵宗凱

(昆明理工大學 信息工程與自動化學院，云南 昆明 650500)

?

基于混合高斯模型與聯合特征的行人檢測方法

鄭 銳， 邵宗凱

(昆明理工大學 信息工程與自動化學院，云南 昆明 650500)

針對視頻環境下行人檢測多數采用窗口滑動方法識別慢、不能快速找到行人窗口的缺點，提出了一種基于組合算法的行人目標識別方法，利用高斯混合模型方法提取視頻中的運動前景，劃定一個泛目標窗口，再使用HOG-l bp聯合特征訓練的分類器對泛目標窗口進行分類，得到分類結果，對行人目標進行標記。經實驗驗證:該方法相對于當前行人檢測方法，檢測速度和正確率都取得了很好的效果。

行人檢測； 混合高斯模型； HOG-l bp 前景

0 引 言

近年來,機器視覺中的物體檢測得到了極大的關注度，行人檢測由于其廣泛的應用成為機器視覺領域的一個研究熱點[1]。機器視覺在交通與工業輔助方面應用廣泛，如基于視覺傳感器的運動目標跟蹤[2]，基于視覺信息的儀表讀數[3]，軌道的變形檢測[4]等，而基于深度信息的Kinect等傳感器還可更進一步針對細節信息進行分析[5]。

運動的行人檢測按照使用傳感器類型來說可以分為兩類:一類是基于多傳感器信息[6];另一類是單攝像頭。當前流行的行人檢測方法是Dalal N等人提出的基于梯度方向直方圖特征結合支持向量機(SVM)訓練分類器進行行人檢測[7]。經過發展，檢測方法在聯合特征融合上尋找提高行人檢測正確率的方法。例如:Wang X等人[8]提出了一種基于梯度方向直方圖特征與圖像紋理特征相結合的檢測方法。為了減小特征維度高在檢測準確性與實時性方面造成的損失，黃茜等人[9]引進積分圖方法提高了計算梯度直方圖(HOG)特征的速度，節省了特征提取的時間；汪成亮[10]、Jiang J等人[11]通過主成分分析(PCA)方法對HOG描述子進行降維處理，提高待分類窗口的偵測速度。文獻[10]和文獻[12]使用改進的背景建模的方法構造實時更新的背景幀，利用當前幀與背景幀差分得出視頻序列中的運動前景目標，此方法兼具準確性與實時性的優點[13]。

本文以固定攝像機近距離道路監控為前提，提出了一種行人檢測方法，針對固定安裝的監控視頻，拍攝的場景為一般道路與室內場景，監控設備處在目標近距離處，人體目標在攝像畫面中占有一定的大小，人體較清晰。

1 運動目標區域提取

本文采用基于改進的混合高斯模型的背景建模方法[14]，建立背景模板并實時更新。

1.1 改進的高斯背景模型的一般形式

假設視頻圖像的序列每個像素點在時間上表示為

{X1，X2，X3…Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中I為視頻幀圖片；t為幀的具體編號；Xt為某一幀在(x,y)位置的像素值，一般混合高斯的表示即為針對每一像素值進行建模，所用的混合高斯模型[14]為

(2)

式中 k為混合高斯模型中高斯分布的個數；wi,t為各高斯分布t時刻的權值；ui,t為第i個高斯分布t時刻的高斯分布均值；∑i,t為t時刻第i個高斯分布的協方差；p(Xt)為高斯背景模型的概率函數。

針對混合高斯背景模型對所有的圖像像素點采用不加區別的相同分布數和相同的采樣周期計算像素的概率密度的問題，將模型分成短期模型和長期模型[15]，對于一般的非疑似行人區域的像素點使用短期模型建模，對于疑似的運動區域通過調整系數擴大后使用長期模型，以改進模型采樣時間長造成占用內存大，運算時間長的問題。

對于圖像上的包含前景的樣本，設置一系列的對應指示器b(1),b(2),b(3)，…，b(m),指示器b(m)為0時表示樣本被判定為前景；指示器b(m)值為1時，被判定為背景，并對其采用不同的建模方式[13]。

在模式被判定為1時高斯背景模型的更新公式為

μi←(1-βi)μi+βix

(3)

(4)

權重的更新公式為

wi,t←(1-α)wi,t-1+αb(m)

(5)

分別對短期模型和長期模型建立不同的方差模型，更新公式如下

(6)

(7)

選取的改進高斯混合模型背景建模方法對于組合方法的性能提升主要表現在以下2方面：

1)一般道路攝像機的拍攝特點，拍攝的角度固定，受光線影響較大，混合高斯模型背景更新相對幀差等方法提取的背景具有較好的魯棒性；

2)針對道路場景下行人移動速度較低的特點，使用改進高斯背景建模的長期和短期模式能夠更好適應背景更新的要求。

1.2 提取疑似目標區域

背景差法，即將當前圖像幀像素與通過混合高斯背景模型建立的背景幀像素差分，差分圖像即為待檢測區域，

P(x,y)=I(x,y)-B(x,y)

(8)

式中 P(x,y)為前景待處理圖像；I(x,y)為當前圖像；B(x,y)為高斯背景建模圖像。針對由于重建的背景圖像相對于真實背景存在差異造成差分圖像存在誤差的問題，采用圖像處理中的形態學處理方法，對差分圖像先進行腐蝕操作，去除圖像中的噪點信息，再進行膨脹處理，連通可能的運動區域，采用閾值化與二值化等處理方法得到干凈的二值化圖像，如圖1所示。

圖1 待檢測窗口的提取

2 運動人體的檢測

2.1 HOG特征[16]

采用的HOG特征方法使用dalal的方法[7]，將8像素×8像素組成一個單元，將2單元×2單元組成一個塊，將檢測窗口設置為128×64，HOG特征具體的計算過程[7]：

1)輸入大小為128×64的圖片，對圖片進行灰度化處理；采用伽馬校正方法對輸入的圖像進行顏色空間的標準化(歸一化)，降低圖片陰影和光照的影響，同時抑制噪音干擾；

2)計算每個像素的梯度在水平方向和垂直方向的梯度，得出該像素點的梯度幅值和方向特征，如下

(9)

(10)

3)將8像素×8像素點組成一個單元，將每個單元的梯度方向按照0°～180°劃分為9個通道，每個像素點根據方向權值為其所在的通道投票，每2單元×2單元組成一個塊，每個塊中的梯度直方圖相串聯即為塊的直方圖向量；

4)塊的梯度直方圖特征即為每個塊的特征的串聯。選取高128像素、寬64像素的窗口作為檢測窗口。

文中實驗采用HOG特征維度為3 780維。

2.2 局部二值化模式特征與HOG特征的訓練

局部二值化模式(LBP)特征通過設立采樣點與相鄰像素灰度相對比得出相鄰像素點取0或取1來表示像素點的局部的紋理特征，由于表示的紋理特征采用二進制格式，像素編碼方式不同，所得到的像素特征維數也不相同，本文采用LBP特征模式中的平均模式進行編碼[8]。窗口大小同樣采取128×64，以適應HOG特征的窗口。

由于HOG特征和LBP特征分別有3 780維和1 888維，為避免模型維數過多對運算速度和識別準確率造成不利影響，采用PCA對HOG和LBP的特征維數進行降維處理[17]。將降維后的HOG和LBP串聯輸入線性支持向量機學習模型中進行學習，得出學習后的模型，本文參考文獻[10]的經驗，將PCA降維后的HOG特征設置為100維，LBP特征設置為50維，經實驗驗證：采用此特征維數的特征在保證準確率合理的情況下可以取得最大的識別速度。

3 實驗與仿真

3.1 實驗平臺與樣本集

實驗平臺為一臺筆記本，CPU為Intel品牌i3處理器主頻為2.3 GHz的，操作系統為Win7，軟件系統為VS2010搭配OpenCV2.9版本。選用INRIA行人數據庫(圖2)作為訓練樣本，數據庫中包括正樣本(含行人的照片)2 146張和3 654張不含人體的負樣本圖片，正負樣本的大小均為寬高64×128。INRIA行人數據庫的所有正樣本圖片的人體都經過鏡像處理，故對于行人的形態具有良好旋轉不變性。

圖2 INRIA行人數據庫

測試數據為使用手機拍攝的4段像素為640×480的視頻，均為辦公樓內部場景，由于在室內場景下會出現走廊欄桿遮擋等不利因素，對于視頻分析不利，對于這部分幀圖像在統計時予以忽略。視頻為外部場景的情境下，由于拍攝的情景對于行人角度存在一定偏移，會對實驗的結果產生不利影響，經過統計，在所有的4段視頻圖片幀中一共11 841張圖片中出現符合要求的行人約為32 453。

3.2 實驗結果對比與分析

實驗中，綜合考慮到漏檢率與行人窗口可能的大小，檢測窗口滑動步長設置為16像素，實驗結果表明:文中使用的混合高斯背景差與聯合特征的行人檢測方法的識別正確率和基于未降維的HOG-LBP特征方法正確率相近，但是本文方法在檢測速度上提升較大，對比使用PCA-HOG特征訓練分類器的方法，在準確率方面有提升，在應對群行人遮擋方面有更好的效果。同時,與文獻[7]HOG的方法對比，本文使用的方法相對于該經典方法在準確率與運算速度方面均有較大的提升。

表1列出了各種方法在所選測試集上按照上文設定的統計規則得出的效果。

表1 4種不同方法的實驗數據對比

由于在檢測時加入了運動信息，減小了搜索窗口的搜索面積，給識別工作帶來了一定的實時性改進，此外，對于特征識別模型進行了降維處理，減小了單位像素面積的識別速度。因為PCA-HOG的檢測方法與本文的算法有一定的相似度，與其對比，由于在文獻[10]中采用了50維的模型，所以本文方法運算速度與其對比不具有優勢，但是相對其他沒有加入視頻運動信息的行人檢測方法，本文方法則具有明顯優勢。如表2所示。

表2 4種方法的運算速度對比 ms

4 結 論

根據靜止攝像頭下的近景行人監控的環境特點，提出了一種基于混合高斯模型背景差分與聯合特征相結合的行人檢測方法，將改進的混合高斯背景方法與多特征的機器學習相結合的方法運用在行人檢測中。通過與文獻[7]和文獻[8]的方法對比，得出本文方法在目標檢測的準確率與目標識別的實時性方面，具有一定的優勢。但是本文算法也存在該類算法通有的缺陷[18,19]，因為在背景差分法中是基于行人的移動來劃定目標待檢測窗口的，造成對靜止的行人漏檢的現象，要解決這一問題則可能采用的方法是在檢測方法的第二段對檢測出的目標實行跟蹤[20]，以在行人停留在視頻范圍內時繼續得出背景差分的目標區域。這將是下階段的研究問題。

[1] Zhang S,Benenson R,Omran M,et al.How far are we from solving pedestrian detection[C]∥CVPR, 2016:1259-1267.

[2] 鞠升輝,李楊民.基于運動分析的運動目標實時跟蹤系統[J].傳感器與微系統,2016,35(7):58-61.

[3] 郭永彩,劉麗君,高 潮.基于圖像傳感器的儀表自動讀數系統[J].傳感器與微系統,2012,31(11):115-121.

[4] 趙 炯,朱海濤,屈劍平,等.基于OpenCV的圓心定位在地鐵隧道變形檢測中的應用[J].傳感器與微系統,2013,32(11):139-145.

[5] 戰萌偉,張 昊.基于Kinect傳感器的人體行為分析算法[J].傳感器與微系統,2015,34(1):142-144.

[6] 周 林,雷麗平.基于多傳感器的人體行為識別系統[J].傳感器與微系統,2016,35(3):89-95.

[7] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Conference on Computer Vision & Pattern Recognition,2013:886-893.

[8] Wang X,Han T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C]∥IEEE Intermational Conference on Computer Vision,IEEE,2010:32-39.

[9] 黃 茜,顧杰峰,楊文亮.基于梯度向量直方圖的行人檢測[J].科學技術與工程,2009,9(13):3646-3651.

[10] 汪成亮,周 佳,黃 晟.基于高斯混合模型與PCA-HOG的快速運動人體檢測[J].計算機應用研究,2012,29(6):2156-2160.

[11] Jiang J,Xiong H.Fast pedestrian detection based on HOG-PCA and gentle adaBoost[C]∥International Conference on Computer Science & Service System,2012:1819-1822.

[12] Ojala T,Pietik?inen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(7):971-987.

[13] 趙子博.基于混合高斯改進算法的視頻背景建模研究[D].南京：南京郵電大學.2013:23-25.

[14] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]∥Proc of IEEE Conference on Computer Vision and Pattern Recognition,Washington DC:IEEE Computer Society,1999:246-252.

[15] Parzen E.On estimation of a probability density function and mode[J].Annals of Mathematical Statistics,1962,33(3):1065-1076.

[16] Ojala T,Pietikainen M.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-988.

[17] 于成龍.基于PCA 的特征選擇算法[J].計算機技術與發展,2011,21(4):123-125.

[18] Zhang X,Gao Y,Wang X,et al.A method for detecting pedes-trians in video surveillance scenes[C]∥International Conference on Systems and Informatics,IEEE,2012:2016-2019.

[19] 李 剛,邱尚斌,林 凌,等.基于背景差法和幀間差法的運動目標檢測方法[J].儀器儀表學報,2006,27( 8):961-964.

[20] 張驚雷,姜松濤.基于改進壓縮感知的運動目標跟蹤[J].傳感器與微系統,2016,35(6):120-123.

Pedestrian detection method based on Gaussian mixture model and combined feature

ZHENG Rui, SHAO Zong-kai

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Aiming at shortcomings of pedestrian detecting methodes mostly use window slipping, and the method can’t quickly find suspected pedestrian windows in video environment,propose a method to detect pedestrian based on combination algorithms.Firstly sports foreground in video is extracted by Gaussian mixture model(GMM)method,delimit a suspected pedestrian windows.Then,use classifier based on hog-lbp combined feature training to classify generic target window,and get classification,label pedestrian target result.Through verification of experiment,the method get a good result on detecting speed and accuary compared with current pedestrian detection method.

pedestrian detection; Gaussian mixture model(GMM); HOG-lbp foreground

10.13873/J.1000—9787(2017)07—0150—04

2016—08—22

TP 319.4

A

1000—9787(2017)07—0150—04

鄭 銳(1992-),男，碩士研究生，主要研究方向為機器視覺，機器學習研究。

邵宗凱(1973-),男，博士，副教授，主要從事智能交通系統的研究工作，E—mail：798181081@qq.com。