基于改進DPM模型的行人檢測方法研究

張亞須 ，龍 暉，云利軍，3*

（1.云南師范大學信息學院，昆明 650500；2.云南省委辦公廳信息技術中心，昆明 650021；3.云南省光電信息技術重點實驗室，昆明 650500）

在行人檢測中，由于行人的胖瘦、高矮不一，服飾顏色、樣式不一，拍攝角度不同，又有背景以及光照等影響，這些都增加了行人檢測的難度。行人檢測過程分為兩個步驟，外觀特征提取以及分類學習。其中，外觀特征主要有梯度方向直方圖（HOG）特征〔1〕，輪廓特征，局部特征sift、surf等，局部二值特征（LBP）等；分類學習主要使用AdaBoost分類器、支持向量機（SVM）分類器〔2〕，以及它們的各種變形組合。自從HOG特征應用于外觀特征提取以來，很多基于HOG特征的行人檢測算法被提出。例如：文獻〔3〕用SVM對提取的HOG特征分類訓練，利用訓練得到的分類器對行人檢測，HOG特征基于梯度方向信息并且塊與塊之間重疊50%，因此能減弱光照變化和小量偏移的影響，有效地刻畫行人的外觀特征。文獻〔4〕結合圖像文理特征和梯度方向直方圖特征來描述行人外觀，兼顧了行人形狀和文理特征。文獻〔5〕為了提高提取HOG特征的速度，引進積分圖方法，節省了特征提取的時間；文獻〔6〕通過主成分分析（PCA）方法對HOG特征降維，提高了待分類窗口的檢測速度。文獻〔7〕通過非負矩陣分解法對提取的HOG特征進行分解降維，提高了行人檢測速度。文獻〔8〕提出的基于可變形部件的檢測方法，對復雜環境中多樣變化的行人進行檢測，得到較高的識別率，但檢測速度慢。文獻〔9-12〕基于可變形部件方法進行改進，雖然提高了檢測速度，但是降低了識別率。

針對上述方法存在的問題，本文提出一種基于改進可變形部件（DPM）模型的行人檢測算法，通過改進HOG特征方向離散區間數量、歸一化特征降維方法，減少行人特征的維數，在檢測時使用Cascade方法代替傳統的動態規劃進行行人檢測，提高行人檢測的速度。

1 本文算法

DPM模型是基于模板方法改進的模型，其思路是將行人分成多個部件模塊，對行人以及各個部件模塊訓練分類得到部件模型，同時記錄部件模型的空間結構關系。該方法在很好地描述行人外觀的同時描述了各部件的空間關系。DPM方法使用圖像HOG特征訓練分類器模型，在訓練過程中，首先根據SVM訓練行人模型，再根據行人模型將行人各模塊的位置與模塊類別視為隱含變量，通過Latent SVM訓練得到各個模塊模型。檢測時使用模型計算行人和各個模塊的得分，行人和各個模塊總得分如果大于閾值則判定其為行人。

1.1 HOG特征提取

1.1.1 圖像方向特征 文獻〔1〕提出HOG特征描述子，它通過計算和統計圖像局部區域的梯度方向直方圖得到圖像特征，在圖像處理、檢測中得到廣泛應用。

1）計算每個像素水平方向和垂直方向上的梯度值，最終得到該點的梯度值與幅度值；一般利用模版[- 1,0,1]和[- 1,0,1]T對圖像進行卷積運算，分別計算出圖像在水平和垂直方向的梯度分量。

分別表示圖像像素點(x,y)處的水平梯度、垂直梯度以及像素點。像素點(x,y)處的梯度幅值計算如下：

梯度方向計算如下：

如果輸入的是彩色圖像，分別計算圖像3個通道中像素的梯度方向α(x,y)，以及梯度幅值G(x,y)；則(x,y)處像素點的梯度值就是梯度幅值最大值對應通道的梯度方向。

2）將每個cell單元中像素梯度方向根據公式（4）、公式（5）分別離散到2p、p個值上，B1是把梯度方向劃分到[0,2π]上，得到對比度比較敏感的HOG特征；B2是把梯度方向劃分到[0,π] ，因為α(x,y)和α(x,y)+π在同一個bin區間，得到了對比度不敏感的HOG特征。

1.1.2 HOG特征歸一化處理 歸一化能夠降低光照對局部特征的影響，使HOG特征具有更好的魯棒性。如果直接對每一點進行歸一化，計算量大。把梯度特征分成小單元cell，每張圖片的大小為W×H，cell大小為k×k，則圖像特征映射到W/k×H/k個cell單元中。每個cell的特征直方圖記為C(i,j)。

求歸一化因子，如圖1，與A相鄰的cell單元分為4組；即A與對角的B、C、D、E構成4組，然后求歸一化因子。計算公式如下：

其中，根據對C(i,j)歸一化，計算公式如下：

為了防止向量中有些值過大，對向量進行切斷，使向量中的值不大于λ。則cell特征歸一化后得到特征H如下：

本文選擇p=9，k=8。因為每個cell對周圍4個cell有影響，若根據公式（5）計算，每個cell的HOG特征為36維；若根據公式（4）計算，每個cell的HOG特征為72維。原始的DPM方法把公式（4）和（5）結合起來，歸一化得到108維特征，本文根據公式（5），把cell單元的梯度方向劃分到9個區間內，歸一化后得到36維特征。

1.2 特征解析降維 研究發現，主成分分析得到主要成分，它們對特征的貢獻大，對特征區分能力較強，原始DPM中用主成分分析對HOG特征降維，特征縮減到32維。文獻〔13〕中提出解析降維的方法，本文根據公式（8）把cell單元的特征歸一化得到36維，圖1給出降維流程，36維向量按照矩陣排列，然后各行各列相加得到13維特征；簡單加法代替乘法，計算速度快。

圖1 解析降維流程

1.3 圖像特征金字塔 在圖像分析處理時，是把圖像信息轉變成矩陣，根據矩陣中的數值來了解分析圖像；不能預先得知圖片中行人的尺度，而且不同圖像中行人大小不同，即使同一張圖像中的行人因與攝像頭距離不同顯示的大小也不同。為了檢測圖像中不同大小的行人，DPM采用圖像特征金字塔，使檢測模型可以對不同分辨率下的圖像進行檢測。

特征金字塔是通過有限的尺度來映射構成，首先對圖像進行平滑和下采樣構成圖像金字塔，然后提取每一層的特征構成特征圖，所有特征圖構成圖像特征金字塔。特征金字塔從下到上分辨率逐漸降低，一般為30～60層。

1.4 DPM模型結構 行人不是一個固定的物體，隨著人的行為表觀、姿勢等不斷發生改變，這些改變影響檢測的準確性；DPM把行人分為多個部件，如頭、肩、腿等多個部件模塊。分別訓練行人根模型、各個模塊模型和模塊變形花費模型。根模型用來捕獲行人邊界這些粗糙信息，是在行人整體尺度上進行檢測，模塊模型可以捕獲各個部件的細節信息，在行人部件的尺度上進行檢測。一般提取模塊特征圖層的分辨率是行人圖層分辨率的兩倍，圖2是根據文獻〔8〕把行人分為8個模塊進行訓練得到的可視化模型?？梢钥闯?，部件模型比根模型清晰，變形花費模型是部件模塊相對行人位置發生變形時的消耗代價。

圖2 可視化模型

1.5 訓練模型參數 模型初始化和訓練如下。

Latent SVM是基于線性SVM的改變，SVM的表達式為f(x)=ω·x，以0作為分類點?，F有如下分類器：

β為分類器參數，x為樣本向量，?(x,z)是樣本的描述，z為隱變量，Z(x)是樣本x對應隱變量z的取值空間。使用訓練樣本對應正負樣本標號，∈{-1,+1}訓練得到最優參數β。

1.6 行人檢測 行人檢測是整個算法中關鍵的一步，因為DPM行人檢測方法在檢測時需要對行人、部件模塊在圖像金字塔上進行檢測，采集到大量的窗口；傳統的動態規劃法檢測速度慢，本文采用Cascade方法代替傳統的動態規劃方法進行行人檢測。Cascade方法是指使用一系列弱分類器快速篩選出少數可能含行人的樣本，達到快速檢測的目的。基于滑動窗口的方法，從圖像金字塔中采集到大量樣本，使用簡單分類器進行分類，一般把簡單分類器的閾值設置得比較寬松，使它不會漏檢行人。只有前一級分類器分類為行人，才能進入下一級分類器進行分類。在級聯分類器中，分類器的應用是從簡單分類器到復雜分類器，這樣既提高檢測速度，又保證檢測準確率。

每一個模型也是一個濾波器，使用模型濾波器對目標區域進行濾波處理，根據得分進行分類。在本文中，把訓練好的根模型、部件模型作為弱分類器。首先對模型濾波器進行排序，作為弱分類進行逐級檢測，每一級的分類器都有相應個數的模型構成，下一級包含上一級分類器中的模型。每一級中計算模型濾波器累計得分，并與閾值比較排除假設。

如圖3，首先將根模型作為第一級弱分類器對金字塔圖層中的行人窗口假設進行分類篩選，篩選通過的行人假設進行第二級分類篩選。在第二級篩選時，增加一個模塊模型，對通過篩選的行人窗口假設的二倍分辨率圖層中對應的模塊進行分類，把模塊得分與上一級得分累加與閾值比較，篩選通過則進入下一級，繼續增加模塊模型。就這樣經過第N+1級分類仍判斷為真者，就是真正的行人窗口。雖然每增加一級分類器模型就增加一個，但分類時每一級只使用了此級新增加的模型進行計算，因為前幾級已經分別使用增加的模塊模型濾波器對對應的模塊進行了濾波計算。因此，Cascade方法能提高檢測速度。

圖3 Cascade分類器流程

1.7 非極大值抑制 在行人檢測時，由于真實的行人附近區域也能得到較大的得分，被判定為行人，就出現了一個行人被多次檢測到；這時需要對檢測窗口進行處理，首先根據行人框得分進行從高到低排序，按照排序優先選擇靠前的行人框，剩余部分與已經選擇的行人框進行比較，當重復部分大于50%時則丟棄。本文使用非極大值抑制法進行行人框的篩選，如圖3，圖4（a）中原始行人框大量重疊；圖4（b）是非極大值抑制后得到的檢測效果圖。

圖4 原始檢測結果與非極大值抑制處理結果比較

2 仿真實驗與結果分析

INRIA是法國國家信息與自動化研究所收集整理的行人數據庫，該數據庫包括各種場景、光照、行人姿勢圖片，原始圖片分為訓練樣本和測試樣本兩種類型，其中訓練樣本含行人樣本614張、負樣本1 220張，測試樣本中含行人圖片288張、負樣本453張。

（1）訓練樣本選擇：正樣本圖片是根據標注信息從614張含行人的正樣本圖片中截取，負樣本從負樣本原圖中隨機截取。

（2）測試樣本選擇：本人收集300張含1 480個行人的圖片，并標注圖片中的行人信息。

為了測試本文方法的性能，實驗選用經典方法HOG+SVM以及原始DPM方法作為對比試驗。具體仿真結果見圖5。

圖5 實驗結果對比圖

表1給出3種方法的測試結果，其中檢測時間為利用相應方法針對一幅640×480像素的圖片進行行人檢測時長。通過檢測結果對比分析可知，本文方法與HOG+SVM方法比較，識別率得到明顯的提高；與原始DPM方法比較，在不降低檢測正確率的同時，提高了檢測速度。

表1 綜合性能比較

綜上，本文通過對DPM模型進行改進，將圖像單元梯度方向離散到9個區間，使用計算簡單的解析降維法對歸一化的特征進行降維，采用Cascade方法代替傳統的動態規劃法對行人進行檢測，在不降低檢測正確率的同時，一定程度上提高了檢測速度。

〔1〕DALAL N，TRIGGS B.Histograms of oriented gradients for human detection〔C〕∕∕IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2005，1（12）：886-893.

〔2〕VAPNIK V.The Nature of Statistical Learning Theory〔M〕.Berlin：Springer-Verlag，1999：137-212.

〔3〕ZHOU Z，XU L.Pedestrian detection based on HOG and weak-lable structural SVM〔J〕.Journal of Computational Information Systems，2014，10（1）：367-374.

〔4〕WANG X，HAN T X，YAN S.An HOG-LBP human detectorwith partial occlusion handling〔C〕∕∕IEEE International Conference on Computer Vision.2010，30（2）：32-39.

〔5〕黃茜，顧杰峰，楊文亮.基于梯度向量直方圖的行人檢測〔J〕.科學技術與工程，2009，9（13）：3646-3651.

〔6〕汪成亮，周佳，黃晟.基于高斯混合模型與PCA-HOG的快速運動人體檢測〔J〕.計算機應用研究，2012，29（6）：2156-2160.

〔7〕孫銳，陳軍，高雋.基于顯著性檢測與HOG-NMF特征的快速行人檢測方法〔J〕.電子與信息學報，2013，35（8）：1921-1926.

〔8〕FELZENSZWALB P，MCALLESTER D，RAMANAN D.A Discriminatively Trained，Multiscale，Deformable Part Model〔J〕.International Journal of Computer Vision，2008，9（1）：56-63.

〔9〕曾接賢，程瀟.結合單雙行人DPM模型的交通場景行人檢測〔J〕.電子學報，2016，44（11）：2668-2675.

〔10〕熊聰，王文武.基于DPM模型的行人檢測技術的研究〔J〕.電子設計工程，2014，22（23）：172-174.

〔11〕甘鵬坤，陶凌，龍偉.基于可變形部件模型及稀疏特征的行人檢測〔J〕.深圳大學學報（理工版），2015，32（6）：563-570.

〔12〕高華，鄔春學，魯俊.基于動態加權可變形部件模型的行人檢測〔J〕.電子科技，2016，29（9）：1-3.

〔13〕GIRSHICK R B.From rigid templates to grammars Object detection with structured models〔D〕.Chicago ：The Uni?versity of Chicago，2012.