基于PHOG特征的行人檢測(cè)算法研究

，， ，，，

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

0 引言

行人檢測(cè)技術(shù)是智能視頻監(jiān)控領(lǐng)域一種重要的技術(shù)，它是行人跟蹤、行為分析等一系列技術(shù)實(shí)現(xiàn)的前提。行人檢測(cè)技術(shù)可以廣泛用于自動(dòng)駕駛[1]、機(jī)器人視覺(jué)[2]、智能監(jiān)控[3]等應(yīng)用中。行人檢測(cè)算法自研究以來(lái)，一直是研究熱點(diǎn)，吸引了無(wú)數(shù)的愛(ài)好者研究。其檢測(cè)的主要內(nèi)容是使用計(jì)算機(jī)識(shí)別出對(duì)視頻中或者靜態(tài)圖像中行人，并輸出相應(yīng)的位置信息。行人檢測(cè)算法的主要內(nèi)容是在檢測(cè)過(guò)程中，提取出行人的顯著特征，用于分類器判別，從而輸出行人的判別結(jié)果。

近年，涌現(xiàn)了很多行人檢測(cè)算法，其中基于機(jī)器學(xué)習(xí)的算法表現(xiàn)較好。這類算法主要涉及到分類器和特征描述子的選擇。2005年，Dalal[4]等人提出HOG(Histogram of oriented gradients)特征，該特征因?yàn)楹芎玫姆€(wěn)定性和描述能力而被廣泛的研究與應(yīng)用。HOG算法的特征描述子是對(duì)行人輪廓梯度分布的一種描述，該特征描述對(duì)局部形變和光照保持較好的魯棒性。在HOG算法的基礎(chǔ)上，提出了很多改進(jìn)算法[5-7]，典型的有DPM[8]算法。DPM算法是Felzenszwalb等人提出的，該算法將行人分解成好幾部分再基于不同分辨率進(jìn)行檢測(cè)，并增加了HOG特征缺少的顏色信息，一定程度上提高了行人檢測(cè)準(zhǔn)確率。還有一些行人檢測(cè)的改進(jìn)算法，例如基于積分通道[9]等算法，有效加快了行人檢測(cè)的速度。其它使用較多的行人檢測(cè)算法有HOG+LBP[10]，Haar特征[11]，還有基于深度學(xué)習(xí)的算法[13-14]。這些算法都存在檢測(cè)速度較慢或者漏檢率較高等問(wèn)題。

由于行人的非剛性及環(huán)境復(fù)雜等原因，使得行人檢測(cè)存在漏檢、實(shí)時(shí)性差等問(wèn)題。針對(duì)HOG特征檢測(cè)中速度過(guò)慢，漏檢率較高的問(wèn)題，提出一種基于PHOG特征的行人檢測(cè)算法。該算法解決了以下問(wèn)題：1)降低了漏檢率。通過(guò)提出PHOG特征，加強(qiáng)了對(duì)局部特征的描述能力，增大了目標(biāo)和背景的差異；2)減少了檢測(cè)時(shí)間。通過(guò)構(gòu)建特征圖的金字塔，從而避免了對(duì)多層提取特征，減少了計(jì)算量。并且進(jìn)行了PCA降維，降低了特征復(fù)雜度。

1 HOG特征原理

HOG特征的提取方法是：先灰度化、歸一化圖像，計(jì)算圖像的方向梯度特征，再將圖像劃分成多個(gè)cell和block。最后串聯(lián)窗口里所有的block的特征向量，就得到了該窗口的HOG特征描述子。用訓(xùn)練好的行人分類器對(duì)該描述子進(jìn)行判別，再輸出判別結(jié)果。特征提取過(guò)程中，對(duì)cell里的像素梯度進(jìn)行三線性插值，每個(gè)cell提取出一個(gè)9維的直方圖。用該9維直方圖代表這個(gè)cell的梯度特征，再串聯(lián)每個(gè)block里cell的直方圖特征，得到一個(gè)高維的HOG特征描述子，該描述子就是窗口的HOG特征。基于HOG特征的行人檢測(cè)試驗(yàn)結(jié)果如圖1所示。

圖1 基于HOG特征的行人檢測(cè)

由圖1可知，基于HOG特征的行人檢測(cè)存在漏檢和誤檢的情況。誤檢如圖中細(xì)方框，漏檢如圖中未標(biāo)記出的行人。分析產(chǎn)生誤檢的根本原因，發(fā)現(xiàn)是該HOG特征對(duì)行人的描述子總體上偏向于直立目標(biāo)的特征，而忽略了行人特有的一些肢體分布特征。產(chǎn)生漏檢的原因是，在提取HOG特征時(shí)，該特征對(duì)行人目標(biāo)的描述子較弱，目標(biāo)特征與背景的差異不大，故產(chǎn)生漏檢。針對(duì)這些問(wèn)題問(wèn)題，本文提出PHOG特征。

2 本文算法

2.1 PHOG特征的提取

PHOG特征的主要思想是調(diào)整方向梯度直方圖的對(duì)比度，即增強(qiáng)對(duì)行人梯度分布的描述能力，使背景和行人目標(biāo)的梯度差異更大，從而減少誤檢和漏檢的產(chǎn)生。PHOG特征主要的具體提取過(guò)程如下：

1)先計(jì)算圖像里每個(gè)像素的梯度信息，包括方向和大小。

2)將圖像劃分成多個(gè)cell區(qū)域。并用含有9個(gè)方向的梯度直方圖來(lái)統(tǒng)計(jì)每個(gè)cell里像素的梯度幅值，生成每個(gè)cell的特征描述子(descriptor)。

3)對(duì)每個(gè)cell的方向梯度直方圖進(jìn)行調(diào)整，得到PHOG特征。根據(jù)公式(1)和(2)進(jìn)行調(diào)整，使該cell的梯度直方圖整體對(duì)比度增大，如圖2所示。

圖2 直方圖對(duì)比度增強(qiáng)示意圖

4)將多個(gè)cell組合成一個(gè)block區(qū)域，將block區(qū)域內(nèi)cell的descriptor串聯(lián)起來(lái)，生成block區(qū)域的descriptor。

5)最后將窗口中所有block區(qū)域的descriptor串聯(lián)起來(lái)，得到整個(gè)滑動(dòng)窗口的特征描述子。該特征描述子可用來(lái)訓(xùn)練分類器。

步驟3)中，為了增強(qiáng)特征的局部表現(xiàn)力，對(duì)每個(gè)cell的方向直方圖進(jìn)行調(diào)整，增大每個(gè)cell直方圖的方差(即梯度值大的更大，梯度值小的更小)。根據(jù)判別函數(shù)來(lái)調(diào)整cell的直方圖特征，具體的判別函數(shù)如式(1)、(2)所示：

(1)

(2)

gs(x,y)是該cell內(nèi)的(x,y)位置的梯度幅值，該cell屬于s這個(gè)block。b是cell內(nèi)的像素?cái)?shù)目。a1和a2分別是調(diào)整系數(shù)，要求a1≥a2，且a1>1.0，a2>0。當(dāng)a1>a2時(shí)，就會(huì)將梯度值大于均值的梯度以a1比例增大，梯度值小于均值的像素梯度會(huì)以a2的比例減小；經(jīng)過(guò)上述對(duì)梯度幅值的調(diào)整，可以增大每個(gè)cell直方圖的方差，使cell內(nèi)的差異更突出。本文實(shí)驗(yàn)中a1=1.5，a2=0.8。特征增強(qiáng)過(guò)程如圖2所示。

由圖2可以看出，該直方圖縱坐標(biāo)值小于均值的bin均被壓縮，大于均值的均被放大。所以整個(gè)直方圖的對(duì)比度被顯著增強(qiáng)，方差也被增大，對(duì)該cell內(nèi)部特征的描述力更強(qiáng)。根據(jù)式子(1)和(2)進(jìn)行了cell特征的調(diào)整，block大小為2×2cell。選取其中一塊block特征，進(jìn)行特征調(diào)整，調(diào)整前后的block特征進(jìn)行統(tǒng)計(jì)對(duì)比，如圖3所示。對(duì)調(diào)整前后的特征進(jìn)行數(shù)值分析，如圖4所示。

圖3 調(diào)整前后的block特征值

圖4 block特征

觀察圖4可知，在0～38 bin的范圍內(nèi)，block-PHOG特征比block-HOG特征局部對(duì)比度更大，但整體趨勢(shì)保持一致。block內(nèi)特征的方差由0.063 414 083增大到0.098 959 88，提高了大約3.5%。對(duì)該block所在的窗口提取PHOG特征，將其可視化展現(xiàn)，并與HOG特征進(jìn)行對(duì)比，如圖5所示。

圖5 傳統(tǒng)HOG特征與PHOG特征對(duì)比圖

觀察圖5可知，不僅是行人目標(biāo)的梯度分布特征被增強(qiáng)，背景的特征也被增強(qiáng)，從而目標(biāo)與背景的整體差異被增大。

上述基于PHOG特征檢測(cè)的詳細(xì)步驟如下：

1)預(yù)處理部分。對(duì)圖像進(jìn)行灰度化，再利用gamma變換降低噪聲和光照的干擾。gamma壓縮如公式(3)所示。實(shí)驗(yàn)中g(shù)amma=1/3。

I(x,y)=I(x,y)gamma

(3)

2)根據(jù)公式(4)和(5)計(jì)算像素的梯度。

g(x,y)x=I(x+1,y)-I(x-1,y)

(4)

g(x,y)y=I(x,y+1)-I(x,y+1)

(5)

其中:I(x,y)是像素灰度值，g(x,y)x和g(x,y)y分別是該像素點(diǎn)處的x方向和y方向的梯度。該像素點(diǎn)處的梯度幅值和方向分別由式(6)和(7)計(jì)算。?(x,y)是該點(diǎn)的梯度方向。本文實(shí)驗(yàn)水平、垂直梯度算子取[-1，0，1]、[-1，0，1]T。

(6)

(7)

3)構(gòu)建cell梯度方向直方圖。

將cell內(nèi)像素的梯度插值，再投影到9維的直方圖，用來(lái)描述cell內(nèi)的梯度分布特征。其中每個(gè)cell內(nèi)的梯度方向規(guī)定分為9個(gè)(0～180度)，每個(gè)bin對(duì)應(yīng)著該方向的梯度幅值加權(quán)和。考慮到部分像素的梯度方向處于兩個(gè)bin的臨界區(qū)域附近，則必須計(jì)算對(duì)相鄰區(qū)域的影響。所以對(duì)該像素梯度方向的相鄰區(qū)域進(jìn)行投影，最后再疊加該像素在相鄰區(qū)域的投影值，獲得綜合的梯度幅值。將該幅值作為直方圖的縱坐標(biāo)。

4)歸一化block值。

由于光照不均勻或者噪聲的影響，導(dǎo)致某些block區(qū)域與周圍的區(qū)域差異很大，生成的HOG特征變化較為劇烈。這種HOG特征訓(xùn)練得到的分類器的泛化能力會(huì)大大降低。所以為了增加該特征的魯棒性，對(duì)block區(qū)域內(nèi)的像素梯度進(jìn)行歸一化處理，減弱局部劇烈特征對(duì)總體特征的不良影響。本文采用的是L2-Norm進(jìn)行歸一化，如式(8)。ε是一個(gè)很小的常數(shù)值，本文實(shí)驗(yàn)ε=0.23。

(8)

根據(jù)上述檢測(cè)步驟，PHOG特征提取過(guò)程如圖6所示。

圖6 PHOG特征提取示意圖

本文實(shí)驗(yàn)使用的固定滑動(dòng)窗口，大小為64×128，cell大小為16×16，block大小為2×2的cell，掃描步長(zhǎng)設(shè)置為8個(gè)像素，所以該窗口的HOG特征向量的大小為9×4×7×15=3 780。由于該特征維數(shù)較高，本文在后面章節(jié)會(huì)進(jìn)行PCA降維。

3 基于PHOG特征的行人檢測(cè)

基于PHOG特征的行人檢測(cè)流程如圖7所示。

圖7 基于PHOG特征的行人檢測(cè)

對(duì)檢測(cè)圖像先進(jìn)行預(yù)處理后提取原圖像PHOG特征，得到該圖像的特征圖如圖8所示。觀察圖8可看出，PHOG特征圖相比于傳統(tǒng)的HOG特征，對(duì)行人目標(biāo)梯度分布的刻畫(huà)更強(qiáng)。在該實(shí)驗(yàn)原圖的特征圖中，傳統(tǒng)的HOG特征圖對(duì)行人的描述幾乎融于背景，觀察不出行人的位置，而PHOG特征可以大致描述出目標(biāo)的位置及周邊環(huán)境的特征。

圖8 PHOG和HOG特征對(duì)比

3.1 PHOG特征金字塔

在提完P(guān)HOG特征后，為了加快檢測(cè)速度(在不降低檢測(cè)精度的前提下)，本文提出對(duì)PHOG特征圖構(gòu)建8層特征金字塔，替代傳統(tǒng)的構(gòu)建原始圖片的金字塔。特征金字塔構(gòu)建的具體步驟是：

先獲取第i=0層(最底層)特征圖，該特征圖即是原圖的PHOG特征圖。獲取第i=i+1層的特征圖。對(duì)第i層特征圖進(jìn)行抽樣，抽樣長(zhǎng)度根據(jù)2：1。即對(duì)第i層特征圖的一個(gè)block內(nèi)的36維PHOG特征抽樣，得到第i+1層一個(gè)cell內(nèi)的9維的PHOG特征。抽樣計(jì)算的公式如式(9)。

重復(fù)步驟2，直到i=8，獲取完整的特征金字塔。

k=1,2,...,36

(9)

式(9)的原理是計(jì)算36維特征數(shù)據(jù)中，縱坐標(biāo)值最大的前5個(gè)bin值和縱坐標(biāo)值最小的倒數(shù)4個(gè)bin值。分別記錄這些bin的橫、縱坐標(biāo)值，組合得到新一層的9維cell特征。dmaxi,k是第i層的特征圖內(nèi)block的特征值排序(降序)函數(shù)，k是該函數(shù)的第k個(gè)值。di+1,j是第i+1層的第j個(gè)cell的特征值。根據(jù)上述步驟構(gòu)建的PHOG特征金字塔如圖9所示。

圖9 PHOG特征金字塔示意圖

構(gòu)建的PHOG特征金字塔如圖9所示。由于是對(duì)特征圖進(jìn)行向下采樣獲得的特征金字塔，該計(jì)算過(guò)程中只用到了簡(jiǎn)單的抽樣等計(jì)算，相比于傳統(tǒng)的HOG圖像金字塔每層都要重新計(jì)算HOG特征，少了大量的計(jì)算量。該特征金字塔構(gòu)建完成后，每層的滑動(dòng)窗口都得到一個(gè)PHOG特征。整體的檢測(cè)時(shí)間都減少了很多。

3.2 PHOG-PCA特征

如上節(jié)所述，每個(gè)窗口的都得到一個(gè)PHOG特征。但該特征維數(shù)高達(dá)3 780維，為了加快檢測(cè)速度，本文對(duì)PHOG特征進(jìn)行有效地PCA[15](Princpel Component Anlysis)降維，得到PHOG-PCA特征。降維實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如表1所示。

由表1可知，本文基于PHOG特征的PCA降維實(shí)驗(yàn)中，當(dāng)主成分維數(shù)N=180時(shí)，有保持較高的識(shí)別率。當(dāng)特征維數(shù)N在180附近時(shí)，檢測(cè)的識(shí)別率都有所下降。所以本文降維后的PHOG特征取前180個(gè)主成分，將該180維的PHOG特征記為PHOG-PCA特征。其中，該降維實(shí)驗(yàn)中用到的行人分類器SVM是基于INRIA數(shù)據(jù)集訓(xùn)練得到的。在檢測(cè)到行人目標(biāo)后，再進(jìn)行窗口融合，就獲得了精確的行人目標(biāo)位置。

表1 PHOG特征降維實(shí)驗(yàn)

4 實(shí)驗(yàn)設(shè)計(jì)及分析

4.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)采用INRIA數(shù)據(jù)集，該數(shù)據(jù)集背景種類較多，行人目標(biāo)行為變化多樣，對(duì)于本文算法的測(cè)試具有很好的挑戰(zhàn)性。INRIA數(shù)據(jù)集含有訓(xùn)練的正、負(fù)樣本和測(cè)試樣本。訓(xùn)練的正、負(fù)樣本分別有2416和1218。測(cè)試集有正樣本568，負(fù)樣本462個(gè)。本文算法實(shí)驗(yàn)的硬件的運(yùn)行環(huán)境設(shè)置為Intel(R) Core(TM) i3-2410M CPU,4 G內(nèi)存的筆記本。實(shí)驗(yàn)采用PHOG-PCA+SVM的檢測(cè)結(jié)構(gòu)進(jìn)行檢測(cè)。

4.2 SVM訓(xùn)練

本文行人檢測(cè)基于的是線性SVM(Surport Vector Machine)分類器。為提升分類器的泛化能力，本文對(duì)負(fù)樣本進(jìn)行擴(kuò)充。通過(guò)對(duì)INRIA負(fù)樣本圖片進(jìn)行隨機(jī)窗口采樣，獲取到11120張訓(xùn)練負(fù)樣本。將該訓(xùn)練樣本的PHOG-PCA特征集，用于進(jìn)行SVM交叉訓(xùn)練。本文將訓(xùn)練負(fù)樣本分成4組，不斷獲取新的難例，來(lái)提升SVM分類器的泛化性能。本文實(shí)驗(yàn)基于該SVM分類器進(jìn)行行人檢測(cè)實(shí)驗(yàn)。

4.3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)參數(shù)：滑動(dòng)窗口固定大小為64×128，cell大小為16×16像素，block由2×2個(gè)cell組成，提取的PHOG特征為3780維。再結(jié)合Objectness特征，得到O-PHOG特征，再經(jīng)過(guò)PCA降維，得到196維的PHOG-PCA特征向量。

為驗(yàn)證本文PHOG特征對(duì)窗口內(nèi)行人的描述能力，將PHOG特征、PHOG-PCA特征和其他幾種常用行人特征進(jìn)行檢測(cè)試驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)如表2所示。

表2 各種特征的行人識(shí)別率試驗(yàn)結(jié)果 %

由表2可知，本文基于多種特征分別進(jìn)行了5次實(shí)驗(yàn)，并進(jìn)行了均值統(tǒng)計(jì)。相比于傳統(tǒng)的HOG特征，LBP特征和Haar特征訓(xùn)練得到的分類器識(shí)別率較低，識(shí)別率均值分別為63.44%，61.14%。HOG特征的識(shí)別率最高為78.1%，均值為76.76%。LBP-HOG的聯(lián)合特征是的檢測(cè)率較傳統(tǒng)HOG有一定程度的提高。本文提出的PHOG特征識(shí)別率高于傳統(tǒng)的HOG特征，5次實(shí)驗(yàn)中識(shí)別率最高的為86.8%，均值也為86.69%。PHOG-PCA特征和PHOG數(shù)值相差不大。

為反映本文特征與漏檢率的關(guān)系，將實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如圖10，該圖反映了行人檢測(cè)漏檢率(Miss rate)和每個(gè)窗口的誤檢率(False positve per window)之間的關(guān)系。由該圖可看出當(dāng)誤檢率一定時(shí)，本文PHOG特征、PHOG-PCA特征對(duì)窗口內(nèi)目標(biāo)的描述力最強(qiáng)，所以漏檢率比其余特征都低。

圖10 各特征檢測(cè)的漏檢率

為驗(yàn)證本文提出的特征在整幅圖片中的漏檢率，進(jìn)行了實(shí)驗(yàn)與數(shù)據(jù)統(tǒng)計(jì)，如圖11。觀察圖11，PHOG特征和PHOG-PCA特征的漏檢率整體偏低。相比于傳統(tǒng)HOG檢測(cè)，在FPPI為10-2時(shí)，本文算法將漏檢率從35%降到了22%。分析原因是PHOG特征不僅增強(qiáng)了對(duì)行人目標(biāo)的描述，而且也突出了背景的特征，進(jìn)而增大了兩者間的差異，使分類器更易識(shí)別目標(biāo)。實(shí)驗(yàn)檢測(cè)結(jié)果如圖12所示。

圖11 各特征實(shí)驗(yàn)對(duì)比

本文提出的基于PHOG-PCA特征的行人檢測(cè)實(shí)驗(yàn)結(jié)果，如圖12所示。由該圖可以看出，該算法能準(zhǔn)確地檢測(cè)出圖片中的行人，幾乎沒(méi)有漏檢。

圖12 基于PHOG-PCA特征的檢測(cè)實(shí)驗(yàn)結(jié)果圖

為直觀顯示本文算法檢測(cè)速度，將INRIA測(cè)試集尺寸縮減為192×256，在該測(cè)試集上進(jìn)行檢測(cè)，平均檢測(cè)時(shí)間統(tǒng)計(jì)見(jiàn)表3。由表3可看出，本文提出的算法檢測(cè)速度較快，與其余算法時(shí)間相差較多，存在很大優(yōu)勢(shì)。

表3 各算法檢測(cè)時(shí)間比較

5 結(jié)論

本文提出了一種基于PHOG特征的行人檢測(cè)算法，針對(duì)傳統(tǒng)HOG特征的行人檢測(cè)中存在較高漏檢和檢測(cè)速度慢的問(wèn)題，提出了解決方法。首先提出了PHOG特征，該特征加強(qiáng)了對(duì)目標(biāo)和背景的描述，有效降低了漏檢率。再通過(guò)構(gòu)建特征金字塔及PCA降維，減少了計(jì)算量，進(jìn)而加快了行人檢測(cè)的速度。從實(shí)驗(yàn)結(jié)果可以看出，本文算法在行人檢測(cè)中有較大優(yōu)勢(shì)。本文下一步的研究計(jì)劃是研究行人檢測(cè)中存在的遮擋問(wèn)題，進(jìn)一步提高行人檢測(cè)的準(zhǔn)確率。