基于特征融合和度量學(xué)習(xí)的行人行為識(shí)別仿真

羅鴻斌

(甘肅政法大學(xué)公安技術(shù)學(xué)院，甘肅 蘭州 730070)

1 引言

行人行為識(shí)別[1]是分析行人運(yùn)動(dòng)的主要手段，在視頻監(jiān)控、人機(jī)交互等領(lǐng)域具有廣泛的應(yīng)用價(jià)值，已成為計(jì)算機(jī)視覺(jué)[2]領(lǐng)域中的重要研究課題。視覺(jué)識(shí)別技術(shù)的快速發(fā)展，導(dǎo)致行人行為方式變的復(fù)雜化，于是出現(xiàn)觀察者識(shí)別錯(cuò)誤的情況。行人行為識(shí)別，是針對(duì)行人行為模式進(jìn)行對(duì)應(yīng)的識(shí)別與分析，該方法將從跨越攝像機(jī)、時(shí)間段的行人圖像數(shù)據(jù)集中，尋找出與檢索結(jié)果相互匹配的目標(biāo)個(gè)體。但由于光照、攝像機(jī)位置角度不同，同一個(gè)人在不同的圖像中會(huì)有較大的姿態(tài)差異變化，給行人識(shí)別技術(shù)帶來(lái)嚴(yán)重的影響和挑戰(zhàn)。

文獻(xiàn)[3]提出基于特征提取的人體動(dòng)作行為識(shí)別研究方法，將行人運(yùn)動(dòng)行為識(shí)別問(wèn)題歸納成計(jì)算機(jī)經(jīng)過(guò)檢測(cè)運(yùn)動(dòng)數(shù)據(jù)而獲取到的行為信息，基于特征提取，實(shí)現(xiàn)特征分類的目的。該方法針對(duì)圖像進(jìn)行檢索與提取并完成分類，最終完成對(duì)特征識(shí)別的效果，但在一定程度上具有效率低、識(shí)別誤差大等問(wèn)題。文獻(xiàn)[4]提出基于改進(jìn)極限學(xué)習(xí)機(jī)算法的行為識(shí)別方法，引入行為識(shí)別學(xué)習(xí)算法。該算法將通過(guò)對(duì)Cholesky分解求出ELM來(lái)得到新的分類方法，從而減少計(jì)算的復(fù)雜性與耗時(shí)長(zhǎng)的問(wèn)題。但該方法僅限于學(xué)習(xí)機(jī)ELM對(duì)行人行為識(shí)別檢測(cè)，應(yīng)用范圍有限。文獻(xiàn)[5]提出基于Gabor特征與卷積神經(jīng)網(wǎng)絡(luò)的行人行為識(shí)別方法，將Gabor小波特征與卷積神經(jīng)網(wǎng)絡(luò)方法相結(jié)合，計(jì)算人體圖像8個(gè)方向的Gabor特征，利用人物模型進(jìn)行檢測(cè)，輸出人物掩膜，引入形態(tài)學(xué)處理方法，對(duì)掩膜并同原圖像進(jìn)行相與操作，最終實(shí)現(xiàn)行人行為的識(shí)別。該方法在一定程度上提高了行為識(shí)別的有效性，但在也降低了識(shí)別的準(zhǔn)確性。

基于上述問(wèn)題，本文結(jié)合特征融合與度量學(xué)習(xí)識(shí)別行人行為，采用基于K-L融合的方法對(duì)圖像進(jìn)行融合，并在度量學(xué)習(xí)馬氏距離前提下，對(duì)行人行為進(jìn)行識(shí)別。

2 基于行人行為的特征融合

2.1 行為行人檢測(cè)

行為檢測(cè)是識(shí)別的重要步驟之一，但在識(shí)別的過(guò)程中，會(huì)有許多外在因素對(duì)最終識(shí)別結(jié)果造成嚴(yán)重影響，可以分成下列3種：

1)檢測(cè)攝像機(jī)靜止不動(dòng)時(shí)，由于獲取圖像視頻的過(guò)程中，會(huì)間接受到不同噪聲的影響，所以在檢測(cè)之前，需要對(duì)圖像進(jìn)行去噪處理。

2)攝像機(jī)與行人運(yùn)動(dòng)方向垂直時(shí)，組建沒(méi)有任何參數(shù)值的模型，且所有像素點(diǎn)的概率密度函數(shù)都可以通過(guò)估計(jì)方式得到具體函數(shù)值。假設(shè)I={x1，x2…..xn}代表其中某一個(gè)像素點(diǎn)的基本樣本，I代表在xi時(shí)間點(diǎn)檢測(cè)到對(duì)應(yīng)的數(shù)據(jù)值，可將核密度函數(shù)寫成

(1)

其中：kh是窗口長(zhǎng)度為h的核函數(shù)；xt是密度點(diǎn)參數(shù)；α是規(guī)定內(nèi)的標(biāo)準(zhǔn)系數(shù)，且α=1/N。

(2)

式中，將d描述為顏色分量的具體數(shù)量，可以由樣本的絕對(duì)差值，計(jì)算出核帶寬σ。假設(shè)p(xt)

3)行人行為提取的主要目的是，從圖像中提取出行人的變化區(qū)域，因此在處理的過(guò)程中，其中某一目標(biāo)透射出的陰影部分，可能會(huì)出現(xiàn)被檢測(cè)成為行為前景的一部分。

針對(duì)提取的運(yùn)動(dòng)區(qū)域進(jìn)行相關(guān)形態(tài)處理，采用邊界跟蹤算法，獲取整個(gè)的行人側(cè)影圖。

2.2 輪廓特征提取

人體輪廓是行人行為的重要特征之一，它會(huì)根據(jù)不同的時(shí)間，表示出周期性的變化，對(duì)行人行為描述具有較為明顯的代表性。小波描述[6]主要描述行為輪廓，其優(yōu)點(diǎn)是可以分別描述不同的輪廓、形狀，且具有較為良好的魯棒性，綜上所述本文將會(huì)采用離散小波變換的方法，針對(duì)目標(biāo)行人的具體輪廓進(jìn)行描述。為使行人特征更加明顯、減小計(jì)算的整體難度，將行人的二維特色正轉(zhuǎn)變成l維特征。

1)質(zhì)心計(jì)算：在提取行人輪廓后，利用邊界提取算法，獲取相對(duì)應(yīng)的全部坐標(biāo)點(diǎn)，根據(jù)下式，得到輪廓的詳細(xì)質(zhì)心坐標(biāo)點(diǎn)

(3)

式中，xi和yi分別代表像素點(diǎn)在x和y軸的基本樣本。

2)展開(kāi)輪廓線：以出線上縱坐標(biāo)中最大的像素點(diǎn)為起點(diǎn)，沿著順時(shí)針?lè)较驅(qū)⑵湫D(zhuǎn)，通過(guò)下式得到輪廓線展開(kāi)質(zhì)心到輪廓點(diǎn)的一維特征

(4)

3)數(shù)據(jù)標(biāo)準(zhǔn)化：為了消除部分影響，在確保圖像完整性的基礎(chǔ)上，對(duì)圖像特征進(jìn)行衡量后標(biāo)準(zhǔn)化處理，達(dá)到利于整體分析研究的目的。根據(jù)上述式(3)即可將輪廓表示為一個(gè)由N個(gè)元素構(gòu)建成的向量集D=[d1，d2，…，dN]，經(jīng)對(duì)視頻序列中像素點(diǎn)數(shù)量的統(tǒng)計(jì)，大部分視頻序列基本都滿足于N∈[400，600]，并且整體呈正態(tài)分布。經(jīng)過(guò)標(biāo)準(zhǔn)化后的結(jié)果，如圖1所示。

圖1 標(biāo)準(zhǔn)化后距離顯示圖

離散小波函數(shù)族定義如下所示

(5)

假設(shè)上述小波函數(shù)族構(gòu)成L2(R)的正交規(guī)范基，就會(huì)有針對(duì)任意f(t)∈L2(R)都存在的離散小波變換

(6)

2.3 基于行人行為的特征融合

在對(duì)行人行為特征提取[7]后，需要將所有的特征進(jìn)行歸類處理。本文將運(yùn)用了Z-score的處理方法，此處假設(shè)將Xs描述為行為特征，Xc描述為整體輪廓特征，那么根據(jù)上述經(jīng)過(guò)處理后的向量即可以寫為

(7)

由上述式(7)可得知，本文是在離散K-L變換的基礎(chǔ)上，針對(duì)處理后的數(shù)據(jù)值進(jìn)行壓縮融合。假設(shè)Y向量是第N維的隨機(jī)向量，那么由此可得Y向量的K-L展開(kāi)就可以表示為

Y′=TY

(8)

即T=(φ1，φ2，…，φN)。Y的協(xié)方差矩陣為

(9)

(10)

其中λ1>λ2>…>λN≥0是∑y的特征向量。

在對(duì)上述提取后的向量進(jìn)行變換后，獲取出一份新的特征數(shù)據(jù)，其中任意特征點(diǎn)都是與特征相對(duì)應(yīng)的線性組合，所以就會(huì)選取K維的特征數(shù)據(jù)值，作為最后融合的特征點(diǎn)。

3 基于特征融合和度量學(xué)習(xí)的行人行為識(shí)別

3.1 基于馬氏距離的度量學(xué)習(xí)

本文在圖片特征度量學(xué)習(xí)方面采用了馬氏距離[8]，與歐氏距離[9]相比，馬氏距離在原有的基礎(chǔ)上加入期望和方差，在一定程度上使其具有了數(shù)據(jù)分布的統(tǒng)計(jì)特性，所以該距離已成為識(shí)別領(lǐng)域中常用的度量之一。

假設(shè)x是空間Rd中的一個(gè)d維向量，∑是分布在X之下的協(xié)方差，就有

(11)

為此分布之下x的M范數(shù)。

在M范數(shù)定義的前提下，針對(duì)?x，y∈Rd，馬氏距離定義可概括為

(12)

式(11)和(12)中，當(dāng)∑是單位陣時(shí)，M范數(shù)和馬氏距離將會(huì)分別變成普通的范數(shù)和歐式距離，由此可知，歐氏距離是獨(dú)屬馬氏距離中的一個(gè)特例。

馬氏距離滿足于距離定義的基本三個(gè)條件，本文從矩陣分解的角度進(jìn)行分析。

(13)

考察

(14)

由上述過(guò)程可以知當(dāng)全部特征值都為正的時(shí)候，結(jié)論顯然可以成立，且可以得出下列推論：任意一個(gè)實(shí)對(duì)稱正定矩陣，可以分解成兩個(gè)等同的實(shí)對(duì)稱正定矩陣的積，實(shí)現(xiàn)基于馬氏距離的度量學(xué)習(xí)。

3.2 行人行為識(shí)別

本文采用EMD交叉距離[11]度量提取目標(biāo)特征之間的相似性，假設(shè)A={(a1，wa1)，(a2，wa2)，…，(am，wam)}是一個(gè)具有m個(gè)聚類圖像A的表達(dá)形式，ai是聚類的描述形式，wai是聚類的權(quán)值。B={(b1，bb1)，(b2，bb2)，…，(bn，bbn)}是具有n個(gè)聚類圖像B的表達(dá)形式。D=a(λ)代表了整體環(huán)境光。

假設(shè)成像設(shè)備感光函數(shù)fk(λ)是δ函數(shù)，并且在中性界面具有反射(NIR)模型[12]和白光的基礎(chǔ)上，就可得知e(λ)=e，其中e代表了光源的光譜能量，可得

(15)

對(duì)上式進(jìn)行求導(dǎo)，可以解決環(huán)境光帶來(lái)的影響，因此會(huì)有

(16)

為了能夠降低鏡面反射的影響，會(huì)有下列定義

(17)

根據(jù)式(17)可知除掉環(huán)境光影響的對(duì)立色一階導(dǎo)數(shù)O1、O2可以表示成

(18)

由此可見(jiàn)，得到的對(duì)立色O1x、O2x在鏡面反射的情況下具有較為優(yōu)秀的不變性，但其不變色在一定程度上還是會(huì)依附于幾何特性。

(19)

式中將[dij]表述為距離矩陣，其中dij表示了聚類ai和bj之間的距離函數(shù)。圖像A、B的EMD距離就可以寫成

(20)

式中，fij是ai和bj的運(yùn)輸流，并且在一定。

通過(guò)歸一化處理后，EMD距離就可以簡(jiǎn)化成為

(21)

與上式相互對(duì)應(yīng)的約束條件可寫為

fij≥0，i=1，…，m，j=1，…，n

(22)

表達(dá)行人目標(biāo)特征的方法為O={(o1，wo1)，(o2，wo2)，…，(om，wom)}，在該方法中oi為基本構(gòu)成的向量表示，woi由區(qū)域大小信息Rs表示。dij則經(jīng)過(guò)針對(duì)不同目標(biāo)區(qū)域間的馬氏距離計(jì)算得出。

4 實(shí)驗(yàn)結(jié)果分析

本文選擇某監(jiān)控環(huán)境公開(kāi)數(shù)據(jù)集來(lái)測(cè)試所提方法的效果。

圖2 監(jiān)控環(huán)境

行人監(jiān)控視頻圖像樣本共1264張，每一張監(jiān)控圖像的尺寸為128×48像素點(diǎn)。為測(cè)試本文所提出的基于特征融合以及度量學(xué)習(xí)方法效果，將其與傳統(tǒng)的基于學(xué)習(xí)機(jī)ELM的行人行為識(shí)別方法進(jìn)行比較實(shí)驗(yàn)，結(jié)果如下。

測(cè)試一：不同方法的圖像特征融合效果對(duì)比

圖3 測(cè)試樣本

從圖4實(shí)驗(yàn)結(jié)果可以明顯看出，測(cè)試樣本人群是分別2個(gè)區(qū)域，傳統(tǒng)的基于學(xué)習(xí)機(jī)ELM的行人行為識(shí)別方法的特征融合結(jié)果不準(zhǔn)確。相比之下，本次研究所設(shè)計(jì)的行為識(shí)別方法能夠更好的融合圖像特征，與實(shí)際特征是相同的，符合該方法的應(yīng)用要求。

圖4 圖像特征融合效果對(duì)比

測(cè)試二：不同方法的輪廓提取效果對(duì)比

圖5 測(cè)試樣本

圖6 輪廓提取效果對(duì)比

傳統(tǒng)方法下的輪廓提取結(jié)果噪聲較大，輪廓不明顯，除行人外有其它無(wú)用輪廓被提取，這大大影響了行為識(shí)別結(jié)果。由上圖的實(shí)驗(yàn)結(jié)果可知，本研究提出的方法對(duì)圖像行人輪廓的提取效果是優(yōu)于傳統(tǒng)基于學(xué)習(xí)機(jī)ELM的行人行為識(shí)別方法的。

測(cè)試三：異常行人行為識(shí)別結(jié)果

在圖7視頻圖像中，停車區(qū)域前方有行人通過(guò)，視頻的第五幀圖像中該行人體態(tài)特征為正常，此時(shí)行人作為目標(biāo)被標(biāo)記跟蹤，在視頻監(jiān)控到第十幀圖像時(shí)，

圖7 行人行為識(shí)別結(jié)果

行人姿態(tài)由正常走路變?yōu)槠教桑撔袨榇嬖诋惓Ｐ裕芯糠椒▽?duì)該幀圖像的行人行為進(jìn)行了準(zhǔn)確識(shí)別。測(cè)試三結(jié)果說(shuō)明本研究所設(shè)計(jì)的方法可以有效識(shí)別行人行為。

5 結(jié)論

本文將通過(guò)小波描述的方法對(duì)行人的行為輪廓進(jìn)行了特征提取，且在行為輪廓特征提取的基礎(chǔ)上進(jìn)行了基于K-L變換的特征融合特征融合是將提取到的特征經(jīng)過(guò)Z-score的處理方法處理后進(jìn)行的壓縮融合。在對(duì)行人行為特征融合后，采用了度量學(xué)習(xí)中的馬氏距離算法對(duì)其進(jìn)行計(jì)算，最后進(jìn)行識(shí)別。仿真結(jié)果表明，該方法在一定基礎(chǔ)上能夠提高識(shí)別的精準(zhǔn)度以及有效性。