基于雙尺度動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)及多信息融合的步態(tài)識(shí)別

楊 旗 薛定宇

①(沈陽理工大學(xué)機(jī)械工程學(xué)院 沈陽 110159)

②(東北大學(xué)信息科學(xué)與工程學(xué)院 沈陽 110819)

1 引言

作為遠(yuǎn)程生物特征認(rèn)證技術(shù)，步態(tài)識(shí)別越來越受到人們的重視。近些年來對(duì)步態(tài)識(shí)別的研究大都是通過提取人行走的步態(tài)輪廓后進(jìn)行識(shí)別，技術(shù)可分為兩類；一是利用步態(tài)輪廓的靜態(tài)信息，如Kim等人提出了基于主動(dòng)輪廓模型及運(yùn)動(dòng)預(yù)測的步態(tài)識(shí)別[1]。二是采用提取輪廓的動(dòng)態(tài)信息，這類研究的算法很多，如基于步態(tài)能量圖像(GEI)和2維主成分分析的步態(tài)識(shí)別方法[2]，基于主動(dòng)能量圖(AEI)及2維局部投影的方法進(jìn)行識(shí)別[3]，基于幀差能量圖(FDEI)及隱馬爾可夫模型(HMM)進(jìn)行識(shí)別[4]，基于雙層的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的步態(tài)識(shí)別[5]、基于手臂和腿部運(yùn)動(dòng)的步態(tài)識(shí)別[6]等。如上方法從步驟上大都是從建立步態(tài)的特征圖像下手，利用步態(tài)的特征圖像進(jìn)行特征的提取識(shí)別，如基于特征匹配的方法[7]，這些方法雖然表達(dá)了人體行走的步態(tài)動(dòng)態(tài)信息，但是大都是把動(dòng)態(tài)信息的總和疊加構(gòu)成一個(gè)靜態(tài)的圖像作為識(shí)別的特征圖像，很少考慮步態(tài)行走時(shí)的時(shí)序特性，即隨著時(shí)間的推移，步態(tài)行走姿勢(shì)及運(yùn)動(dòng)幅度的變化，而這些特征恰恰反映了一個(gè)人行走的獨(dú)有特征，如步態(tài)行走時(shí)人體姿態(tài)，運(yùn)動(dòng)幅度等特性的節(jié)奏的變化，這些特征都是表現(xiàn)為時(shí)序特征。目前考慮時(shí)序特性的識(shí)別方法有基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的方法[5,8-13]，但是大都是著眼于步態(tài)序列的大尺度信息，如構(gòu)建步態(tài)能量圖GEI等，缺乏對(duì)身體部位運(yùn)動(dòng)細(xì)節(jié)的考慮。

本文提出一種4層的雙尺度多信息融合的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)，模型中每個(gè)時(shí)間片都為整體信息即大尺度信息和局部細(xì)節(jié)信息即小尺度信息的融合，而每層狀態(tài)分別反映了步態(tài)的整體信息或局部細(xì)節(jié)信息，不同層狀態(tài)之間反映了整體信息與局部細(xì)節(jié)信息之間的關(guān)系。此模型能很好地表達(dá)步態(tài)的時(shí)序特性，能有機(jī)的融合步態(tài)的整體信息及局部細(xì)節(jié)信息。

2 整體信息及局部細(xì)節(jié)信息相融合的DBN模型

步態(tài)行走是個(gè)周期性重復(fù)運(yùn)動(dòng)的過程，在一個(gè)步態(tài)循環(huán)內(nèi)，人體的步態(tài)特征也是周期性變化的，如圖1所示。步態(tài)特征在大尺度上可以由步態(tài)幀差圖中的整體輪廓信息表達(dá)，如圖2(a)為幀差圖像，而細(xì)節(jié)的特征，如頭部、肩部、腿部等細(xì)節(jié)部位的運(yùn)動(dòng)變化，更能反映步態(tài)的特征，可用圖2(b)表達(dá)。對(duì)幀差圖像來講，根據(jù)選取時(shí)刻t不同及時(shí)間片t長度不同，可體現(xiàn)為在不同時(shí)刻人體的運(yùn)動(dòng)特征。如圖1為一個(gè)步態(tài)循環(huán)的幀圖像，提供了8幀圖像，利用幀圖像之間相減就可得到幀差圖像，如圖2(a)為幀差圖像，圖2(b)為從幀差圖像2(a)提取的細(xì)節(jié)部位特征圖像。

步態(tài)行走是個(gè)時(shí)序的過程，在 DBN模型中在單位時(shí)間片t內(nèi)，包含有多種信息，不僅包含有由步態(tài)序列幀差圖像表達(dá)人體行走時(shí)的外形輪廓的動(dòng)態(tài)整體信息，如上圖2(a)，還包含有人體局部細(xì)節(jié)表達(dá)的動(dòng)態(tài)局部細(xì)節(jié)信息，如用來表達(dá)人體行走時(shí)特有的肩膀晃動(dòng)、頭部擺動(dòng)等行走時(shí)的節(jié)奏性信息，以及人體走動(dòng)時(shí)腿部關(guān)節(jié)角度變化、步幅寬度變化、步幅輪廓變化等輪廓細(xì)節(jié)信息，如上圖2(b)。如上的整體信息(大尺度)和局部信息(小尺度)相結(jié)合構(gòu)建的數(shù)學(xué)模型如圖3所示。

圖1 穿外套一個(gè)步態(tài)周期的圖像

圖2 相鄰的兩幅步態(tài)幀差圖像及身體各部位的細(xì)節(jié)圖像

圖3 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模型

DBN模型含有 4個(gè)狀態(tài)變量X1,X2,X3,X4及8個(gè)觀測變量O1～O8，其中X1用來表達(dá)人體行走時(shí)步態(tài)的整體動(dòng)態(tài)信息即大尺度信息，用幀差圖來表達(dá)，如上圖2(a)。X2,X3,X4用來表達(dá)步態(tài)幀差圖的細(xì)節(jié)信息即小尺度信息，分別表示頭部、軀干、腿部運(yùn)動(dòng)的信息，如上圖2(b)。觀測變量O1O2O3為幀差圖像的步態(tài)幅度、步態(tài)速度、步態(tài)中心高度；O4O5O6為頭部、軀干、腿部運(yùn)動(dòng)的幅度信息，O7O8為腿部關(guān)節(jié)角、步幅寬度信息。

2.1 模型分析

步態(tài)識(shí)別的DBN模型采用4層的狀態(tài)來描述人行走時(shí)步態(tài)的整體信息及局部細(xì)節(jié)信息，而在每層中動(dòng)態(tài)概率過程假設(shè)是馬氏的(Markov)，即未來時(shí)刻的概率只與當(dāng)前時(shí)刻有關(guān)而與過去時(shí)刻無關(guān)：Xt依賴于Xt-1。由于步態(tài)行走是個(gè)時(shí)序的過程，反映的是隨時(shí)刻t步態(tài)幀的姿態(tài)、幅度、輪廓以及節(jié)奏的變化；隨時(shí)刻t變化的整體信息能很好地反映出人行走時(shí)的步態(tài)幅度、輪廓的變化，而隨時(shí)刻t變化的身體部位細(xì)節(jié)信息能很好地表達(dá)人體行走時(shí)步態(tài)的節(jié)奏特征，在此基礎(chǔ)上建立的模型能很好融合步態(tài)行走的不同尺度的信息。

2.2模型推理與學(xué)習(xí)

2.2.1 模型推理DBN是以概率網(wǎng)絡(luò)為基礎(chǔ)，把原來的靜態(tài)網(wǎng)絡(luò)結(jié)構(gòu)與時(shí)間信息結(jié)合，形成具有處理時(shí)序數(shù)據(jù)的隨機(jī)模型，從靜態(tài)貝葉斯(BN)出發(fā)，導(dǎo)出DBN的概念及圖形表達(dá)，進(jìn)而描述[14]。推理DBN網(wǎng)絡(luò)就是計(jì)算在給定觀察序列O1:i=O1O2…Oi計(jì)算隱狀態(tài)變量Xi的邊緣概率，可通過計(jì)算所有節(jié)點(diǎn)的聯(lián)合概率分布，然后再邊緣化，進(jìn)而計(jì)算所有節(jié)點(diǎn)的概率分布，雙尺度多信息融合的DBN推理的全局聯(lián)合概率分布為

在式(1)中，任一節(jié)點(diǎn)的聯(lián)合概率分布為

其中條件概率分布為

表示第i個(gè)隱狀態(tài)變量t時(shí)刻的取值，表示其父節(jié)點(diǎn)

2.2.2 模型參數(shù)表示與學(xué)習(xí)在模型中參數(shù)的更新公式及極大似然估計(jì)表示如下[15]：在時(shí)刻t=1，狀態(tài)X1,X2,X3,X4的初始轉(zhuǎn)換概率如式(5)，式(6)所示。

狀態(tài)X1從狀態(tài)i到狀態(tài)j的轉(zhuǎn)換概率如式(7)所示。

狀態(tài)X2X3X4從狀態(tài)k到狀態(tài)h的轉(zhuǎn)換概率如式(8)所示。

觀測概率為

2.2.3 模型步態(tài)識(shí)別從使用模型的識(shí)別上來看，在識(shí)別過程中，基于 DBN網(wǎng)絡(luò)識(shí)別實(shí)際上是一個(gè)推理迭代求解過程，如給定R個(gè)訓(xùn)練好的模型M1,…,MR，其中每個(gè)模型對(duì)應(yīng)一個(gè)人的步態(tài)，通過測試，觀測序列為O1:T，則由式(11)確定分類：

P(Mi)為模型Mi的先驗(yàn)概率，取為平均值1/R，設(shè)Mi模型參數(shù)為Θi，則，觀測序列給定，則P(O1:T)=1 ，則式(11)可推導(dǎo)為

由式(12)確定分類，進(jìn)而識(shí)別。

3 模型特征提取

根據(jù)人體步態(tài)行走的特點(diǎn)，步態(tài)行走時(shí)動(dòng)態(tài)的信息可以反映出一個(gè)人的步態(tài)特征，而靜態(tài)信息即幀圖像信息受環(huán)境影響較大，在穿外套、背包情況下，幀圖像輪廓變化較大，直接影響識(shí)別的結(jié)果，所以本文在步態(tài)特征選取上，選擇幀差圖像信息作為行走時(shí)的動(dòng)態(tài)信息，幀差圖像信息能很好反映步態(tài)行走時(shí)的時(shí)序特性，即隨時(shí)間t變化人體各部位運(yùn)動(dòng)的幅度、姿態(tài)、步伐節(jié)奏等信息。在 DBN模型第1層中選取幀差圖像的整體信息，第2，第3，第4層中選取的頭部、軀干、腿部的幀差圖像信息作為局部細(xì)節(jié)信息。根據(jù)人體標(biāo)準(zhǔn)比例，頭部、軀干、腿部比例選擇為0.182: 0.333: 0.485。

3.1 步態(tài)圖像預(yù)處理

數(shù)據(jù)取自CASIA B步態(tài)數(shù)據(jù)庫，數(shù)據(jù)庫圖像的原始尺寸大小為 320×240。采用90°的視角，首先對(duì)輸入的步態(tài)圖像序列進(jìn)行背景減除、二值化、陰影消除及數(shù)學(xué)形態(tài)學(xué)等操作后，可以得到步態(tài)序列中每幀圖像的單連通人體運(yùn)動(dòng)區(qū)域，即輪廓圖像。再對(duì)原始數(shù)據(jù)進(jìn)行中心化及歸一化，處理后的圖像尺寸為90×150，如圖4所示。

圖4 步態(tài)圖像預(yù)處理

3.2 大尺度動(dòng)態(tài)特征信息

在大尺度動(dòng)態(tài)特征信息中，幀差步態(tài)輪廓中心坐標(biāo)表示為(,)。對(duì)于t時(shí)刻幀差輪廓的大尺度信息為：(1)步態(tài)輪廓信息的中心高度；步態(tài)行走時(shí)是雙臂、腿部、軀干交替的擺動(dòng)過程，從90°視角來看，人體輪廓寬度是個(gè)周期變化的過程，從高度上看，人體行走時(shí)從腳尖到腳跟的著地過程，表現(xiàn)為人體身高的周期性變化，這里對(duì)于大尺度特征采用輪廓中心高度作為特征之一，輪廓中心點(diǎn)高度的坐標(biāo)利用矩的統(tǒng)計(jì)特性來進(jìn)行描述，，其中零階矩，相當(dāng)于圖像中總的灰度值，一階矩m10=除以零階矩m00，表示區(qū)域內(nèi)的灰度重心坐標(biāo)，即輪廓中心坐標(biāo)。其中(x,y)為圖像的位置坐標(biāo)，f(x,y)為圖像在坐標(biāo)(x,y)點(diǎn)的灰度值。如圖5。(2)計(jì)算步態(tài)運(yùn)動(dòng)的幅度，在t時(shí)間片內(nèi)的身體各個(gè)部位動(dòng)態(tài)的變化，體現(xiàn)人體在行走時(shí)姿態(tài)、幅度等特征；計(jì)算中采用扇形區(qū)域法建立特征向量[13]。(3)步態(tài)在單位時(shí)間t內(nèi)的運(yùn)動(dòng)速度，取步態(tài)幀差的前向幀差圖像中白色區(qū)域的像素個(gè)數(shù)值作為步態(tài)的運(yùn)動(dòng)速度。

圖5 關(guān)節(jié)角示意圖

3.3 小尺度動(dòng)態(tài)特征信息

小尺度的特征表現(xiàn)為步態(tài)局部細(xì)節(jié)信息的表達(dá)，即頭部、軀干、腿部信息。特征取值如下：(1)步態(tài)運(yùn)動(dòng)的幅度，選取方法同大尺度的動(dòng)態(tài)特征選取方法相同，建立表達(dá)運(yùn)動(dòng)幅度信息的特征向量，以像素點(diǎn)的轉(zhuǎn)動(dòng)慣量值作為特征向量的值，中心選為矩形框的中心點(diǎn)，如圖2(b)的頭部、軀干、腿部矩形區(qū)域的中心點(diǎn)。(2)腿部關(guān)節(jié)角度信息θ；圖5所示為關(guān)節(jié)角示意圖。(3)腿部的寬度值，即腿部最大的寬度的像素個(gè)數(shù)。

4 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)采用CASIA B步態(tài)數(shù)據(jù)庫，Dataset B是中國科學(xué)院提供的一個(gè)大規(guī)模的，多視角的步態(tài)庫，共有124個(gè)人，每個(gè)人有11個(gè)視角(0°,18°,3 6°,…,180°)，在 3種行走條件下(普通條件，穿大衣，攜帶包裹條件)采集。本實(shí)驗(yàn)采用90°視角，在3種行走狀態(tài)即普通、穿大衣、背包下試驗(yàn)。

4.1 本文模型識(shí)別結(jié)果

實(shí)驗(yàn)1 在步態(tài)識(shí)別DBN模型中，采用3種方式對(duì)模型進(jìn)行訓(xùn)練和識(shí)別來研究環(huán)境對(duì)識(shí)別率的影響。方式 1：普通，穿大衣，背包的單一樣本條件下對(duì)模型訓(xùn)練識(shí)別。方式 2：普通，穿大衣，背包條混合樣本條件下對(duì)模型進(jìn)行訓(xùn)練和識(shí)別。

表1 不同方式下的識(shí)別率

表中樣本數(shù)為124人，其中普通條件下提供了每人6個(gè)視頻序列，穿大衣條件下提供了2個(gè)視頻序列，背包條件下提供了2個(gè)視頻序列。在訓(xùn)練時(shí)取視頻中的一個(gè)步態(tài)循環(huán)作為訓(xùn)練樣本，通常一個(gè)視頻中含有3個(gè)步態(tài)循環(huán)，(一個(gè)步態(tài)循環(huán)為從當(dāng)次左腿或右腿邁出到下次左腿或右腿邁出所經(jīng)歷的步態(tài)序列，稱為一個(gè)步態(tài)循環(huán))，這樣大大增加了訓(xùn)練樣本數(shù)。從實(shí)驗(yàn)結(jié)果可以看出，方式1的普通條件下識(shí)別率較高，方式2識(shí)別結(jié)果有一定幅度降低，說明在步態(tài)識(shí)別中，背包條件下，對(duì)模型的識(shí)別效果有影響。而在同樣的數(shù)據(jù)庫中采用幀差能量圖及馬爾可夫模型的方法[4]的識(shí)別率最高為91.1%，而采用利用動(dòng)態(tài)部位變化的步態(tài)識(shí)別方法[13]，文章中的識(shí)別率最高為 94.4%，但他采用的方法，不是把 3種狀態(tài)的混合樣本進(jìn)行訓(xùn)練，而是分別對(duì)普通、穿大衣、背包的樣本數(shù)據(jù)進(jìn)行訓(xùn)練和識(shí)別。在文獻(xiàn)[2]中，采用3種狀態(tài)的混合樣本進(jìn)行訓(xùn)練的最高識(shí)別率為 85.5%，從識(shí)別結(jié)果可以看出本模型受背包、外套的影響最小。本文模型采用3種狀態(tài)(普通，穿大衣，背包)獨(dú)立的訓(xùn)練識(shí)別率如表2所示。

表2 相同方式下的識(shí)別率

可以看出本模型有較好的識(shí)別率。

4.2 不同方法的識(shí)別結(jié)果

實(shí)驗(yàn) 2 本論文的模型采用 4層的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，可以充分表達(dá)人體行走時(shí)的步態(tài)整體特征及局部細(xì)節(jié)特征，即行走姿態(tài)、幅度等特性的大尺度及小尺度變化。模型中用X2,X3,X4分別表達(dá)頭部、軀干、腿部運(yùn)動(dòng)的信息，用以說明人體運(yùn)動(dòng)的身體擺動(dòng)的細(xì)節(jié)信息。如采用單層的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)，即嵌入式隱馬爾可夫模型來表達(dá)步態(tài)的整體信息(大尺度信息)及局部細(xì)節(jié)信息(小尺度信息)，實(shí)驗(yàn)結(jié)果如表3所示。

4層的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)識(shí)別效果更好。

表3 不同模型下的識(shí)別率

4.3 模型魯棒性分析

在數(shù)據(jù)獲取中，觀測數(shù)據(jù)樣本會(huì)出現(xiàn)噪聲或者數(shù)據(jù)缺失的情況，實(shí)驗(yàn)在噪聲或者數(shù)據(jù)缺失情況下對(duì)模型定量地分析了步態(tài)的識(shí)別結(jié)果。

數(shù)據(jù)中存在噪聲的情況，噪聲表示如下：()為t時(shí)刻人體的輪廓坐標(biāo)，()為對(duì)應(yīng)加噪聲后的值，為滿足標(biāo)準(zhǔn)正態(tài)分布的高斯噪聲，表示對(duì)人體步態(tài)輪廓的污染。

從圖6中可以看出，w≥3時(shí)，識(shí)別率下降迅速，但本文提出的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模型識(shí)別結(jié)果明顯優(yōu)于其他模型。

圖6 識(shí)別率-污染程度曲線圖

對(duì)于數(shù)據(jù)缺失的情況，在一個(gè)周期步態(tài)序列內(nèi)，隨機(jī)抽取n幀圖像，抽取的方式采用隨機(jī)方式，抽取比例占整個(gè)周期步態(tài)幀圖像的10%-90%。隨機(jī)抽取圖像作為數(shù)據(jù)缺失條件下，單步態(tài)循環(huán)的樣本幀數(shù)越多，受樣本數(shù)據(jù)缺失的影響越小，同時(shí)步態(tài)識(shí)別中，由于存在著大量的冗余幀信息，所以幾乎所有模型都對(duì)數(shù)據(jù)缺失有較好魯棒性，本文提出的方法，可關(guān)注雙尺度的信息，并實(shí)現(xiàn)多信息融合，在數(shù)據(jù)缺失條件下魯棒性更好。

5 結(jié)論

本文提出一種4層的雙尺度多信息融合的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(DBN)，模型中每個(gè)時(shí)間片都為整體信息即大尺度信息和局部細(xì)節(jié)信息即小尺度信息的融合，而每層狀態(tài)分別反映了步態(tài)的整體信息或局部細(xì)節(jié)信息，不同層狀態(tài)之間反映了整體信息與局部細(xì)節(jié)信息之間的關(guān)系。此模型能很好地表達(dá)步態(tài)的時(shí)序特性，即步態(tài)行走時(shí)人體姿態(tài)，運(yùn)動(dòng)幅度等特性的節(jié)奏的變化，能有機(jī)地融合步態(tài)的整體信息及局部細(xì)節(jié)信息進(jìn)行建模及識(shí)別。實(shí)驗(yàn)在 CASIA B數(shù)據(jù)庫進(jìn)行，實(shí)驗(yàn)表明，本文模型識(shí)別率高，并且可降低背包對(duì)步態(tài)識(shí)別的影響，模型在有噪聲污染及數(shù)據(jù)缺失情況下，識(shí)別效果依然良好。

[1]Kim D and Paik J.Gait recognition using active shape model and motion prediction[J].IET Computer Vision,2010,4(1):25-36.

[2]王科俊,劉麗麗,賁晛燁.基于步態(tài)能量圖像和2維主成分分析的步態(tài)識(shí)別方法[J].中國圖象圖形學(xué)報(bào),2009,14(12):2503-2509.Wang K J,Liu L L,and Ben X Y.Gait recognition based on gait energy image and two dimensional principal component analysis[J].Journal of Image and Graphics,2009,14(12):2503-2509.

[3]Zhang E H,Zhao Y W,and Xiong W.Active energy image plus 2DLPP for gait recognition[J].Signal Processing,2010,90(7): 2295-2302.

[4]Chen C H.Frame difference energy image for gait recognition with incomplete silhouettes[J].Pattern Recognition Letters,2009,30(11): 977-984.

[5]Chen C H,Liang J M,and Zhu X C.Gait recognition based on improved dynamic Bayesian networks[J].Pattern Recognition,2011,44(4): 988-995.

[6]Tafazzoli F and Safabakhsh R.Model-based human gait recognition using leg and arm movements[J].Engineering Applications of Artificial Intelligence,2010,23(8): 1237-1246.

[7]趙永偉,張二虎,魯繼文.多特征和多視角信息融合的步態(tài)識(shí)別[J].中國圖象圖形學(xué)報(bào),2009,14(3): 387-393.Zhao Y W,Zhang E H,and Lu J W.Gait recognition via multiple features and views information fusion[J].Journal of Image and Graphics,2009,14(3): 387-393.

[8]Suk H,Sin B K,and Lee S W.Hand gesture recognition based on dynamic Bayesian network framework[J].Pattern Recognition,2010,43(9): 3059-3072.

[9]Bae J and Tomizuka M.Gait phase analysis based on a Hidden Markov Model[J].Mechatronics,2011,21(6):961-970.

[10]Cheng M H,Ho M F,and Huang Chung-lin.Gait analysis for human identification through manifold learning and HMM[J].Pattern Recognition,2008,41(8): 2541-2553.

[11]Waleed H and Kasabov N.Reduced feature-set based parallel CHMM speech recognition systems[J].Information Sciences,2003,156(1/2): 21-38.

[12]張前進(jìn),徐素莉.基于嵌入式隱馬爾可夫模型的步態(tài)識(shí)別[J].信息與控制,2010,39(1): 25-29.Zhang Q J and Xu S L.Gait recognition based on embedded hidden Markov model[J].Information and Control,2010,39(1): 25-29.

[13]張二虎,趙永偉.利用動(dòng)態(tài)部位變化的步態(tài)識(shí)別[J].中國圖象圖形學(xué)報(bào),2009,14(9): 1756-1763.Zhang E H and Zhao Y W.Gait recognition using variance of dynamic region[J].Journal of Image and Graphics,2009,14(9): 1756-1763.

[14]Yang G S,Lin Y Z,and Bhattacharya P.A driver fatigue recognition model based on information fusion and dynamic Bayesian network[J].Information Sciences,2010,180(10):1942-1954.

[15]Murphy K.Dynamic Bayesian network: representation,inference and learning[D].University of California,Berkeley,2002.