全身步態(tài)模型的視觸融合步態(tài)識(shí)別算法

李 昱，季文彬，戴士杰

(1.電工裝備可靠性與智能化國家重點(diǎn)實(shí)驗(yàn)室(河北工業(yè)大學(xué))，天津 300130; 2.河北工業(yè)大學(xué) 機(jī)械工程學(xué)院，天津 300000)

步態(tài)識(shí)別作為一種生物識(shí)別技術(shù)，有著遠(yuǎn)距離、非侵犯性和不易盜用的特點(diǎn)[1]，在刑事偵查、醫(yī)療診斷、考勤門禁等方面已經(jīng)取得了一定的研究成果[2-3]。步態(tài)識(shí)別方法主要分為基于模型的方法和基于運(yùn)動(dòng)的方法兩大類，基于模型的方法是通過建立人體的物理結(jié)構(gòu)模型，得到對(duì)應(yīng)時(shí)刻的空間信息來表示人體步態(tài)運(yùn)動(dòng)狀態(tài)，能夠有效解決遮擋、負(fù)重以及隨動(dòng)物體對(duì)識(shí)別帶來的影響。

較早的步態(tài)模型有Cunado等[4]提出的內(nèi)鏈鐘擺模型和Bouchrika等[5]提出的動(dòng)態(tài)耦合鐘擺模型，這兩種模型只包括了下肢的擺動(dòng)；Yoo等[6-7]先是提出了包含上身軀干的2D桿狀人體模型，隨后對(duì)該模型進(jìn)行改進(jìn)，提出了包含一側(cè)手臂的七橢圓模型；Zhang[8]提出了五連桿雙足人體模型，同樣忽略了上肢的擺動(dòng)；Lu等[9]提出了全身分層可變模型，該模型涵蓋了人體步態(tài)運(yùn)動(dòng)中的四肢和軀干的步態(tài)運(yùn)動(dòng)。傳統(tǒng)的步態(tài)模型以視覺特征作為出發(fā)點(diǎn)，但步態(tài)識(shí)別的整體系統(tǒng)應(yīng)盡可能地整合更多的特征，觸覺特征作為另一類主要的步態(tài)特征，常作為融合的對(duì)象。對(duì)于單一的觸覺特征，Qian等[10]提取兩只腳的1D壓力中心曲線和2D位置軌跡形成3D壓力中心曲線進(jìn)行識(shí)別；Yamakawa等[11]將足底壓力均分為4部分，提出了一種基于模糊推理的識(shí)別算法；Tekeda等[12]將足底壓力分為8部分以此進(jìn)行步態(tài)識(shí)別；Dai等[13]雖然融合觸覺和視覺特征進(jìn)行步態(tài)識(shí)別，但同樣只涉及了下半身的步態(tài)運(yùn)動(dòng)。

針對(duì)目前建立的模型只依靠單一特征或者只涉及下半身運(yùn)動(dòng)狀態(tài)的情況，本文建立包含上肢擺動(dòng)并且融合視覺和觸覺特征的全身步態(tài)運(yùn)動(dòng)模型，提取特征矩陣；同時(shí)將足底壓力分區(qū)，通過增加特征識(shí)別點(diǎn)的方式減少鞋靴對(duì)于識(shí)別率的影響。為進(jìn)一步提高識(shí)別率，采用參數(shù)尋優(yōu)情況下的支持向量機(jī)進(jìn)行分類識(shí)別，實(shí)驗(yàn)驗(yàn)證了本文模型的有效性。

本文所提算法主要包括全身步態(tài)模型的建立、視覺特征和觸覺特征的提取與分類器的分類識(shí)別3部分，如圖1。

圖1 步態(tài)識(shí)別算法框圖Fig.1 Block diagram of gait recognition algorithm

1 全身步態(tài)運(yùn)動(dòng)模型的建立

人在行走過程中，左右腿作為支撐腿和擺動(dòng)腿交替變化，并且同一條腿的同一骨骼在作為支撐腿和擺動(dòng)腿時(shí)，對(duì)支持力的作用效果是不同的。在實(shí)際測(cè)量中，通過足底直接接觸測(cè)量儀器獲得觸覺特征，測(cè)量結(jié)果更加準(zhǔn)確，所以本文以支撐腿為基礎(chǔ)進(jìn)行建模，并且對(duì)支撐腿、擺動(dòng)腿和上半身的運(yùn)動(dòng)參數(shù)進(jìn)行了分類討論。

1.1 建立地面支持力的動(dòng)力學(xué)模型

在步態(tài)運(yùn)動(dòng)中，人體所受的力主要來自于地面的反作用力N和自身重力Mg。根據(jù)牛頓力學(xué)第二定律，人體受力的動(dòng)力學(xué)方程可表示為

N+Mg=Ma

(1)

式中：a為人體質(zhì)心加速度。地面反作用力包括摩擦力和支持力，本文通過地面支持力建立全身人體步態(tài)運(yùn)動(dòng)模型，所以只討論人體步態(tài)運(yùn)動(dòng)過程中在豎直方向所受到的力，如圖2。將豎直向上的方向設(shè)為y軸的正方向，則人體的受力關(guān)系可表示為

|Ny|-|Mg|=May

(2)

圖2 人體豎直方向受力示意圖Fig.2 human body vertical direction

人體的質(zhì)心位置會(huì)隨著行走狀態(tài)變化而發(fā)生改變，僅根據(jù)質(zhì)量分布和身高來判斷質(zhì)心的運(yùn)動(dòng)情況是不合理的。所以將式(2)中May分解為身體各個(gè)部分的質(zhì)量與其質(zhì)心位置在豎直方向的加速度乘積之和，則可得到人體步態(tài)運(yùn)動(dòng)的動(dòng)力學(xué)模型為

|Ny|-|Mg|=m1a1y+m2a2y+…+mnany

(3)

式中：aiy(i=1,2,…,n)為身體各個(gè)部分質(zhì)心在豎直方向的加速度，加速度的獲取一般通過視覺特征，以此引入視覺特征構(gòu)建融合視覺和觸覺特征的全身步態(tài)模型。

1.2 求解動(dòng)力學(xué)模型的質(zhì)心加速度

為了更好地求取身體各部分的垂直方向加速度，作如下假設(shè)：

1)將人體的運(yùn)動(dòng)關(guān)節(jié)看作鉸鏈，人體骨架由鉸鏈連接構(gòu)成，如圖3。

圖3 人體全身步態(tài)模型Fig.3 Full-body gait model

2)步態(tài)運(yùn)動(dòng)過程中支撐腳始終腳底接觸地面，不滑動(dòng)。

3)身體結(jié)構(gòu)質(zhì)心等效在兩關(guān)節(jié)連線上。

4)模型簡化為11個(gè)剛體，n=11。正常行走過程中除了四肢的擺動(dòng)基本不發(fā)生大的自由度運(yùn)動(dòng)，所以將上身軀干和頭部看做整體。

5)在步態(tài)運(yùn)動(dòng)過程中，雙髖關(guān)節(jié)做垂直于人體軸心的旋轉(zhuǎn)運(yùn)動(dòng)，并且雙髖關(guān)節(jié)連線在做繞連線中心的旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，在冠狀面的轉(zhuǎn)動(dòng)角度小，在橫斷面轉(zhuǎn)動(dòng)角度大，因此認(rèn)為雙髖關(guān)節(jié)連線只做與橫斷面平行的豎直運(yùn)動(dòng)和旋轉(zhuǎn)運(yùn)動(dòng)。

6)當(dāng)旋轉(zhuǎn)角與行走方向一致時(shí)為正值。

以左腿作為支撐腿，右腿作為擺動(dòng)腿為例，對(duì)全身11個(gè)部分在豎直方向上的加速度進(jìn)行求解。W、E、S、H、K、A、M分別代表手腕、手肘、肩、髖、膝、踝、跖骨末端的骨骼關(guān)節(jié)點(diǎn)。

1.2.1 支撐腿加速度求解

左腳做為支撐腳，跖骨末端與踝關(guān)節(jié)的連線與地面的夾角經(jīng)歷了一個(gè)由0°到接近90°的過程，到達(dá)最大夾角后，支撐腿變?yōu)閿[動(dòng)腿。以此運(yùn)動(dòng)過程為基礎(chǔ)研究支撐腿擺動(dòng)模型，如圖4。

根據(jù)加速度與角加速度關(guān)系，將踝關(guān)節(jié)的加速度分解為水平和豎直兩個(gè)方向，可得其在豎直方向上相對(duì)于跖骨末端的加速度為

(4)

則足部質(zhì)心相對(duì)于跖骨末端在豎直方向上的加速度為

(5)

圖4 下半身運(yùn)動(dòng)狀態(tài)示意圖Fig.4 Schematic diagram of lower body movement status

在求解小腿豎直方向加速度時(shí)，踝關(guān)節(jié)的速度是已知的，小腿的旋轉(zhuǎn)范圍為45°～-45°，膝關(guān)節(jié)相對(duì)于踝關(guān)節(jié)在豎直方向上的加速度為

(6)

則小腿質(zhì)心相對(duì)于踝關(guān)節(jié)在垂直方向上的線加速度為

(7)

根據(jù)加速度合成原理，小腿質(zhì)心在豎直方向上的加速度為

(8)

同上可求得左大腿質(zhì)心在垂直方向的加速度為

(9)

1.2.2 擺動(dòng)腿加速度求解

人體在步態(tài)運(yùn)動(dòng)中，腹部、胸部和頭部之間的相對(duì)運(yùn)動(dòng)小，所以在求取擺動(dòng)腿和上半身各部分加速度時(shí)，將髖關(guān)節(jié)、腹部、胸部和頭部看做整體，如圖5。

圖5 上半身運(yùn)動(dòng)狀態(tài)示意圖Fig.5 Schematic diagram ofbody movement status

則左髖關(guān)節(jié)、右髖關(guān)節(jié)、左肩關(guān)節(jié)、右肩關(guān)節(jié)和脖頸根部在豎直方向的加速度相等，即

aHL=aHR=aSC=aSL=aSR=

(10)

將右髖關(guān)節(jié)作為求解擺動(dòng)腿各部分質(zhì)心加速度的起點(diǎn)，根據(jù)運(yùn)動(dòng)傳遞規(guī)律，可求得右大腿質(zhì)心在豎直方向的加速度為

(11)

右小腿質(zhì)心在豎直方向上的加速度為

(12)

右足部質(zhì)心在豎直方向上的加速度為

(13)

1.2.3 上半身加速度求解

將左右肩關(guān)節(jié)分別作為求解左右臂各部分質(zhì)心加速度的起點(diǎn)，根據(jù)運(yùn)動(dòng)傳遞規(guī)律，可求得左大臂質(zhì)心在豎直方向上的加速度為

(14)

左小臂質(zhì)心在豎直方向上的加速度為

(15)

右大臂質(zhì)心在豎直方向上的加速度為

(16)

右小臂質(zhì)心在豎直方向上的加速度為

(17)

將求出的人體各個(gè)部分在豎直方向上的加速度代入式(3)，得到任意時(shí)刻下的人體步態(tài)動(dòng)力學(xué)關(guān)系式：

(18)

1.3 全身步態(tài)運(yùn)動(dòng)模型的特征分離

為了提高步態(tài)特征提取的速度，簡化特征提取方式，對(duì)式(18)進(jìn)行矩陣化分離，得到矩陣式為

MξωL=F

(19)

式中：M為關(guān)于身體11個(gè)部分的質(zhì)量矩陣，ξ為關(guān)于身體10個(gè)部分的質(zhì)心矩陣，ω為關(guān)于某個(gè)時(shí)刻身體10個(gè)部分的運(yùn)動(dòng)角度和角加速度的矩陣，L為關(guān)于身體10個(gè)部分的長度矩陣，F(xiàn)為關(guān)于地面支反力和自身重力的力矩陣。其中,矩陣ξ、ω、L為視覺特征，矩陣F為觸覺特征，則各個(gè)矩陣式可以寫為

F=[|Ny|-|Mg|]

2 特征提取

2.1 搭建實(shí)驗(yàn)系統(tǒng)

Kinect能夠?yàn)殚_發(fā)者提供原始深度數(shù)據(jù)流，用來進(jìn)行骨骼追蹤和關(guān)節(jié)坐標(biāo)提取，而普通相機(jī)只能夠通過坐標(biāo)轉(zhuǎn)換等方式來提取坐標(biāo)，這使得Kinect具有更快的特征提取速度,也被廣泛用于步態(tài)識(shí)別的視覺特征提取中[14-15]。實(shí)驗(yàn)系統(tǒng)主要包括Walkway步道式足底壓力測(cè)試設(shè)備和微軟的Kinect For Windows v2。采樣頻率設(shè)置為25幀/s，通過足底壓力儀獲得某時(shí)刻的足底壓力分布，通過Kinect獲得人體25個(gè)關(guān)節(jié)的空間三維坐標(biāo)和行走時(shí)的彩色圖像序列，獲得的足底壓力和視覺圖像每幀互相對(duì)應(yīng)。實(shí)驗(yàn)系統(tǒng)具體位置擺放如圖6。

圖6 實(shí)驗(yàn)系統(tǒng)布局圖Fig.6 Layout of experimental system

實(shí)驗(yàn)時(shí)的具體步驟和條件為：

1)室內(nèi)光線柔和，沒有其他雜物；

2)Kinect光軸與人體行走方向垂直；

3)在實(shí)驗(yàn)開始前，實(shí)驗(yàn)人要先進(jìn)入自然行走狀態(tài)后進(jìn)入實(shí)驗(yàn)區(qū)域；

4)參與實(shí)驗(yàn)的人分別按正常、背包和穿大衣3種狀態(tài)進(jìn)行特征采集，并且在實(shí)驗(yàn)區(qū)域內(nèi)走直線。

2.2 提取特征矩陣參數(shù)

步態(tài)運(yùn)動(dòng)模型的建立可以很大程度提高步態(tài)識(shí)別精度，提高抗干擾性。但對(duì)于模型中各個(gè)特征的求取也非常關(guān)鍵，更準(zhǔn)確的特征提取也意味著更好的識(shí)別精度。

2.2.1 質(zhì)量矩陣M的選取

根據(jù)中國國家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布的《成年人人體慣性參數(shù)》(GB/T 17245—2004)求取人體的各部分質(zhì)量，得到m0～m10，如表1。

表1 成年人人體慣性參數(shù)Tab.1 Inertial parameters of adult human body

2.2.2 質(zhì)心矩陣ξ的提取

在計(jì)算四肢質(zhì)心時(shí)，認(rèn)為大臂、小臂、大腿、小腿的質(zhì)心在其關(guān)節(jié)連線上，將其看做均勻密度，且斜率很小的圓臺(tái)，如圖7(a)。因?yàn)閳A臺(tái)關(guān)于軸線旋轉(zhuǎn)對(duì)稱，所以圓臺(tái)上所有平行于上下底面的橫截面的重心都在O1O2上，這樣可以把圓臺(tái)橫截面的質(zhì)量假設(shè)在自身的重心上，將求圓臺(tái)重心的三維問題轉(zhuǎn)化為求一維線性體O1O2的重心問題，如圖7(b)。設(shè)線性體的線密度為

ρ(X)=ρ0π(r1/2+Xtanα)2

(21)

式中：r1為圓臺(tái)上底面直徑，X為圓臺(tái)高度，α為軸線與母線的夾角。

(a)四肢邊緣坐標(biāo)提取 (b)圓臺(tái)簡化圖7 四肢重心示意圖Fig.7 Schematic diagram of center of gravity

可得圓臺(tái)質(zhì)心到底面的距離LC和距離占圓臺(tái)總高度的比例ε分別為：

(22)

(23)

式中：M為對(duì)應(yīng)各部分質(zhì)量，L為對(duì)應(yīng)各部分關(guān)節(jié)連線長度。

2.2.3 速度及加速度矩陣ω的提取

2.2.4 長度矩陣L的提取

身體長度特征可以由Kienct得到的關(guān)節(jié)三維空間坐標(biāo)來計(jì)算，可得四肢和足部長度l1～l10。

2.2.5 力矩陣F的提取

分析足底壓力分布圖像，通過將足底壓力分區(qū)的方式，增多特征識(shí)別點(diǎn)，提高模型識(shí)別率，如圖8。以足底最大壓力圖像為例，取得非零行數(shù)r和非零列數(shù)p，每個(gè)區(qū)域的大小為一個(gè)r/4行、p/4列的矩陣，則此時(shí)的足底壓力矩陣為

Ny=N1+N2+N3+N4

(24)

圖8 足底壓力分區(qū)方法Fig.8 Plantar pressure partition method

3 分類器的構(gòu)建和參數(shù)優(yōu)化

相對(duì)于其他的機(jī)器學(xué)習(xí)方法，因?yàn)橹С窒蛄繖C(jī)能夠利用有限數(shù)量樣本特征在復(fù)雜模型情況下進(jìn)行折中學(xué)習(xí)，可以避免欠學(xué)習(xí)和過學(xué)習(xí)情況帶來的問題，因此常用在步態(tài)識(shí)別中[16-17]。以支持向量機(jī)的C-SVC模型為基礎(chǔ)，選用徑向基核函數(shù)(RBF)構(gòu)造多分類器，因?yàn)镽BF能夠?qū)崿F(xiàn)非線性映射，并且計(jì)算速度快。

定義空間中任意一點(diǎn)x到某一個(gè)中心xc之間歐氏距離的單調(diào)函數(shù)為k(‖x-xc‖)，則徑向基函數(shù)對(duì)應(yīng)的高斯核函數(shù)為

k(‖x-xc‖)=exp{-‖x-xc‖2/[(2*σ)2]}

(25)

g=1/(2σ)2

(26)

式中：xc為核函數(shù)中心；σ為函數(shù)的寬度參數(shù)；g為單個(gè)訓(xùn)練樣本的影響，g越大單個(gè)訓(xùn)練樣本的影響越小。

C-SVC模型的懲罰參數(shù)c和核函數(shù)的參數(shù)g對(duì)識(shí)別預(yù)測(cè)的準(zhǔn)確率有很大的影響[18]，僅憑經(jīng)驗(yàn)選取的參數(shù)不能發(fā)揮模型的識(shí)別性能。本文使用交叉驗(yàn)證法中的K-CV法來尋找最優(yōu)參數(shù)c和g。在尋找使步態(tài)模型達(dá)到最高分類準(zhǔn)確率對(duì)應(yīng)的參數(shù)時(shí)，選取c最小組對(duì)應(yīng)的c和g作為最佳參數(shù)，因?yàn)檫^大的c會(huì)導(dǎo)致訓(xùn)練集分類準(zhǔn)確率很高而測(cè)試集分類準(zhǔn)確率很低。經(jīng)過大范圍的粗略尋優(yōu)和小范圍的精細(xì)尋優(yōu)得到本模型最優(yōu)的參數(shù)c為1，g為1，如圖9。圖中x軸表示c取以2為底的對(duì)數(shù)值，y軸表示g取以2為底的對(duì)數(shù)值，方框中數(shù)值代表當(dāng)前參數(shù)下的識(shí)別率。

(a)粗略尋優(yōu)

4 結(jié)果與分析

目前，國內(nèi)外基于Kinect和足底壓力的步態(tài)研究還在初級(jí)階段，仍沒有一個(gè)完整的Kinect和足底壓力結(jié)合的數(shù)據(jù)庫，因此對(duì)模型的驗(yàn)證都是在本文數(shù)據(jù)庫下進(jìn)行的。本文模型所需的視覺特征和觸覺特征是同時(shí)提取的，每一幀的視覺圖像、人體的關(guān)節(jié)三維坐標(biāo)和足底壓力圖像相互對(duì)應(yīng)，如圖10。

圖10 Kinect圖像與足底壓力圖像Fig.10 Kinect image and plantar pressure image

通過Kinect提取包括四肢長度和擺動(dòng)角度在內(nèi)的視覺特征是目前常用的步態(tài)特征提取方式。取一個(gè)步態(tài)周期中的某一幀視覺特征進(jìn)行分析，通過Kinect提取關(guān)節(jié)坐標(biāo)，分別計(jì)算人體兩側(cè)的四肢長度，如表2。

表2 四肢長度計(jì)算值與測(cè)量值Tab.2 Calculated and measured values of limb lengths mm

由表2可知，計(jì)算值與測(cè)量值的最大誤差為足部的8.96%，最小誤差為大腿的0.45%，說明Kinect在視覺特征提取上有著很好的精度。

取每名實(shí)驗(yàn)者在正常、背包和穿大衣3種情況下視覺特征和觸覺特征100幀進(jìn)行融合，其中50幀作為訓(xùn)練集，另外50幀作為測(cè)試集。根據(jù)參數(shù)尋優(yōu)結(jié)果，將懲罰參數(shù)c設(shè)為1，核函數(shù)參數(shù)g設(shè)為1，同時(shí)將矩陣F中的足底壓力分區(qū)。隨機(jī)抽取訓(xùn)練集中的10幀特征和測(cè)試集中的10幀特征輸入分類器，對(duì)模型的識(shí)別性能進(jìn)行驗(yàn)證。通過對(duì)15名實(shí)驗(yàn)者在3種不同步態(tài)運(yùn)動(dòng)狀態(tài)下的數(shù)據(jù)采集和特征處理，建立數(shù)據(jù)庫。在MATLAB中運(yùn)用支持向量機(jī)的多分類算法對(duì)全身步態(tài)模型的識(shí)別性能進(jìn)行驗(yàn)證，平均運(yùn)行時(shí)間為1.124 s。同時(shí)根據(jù)本文所建立的Kinect和足底壓力數(shù)據(jù)庫，提取了文獻(xiàn)[8]提出的五連桿模型和文獻(xiàn)[9]提出的全身分層可變模型所需的視覺特征，以及文獻(xiàn)[11]和文獻(xiàn)[12]所需的觸覺特征，對(duì)4個(gè)不同模型在本數(shù)據(jù)庫下的識(shí)別性能進(jìn)行驗(yàn)證，結(jié)果見表3。

由表3可知，本文模型通過對(duì)足底壓力分區(qū)增加特征識(shí)別點(diǎn)的方式，提高了步態(tài)識(shí)別的準(zhǔn)確率，并且模型在背包負(fù)重和穿大衣遮擋情況下的識(shí)別性能下降更少，具有很好的魯棒性。融合了視覺和觸覺特征的全身步態(tài)模型與只使用視覺特征進(jìn)行建模的方法相比識(shí)別率更高；對(duì)于只使用觸覺特征進(jìn)行識(shí)別的方法，由于自身重力的增大，在背包負(fù)重情況下識(shí)別性能下降很多，而本文由于引入視覺特征進(jìn)行建模，在背包負(fù)重情況下的表現(xiàn)更好。

表3 本文數(shù)據(jù)庫下不同模型的識(shí)別率Tab.3 Recognition rate of different models in the database of this paper %

5 結(jié) 論

1)本文提出一種融合視覺和觸覺特征的全身步態(tài)運(yùn)動(dòng)模型，減少了背包負(fù)重和穿大衣遮擋情況下對(duì)步態(tài)識(shí)別結(jié)果的影響。采用足底壓力分區(qū)的方式增多特征識(shí)別點(diǎn)，提高了步態(tài)識(shí)別率。

2)為更加快速和方便地提取步態(tài)運(yùn)動(dòng)特征，將步態(tài)模型進(jìn)行特征分離，得到代表不同人體步態(tài)運(yùn)動(dòng)特征的矩陣。并且通過Kinect和步道式足底壓力儀搭建實(shí)驗(yàn)系統(tǒng)，建立了包括正常、背包負(fù)重和穿大衣3種情況下的數(shù)據(jù)庫，方便特征提取和模型驗(yàn)證。

3)為進(jìn)一步提高識(shí)別率，在步態(tài)識(shí)別過程中采用支持向量機(jī)中的多分類器方法，對(duì)分類器中的主要參數(shù)先后進(jìn)行了粗略尋優(yōu)和精細(xì)尋優(yōu)。在本文數(shù)據(jù)庫范圍內(nèi)驗(yàn)證了算法的有效性，比較了4種模型在本文數(shù)據(jù)庫下的表現(xiàn)，結(jié)果表明，本文提出的算法識(shí)別率最高。