基于卷積神經(jīng)網(wǎng)絡(luò)與注意力模型的人體步態(tài)識(shí)別*

汪 濤,汪泓章,夏 懿,張德祥

(安徽大學(xué)電氣工程與自動(dòng)化學(xué)院)

步態(tài)是指人們行走時(shí)所表現(xiàn)的姿態(tài),不同于人臉、指紋、虹膜等,步態(tài)是唯一可以在遠(yuǎn)距離非接觸狀態(tài)下獲得的生物特征。每個(gè)人的步態(tài)都有一定的差異性,所以可以用作不同身份的識(shí)別。步態(tài)分析始于上世紀(jì)60年代[1],根據(jù)所依賴的傳感器類型,目前步態(tài)識(shí)別主要分為以下三類:基于圖像傳感器、基于壓力傳感器以及基于加速度傳感器。基于圖像傳感器的步態(tài)識(shí)別主要受到拍攝的角度、光照和遮擋等因素的影響,識(shí)別的難度較大[2]。壓力傳感器則需要被識(shí)別人在壓力感知的場(chǎng)地上行走,或者穿上裝有壓力傳感器的鞋,才能進(jìn)行步態(tài)信息的采集,因此在實(shí)際生活中限制較大、成本較高[3]。而加速度傳感器可以安放在人體的多個(gè)部位,數(shù)據(jù)采集簡(jiǎn)單而高效[4]。

過(guò)去的幾十年里,步態(tài)識(shí)別領(lǐng)域開展了大量研究工作,已經(jīng)取得了不少進(jìn)展[5-8]。近年來(lái),隨著可穿戴技術(shù)的快速發(fā)展,通過(guò)攜帶方便的可穿戴傳感器來(lái)進(jìn)行步態(tài)信息的采集正受到越來(lái)越多研究者的重視。Mantyjarvi等人提出利用加速度數(shù)據(jù)進(jìn)行步態(tài)識(shí)別,他們利用佩戴在皮帶上的三軸加速度計(jì)來(lái)采集行走過(guò)程中的步態(tài)信息,然后通過(guò)簡(jiǎn)單的峰值檢測(cè)方法進(jìn)行步態(tài)周期提取,并為每個(gè)受試者建立步態(tài)模板[9]。Derawi等人在隨后的研究中,首先使用時(shí)間插值和濾波對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,然后為了刪除不規(guī)整的步態(tài)周期數(shù)據(jù),他們利用動(dòng)態(tài)時(shí)間歸整DTW(Dynamic Time Warping)來(lái)計(jì)算所有步態(tài)周期數(shù)據(jù)之間的相互距離并刪除與其他步態(tài)周期數(shù)據(jù)具有明顯異常距離的步態(tài)周期數(shù)據(jù)[10]。Hoangt等人利用加速度傳感器和磁力計(jì)來(lái)采集步態(tài)信息,他們提出將加速度傳感器測(cè)量的數(shù)據(jù)轉(zhuǎn)化到標(biāo)準(zhǔn)的坐標(biāo)軸,以減少放置位置不穩(wěn)定的影響[11]。Bieber等利用手機(jī)內(nèi)置的加速度傳感器和麥克風(fēng)來(lái)同時(shí)采集加速度和聲音信息,然后利用決策樹來(lái)進(jìn)行步態(tài)識(shí)別[12]。

前人的這些工作表明,利用機(jī)器學(xué)習(xí)來(lái)加工處理加速度、角速度信號(hào)中所體現(xiàn)的步態(tài)信息,從而實(shí)現(xiàn)身份識(shí)別是一個(gè)非常有意義的研究方向[13-14]。然而,由于智能手機(jī)等設(shè)備在行走過(guò)程的位置變化,以及傳感器本身的信號(hào)漂移所帶來(lái)的噪音以及異常點(diǎn)等問題,使得利用智能手機(jī)來(lái)進(jìn)行步態(tài)識(shí)別的準(zhǔn)確率,特別是在大規(guī)模數(shù)據(jù)集上的準(zhǔn)確率仍然有很大的提升空間。近年來(lái),以卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)為代表的深度學(xué)習(xí)技術(shù)在信號(hào)特別是圖像信號(hào)的特征提取和識(shí)別方面取得了巨大的成功。CNN本質(zhì)上是一個(gè)模擬局部感受野的多層感知機(jī),通過(guò)多次卷積和池化來(lái)提取數(shù)據(jù)在不同尺度上的特征,其成功的原因關(guān)鍵在于它所采用的局部連接和共享權(quán)值的方式,一方面減少了權(quán)值的數(shù)量使得網(wǎng)絡(luò)易于優(yōu)化,另一方面降低了過(guò)擬合的風(fēng)險(xiǎn)。注意力機(jī)制(attention)基于人類視覺注意機(jī)制,具體來(lái)說(shuō)就是模擬人類觀看一張圖片時(shí),總是聚焦圖片的某些特定區(qū)域而不是整張圖片[15]。注意力機(jī)制最早是在圖像視覺領(lǐng)域提出來(lái)的,其代表性工作是Google的Deepmind團(tuán)隊(duì)所做的一項(xiàng)工作,他們?cè)谘h(huán)神經(jīng)網(wǎng)絡(luò)RNN(Recurrent Neural Network)模型上使用了注意力機(jī)制來(lái)進(jìn)行圖像分類[16]。本文提出一種基于深度學(xué)習(xí)的步態(tài)識(shí)別方法,該方法融合卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制。卷積神經(jīng)網(wǎng)絡(luò)具有捕捉局部特征的優(yōu)勢(shì),而注意力機(jī)制可以對(duì)特征中的關(guān)鍵點(diǎn)進(jìn)行進(jìn)一步強(qiáng)化。實(shí)驗(yàn)表明,具有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)可以更好的表達(dá)步態(tài)特征,從而取得更高的識(shí)別準(zhǔn)確率。

1 步態(tài)識(shí)別過(guò)程

如圖1所示,步態(tài)識(shí)別過(guò)程一般包括以下幾個(gè)方面:預(yù)處理、特征提取、步態(tài)分類以及性能評(píng)估。步態(tài)識(shí)別的難點(diǎn)主要是如何有效且魯棒的特征提取。本研究首先獲取行走過(guò)程中的加速度、角速度信號(hào),然后通過(guò)插值、去噪對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,最后通過(guò)基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)步態(tài)特征。其主要流程如下圖1所示:

圖1 步態(tài)識(shí)別流程

2 數(shù)據(jù)預(yù)處理

2.1 數(shù)據(jù)插值與去噪

由于軟件時(shí)鐘的不準(zhǔn)確性,智能手機(jī)對(duì)步態(tài)數(shù)據(jù)的采樣是不均勻的,所得到的數(shù)據(jù)采樣間隔不一致。為了處理的方便,首先對(duì)數(shù)據(jù)進(jìn)行三次樣條插值,實(shí)現(xiàn)每隔5 ms取一個(gè)數(shù)據(jù),一個(gè)完整的步態(tài)周期大約需要1 s左右的時(shí)間,因此一個(gè)步態(tài)周期大約有200個(gè)數(shù)據(jù)點(diǎn);然后利用低通有限脈沖響應(yīng)FIR(Finite Impulse Response)濾波器對(duì)將插值之后的數(shù)據(jù)去噪并減少可能出現(xiàn)在較高頻率的運(yùn)動(dòng)偽影,一般使用截止頻率為f=40 Hz,漢寧窗口長(zhǎng)度設(shè)為1 s。

2.2 步態(tài)周期提取

一個(gè)完整的步態(tài)周期是指行走時(shí)一側(cè)足跟著地到該側(cè)足跟再次著地的過(guò)程,它包含了步態(tài)的單步特征,是實(shí)現(xiàn)步態(tài)識(shí)別的重要基礎(chǔ)。一般來(lái)說(shuō),同一個(gè)人的步態(tài)特征是穩(wěn)定且唯一的,因此連續(xù)的步態(tài)周期應(yīng)當(dāng)具有高度的相關(guān)性。為了檢測(cè)動(dòng)態(tài)變化的步態(tài)周期,首先識(shí)別一個(gè)較容易區(qū)分的步態(tài)周期,并以此周期的步態(tài)信號(hào)作為模板,進(jìn)而通過(guò)模板匹配的方式找尋與模板具有最大相關(guān)性的信號(hào)片段作為下一個(gè)步態(tài)周期,同時(shí)進(jìn)行模板的迭代更新,從而使得下一個(gè)周期的檢測(cè)更加準(zhǔn)確[17]。步態(tài)周期檢測(cè)過(guò)程中,所使用的步態(tài)信號(hào)主要是總加速度的幅度信號(hào)。對(duì)于每個(gè)樣本i(i=1,2,…),其總加速度幅度信號(hào)計(jì)算如下:

設(shè)i′的幅度值amag(i′)是步態(tài)信號(hào)開始端的一個(gè)最小值,以i′為中心,提取200個(gè)加速度數(shù)據(jù)集,公式如下:

Z=(amag(i′-99),…,amag(i′),…,amag(i′+100))

(2)

式中:Z表示的是第一個(gè)周期內(nèi)的加速度模板。設(shè)C(i)是下一個(gè)以i點(diǎn)為起始的連續(xù)數(shù)據(jù)片段,其長(zhǎng)度N=200,也即:

C(i)=(amag(i),…,amag(i+N-1))

(3)

C(i)與模板的相關(guān)距離V(i)的計(jì)算如下:

(4)

(5)

圖2 步態(tài)相關(guān)距離V(i)

圖2顯示的是所計(jì)算的對(duì)應(yīng)不同點(diǎn)的相關(guān)距離,兩個(gè)最大值之間所對(duì)應(yīng)的就是一個(gè)步態(tài)周期。最大值所在位置可以通過(guò)簡(jiǎn)單的閾值法進(jìn)行定位。根據(jù)圖2顯示,閾值設(shè)為0.5可以滿足要求。通過(guò)第一個(gè)模板找到下一個(gè)緊鄰的步態(tài)周期,也就是第二個(gè)周期Z′。其更新公式如下所示:

Z=0.9Z+0.1Z′

(7)

可以看出新的模板是舊模板Z和Z′的加權(quán)平均。上述過(guò)程一直進(jìn)行到數(shù)據(jù)的最后一個(gè)步態(tài)周期為止。通過(guò)這種方法可以在每個(gè)新周期獲得相對(duì)準(zhǔn)確的模板。

2.3 方向投影

由于數(shù)據(jù)是通過(guò)褲子口袋中的手機(jī)來(lái)采集的,而手機(jī)的位置并沒有固定,因此加速度和角速度會(huì)有輕微的方向偏移。為此,需要為所采集的數(shù)據(jù)建立一個(gè)新的方向不變坐標(biāo)系。新坐標(biāo)系中三個(gè)正交的坐標(biāo)軸,其方向與智能手機(jī)的方向無(wú)關(guān),并與重力和運(yùn)動(dòng)方向?qū)R[18]。設(shè)一個(gè)步態(tài)周期樣本長(zhǎng)度為N1,其每個(gè)樣本的加速度、角速度表示如下:

A=[ax,ay,az]

(8)

K=[kx,ky,kz]

(9)

式中:x代表面向手機(jī)垂直屏幕的方向,y代表從手機(jī)左側(cè)到右測(cè)的方向,z代表手機(jī)底端到頂端的方向,A表示加速度,K表示角速度,ax、ay和az代表著x、y和z方向上的加速度向量,kx、ky和kz代表著x、y和z方向上的角速度向量。

重力方向的加速度是加速度計(jì)數(shù)據(jù)中的主要低頻分量,然而由于智能手機(jī)在行走過(guò)程中位置會(huì)出現(xiàn)一些變化,因此在智能手機(jī)(x,y,z)坐標(biāo)系中,重力方向的加速度并不是一個(gè)常矢量。為此,我們利用一個(gè)步態(tài)周期內(nèi)的加速度矢量均值來(lái)估計(jì)重力加速度矢量,其表示如下:

A1=A-f1×(ATf1)T

(12)

在水平面方向,我們將加速度數(shù)據(jù)變化最大的方向(也就是行進(jìn)方向,方差最大)設(shè)為新坐標(biāo)系的第二個(gè)坐標(biāo)軸。為此,利用主成分分析PCA(Principal Component Analysis)來(lái)計(jì)算數(shù)據(jù)方差最大的方向。首先計(jì)算協(xié)方差矩陣,公式如下所示:

(13)

式中:1N1是長(zhǎng)度為N1的全1向量。H1最大特征值對(duì)應(yīng)的特征向量h1是數(shù)據(jù)中的最大方差方向,這樣第二個(gè)坐標(biāo)系方向計(jì)算如下:

由于以上兩個(gè)方向正交,所以第三個(gè)方向可通過(guò)叉積獲得:

f3=f1×f2

(15)

將原始的加速度、角速度數(shù)據(jù)投影到新的坐標(biāo)空間,各個(gè)分量計(jì)算如下:

af1=ATf1;af2=ATf2;af3=ATf3

(16)

kf1=KTf1;kf2=KTf2;kf3=KTf3

(17)

于是得到坐標(biāo)轉(zhuǎn)換后的新的步態(tài)數(shù)據(jù):

A′=(af1,af2,af3);K′=(kf1,kf2,kf3)

(18)

2.4 數(shù)據(jù)歸一化

由于步行速度和步幅的變化,每個(gè)步態(tài)周期都有不同的持續(xù)時(shí)間,從而導(dǎo)致每一個(gè)步態(tài)周期的數(shù)據(jù)長(zhǎng)度不一致,而深度學(xué)習(xí)模型通常需要輸入數(shù)據(jù)的長(zhǎng)度要一致,也即長(zhǎng)度大小要固定。根據(jù)本文步態(tài)數(shù)據(jù)的特點(diǎn),實(shí)驗(yàn)中通過(guò)插值再抽取的方式將數(shù)據(jù)長(zhǎng)度統(tǒng)一為200。為了取得更好的訓(xùn)練和分類性能,對(duì)數(shù)據(jù)進(jìn)行幅度歸一化處理,以獲得具有零均值和單位方差的向量。由于加速度、角速度各自有三個(gè)方向(x、y、z)的數(shù)據(jù),加上所計(jì)算的總加速度和總角速度,故而針對(duì)每個(gè)步態(tài)周期共有八個(gè)長(zhǎng)度為200的向量,它們共同組成本文實(shí)驗(yàn)中的輸入信號(hào)。

3 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)在步態(tài)識(shí)別中的應(yīng)用

本文所提基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)其主要流程如圖3所示。在圖3所示的網(wǎng)絡(luò)結(jié)構(gòu)中,Acc代表加速度,Gry代表角速度,Con代表卷積核,Pool代表池化操作,⊕表示加速度與角速度分別通過(guò)卷積之后的特征融合(本文采用的是串接融合),Attention代表注意力機(jī)制模塊,Output代表最后輸出的分類特征,其維度為類別數(shù)35。

圖3 DCCNN+attention算法結(jié)構(gòu)圖

3.1 雙通道卷積神經(jīng)網(wǎng)絡(luò)

考慮到本文所使用的數(shù)據(jù)集同時(shí)包含加速度和角速度數(shù)據(jù),因此設(shè)計(jì)了一個(gè)雙通道的CNN結(jié)構(gòu),以下簡(jiǎn)稱為DCCNN(Double-Channel CNN)。如圖3所示,兩個(gè)通道的CNN分別對(duì)步態(tài)的加速度和角速度信息進(jìn)行特征提取,之后進(jìn)行特征的串接融合。將加速度與角速度分別用CNN訓(xùn)練,可以分割不同模態(tài)數(shù)據(jù)的特征空間,有利于訓(xùn)練時(shí)得到最優(yōu)的梯度下降,從而可以更好的提取加速度和角速度的特征信息。

3.2 注意力機(jī)制

注意力機(jī)制的結(jié)構(gòu)如圖4所示,其主要作用是強(qiáng)化學(xué)習(xí)步態(tài)信息中對(duì)特征表達(dá)比較重要的部分。

設(shè)f=(f1,f2,…,fi,…,fn)∈RM×N表示通過(guò)DCCNN所提取到的特征圖(feature map),而fi∈RM×N是其中的一個(gè)特征向量,于是對(duì)應(yīng)于fi的注意力αi,其計(jì)算公式如下:

圖4 注意力模型

(20)

(21)

式中:βi是fi通過(guò)單層感知器所得到的隱變量,VT是參數(shù)矩陣,W1和b1是權(quán)重矩陣。式(21)對(duì)隱變量進(jìn)行基于指數(shù)函數(shù)的非線性變換,從而得到每一個(gè)特征fi的注意力值αi,而αi的值越大,說(shuō)明所分配的注意力越多,則該特征向量對(duì)步態(tài)分類具有更重要的作用[19]。計(jì)算注意力加權(quán)的特征向量公式如下所示。

在分類階段,我們利用全連接層將高維特征ε壓縮到與類別數(shù)相等的較低維度,進(jìn)而通過(guò)分類器計(jì)算相應(yīng)類別的概率,公式如下:

p=softmax(W2ε+b2)

(23)

式中:W2和b2是權(quán)重矩陣。整個(gè)網(wǎng)絡(luò)的損失函數(shù)為分類交叉熵函數(shù),其定義為:

式中:k代表訓(xùn)練樣本的數(shù)目。訓(xùn)練過(guò)程中采用隨機(jī)梯度下降算法[20]來(lái)對(duì)注意力卷積神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)進(jìn)行優(yōu)化更新。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)所使用的數(shù)據(jù)集由Gadaleta等人貢獻(xiàn)[4],也即IDNet數(shù)據(jù)集。IDNet數(shù)據(jù)集由50個(gè)人的步態(tài)信息所組成。在采集過(guò)程中,測(cè)試者攜帶不同品牌的手機(jī)進(jìn)行測(cè)試,每次測(cè)試大約5 min,由于測(cè)試者行走能力的差異,每個(gè)人的測(cè)試次數(shù)從幾次到十幾次不等。測(cè)試者以自己習(xí)慣的方式行走,以模仿真實(shí)的場(chǎng)景。采集所得到的加速度、角速度以及磁場(chǎng)信號(hào)通過(guò)A/D轉(zhuǎn)換器進(jìn)行數(shù)字化并保存到手機(jī)的存儲(chǔ)卡上,同時(shí)自動(dòng)上傳到遠(yuǎn)端服務(wù)器上。IDNet數(shù)據(jù)集中有一部分?jǐn)?shù)據(jù)因?yàn)閿?shù)據(jù)量過(guò)少或其他原因無(wú)法使用,實(shí)驗(yàn)一共選取了其中35個(gè)人的步態(tài)數(shù)據(jù)用于訓(xùn)練和測(cè)試。為了證明算法的優(yōu)越性,針對(duì)每一個(gè)人,取200個(gè)步態(tài)周期的數(shù)據(jù),然后將所有的數(shù)據(jù)劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集,它們兩兩之間互不交叉,并且隨機(jī)均勻地從總的數(shù)據(jù)集中選取。具體來(lái)說(shuō)每個(gè)人分別有60、100個(gè)數(shù)據(jù)作為訓(xùn)練和測(cè)試使用,其余的數(shù)據(jù)都用做驗(yàn)證集。算法所涉及到的一些重要超參數(shù)在實(shí)驗(yàn)中的取值如表1所示。

表1 超參數(shù)取值

為了測(cè)試加速度與角速度數(shù)據(jù)對(duì)步態(tài)識(shí)別的不同作用,試驗(yàn)中利用CNN先分別對(duì)加速度和角速度數(shù)據(jù)進(jìn)行步態(tài)識(shí)別,然后再將兩種數(shù)據(jù)融合在一起來(lái)進(jìn)行步態(tài)識(shí)別,它們的試驗(yàn)結(jié)果如圖5所示。單獨(dú)使用加速度數(shù)據(jù)的準(zhǔn)確率為95.3%,單獨(dú)使用角速度數(shù)據(jù)的準(zhǔn)確率為93.5%,但兩種數(shù)據(jù)融合之后的結(jié)果為97.5%。

圖5 利用加速度、角速度以及兩者融合數(shù)據(jù)進(jìn)行 基于CNN的步態(tài)識(shí)別的實(shí)驗(yàn)結(jié)果對(duì)比

在實(shí)驗(yàn)中為了證明注意力機(jī)制能夠強(qiáng)化步態(tài)特征,我們將DCCNN與DCCNN+attention的實(shí)驗(yàn)結(jié)果進(jìn)行比較,其結(jié)果如圖6所示。圖6中橫坐標(biāo)為迭代次數(shù),縱坐標(biāo)為測(cè)試數(shù)據(jù)的識(shí)別準(zhǔn)確率,可以看出隨著迭代次數(shù)的增加,準(zhǔn)確率越來(lái)越高,直到迭代到一定的次數(shù)以后,結(jié)果基本趨于穩(wěn)定。同時(shí)可以看出DCCNN與注意力機(jī)制的結(jié)合對(duì)DCCNN性能的提升具有一定的效果,其準(zhǔn)確率提升了0.3%。

圖6 注意力機(jī)制的實(shí)驗(yàn)結(jié)果對(duì)比

為了驗(yàn)證本文算法的有效性和優(yōu)越性,實(shí)驗(yàn)中選取了一些常見模型進(jìn)行對(duì)比研究。圖7顯示了各種算法損失值(所有比較算法均采用最小化分類交叉熵?fù)p失)的收斂情況。其中橫坐標(biāo)代表迭代次數(shù),縱坐標(biāo)表示損失函數(shù)值。由圖7可知,實(shí)驗(yàn)中DCNN+attention的損失值下降比較快并且穩(wěn)定時(shí)損失值最小,loss值為0.096,DCCNN的loss值為0.10,CNN的loss值為0.11,LSTM(Long Short-Term Memory)的loss值為0.20,BiLSTM(Bi-directional LSTM)的loss值為0.16。

圖7 各個(gè)算法損失值

表2為實(shí)驗(yàn)中各個(gè)模型的準(zhǔn)確率結(jié)果。可以看出CNN模型的準(zhǔn)確率比LSTM模型高0.7%,這說(shuō)明層數(shù)較深、特征圖數(shù)量較多時(shí),CNN能夠提取到更加有利于分類的特征,從而表現(xiàn)出比LSTM更為優(yōu)秀的分類性能。在文獻(xiàn)[4]中,作者利用PCA對(duì)CNN提取的特征降維,再利用支持向量機(jī)SVM(Support Vector Machine)作為分類器,其實(shí)驗(yàn)結(jié)果比常規(guī)CNN提高了0.5%,達(dá)到了98%,這可能是由于降維有利于有效特征的表達(dá),同時(shí)SVM所提供的分類能力通常比常規(guī)CNN中的softmax要強(qiáng)。針對(duì)同一數(shù)據(jù)集,利用本文所提的DCCNN,其準(zhǔn)確率相對(duì)于CNN+SVM提高了0.7%,而利用DCCNN與attention結(jié)合的模型,準(zhǔn)確率進(jìn)一步提高了0.3%。

表2 各種模型的實(shí)驗(yàn)準(zhǔn)確率對(duì)比

5 結(jié)束語(yǔ)

本文首先通過(guò)基于動(dòng)態(tài)模板的方式提取基于加速度信號(hào)的步態(tài)周期,力求最大程度提取一個(gè)周期內(nèi)的完整步態(tài)信息。針對(duì)每一個(gè)步態(tài)周期所代表的步態(tài)樣本,本文利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行步態(tài)特征提取,然后再利用注意力機(jī)制對(duì)步態(tài)特征進(jìn)行關(guān)鍵點(diǎn)加強(qiáng),最后實(shí)現(xiàn)分類。實(shí)驗(yàn)表明,本文模型的準(zhǔn)確率較其他深度學(xué)習(xí)模型具有更高的準(zhǔn)確率。由于實(shí)驗(yàn)所使用的數(shù)據(jù)集相對(duì)較小,下一步我們將自行采集人數(shù)更多的步態(tài)數(shù)據(jù)集以進(jìn)一步測(cè)試本文所提模型。