基于肌電信號(hào)和加速度信號(hào)的動(dòng)態(tài)手勢(shì)識(shí)別方法

謝小雨，劉喆頡

(太原理工大學(xué) 物理與光電工程學(xué)院，太原 030024)(*通信作者電子郵箱liuzhejie@tyut.edu.cn)

基于肌電信號(hào)和加速度信號(hào)的動(dòng)態(tài)手勢(shì)識(shí)別方法

謝小雨，劉喆頡*

(太原理工大學(xué) 物理與光電工程學(xué)院，太原 030024)(*通信作者電子郵箱liuzhejie@tyut.edu.cn)

為了增強(qiáng)手勢(shì)識(shí)別的多樣性和簡(jiǎn)便性，提出了一種基于肌電信號(hào)(EMG)和加速度(ACC)信息融合的方法來識(shí)別動(dòng)態(tài)手勢(shì)。首先,利用MYO傳感器采集EMG和ACC的手勢(shì)動(dòng)作信息;然后分別對(duì)ACC和EMG信號(hào)作特征降維和預(yù)處理；最后，為減少訓(xùn)練樣本數(shù)，提出用協(xié)作稀疏表示分類器來識(shí)別基于ACC信號(hào)的姿態(tài)手勢(shì)，用動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法和K-最鄰近分類器(KNN)來分類EMG信號(hào)的手形手勢(shì)。其中在利用協(xié)作稀疏表示分類器識(shí)別ACC姿態(tài)信號(hào)時(shí)，通過對(duì)創(chuàng)建字典最佳樣本個(gè)數(shù)以及特征降維的維數(shù)進(jìn)行研究來降低手勢(shì)識(shí)別的復(fù)雜度。實(shí)驗(yàn)結(jié)果表明，手形手勢(shì)的平均識(shí)別率達(dá)到了99.17%，對(duì)于向上向下、向左向右4種姿態(tài)手勢(shì)平均識(shí)別率達(dá)到 96.88%，而且計(jì)算速度快；對(duì)于總體的12個(gè)動(dòng)態(tài)手勢(shì)，其平均識(shí)別率達(dá)到96.11%。該方法對(duì)動(dòng)態(tài)手勢(shì)的識(shí)別率較高，計(jì)算速度快。

手勢(shì)識(shí)別；協(xié)作稀疏表示；肌電信號(hào)；動(dòng)態(tài)時(shí)間規(guī)整算法；加速度

0 引言

隨著科技的不斷發(fā)展，人機(jī)交互已成為人工智能領(lǐng)域的新興發(fā)展方向，在人們生活中扮演著越來越重要的角色。在人機(jī)交互技術(shù)中，手勢(shì)識(shí)別技術(shù)是重要的部分之一，在醫(yī)療、游戲、體育運(yùn)動(dòng)及智能等方面運(yùn)用越來越廣泛。手勢(shì)識(shí)別主要包括基于視覺和基于傳感器的手勢(shì)識(shí)別。2014年，Thalmic實(shí)驗(yàn)室發(fā)布了MYO手環(huán)[1]，該手環(huán)內(nèi)置加速度計(jì)、陀螺儀、磁力計(jì)以及生物肌電傳感器，可以測(cè)量姿態(tài)加速度和生物肌電信號(hào)。基于傳感器的手勢(shì)識(shí)別是指利用穿戴的傳感器能夠獲得手的動(dòng)作信息，并且這些數(shù)據(jù)信息可以用來對(duì)手勢(shì)進(jìn)行分析與識(shí)別，這類傳感器可以測(cè)肌電信號(hào)、骨骼信息、加速度信號(hào)等，可以用來進(jìn)行簡(jiǎn)單的手寫識(shí)別[2-3]及手語手勢(shì)識(shí)別[4-5]等。目前，基于傳感器的手勢(shì)識(shí)別的方法有基于慣性測(cè)量單元(Inertial Measurement Unit, IMU)[6-7]和基于肌電信號(hào)(ElectroMyoGraphy, EMG)等。

對(duì)基于肌電信號(hào)的手勢(shì)識(shí)別算法已有學(xué)者進(jìn)行了大量研究，Boyali等[8]提出用循環(huán)矩陣建立訓(xùn)練字典，并用基于稀疏表示的分類器對(duì)8維的肌電信號(hào)分類識(shí)別，準(zhǔn)確率達(dá)97%；Linderman等[9]使用附著在手臂上的貼片電極來測(cè)得寫字時(shí)的肌電信號(hào)，用動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping, DTW)算法匹配算法完成寫字識(shí)別；在肌電信號(hào)的手勢(shì)識(shí)別中，雖然許多研究表明隱馬爾可夫模型(Hidden Markov Model, HMM)[10]以及人工神經(jīng)網(wǎng)絡(luò)方法[11]能夠提高手勢(shì)識(shí)別率，但是HMM方法和神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練樣本量大，算法復(fù)雜，不適合快速手勢(shì)辨識(shí)的應(yīng)用。對(duì)基于加速度(ACCeleration, ACC)信號(hào)的手勢(shì)識(shí)別：Wang等[12]使用DTW算法匹配最小距離模板，然后通過稀疏表示重構(gòu)信號(hào)，實(shí)現(xiàn)不同的手勢(shì)的識(shí)別；Gupta等[13]使用加速度和陀螺儀信號(hào)實(shí)現(xiàn)了連續(xù)手勢(shì)的識(shí)別。為了增加手勢(shì)識(shí)別的多樣性，許多研究者將ACC和EMG信號(hào)[14]結(jié)合來實(shí)現(xiàn)手勢(shì)的識(shí)別，如Li等[15]在多個(gè)傳感器的基礎(chǔ)上使用不同識(shí)別算法實(shí)現(xiàn)大量手語手勢(shì)的識(shí)別；Georgi等[16]融合EMG和IMU信息采用隱馬爾可夫模型的方法對(duì)可穿戴手勢(shì)識(shí)別系統(tǒng)進(jìn)行了簡(jiǎn)要評(píng)估，證明了該方法的有效性。雖然基于EMG和基于ACC的手勢(shì)識(shí)別，都已經(jīng)達(dá)到了較高的識(shí)別率，但是卻很少研究將二者信息融合后，用簡(jiǎn)單快速的方法來實(shí)現(xiàn)人機(jī)交互中手勢(shì)識(shí)別的實(shí)時(shí)性和多樣性。

本文使用Thalmic實(shí)驗(yàn)室的MYO手勢(shì)臂帶采集12組包含肌電信號(hào)和加速度信號(hào)的動(dòng)態(tài)手勢(shì)信息。對(duì)于肌電信號(hào)，用DTW算法結(jié)合K最近鄰(K-Nearest Neighbor,KNN)分類器進(jìn)行分類識(shí)別，其中使用特征提取的方法簡(jiǎn)化計(jì)算過程。在對(duì)ACC姿態(tài)信號(hào)進(jìn)行識(shí)別的過程中，用主成分分析(Principal Component Analysis, PCA)特征降維的方法來構(gòu)建完備字典，在基于加速度的稀疏表示識(shí)別算法上[12]8648-8651，提出協(xié)作稀疏表示(Collaborative Sparse Representation, CSR)算法來識(shí)別加速度信號(hào)，并融合肌電信號(hào)識(shí)別動(dòng)態(tài)手勢(shì)。實(shí)驗(yàn)表明，與文獻(xiàn)[12]的稀疏表示算法相比，協(xié)作稀疏表示算法在訓(xùn)練樣本數(shù)減少的情況下，也可以達(dá)到較高的識(shí)別率，而且相對(duì)于DTW算法不僅有較好的識(shí)別率，而且計(jì)算速度快；在融合加速度和肌電信號(hào)后，手勢(shì)識(shí)別率較高。

1 手勢(shì)識(shí)別系統(tǒng)

融合EMG和ACC的手勢(shì)識(shí)別系統(tǒng)，是指對(duì)姿態(tài)手勢(shì)和手形手勢(shì)進(jìn)行識(shí)別后融合為動(dòng)態(tài)手勢(shì)。手勢(shì)識(shí)別系統(tǒng)主要包括了兩大部分，訓(xùn)練樣本以及未知手勢(shì)(測(cè)試樣本)。圖1為手勢(shì)識(shí)別系統(tǒng)的流程框架。對(duì)于ACC信號(hào)，也就是姿態(tài)上的手勢(shì)識(shí)別，采用了協(xié)作表示分類器來識(shí)別手勢(shì)，其過程包括：創(chuàng)建字典，將輸入信號(hào)壓縮，稀疏表示出信號(hào)的主要信息，然后將信息重構(gòu)出來，利用最小殘差的標(biāo)號(hào)表示手勢(shì)類別；對(duì)于手形手勢(shì)的識(shí)別，通過計(jì)算測(cè)試樣本與訓(xùn)練樣本的DTW匹配距離后，用KNN分類器對(duì)手形手勢(shì)進(jìn)行識(shí)別。

圖1 手勢(shì)識(shí)別系統(tǒng)框圖

2 手勢(shì)識(shí)別方法

由圖1可知，在動(dòng)態(tài)手勢(shì)識(shí)別中，對(duì)手形手勢(shì)識(shí)別和姿態(tài)方向上的手勢(shì)識(shí)別使用了不同的識(shí)別方法。

2.1 ACC信號(hào)的手勢(shì)識(shí)別

MYO傳感器輸出的是3維的加速度信號(hào)，對(duì)加速度信號(hào)進(jìn)行簡(jiǎn)單去重，然后用PCA降維，將所有加速度的高維數(shù)據(jù)投影到低維空間，然后用降維后的加速度信號(hào)構(gòu)建完備字典，得出測(cè)試樣本的稀疏表示系數(shù)，最后對(duì)重構(gòu)信號(hào)與原始信號(hào)做殘差，得出姿態(tài)手勢(shì)。

2.1.1 創(chuàng)建訓(xùn)練字典

使用協(xié)作稀疏表示分類器識(shí)別基于ACC信號(hào)的手勢(shì)時(shí)，需要?jiǎng)?chuàng)建訓(xùn)練字典。創(chuàng)建字典首先需要將所有樣本的3維加速度信號(hào)截取相同的長(zhǎng)度，然后將每個(gè)訓(xùn)練樣本的3維信號(hào)放入一個(gè)一維向量，接下來使用PCA降維來減少輸入信號(hào)的維數(shù)，保留主要信號(hào)信息。假設(shè)每一個(gè)樣本長(zhǎng)度為l，所有的樣本可以組成一個(gè)矩陣D1∈Ri*j，經(jīng)過PCA降維之后映射為維度為n的空間，即通過式(1)實(shí)現(xiàn)：

Y=VD1

(1)

V表示矩陣D1經(jīng)過分解后的特征向量，Y是降維后的數(shù)據(jù)矩陣。

使用PCA降維的過程是用奇異值分解得到協(xié)方差矩陣的過程。實(shí)驗(yàn)中對(duì)訓(xùn)練字典降維一方面可以降低計(jì)算時(shí)間復(fù)雜度，另一方面可以提取加速度信號(hào)中的主要特征；而且還可以滿足稀疏表示中過完備字典的要求。在用PCA降維時(shí)，所降維數(shù)對(duì)計(jì)算速度和準(zhǔn)確率都有影響：維數(shù)太大沒有起到提取主要信息的作用，使計(jì)算量增大；維數(shù)太小，不能夠?qū)⑿盘?hào)的主要信息表達(dá)出來。

2.1.2 協(xié)作稀疏表示分類器

協(xié)作稀疏表示分類器是在稀疏表示的基礎(chǔ)上完成的，稀疏表示來源于壓縮感知的發(fā)展，其主要作用是將信號(hào)壓縮，保存信號(hào)中的主要信息，濾出噪聲和雜質(zhì)信號(hào)。稀疏表示在人臉識(shí)別中運(yùn)用非常廣泛[17]。隨著對(duì)稀疏表示的深入研究，文獻(xiàn)[18]中就表明在信號(hào)表示中真正起作用的不僅是稀疏表示，而且還包括協(xié)作表示。稀疏表示理論要求：每一個(gè)動(dòng)作的訓(xùn)練樣本數(shù)量要足夠大，以滿足訓(xùn)練字典為過完備字典。但是在實(shí)際識(shí)別中，為了提高計(jì)算速度，樣本數(shù)量一般較少，即為欠完備字典，因此使用所有的訓(xùn)練樣本構(gòu)成訓(xùn)練字典來協(xié)作表示測(cè)試樣本。協(xié)作稀疏表示的原理就是利用訓(xùn)練字典盡可能地與輸入信號(hào)逼近，在訓(xùn)練字典中找到一個(gè)最佳線性組合的樣本來表示這個(gè)輸入信號(hào)。

在本實(shí)驗(yàn)研究中，為了對(duì)手勢(shì)進(jìn)行簡(jiǎn)單快速的識(shí)別，使用較少的訓(xùn)練樣本來實(shí)現(xiàn)較高的識(shí)別率，因此采用協(xié)作稀疏表示，即用所有的訓(xùn)練樣本協(xié)作表示字典。設(shè)Xi表示一個(gè)訓(xùn)練樣本，則訓(xùn)練字典可以表示為X=[X1，X2，…，Xi]，設(shè)y為一個(gè)測(cè)試樣本，將每個(gè)測(cè)試樣本用所有的訓(xùn)練樣本表示，即y=Xμ,μ=[μ1,μ2, …,μi]，其中μi是第i個(gè)樣本對(duì)應(yīng)的稀疏表示向量。如果測(cè)試樣本y與訓(xùn)練字典中的某個(gè)元素最為類似，則該元素就不會(huì)全為0，與測(cè)試樣本不相似的元素則應(yīng)全為0。但是在實(shí)際應(yīng)用中，只需滿足y≈Xμ。

通過協(xié)作稀疏表示對(duì)手勢(shì)進(jìn)行分類，首先需要將信號(hào)進(jìn)行稀疏表示，然后根據(jù)稀疏表示向量重構(gòu)出原始信號(hào)。求解稀疏向量問題可以通過最小化的目標(biāo)函數(shù)來求解，即最優(yōu)化問題如式(2)：

(μ)=arg min‖μ‖0s.t. ‖y-Xμ‖<ε

(2)

其中：y是測(cè)試樣本信號(hào)，X是訓(xùn)練字典，μ是輸入信號(hào)所對(duì)應(yīng)的稀疏向量，ε是一個(gè)無窮小量。 對(duì)于式(2)的求解過程，實(shí)際上是在一定約束條件下，求L0范數(shù)最小化的問題，因?yàn)闊o法直接求解L0范數(shù)，一般將L0范數(shù)問題等效為L(zhǎng)1范數(shù)問題，又由于L2范數(shù)代替L1范數(shù)對(duì)識(shí)別率不會(huì)帶來較大的影響，卻可以大幅降低計(jì)算的復(fù)雜度，因此將求解轉(zhuǎn)換為L(zhǎng)2范數(shù)最優(yōu)化的問題。在L2范數(shù)的前提下，結(jié)合Zhang等[18]使用最小二乘法的規(guī)則化函數(shù)來表示，如式(3),則有：

(3)

其中：第一項(xiàng)是最小二乘法項(xiàng)，第二項(xiàng)是正則化項(xiàng)，μ是稀疏度，y是輸入的測(cè)試樣本，X是訓(xùn)練字典，λ稱為L(zhǎng)2規(guī)則化參數(shù)。圖2是L2范數(shù)正則化參數(shù)對(duì)識(shí)別率的影響圖，識(shí)別率隨參數(shù)λ的增大而增大，當(dāng)λ≥1后，手勢(shì)識(shí)別率隨λ的增加波動(dòng)較為平緩，不顯著。因此將取λ=1。

圖2 正則化參數(shù)對(duì)識(shí)別率的影響

式(3)經(jīng)過化簡(jiǎn)計(jì)算可得：

μ=(XTX+λE)-1XT*y

(4)

由式(4)即可求出稀疏表示向量，然后利用所求向量就可以得出測(cè)試樣本與重構(gòu)信號(hào)的殘差ri，見式(5)，通過最小殘差得出手勢(shì)類別，見式(6)：

(5)

Z=arg min{ri}

(6)

通過實(shí)驗(yàn)得到的測(cè)試樣本手勢(shì)類別標(biāo)號(hào)，與真實(shí)手勢(shì)類別標(biāo)號(hào)進(jìn)行比對(duì)，即可判斷測(cè)試樣本的手勢(shì)類型。

2.2 手形手勢(shì)識(shí)別

在手形手勢(shì)識(shí)別中，對(duì)MYO傳感器輸出的8維肌電信號(hào)進(jìn)行處理與分析，用基于DTW模板匹配算法和KNN分類器分類5種簡(jiǎn)單的手形手勢(shì)。

2.2.1 預(yù)處理及特征提取

在傳感器輸出信號(hào)中，包含有噪聲或者其他環(huán)境因素的影響，直接對(duì)信號(hào)進(jìn)行分析就會(huì)造成許多的錯(cuò)誤，降低手形手勢(shì)的識(shí)別率。同時(shí)肌電信號(hào)序列大，需要采用滑動(dòng)平均能量的方法分割數(shù)據(jù)段，實(shí)驗(yàn)中設(shè)滑動(dòng)窗口大小為160 ms，窗口增量為40 ms；接下來對(duì)每個(gè)劃分窗口的信號(hào)值求均方根，提取EMG信號(hào)的主要特征。

2.2.2 DTW算法

動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法，是一種距離匹配算法，主要用于匹配不同長(zhǎng)度的序列間的距離，其始于語音識(shí)別中[19]。該算法簡(jiǎn)單，訓(xùn)練開銷小，并且已經(jīng)廣泛用于手勢(shì)識(shí)別算法中。

假設(shè)有兩個(gè)時(shí)間序列，X={x1，x2，…，xN}，Y={y1，y2，…，yM}，X為測(cè)試樣本數(shù)據(jù)，Y為參考模板數(shù)據(jù)，M、N代表兩序列的長(zhǎng)度，兩值不一定相同。如圖3所示，用X-Y直角坐標(biāo)系表示，橫縱坐標(biāo)分別表示兩序列，坐標(biāo)中網(wǎng)格交錯(cuò)點(diǎn)就表示第M和第N個(gè)序列點(diǎn)之間的距離，計(jì)算出任意兩個(gè)點(diǎn)的距離后，找出最小距離。為減少計(jì)算過程中的計(jì)算量，將路徑傾斜度限制在0.5～2[20]，這樣到達(dá)(n,m)就只有3條路徑，分別為(n-1,m)、(n-1,m-2)、(n,m-1)，減少了計(jì)算量。要得到兩序列之間的DTW距離，首先要計(jì)算各個(gè)序列點(diǎn)之間的距離，即幀匹配距離：

(6)

兩序列從坐標(biāo)點(diǎn)(1,1)到(N,M)的最小累積距離則為：

D=d(xN,yM)+min(D(xN-1,yM),D(xN,yM-1),D(xN-1,yM-1))

(7)

圖3 DTW算法

2.2.3 KNN分類器

對(duì)于手形手勢(shì)的識(shí)別，在采用DTW算法計(jì)算測(cè)試樣本與所有訓(xùn)練樣本的匹配距離后，使用最鄰近分類器(KNN算法)對(duì)測(cè)試樣本進(jìn)行分類。KNN算法是將一個(gè)樣本在特征空間中的k個(gè)最相鄰的樣本中的大多數(shù)歸屬為某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。該方法簡(jiǎn)單，魯棒性強(qiáng)。KNN方法在類別決策時(shí)，只與極少量的相鄰樣本有關(guān)，分類識(shí)別率與K值的選取有關(guān)，在實(shí)驗(yàn)中，K=5較為合適。

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)備為Thalmic實(shí)驗(yàn)室開發(fā)出來的MYO手勢(shì)控制臂帶，其不僅可以捕捉到用戶手臂肌肉運(yùn)動(dòng)時(shí)產(chǎn)生的生物電變化，而且可以采集在姿態(tài)上的運(yùn)動(dòng)數(shù)據(jù)。MYO由8個(gè)肌電傳感器和IMU組件組成，EMG可以捕獲受試者胳膊臂上的肌電信號(hào)，IMU可以測(cè)量手勢(shì)運(yùn)動(dòng)的加速度。實(shí)驗(yàn)中，執(zhí)行的手勢(shì)是12個(gè)動(dòng)態(tài)手勢(shì)，如圖4的(a)～(l)，由手形手勢(shì)和姿態(tài)手勢(shì)組成，其中手形手勢(shì)是由MYO的5個(gè)易識(shí)別的基本動(dòng)作，分別為握拳(fist)、張手(spreadfinger)、向內(nèi)擺(wave in)、向外擺(wave out)、剪刀手，姿態(tài)手勢(shì)分為：向上、向下、向右、向左。采用無線藍(lán)牙將傳感器采集的肌電信號(hào)數(shù)據(jù)顯示到電腦上。在動(dòng)作采集的過程中，為了使識(shí)別結(jié)果更加準(zhǔn)確，將12個(gè)動(dòng)作分開采集；為了避免佩戴位置及其他條件的影響，戴上MYO采集完所有的數(shù)據(jù)之后再摘下。8維的EMG信號(hào)的采樣頻率為200 Hz，ACC信號(hào)的采樣頻率為50 Hz。

實(shí)驗(yàn)對(duì)象為23～28歲的健康人共5人，每人每個(gè)動(dòng)作執(zhí)行45次，則每個(gè)動(dòng)作共執(zhí)行225次，12個(gè)動(dòng)作總共執(zhí)行2 700次，全部作為測(cè)試樣本，另外，單獨(dú)采集向上、向下、向左、向右4個(gè)姿態(tài)動(dòng)作40次。由于動(dòng)態(tài)動(dòng)作是由姿態(tài)動(dòng)作和手形動(dòng)作組成，因此訓(xùn)練樣本單獨(dú)采集。采集某一個(gè)人的向上、向下、向左、向右4個(gè)動(dòng)作分別20次。采集4個(gè)手形動(dòng)作分別20次。

3.2 結(jié)果與分析

3.2.1 維數(shù)及訓(xùn)練樣本個(gè)數(shù)對(duì)姿態(tài)手勢(shì)識(shí)別率的影響

在姿態(tài)手勢(shì)的識(shí)別過程中，對(duì)訓(xùn)練字典進(jìn)行降維來提取動(dòng)作的主要特征時(shí)，所降維數(shù)對(duì)識(shí)別準(zhǔn)確率和識(shí)別復(fù)雜度具有一定的影響，對(duì)于復(fù)雜度不同的動(dòng)作，最佳特征維數(shù)可能不同。因此實(shí)驗(yàn)中對(duì)姿態(tài)動(dòng)作特征降維的維數(shù)進(jìn)行了探究，便于后續(xù)動(dòng)態(tài)手勢(shì)識(shí)別達(dá)到最佳效果，主要是考慮了握拳向上、握拳向下、握拳向右、握拳向左這4個(gè)動(dòng)作，因?yàn)檫@4個(gè)動(dòng)作包含了4個(gè)姿態(tài)動(dòng)作，可以大致確定對(duì)于4個(gè)姿態(tài)動(dòng)作的最佳特征降維維數(shù)。

由表1可知，當(dāng)所降維數(shù)低于4維時(shí)，識(shí)別率在較低的水平上波動(dòng)，當(dāng)維數(shù)上升為5時(shí)，識(shí)別率有明顯的提高，特別是姿態(tài)向左這個(gè)動(dòng)作。當(dāng)維數(shù)上升為6及更大時(shí)，其對(duì)識(shí)別率的影響較小。從這4個(gè)姿態(tài)動(dòng)作中，可以發(fā)現(xiàn)所降維數(shù)對(duì)向下和向右這兩個(gè)動(dòng)作的影響較小。這說明這兩個(gè)動(dòng)作有非常明顯的特征，更容易被識(shí)別出來。對(duì)于向左這個(gè)動(dòng)作，其動(dòng)作特征不是特別明顯，需要較多的特征值來描述這個(gè)動(dòng)作。通過對(duì)維數(shù)的分析可以得出，對(duì)于4個(gè)姿態(tài)動(dòng)作，在維數(shù)為6時(shí)，不僅不會(huì)影響識(shí)別率，而且不會(huì)因?yàn)榫S數(shù)過大影響計(jì)算速度。在利用協(xié)作稀疏表示分類器識(shí)別動(dòng)態(tài)手勢(shì)過程中，對(duì)訓(xùn)練樣本個(gè)數(shù)進(jìn)行研究時(shí)，我們將維數(shù)設(shè)置為6維。

圖4 12組手勢(shì)動(dòng)作

表1 維數(shù)對(duì)姿態(tài)手勢(shì)識(shí)別率的影響 %

表2是在對(duì)ACC信號(hào)識(shí)別姿態(tài)手勢(shì)的過程中，對(duì)訓(xùn)練字典中每個(gè)動(dòng)作的樣本個(gè)數(shù)進(jìn)行研究的結(jié)果。由表2可知，當(dāng)訓(xùn)練樣本數(shù)少于7時(shí)，訓(xùn)練樣本數(shù)的變化沒有引起識(shí)別率的顯著變化。當(dāng)訓(xùn)練樣本數(shù)增加至9時(shí)，總體識(shí)別率有明顯提高，達(dá)到98.33%，其中，向上動(dòng)作的識(shí)別準(zhǔn)確率相較于其他幾個(gè)動(dòng)作要差一些。在訓(xùn)練樣本數(shù)增至10時(shí)，總體識(shí)別率可以達(dá)到最佳效果，其中訓(xùn)練樣本數(shù)對(duì)向上這個(gè)動(dòng)作的影響最大。

表2 樣本個(gè)數(shù)對(duì)姿態(tài)手勢(shì)識(shí)別率的影響 %

為了驗(yàn)證協(xié)作稀疏表示分類器識(shí)別姿態(tài)手勢(shì)的識(shí)別效果，分別針對(duì)向上、向下、向左、向右四個(gè)單獨(dú)的姿態(tài)動(dòng)作，將所提的方法與經(jīng)典的DTW算法進(jìn)行了識(shí)別效果比較，如圖5所示。圖中A、B、C、D分別表示向上、向下、向左、向右這4個(gè)動(dòng)作。協(xié)作稀疏表示分類器對(duì)4個(gè)姿態(tài)動(dòng)作的識(shí)別效果到達(dá)96.88%，計(jì)算時(shí)間為0.121 4 s；而DTW算法的平均識(shí)別率為94.375%，計(jì)算時(shí)間為132.365 9 s。相對(duì)于DTW算法，所提方法識(shí)別率高，計(jì)算時(shí)間短，速度快，因此協(xié)作稀疏表示算法對(duì)姿態(tài)信號(hào)的手勢(shì)識(shí)別具有一定優(yōu)勢(shì)。

圖5 姿態(tài)動(dòng)作的識(shí)別方法對(duì)比

3.2.2 手勢(shì)識(shí)別結(jié)果

對(duì)于動(dòng)態(tài)手勢(shì)的識(shí)別率，通過分析姿態(tài)手勢(shì)和手形手勢(shì)識(shí)別的準(zhǔn)確率，來找出影響動(dòng)態(tài)手勢(shì)識(shí)別的因素。圖6中橫坐標(biāo)A～L分別表示12組動(dòng)態(tài)手勢(shì)，柱狀圖分別表示了12組動(dòng)作在手形、姿態(tài)上的平均識(shí)別率。由圖6可知，手形手勢(shì)的識(shí)別結(jié)果較好，除了剪刀手動(dòng)作外，其他手形識(shí)別率都達(dá)到了100%，手形手勢(shì)的平均識(shí)別率為99.17%，與之前工作研究中所用的模板匹配法相比，手形手勢(shì)識(shí)別率提高了3.11%；在ACC信號(hào)分類的姿態(tài)手勢(shì)中，握拳向下、握拳向左以及張手向右的識(shí)別結(jié)果相對(duì)較差，但是該組手勢(shì)識(shí)別中，姿態(tài)手勢(shì)平均識(shí)別率達(dá)到96.67%，與文獻(xiàn)[12]的稀疏表示算法相比，協(xié)作稀疏表示算法訓(xùn)練樣本數(shù)減少，但識(shí)別率并未降低，簡(jiǎn)化了手勢(shì)識(shí)別方法。

圖6 手勢(shì)識(shí)別準(zhǔn)確率

表3是動(dòng)態(tài)手勢(shì)識(shí)別的混淆矩陣，該混淆矩陣中的A～L表述了12組動(dòng)態(tài)手勢(shì)的識(shí)別結(jié)果。融合加速度和肌電信號(hào)的12組動(dòng)態(tài)手勢(shì)的平均識(shí)別率達(dá)到96.11%。由表可知，握拳向上、握拳向左、張手向下等動(dòng)作的識(shí)別效果較好，但是也有部分動(dòng)作如握拳向下等識(shí)別效果較差，在后續(xù)工作將進(jìn)一步探究其原因。

4 結(jié)語

本文提出了一種新的融合多傳感器信息的手勢(shì)識(shí)別方法，用12個(gè)動(dòng)態(tài)手勢(shì)對(duì)該方法進(jìn)行了識(shí)別與驗(yàn)證，兩種不同類型的信號(hào)分別用兩種不同的識(shí)別方法來分類。對(duì)于姿態(tài)信號(hào)的識(shí)別，在稀疏表示的基礎(chǔ)上，提出協(xié)作稀疏表示算法識(shí)別姿態(tài)信號(hào)，相比于前者，該方法可以在較少訓(xùn)練樣本的情況下，實(shí)現(xiàn)較高的識(shí)別率，而且計(jì)算速度快，實(shí)驗(yàn)中姿態(tài)信號(hào)的平均識(shí)別率達(dá)到96.67%。對(duì)于手形手勢(shì)的識(shí)別，其中使用滑動(dòng)平均能量的方法分割手勢(shì)活動(dòng)段，并用平均絕對(duì)值提取特征，用優(yōu)化的DTW算法計(jì)算測(cè)試樣本與訓(xùn)練樣本的匹配距離，最后用KNN分類器分類手形手勢(shì)；對(duì)于12組動(dòng)態(tài)手勢(shì)的手形，識(shí)別率能夠達(dá)到99.17%。融合后的12個(gè)動(dòng)態(tài)手勢(shì)的平均識(shí)別率為96.11%，達(dá)到了較好的識(shí)別效果；而且該識(shí)別方法簡(jiǎn)單方便，可以將該方法用于實(shí)際生活中。在今后的工作中，我們將繼續(xù)對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行研究與探討，會(huì)通過增加陀螺儀來識(shí)別旋轉(zhuǎn)類手勢(shì)。

表3 動(dòng)態(tài)手勢(shì)識(shí)別的混淆矩陣

References)

[1] THALMIC LABS. Myo user guide [EB/OL]. [2015- 12- 26]. https://developer.thalmic.com/downloads.

[2] WANG J S, HSU Y L, LIU J N. An inertial-measurement-unit-based pen with a trajectory reconstruction algorithm and its applications [J]. IEEE Transactions on Industrial Electronics, 2010, 57(10): 3508-3521.

[3] HUANG G, ZHANG D, ZHENG X, et al. An EMG-based handwriting recognition through dynamic time warping [C]// Proceedings of the 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. Piscataway, NJ: IEEE, 2010: 4902-4905.

[4] WU J, TIAN Z, SUN L, et al. Real-time American sign language recognition using wrist-worn motion and surface EMG sensors [C]// Proceedings of the 2015 IEEE 12th International Conference on Wearable and Implantable Body Sensor Networks. Piscataway, NJ: IEEE, 2015: 1-6.

[5] WEI S, CHEN X, YANG X, et al. A component-based vocabulary-extensible sign language gesture recognition framework [J]. Sensors, 2016, 16(4): 556.

[6] HSU Y L, CHU C L, TSAI Y J, et al. An inertial pen with dynamic time warping recognizer for handwriting and gesture recognition [J]. IEEE Sensors Journal, 2014, 15(1): 154-163.

[7] AKL A, CHEN F, VALAEE S. A novel accelerometer-based gesture recognition system [J]. IEEE Transactions on Signal Processing, 2011, 59(12): 6197-6205.

[8] BOYALI A, HASHIMOTO N. Spectral collaborative representation based classification for hand gestures recognition on electromyography signals [J]. Biomedical Signal Processing and Control, 2016, 24: 11-18.

[9] LINDERMAN M, LEBEDEV M A, ERLICHMAN J S. Recognition of handwriting from electromyography [J]. PLOS One, 2009, 4(8): e6791.

[10] KIM S, PARK G, YIM S, et al. Gesture-recognizing hand-held interface with vibrotactile feedback for 3D interaction [J]. IEEE Transactions on Consumer Electronics, 2009, 55(3): 1169-1177.

[11] WANG J S. CHUANG F C. An accelerometer-based digital pen with a trajectory recognition algorithm for handwritten digit and gesture recognition [J]. IEEE Transactions on Industrial Electronics, 2012, 59(7): 2998-3007.

[12] WANG H, LI Z. Accelerometer-based gesture recognition using dynamic time warping and sparse representation [J]. Multimedia Tools and Applications, 2016, 75(14): 8637-8655.

[13] GUPTA H P, CHUDGAR H S, MUKHERJEE S, et al. A continuous hand gestures recognition technique for human-machine interaction using accelerometer and gyroscope sensor [J]. IEEE Sensors Journal, 2016, 16(16): 6425-6432.

[14] CHANG W, DAI L, SHENG S, et al. A hierarchical hand motions recognition method based on IMU and sEMG sensors [C]// Proceedings of the 2015 IEEE International Conference on Robotics and Biomimetics. Piscataway, NJ: IEEE, 2015: 1024-1029.

[15] LI Y, CHEN X, ZHANG X, et al. A sign-component-based framework for Chinese sign language recognition using accelerometer and sEMG data [J]. IEEE Transactions on Biomedical Engineering, 2012, 59(10) : 2695-2704.

[16] GEORGI M ,AMMA C, SCHULTZ T. Fusion and comparison of IMU and EMG signals for wearable gesture recognition [C]// Biomedical Engineering System and Technology, CCIS 574. Berlin: Springer, 2015: 308-323.

[17] WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2009, 31(2): 210-227.

[18] ZHANG L, YANG M, FENG X, et al. Collaborative representation based classification for face recognition [EB/OL]. [2016- 11- 20]. https://www.researchgate.net/publication/223466657_Collaborative_Representation_based_Classification_for_Face_Recognition.

[19] 劉敬偉,徐美芝,鄭忠國(guó),等.基于DTW的語音識(shí)別和說話人識(shí)別特征選擇[J].模式識(shí)別與人工智能,2005,18(1):4-8.(LIU J W, XU M Z, ZHENG Z G, et al. DTW-based feature selection for speech recognition and speaker recognition [J]. Pattern Recognition and Artificial Intelligence, 2005, 18(1): 50-54.

[20] LOU Y, AO H, DONG Y. Improvement of Dynamic Time Warping (DTW) algorithm [C]// Proceedings of the 2015 14th International Symposium on Distributed Computing and Applications for Business Engineering and Science. Washington, DC: IEEE Computer Society, 2015: 384-387.

DynamicgesturerecognitionmethodbasedonEMGandACCsignal

XIE Xiaoyu, LIU Zhejie*

(CollegeofPhysicsandOptoelectronics,TaiyuanUniversityofTechnology,TaiyuanShanxi030024,China)

To enhance the diversity and simplicity of hand gesture recognition, an approach based on ElectroMyoGraphy (EMG) and ACCeleration(ACC) signals was proposed to recognize dynamic gestures. Firstly, the gesture related information was collected by MYO sensors. Then, the dimensionality of ACC signal was reduced and the preprocessing of EMG was done. Finally, to reduce the number of training samples,the posture based on ACC signal was recognized by using Collaborative Sparse Representation (CSR) and the gesture based on EMG signal was classified by using Dynamic Time Warping (DTW) algorithm and theK-Nearest Neighbor (KNN) Classifier. When the ACC signal was identified by using CSR, the optimal number of samples and the dimensions of the dimensionality reduction were studied to reduce the complexity of gesture recognition. The experimental results show that the average recognition accuracy of the EMG for the hand gesture tested reaches 99.17%; the ACC signal for four postures achieve 96.88%. The recognition accuracy for the 12 dynamic gestures reaches 96.11%. This method has high recognition accuracy and fast calculation speed for dynamic gestures.

gesture recognition; Collaborative Sparse Representation (CSR); ElectroMyoGraphy (EMG); Dynamic Time Warping (DTW) algorithm; ACCeleration(ACC)

2017- 03- 29;

2017- 05- 24。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61274089)；山西省國(guó)際合作項(xiàng)目(2014081029-2)。

謝小雨(1992—)，女，湖北荊州人，碩士研究生，主要研究方向：手勢(shì)識(shí)別、模式識(shí)別、機(jī)器學(xué)習(xí)、微磁傳感器； 劉喆頡(1959—)，男，江蘇南京人，教授，博士，主要研究方向：磁存儲(chǔ)、數(shù)據(jù)挖掘。

1001- 9081(2017)09- 2700- 05

10.11772/j.issn.1001- 9081.2017.09.2700

TP391.4

A

This work is partially supported by National Natural Science Foundation of China (61274089)，the International Cooperation Projects in Shanxi Province (2014081029-2).

XIEXiaoyu, born in 1992, M. S. candidate. Her research interests include gesture recognition,pattern recognition,machine learning, micro-magnetic sensor.

LIUZhejie, born in 1959, Ph. D., professor. His research interests include magnetic storage, data mining.