基于表面肌電信號的手勢識別方法

崔冰艷, 鄧嘉, 張祥

(華北理工大學(xué)機械工程學(xué)院, 唐山 063210)

腦卒中通稱中風(fēng),是一種腦部缺血或出血性損傷導(dǎo)致的疾病。80%～90%的腦卒中患者會存在不同程度的手部運動功能障礙癥,腦卒中患者腕部功能障礙主要表現(xiàn)為腕部僵硬,腕自由度的缺失[1]。根據(jù)臨床調(diào)研發(fā)現(xiàn),患者的主動康復(fù)訓(xùn)練更有助于康復(fù)[2],因此基于上肢康復(fù)訓(xùn)練系統(tǒng)的自主康復(fù)訓(xùn)練研究具有廣闊前景。

康復(fù)訓(xùn)練是通過恢復(fù)激活肌肉的機能來達(dá)到康復(fù)目的,表面肌電信號(surface electromyography,sEMG)的成功運用在很大程度上取決于特征提取和選擇。到目前為止的研究中,沒有確定哪些類型的特征可以充分表達(dá)sEMG數(shù)學(xué)特性。目前,sEMG特征提取方法主要包括時域、頻域、時頻域和非線性動力學(xué)分析[3-4]。sEMG的分類方法主要有支持向量機(support vector machine,SVM )、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural net-work,BPNN)、隨機森林(random fores,RF),K最近鄰算法(K-nearest neighbor,KNN)、線性判別分析(linear discriminant analysis,LDA)和深度學(xué)習(xí) (deep learning,DL)[5]。

實現(xiàn)上肢運動動作的識別是機電控制的關(guān)鍵。張龍嬌等[6]提出一種融合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)和長短時記憶網(wǎng)絡(luò)(long short term memory, LSTM),將手勢控制臂環(huán)采集到的8通道sEMG數(shù)據(jù)進(jìn)行分類,實驗的結(jié)果表明手勢識別準(zhǔn)確率為91.6%。劉光達(dá)等[7]提出改進(jìn)的果蠅優(yōu)化算法基礎(chǔ)上把遺傳算法的交叉變異和果蠅優(yōu)化算法混合,并與神經(jīng)網(wǎng)絡(luò)結(jié)合對肌肉疲勞進(jìn)行識別,準(zhǔn)確率為94.3%,優(yōu)于其他方法。來全寶等[8]以提高手勢識別的準(zhǔn)確率,提出一種人工魚群算法優(yōu)化的極限學(xué)習(xí)機(artificial fish swarm algorithm-extreme learning machine, AFSA-ELM)分類模型,實驗結(jié)果表明,結(jié)合最優(yōu)特征組合與最優(yōu)滑動窗口設(shè)計的AFSA-ELM分類模型對多種手勢的平均識別準(zhǔn)確率高達(dá)97.4%,比BPNN分類模型和未優(yōu)化的ELM分類模型分別高3.5%和1.6%。吳田等[9]提出基于sEMG和混合算法優(yōu)化支持向量機(particle swarm optimization-genetic algorithm-support vector machines,PSO-GA-SVM) 的舒適度評估方法,引入基于希爾伯特黃變換(Hilbert-Huang transform,HHT) 的平均瞬時功率(averaged instantaneous frequency,AIF) 作為特征參數(shù),構(gòu)建了基于混合算法優(yōu)化支持向量機的評估模型,模型的準(zhǔn)確率為 93.5%,可有效量化評估絕緣桿類工器具的舒適度。Qureshi等[10]針對手勢識別,提出了CNN和預(yù)訓(xùn)練轉(zhuǎn)移學(xué)習(xí)(transfer learning,TL)模型之間的比較,該模型實現(xiàn)了更高的精度和更低的計算成本。結(jié)果表明,CNN可以顯著提高模式識別sEMG控制方案的有效性。Qin等[11]提出了一種基于通道卷積神經(jīng)網(wǎng)絡(luò)模型(channel wise-convolutional neural network, CW-CNN)的sEMG信號虛擬手控實時控制系統(tǒng),并在兩天內(nèi)對8名健康實驗人員進(jìn)行了三次實驗。實驗結(jié)果表明,該系統(tǒng)在3自由度運動回歸中具有較高的精度,系統(tǒng)穩(wěn)定,計算延遲低。Xing等[12]使用具有卷集成層的五個并行架構(gòu)的 CNN 模型對 Ninapro DB2 數(shù)據(jù)庫進(jìn)行分類和測試。實驗結(jié)果表明,CNN方法的分類準(zhǔn)確率為83.23%,高于SVM和RF方法。Hu等[13]提出了一種基于注意力的混合CNN和RNN(CNN-RNN)架構(gòu),NinaProDB1、NinaProDB2、BioPatRec子數(shù)據(jù)庫、CapgMyo子數(shù)據(jù)庫和csl-hdemg數(shù)據(jù)庫的識別準(zhǔn)確率分別為87.0%、82.2%、94.1%、99.7%和94.5%,比現(xiàn)有技術(shù)性能分別提高了9.2%、3.5%、1.2%、0.2%和5.2%。Vijayvargiya等[14]提出了一種混合小波與集合經(jīng)驗?zāi)B(tài)分解預(yù)處理技術(shù)的方法,稱為WD-EEMD(wavelet decomposition-ensemble empirical mode decomposition),用于下肢活動進(jìn)行分類。Pradhan等[15]在sEMG信號研究中,提出三個特征提取方法,時域特征、時頻域特征和自回歸特征,并在通道數(shù)1～8不等的情況下研究它們的組合。其中,對于識別系統(tǒng),四通道配置的平均誤差對于時域特征為3%,對于時頻域特征為12.4%,對于自回歸特征為36.3%。

綜上所述,很明顯,深度學(xué)習(xí)方法可以在sEMG手勢識別中實現(xiàn)更好的分類性能,使用CNN對sEMG信號進(jìn)行分類的準(zhǔn)確性普遍高于傳統(tǒng)分類方法。許多研究表明,時域和時頻域特征提取對sEMG信號分類具有識別性,并且多特征融合的sEMG信號更具識別度。在國內(nèi)外研究中上肢運動識別的研究中準(zhǔn)確率還有待提高。因此,為了提高上肢手勢動作的識別準(zhǔn)確率,基于sEMG信號對上肢手勢動作識別進(jìn)行了研究。首先進(jìn)行sEMG信號的預(yù)處理,包括了信號去噪和數(shù)據(jù)分割。其次進(jìn)行sEMG信號的特征提取,將時域和時頻域特征相融合,采用積分肌電值、均方根值和小波包變換系數(shù)構(gòu)造為特征空間IEME和RMSME。最后使用SVM、AFSA-SVM 和CNN對特征空間進(jìn)行了分類結(jié)果對比。

1 sEMG信號采集與處理

1.1 實驗設(shè)計

在表面肌電信號采集實驗過程中使用的設(shè)備為Delysis TrignoTM無線肌電儀,如圖1所示,它具有16路無線傳感器,可同時采集16塊肌肉的肌電信號和3軸加速度。

根據(jù)局部解剖學(xué)原理,手臂的屈伸運動主要由上臂肌肉區(qū)控制,握拳和伸肌主要由前臂肌肉群控制[16]。根據(jù)本文實驗的動作,選擇指淺屈肌與指伸肌作為表面肌電信號的來源,如圖2所示。

圖1 Delysis TrignoTMFig.1 Delysis TrignoTM

圖2 指淺屈肌與指伸肌位置示意圖Fig.2 Location of flexor digitorum superficialis and extensor digi-torum

實驗共采集了10位年齡為25+2歲的受試者,其中包括了8位男性和2位女性。在整個實驗過程中,受試者被要求以足夠穩(wěn)定的方式進(jìn)行,以消除姿勢差異引起的干擾。受試者使用右手進(jìn)行見表1的手勢動作完成sEMG信號采集。為了排除肌肉疲勞對表面肌電信號的影響,受試者在任何兩個動作之間休息2～5 s。實驗期間,受試者以2～5 s的運動周期完成了至少6次同一上肢運動,一共完成三組實驗。

1.2 sEMG去噪

sEMG是幅值僅為μV級的微電信號,它具有非線性與非平穩(wěn)特點。sEMG分布在500 Hz以下的頻帶范圍內(nèi),其中主要頻率集中在10～300 Hz,核心能量集中在20～150 Hz[17]。基于sEMG信號的特點,可知它極易受到噪聲的干擾,因此在使用sEMG信號之前必須濾除其中的噪聲。考慮巴特沃斯濾波器比切比雪夫濾波器具有更平滑的濾波特性,所以選用巴特沃斯濾波器去噪。使用巴特沃斯濾波器對sEMG信號進(jìn)行截止頻率為10 Hz的高通濾波去除低頻噪聲,截止頻率為300 Hz的低通濾波去除高頻噪聲。使用巴特沃斯濾波器從一階到五階對原始的sEMG信號進(jìn)行去噪,通過信噪比(signal-noise ratio, SNR)大小進(jìn)行選擇,結(jié)果見表2。

SNR值越大,說明去噪效果越好,所以由表2可知,在三階時對sEMG信號的去噪效果最好,因此本文選擇三階巴特沃斯濾波器進(jìn)行信號去噪,對1號受試者的1號動作去噪處理如圖3所示。

表1 八種手勢運動Table 1 8 gesture movements

表2 不同階數(shù)的信噪比值Table 2 Signal to noise ratio of different orders

圖3 三階巴特沃斯濾波器去噪Fig.3 Third order Butterworth filter denoising

1.3 時間滑動窗口數(shù)據(jù)分割

(1)分段樣本數(shù):分段樣本數(shù)是指使用時間滑動窗口后生成的數(shù)據(jù)段數(shù),表達(dá)式為

(1)

式(1)中:L表示數(shù)據(jù)量。

按照正常完成一個動作流程時間一般為2～6 s,采用2 000 Hz的采樣頻率,所以單個動作數(shù)據(jù)量。因此計算可得N=12～1 495。實驗的采樣頻率為2 000 Hz,采樣周期為0.5 ms,當(dāng)Wd=8,該段數(shù)據(jù)的處理時間為4 ms,且數(shù)據(jù)量較大,使特征提取和分類器處理的時間加大,并對計算機性能的要求很高,還會限制算法的復(fù)雜性,數(shù)據(jù)量過少會導(dǎo)致分類模型過擬合。因此選擇Wd為16、32和64。 對數(shù)據(jù)量的影響較小,但過大的W,會使信號的細(xì)節(jié)特征被吞沒,所以選擇W為32、64和128。因此W與Wd不同組合的數(shù)據(jù)量大小如表3所示。

表3 W與Wd不同組合分段樣本數(shù)Table 3 Number of segmented samples in different combinations of W and Wd

(2)

則滑動能量均值計算公式為

(3)

圖4 滑動能量均值Fig.4 Mean sliding energy

1.4 特征提取

目前,表面肌電信號特征計算方法主要包括時域、頻域、時頻域和非線性動力學(xué)分析。為增強數(shù)據(jù)特征的可靠性,選用時域信號中的積分肌電值(integrated electromyography, iEMG)和均方根值(root mean square, RMS),時頻域信號中的小波包變換(wavelet packet transform, WPT)作為特征提取。

1.4.1 積分肌電值

積分肌電值表示肌纖維的電荷活動程度[21],所有整流曲線下面積,能夠體現(xiàn)肌電值的波動和能量熵。積分肌電值計算公式為

(4)

式(4)中:Z為信號數(shù);Δt為信號點之間的時間差;xi為信號值。

以手掌伸展的肌電信號為例,其積分肌電值處理結(jié)果如圖5所示。

iEMG1_1表示1號動作手掌伸展的1號肌電傳感器肌電積分值, iEMG1_2表示1號動作手掌伸展的2號肌電傳感器肌電積分值圖5 積分肌電值Fig.5 Integrated electromyography

1.4.2 均方根值

均方根值與肌電信號的能量直接聯(lián)系[22],它表示表面肌電信號在單位時間內(nèi)的變化,可以反映肌肉的活躍程度。均方根值計算公式為

(5)

式(5)中:M表示信號總數(shù);xi為信號值。

采用與肌電積分值相同的動作與肌肉采集位置進(jìn)行均方根值信號處理,結(jié)果如圖6所示。

RMS1_1表示1號動作手掌伸展的1號肌電傳感器均方根值; RMS1_2表示1號動作手掌伸展的2號肌電傳感器均方根值圖6 均方根值Fig.6 Root mean square

1.4.3 小波包變換

小波分析和小波包變換適合對非平穩(wěn)信號的瞬態(tài)和時變特性分析,具有多尺度分析能力和良好的時頻局部化特性[23]。

小波包變換滿足雙尺度方程,即

(6)

小波包變換包括小波包分解和小波包重構(gòu)。

(1)小波包分解:對肌電信號進(jìn)行j層小波包分解,得到2j個不同信號的子頻帶,并按低頻到高頻的順序重新排列,采用正交小波包變換對信號x(t)進(jìn)行分解,則l層k點的小波包分解系數(shù),其公式為

(7)

(8)

式中:l為小波分解層數(shù);r=0,1,2,…,2l-1為相應(yīng)層數(shù)下節(jié)點的個數(shù);k=1,2,3,…,2l為第j層的第k個節(jié)點。

(2)小波包重構(gòu):對小波包分解系數(shù)進(jìn)行單支重構(gòu)公式為

(9)

則總重構(gòu)信號計算公式為

(10)

采用小波包變換中小波包系數(shù)最大值(max wavelet packet coefficient,MWPC)和小波包系數(shù)能量(energy wavelet packet coefficient,EWPC)作為特征提取。

小波包系數(shù)最大值計算公式為

MWPCi=lg(max|Si|)

(11)

式(11)中:Si表示對應(yīng)頻段的小波包系數(shù)。

小波包系數(shù)能量計算公式為

EWPCi=lg(ewpci)

(12)

式(12)中:Si表示對應(yīng)頻段的小波包系數(shù);Mi表示不同頻段。

將小波包系數(shù)最大值和小波包系數(shù)能量值進(jìn)行融合,構(gòu)建特征向量ME公式為

ME=[MWPCi,EWPCi]

(13)

式(13)中:i為對應(yīng)的最后一層小波包分解個數(shù)。

以1號受試者的8種手勢,每種6組數(shù)據(jù)為例,其處理結(jié)果如圖7所示。

由圖7可知,各動作的小波包系數(shù)具有明顯區(qū)分度。

圖7 特征向量MEFig.7 Feature vector ME

1.5 sEMG特征空間構(gòu)造

將特征提取的多種信號聯(lián)合構(gòu)造為特征空間,更有利于表現(xiàn)信號的信息,增強動作間信號的區(qū)分性[24-25]。適量增加傳感器通道數(shù)可增強數(shù)據(jù)的差異性,提高識別率。因此,分別構(gòu)造積分肌電值和均方根值與小波包變換系數(shù)的特征空間。特征空間構(gòu)造表達(dá)式為

IEME=[iEMG1ME1iEMG2ME2]

(14)

RMSME=[RMS1ME1RMS2ME2]

(15)

式中:iEMG1、ME1和RMS1為采集設(shè)備通道1的數(shù)值;iEMG2、ME2和RMS2為采集設(shè)備通道2的數(shù)值。

2 sEMG信號手勢識別算法

2.1 人工魚群算法

人工魚群算法原理是模擬魚的覓食、聚群和追尾行為,通過魚群中每個個體的局部尋優(yōu),循序漸進(jìn)從而得到全局最優(yōu)值[26],該算法流程圖如圖8所示。

2.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN主要包含輸入層、卷積層、池化層、全連接層和輸出層5個模塊,其工作結(jié)構(gòu)如圖9所示。為了提高信息的深度和識別的準(zhǔn)確率,通常多次使用卷積層、池化層和全連接層。

圖8 人工魚群算法流程圖Fig.8 Flow chart of artificial fish swarm algorithm

圖9 CNN工作流程圖Fig.9 CNN workflow diagram

在CNN中,輸入層輸入通過處理后的sEMG信號,將sEMG信號構(gòu)建為圖像信息,卷積層再進(jìn)行局部特征提取后,池化層再進(jìn)行下采樣操作,通過特征選擇和信息過濾將最有用的特征信息保存,全連接層對提取的特征進(jìn)行非線性組合后得到輸出,輸出層為分類結(jié)果。

2.3 支持向量機

SVM的多分類是在二分類的基礎(chǔ)上發(fā)展來,通過核函數(shù)和松弛變量將樣本映射到高維空間,超平面間將空間劃分為多個區(qū)域進(jìn)行分類[27]。

本研究選擇高斯核作為核函數(shù),其公式為

(16)

式(16)中:σ核函數(shù)參數(shù)影響著樣本映射到高維空間后的分布。

3 實驗環(huán)境與結(jié)果分析

3.1 實驗環(huán)境

實驗的硬件環(huán)境:CPU為Intel i5-11260H頻率2.6 GHz;GPU為NVIDIA GeForce GTX3050 Ti顯存6GB。實驗的軟件環(huán)境:EMG works Analysis;MatlabR2020b;PyCharm2021;tesorflow2.0.0;keras2.3.1。

3.2 實驗評估

采用交叉驗證方法來證明所識別分類模型的實際識別率,隨機選取70%的樣本作為訓(xùn)練集,30%的樣本作為測試集,將每一受試者的10次識別模型結(jié)果的平均值作為評估結(jié)果。

本文除了實驗采集的數(shù)據(jù),還采用了非侵入自適應(yīng)假肢肌電2號數(shù)據(jù)集(non-invasive adaptive pros-thetics database 2,Nina Pro DB2),該數(shù)據(jù)集為可用于科學(xué)研究的公開數(shù)據(jù)集。Nina Pro DB2使用了與本文實驗相同的肌電采集設(shè)備Delysis TrignoTM,采樣頻率皆為2 000 Hz。本文中選取了其中對應(yīng)的動作運動類型和sEMG信號采集位置進(jìn)行實驗對比。

3.3 實驗結(jié)果分析

利用AFSA對SVM徑向基核函數(shù)(radial basis function, RBF)參數(shù)(c,σ)尋優(yōu),設(shè)人工魚的數(shù)量m=100,最大迭代數(shù)Genmax=10次,最多試探次數(shù)try_number=10,感知距離gen=1;擁擠度因子delta=0.618; 移動步長step=0.1;當(dāng)尋優(yōu)次數(shù)達(dá)到所設(shè)的最大迭代數(shù)時,尋優(yōu)終止并輸出最優(yōu)的(c,σ),其尋優(yōu)迭代過程如圖10所示。

對NinaPro DB2數(shù)據(jù)集中10位受試者的8種手勢識別準(zhǔn)確率如圖11所示。

對實驗采集10位受試者的8種手勢平均識別準(zhǔn)確率如圖12所示。

由圖11和圖12可知,AF-IEME在整體的識別中具有明顯優(yōu)勢,但在Nina Pro DB2數(shù)據(jù)集中手勢4與手勢6的識別率較低,在實驗數(shù)據(jù)中手勢5與手勢8的識別率較低。

使用一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)和二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)對實驗采集的10位受試者進(jìn)行手勢識別, CNN模型參數(shù)Batch_Size=16,epoch=50,其迭代過程如圖13所示。

圖10 AFSA-SVM迭代過程Fig.10 AFSA-SVM iterative process

使用精確率(precision)、召回率(recall)、F-measure值(F1)和平均訓(xùn)練時間對1D-CNN和2D-CNN測試集進(jìn)行性能評價,其結(jié)果見表4。

由表4可知,1D-CNN相對于2D-CNN在精確率、召回率和F1上分別提升了3.9%、4.7%和4.29%。因此,1D-CNN作為識別模型具有優(yōu)越性。

不同識別方法對實驗采集的10位受試者的平均準(zhǔn)確率(accuracy)如圖14所示。

由圖14可知,1D-CNN在實驗采集的數(shù)據(jù)中具有良好的性能,準(zhǔn)確率高達(dá)到了98.61%,相對于SVM和AFSA-SVM識別準(zhǔn)確率提高了6.77%和10.61%,并且1D-CNN正負(fù)誤差率較小,更加穩(wěn)定。

圖13 CNN迭代過程Fig.13 CNN iterative process

表4 1D-CNN與2D-CNN評價結(jié)果Table 4 1D-CNN and 2D-CNN evaluation results

圖14 手勢識別平均準(zhǔn)確率Fig.14 Average accuracy of gesture recognition

不同識別方法對實驗采集的10位受試者平均訓(xùn)練時間見表5。

由表5可知,1D-CNN平均訓(xùn)練用時最少,相對于SVM和AFSA-SVM訓(xùn)練速度提高68.32 s和221.53 s,用時最高的AFSA-SVM雖然提高了準(zhǔn)確度,但是其尋優(yōu)耗時較長。因此,1D-CNN在三種識別方法中不論是分類準(zhǔn)確度和訓(xùn)練時間均具有明顯優(yōu)越性。

表5 平均訓(xùn)練時間Table 5 Average training time

4 結(jié)論

本文提出了結(jié)合時域與時頻域特征的sEMG信號特征空間構(gòu)造方法,提出了基于sEMG信號的SVM分類器、AFSA優(yōu)化的SVM分類器和深度學(xué)習(xí)CNN分類模型,對上肢手勢動作進(jìn)行了識別分類對比。首先對實驗采集的sEMG信號進(jìn)行了去噪以及時間滑動窗口預(yù)處理,然后進(jìn)行了積分肌電、均方根值和小波包變換特征提取,在特征提取基礎(chǔ)上構(gòu)造了特征空間IEME和RMSME。實驗結(jié)果表明,不論在實驗采集的數(shù)據(jù)中和Nina Pro DB2公開數(shù)據(jù)集中,特征空間IEME的識別準(zhǔn)確率總體高于特征空間RMSME的識別準(zhǔn)確率。在IEME中運用1D-CNN模型具有最高識別準(zhǔn)確率98.61%,相對于SVM和AFSA-SVM識別準(zhǔn)確率提高了6.77%和10.61%,并且1D-CNN模型平均訓(xùn)練時間相對于SVM和AFSA-SVM減少了68.32 s和221.53 s。因此,將1D-CNN運用在特征空間IEME的手勢識別中具有一定優(yōu)越性。深度學(xué)習(xí)模型在基于表面肌電的動作識別分類上相對傳統(tǒng)分類方法具有一定優(yōu)勢,并且多特征的信號融合使動作更具區(qū)分度。在未來的工作中致力于將該模型運用在動態(tài)檢測中,為上肢康復(fù)機器人控制提供新的交互方式。