基于BiLSTM的表面肌電圖手勢(shì)識(shí)別算法

范秀琴，喻洪流，李素姣

1. 上海理工大學(xué) 康復(fù)工程與技術(shù)研究所(上海, 200093)

2. 上?？祻?fù)器械工程技術(shù)研究中心（上海， 200093）

3. 民政部神經(jīng)功能信息與康復(fù)工程重點(diǎn)實(shí)驗(yàn)室（上海， 200093)

0 引言

表面肌電圖（surface electromyograms, sEMG）是通過(guò)放置在人體皮膚的表面電極采集骨骼肌的電活動(dòng)從而反映肌肉活動(dòng)信息。該信號(hào)在康復(fù)輔具領(lǐng)域（如：智能假肢和主動(dòng)外骨骼）已經(jīng)得到了廣泛的應(yīng)用［1-2］。當(dāng)人產(chǎn)生運(yùn)動(dòng)意圖時(shí)，相應(yīng)的神經(jīng)細(xì)胞被激活，同時(shí)刺激肌肉細(xì)胞產(chǎn)生電活動(dòng)，使得骨骼肌收縮以產(chǎn)生相應(yīng)的運(yùn)動(dòng)。sEMG可以記錄此時(shí)肌肉活動(dòng)的電運(yùn)動(dòng)，因此sEMG攜帶著人腦發(fā)出的命令信息，是人運(yùn)動(dòng)意圖的直接表現(xiàn)［3］。傳統(tǒng)的機(jī)器學(xué)習(xí)主要側(cè)重于利用特征工程增加信號(hào)中包含信息的密度。為提高手勢(shì)識(shí)別的準(zhǔn)確率，越來(lái)越多的生理信號(hào)分析和處理開(kāi)始使用深度學(xué)習(xí)的方法。深度學(xué)習(xí)能夠有效地處理高維特征向量，不需要使用主成分分析等方法進(jìn)行降維，可以在大型數(shù)據(jù)集上顯示出更高的效率。不僅如此，魯棒性、功能性和穩(wěn)定性是分類(lèi)器設(shè)計(jì)的最終目標(biāo)，作為傳統(tǒng)的常規(guī)算法和機(jī)器學(xué)習(xí)方法的改進(jìn)技術(shù)，深度學(xué)習(xí)技術(shù)在這三個(gè)方面的表現(xiàn)也是優(yōu)異的［4］。

深度學(xué)習(xí)中，應(yīng)用最廣泛的是卷積神經(jīng)網(wǎng)絡(luò)（convolution neural, network CNN）。利用它擅長(zhǎng)層次或空間數(shù)據(jù)提取的特性，在sEMG模式識(shí)別領(lǐng)域CNN也被大量應(yīng)用。然而，sEMG本質(zhì)上是一種序列信號(hào)，使用CNN建模無(wú)法利用sEMG中的時(shí)間信息。針對(duì)CNN的不足，我們提出了一種新型的雙向長(zhǎng)短期記憶（bidirectional long short term memory, biLSTM）神經(jīng)網(wǎng)絡(luò)架構(gòu)用于實(shí)現(xiàn)基于sEMG的手勢(shì)識(shí)別，該模型不僅可以利用之前的序列信息預(yù)測(cè)當(dāng)下時(shí)刻的狀態(tài)，同時(shí)可以利用之后的信息預(yù)測(cè)當(dāng)下時(shí)刻的狀態(tài)，能夠完全利用序列之間的聯(lián)系進(jìn)行建模。結(jié)果表明，該模型能夠有效地提取sEMG中的時(shí)間信息，實(shí)現(xiàn)良好的分類(lèi)。

1 相關(guān)工作研究

現(xiàn)階段也有大量的研究探索了深度學(xué)習(xí)在手勢(shì)識(shí)別中的有效性。2016年P(guān)ark 和 Lee建立了一個(gè)CNN網(wǎng)絡(luò)，包含四個(gè)卷積層、四個(gè)子采樣層和兩個(gè)完全連接的層，并將引入自適應(yīng)方法，以學(xué)習(xí)更好的特征進(jìn)行受試者間評(píng)估［5］。 Atzori等［6］提出了一種基于LeNet的架構(gòu)，并從包含空間和時(shí)間信息的sEMG圖像中提取高級(jí)特征，該方法成功應(yīng)用于NinaPro數(shù)據(jù)庫(kù)中67名完整受試者和11名經(jīng)橈動(dòng)脈截肢者的49個(gè)手部運(yùn)動(dòng)得數(shù)據(jù)。Geng等［7］首次使用高密度電極陣列獲取sEMG數(shù)據(jù)，并提供了一種新穎的CNN模型。該模型使用了瞬時(shí)sEMG圖像，即從sEMG網(wǎng)格的瞬時(shí)值生成的圖像中提取空間信息，同時(shí)改進(jìn)了dropout和批處理規(guī)范化技術(shù)，后處理使用多數(shù)投票，實(shí)現(xiàn)了很好的分類(lèi)性能。Ding等［8］在使用二維卷積進(jìn)行所有通道信號(hào)的分析之前，首先使用一維卷積獨(dú)立地處理每個(gè)通道中的sEMG信號(hào)，從而避免早期信號(hào)融合可能引起的錯(cuò)誤。該體系結(jié)構(gòu)對(duì)NinaPro數(shù)據(jù)集中18個(gè)手勢(shì)的平均準(zhǔn)確度為78.86%。

由于，sEMG本質(zhì)上是一種序列信號(hào)，RNN更合適于序列信息的建模。文獻(xiàn)［9］首次研究了門(mén)控循環(huán)單元（Gating Cycle Unit GRU）在手勢(shì)識(shí)別中的性能。該系統(tǒng)利用從表面肌電傳感器中提取的原始表面肌電信號(hào)來(lái)識(shí)別六種手勢(shì)，并能適應(yīng)新的實(shí)驗(yàn)對(duì)象。文獻(xiàn)［10］提出了一種新的預(yù)測(cè)手勢(shì)的RNN模型，該模型能夠在手勢(shì)運(yùn)動(dòng)開(kāi)始后的每個(gè)采樣時(shí)間步輸出一個(gè)瞬時(shí)預(yù)測(cè)值。基于此，本研究采用兩級(jí)BiLSTM模型架構(gòu)，先從sEMG不同的特征向量中提取深層特征，而后進(jìn)行融合并實(shí)現(xiàn)手勢(shì)識(shí)別。

2 模型構(gòu)建

2.1 肌電信號(hào)活動(dòng)段檢測(cè)

sEMG代表了肌肉活動(dòng)的水平，當(dāng)手的運(yùn)動(dòng)從一個(gè)手勢(shì)切換到另一種手勢(shì)時(shí)，肌肉會(huì)經(jīng)歷從活動(dòng)狀態(tài)切換為放松狀態(tài)，此時(shí)相應(yīng)的肌肉會(huì)放松，sEMG的幅值會(huì)非常低，而后sEMG的幅值瞬間提高，肌肉再切換為活動(dòng)狀態(tài)。該研究使用一種基于峰值檢測(cè)和短時(shí)能量結(jié)合的方法檢測(cè)肌肉活動(dòng)的時(shí)間區(qū)域。考慮到表面肌電傳感器的每個(gè)通道對(duì)不同手勢(shì)的敏感程度不同，因此對(duì)所有通道進(jìn)行平均操作以實(shí)現(xiàn)更高的可靠性。該方法是指將肌電信號(hào)用極小的時(shí)間間隔劃分，在每個(gè)時(shí)間間隔中檢測(cè)sEMG的峰值，并連成一條曲線(xiàn)。而后使用峰值計(jì)算該時(shí)間間隔內(nèi)的短時(shí)能量，為：

其中，t為時(shí)間，c為通道，N為通道的總數(shù)，E為sEMG的幅值， Eavg為所有通道sEMG幅值的平均值，ω為時(shí)間窗的長(zhǎng)度，EMA為sEMG的平均短時(shí)能量值。根據(jù)（1）式計(jì)算t時(shí)刻多通道sEMG的平均幅值，根據(jù)（2）式計(jì)算每個(gè)時(shí)間窗內(nèi)sEMG的短時(shí)能量。使用起始閾值和終止閾值進(jìn)行活動(dòng)檢測(cè)。

2.2 特征提取

肌電信號(hào)是一個(gè)瞬時(shí)非平穩(wěn)信號(hào)，不同時(shí)間的變化是不同的，瞬時(shí)樣本無(wú)法準(zhǔn)確地反映肌肉活動(dòng)的狀態(tài)，所以需要對(duì)肌電數(shù)據(jù)進(jìn)行加窗處理，本研究中，使用時(shí)長(zhǎng)200 ms，增量50 ms的滑動(dòng)窗進(jìn)行處理。為了從所有窗的信號(hào)中提取出的信息具有最優(yōu)性能，同時(shí)計(jì)算成本最低，需要設(shè)計(jì)合理的特征值，我們選擇了肌電信號(hào)的五個(gè)時(shí)域特征：均方根（root mean square, RMS）、絕對(duì)平均值（absolute mean value, MAV）、波形長(zhǎng)度（waveform length, WL）、零交叉（zero crossing, ZC）、斜率符號(hào)變化（slope sign change, SSC）。圖1為特征提取過(guò)程。

圖1 特征提取Fig.1 Feature extraction

2.3 LSTM模型架構(gòu)

RNN是一種針對(duì)序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，由于該網(wǎng)絡(luò)中存在反饋回路，允許當(dāng)前的輸入處理之前的輸出，從而為該網(wǎng)絡(luò)提供了時(shí)間狀態(tài)，并在每個(gè)步驟中融入了較早輸入的影響，如圖2所示。常規(guī)的RNN存在梯度消失的問(wèn)題，很難學(xué)習(xí)輸入序列數(shù)據(jù)中的長(zhǎng)期時(shí)間依賴(lài)性，采用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（long short term memory, LSTM）可以有效解決這一問(wèn)題。

LSTM包含一組用于控制序列數(shù)據(jù)輸入的門(mén)，包括輸入門(mén)、輸出門(mén)、遺忘門(mén)。圖2代表一個(gè)LSTM單元，LSTM只能學(xué)習(xí)數(shù)據(jù)對(duì)之前的數(shù)據(jù)的依賴(lài)性，而B(niǎo)iLSTM可以通過(guò)雙向的計(jì)算，同時(shí)學(xué)習(xí)數(shù)據(jù)對(duì)之前的數(shù)據(jù)的依賴(lài)性和數(shù)據(jù)對(duì)之后數(shù)據(jù)的依賴(lài)性，極大地改善了LSTM。圖3所示是所提算法模型圖。

圖2 LSTM單元結(jié)構(gòu)示意圖Fig.2 Schematic diagram of LSTM unit structure

圖3 LSTM單元結(jié)構(gòu)示意圖Fig.3 Schematic diagram of LSTM unit structure

本研究使用BiLSTM對(duì)sEMG進(jìn)行識(shí)別。在分解階段，將原始sEMG經(jīng)過(guò)特征提取得到的5個(gè)特征向量作為獨(dú)立的輸入，輸入到BiLSTM層，BiLSTM層中隱藏層的數(shù)量是特征向量長(zhǎng)度的一半。該層后面連接全連接層，為防止過(guò)擬合兩個(gè)層之間添加了Dropout層，并使用整流線(xiàn)性單元作為激活函數(shù)。

融合階段首先將從5個(gè)特征向量單獨(dú)學(xué)習(xí)的結(jié)果進(jìn)行融合，然后再次連接Dropout層和Dense層。在融合階段的最后使用G-way全連接層和一個(gè)softmax分類(lèi)器對(duì)結(jié)果進(jìn)行分類(lèi)，其中G等于手勢(shì)的數(shù)量。所有全連接層中的激活函數(shù)均為Relu。

為保證有足夠的樣本數(shù)量來(lái)訓(xùn)練每個(gè)類(lèi)別，模型采用分層的10倍交叉驗(yàn)證用于劃分?jǐn)?shù)據(jù)集，同時(shí)，本方法也能夠防止隨機(jī)劃分導(dǎo)致的模型不平衡。為了更好地優(yōu)化模型，使用Adam優(yōu)化器來(lái)更新模型權(quán)重，并使用交叉熵?fù)p失函數(shù)減小模型誤差。初始學(xué)習(xí)率設(shè)置為0.001，并使用學(xué)習(xí)率降低機(jī)制。為保證網(wǎng)絡(luò)合適的收斂速度，權(quán)重衰減為0.001。為防止網(wǎng)絡(luò)的過(guò)擬合并增強(qiáng)網(wǎng)絡(luò)的魯棒性，使用L2正則化技術(shù)。

3 結(jié)果與分析

3.1 數(shù)據(jù)集

根據(jù)所用電極的數(shù)量分類(lèi)，基于sEMG的手勢(shì)識(shí)別通常分為兩類(lèi)：稀疏的多通道sEMG［11-13］和高密度sEMG［14-17］。稀疏的多通道sEMG通常用一至十幾個(gè)傳感器附著在皮膚表面采集肌肉的電信號(hào)。現(xiàn)存的幾種公開(kāi)的數(shù)據(jù)集使用最多的是NinaPro［13］。NinaPro數(shù)據(jù)庫(kù)的一個(gè)子數(shù)據(jù)集由10個(gè)電極的sEMG構(gòu)成的，來(lái)自27個(gè)受試者的總共52個(gè)手勢(shì)，包括9個(gè)腕部動(dòng)作，8個(gè)手勢(shì)，12個(gè)手指動(dòng)作以及23個(gè)抓握和功能動(dòng)作。信號(hào)采樣頻率是100 Hz。

高密度sEMG通常指?jìng)鞲衅鲾?shù)量大于100個(gè)，這些傳感器以二維密集矩陣形式排列，并且覆蓋皮膚的某個(gè)特定區(qū)域。這種分類(lèi)的準(zhǔn)確率受傳感器位置影響相對(duì)較小，但是需要數(shù)據(jù)處理能力強(qiáng)的硬件。這種分類(lèi)的公開(kāi)數(shù)據(jù)集比較少，具有代表性的是CapgMyo［18］。該數(shù)據(jù)庫(kù)中的sEMG信號(hào)是用纏繞在受試者右前臂的8×16電極網(wǎng)絡(luò)記錄的，采樣率是1 000 Hz。CapgMyo數(shù)據(jù)庫(kù)分為三個(gè)子數(shù)據(jù)庫(kù)，分別表示為DB-a，DB-b和DB-c。DB-a中的數(shù)據(jù)來(lái)源于從23位受試者中的18位獲得的8個(gè)手勢(shì)。實(shí)驗(yàn)過(guò)程中，每個(gè)手勢(shì)保持3～10 s，并重復(fù)10次。DB-a中的手勢(shì)對(duì)應(yīng)于NinaPro數(shù)據(jù)庫(kù)中的13～20號(hào)。DB-b包含與DB-a中相同的手勢(shì)集，但是從23位受試者中的10位獲得的。DB-b中每個(gè)手勢(shì)在不同的日期進(jìn)行了兩次測(cè)量，測(cè)量間隔大于一個(gè)星期。在這兩次中陣列的電極覆蓋的手臂位置會(huì)稍微不同。DB-c記錄的數(shù)據(jù)來(lái)源于從23位受試者中的10位獲得的12種手指基本運(yùn)動(dòng)。DB-c中的手勢(shì)對(duì)應(yīng)于NinaPro數(shù)據(jù)庫(kù)中的1～12號(hào)。DB-b和DB-c中的每個(gè)手勢(shì)保持大約3s，重復(fù)10次。表1是數(shù)據(jù)庫(kù)CapgMyo DB-b中8種手勢(shì)。

表1 數(shù)據(jù)庫(kù)CapgMyo DB-b中8種手勢(shì)Tab. 1 Eight gestures in CapgMyo DB-b database

本研究中使用的數(shù)據(jù)來(lái)源于NinaPro DB1和CapgMyo DB-a兩個(gè)sEMG基準(zhǔn)數(shù)據(jù)庫(kù)。表2中顯示了數(shù)據(jù)庫(kù)的有關(guān)信息。

表2 兩個(gè)sEMG基準(zhǔn)數(shù)據(jù)庫(kù)的詳細(xì)信息Tab. 2 Details of the two sEMG benchmark databases

3.2 實(shí)驗(yàn)結(jié)果與分析

在該研究中，遵循相同的活動(dòng)檢測(cè)、預(yù)處理和手勢(shì)識(shí)別的實(shí)驗(yàn)過(guò)程。對(duì)于CapgMyo DB-a，有兩個(gè)數(shù)據(jù)集，原始數(shù)據(jù)集和預(yù)處理數(shù)據(jù)。出于本研究的目的，我們使用的是原始數(shù)據(jù)集。對(duì)于NinaPro DB1，我們選擇了和CapgMyo DB-a相同的8個(gè)手勢(shì)的數(shù)據(jù)。應(yīng)用該研究所提出的模型分別對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行處理。

CapgMyo DB-a的分類(lèi)準(zhǔn)確率為99.2%，NinaPro DB1的分類(lèi)準(zhǔn)確率為88.5%。結(jié)果表明，我們提出的算法架構(gòu)是完全可行的

4 討論

在這項(xiàng)工作中，我們提出了一種新型的BiLSTM架構(gòu)，用于基于sEMG的手勢(shì)識(shí)別，并分別在高密度sEMG數(shù)據(jù)庫(kù)和稀疏sEMG數(shù)據(jù)庫(kù)進(jìn)行了驗(yàn)證。本算法充分利用了肌電信號(hào)序列中不同時(shí)間段信息之間的序列相關(guān)性來(lái)處理一系列的輸入，在兩個(gè)數(shù)據(jù)庫(kù)中均獲得了較高的預(yù)測(cè)性能。

對(duì)比數(shù)據(jù)庫(kù)上的驗(yàn)證結(jié)果顯示，ATZORI使用一種結(jié)構(gòu)簡(jiǎn)單的CNN網(wǎng)絡(luò)，在NinaProDB1數(shù)據(jù)庫(kù)上實(shí)現(xiàn)了90%的準(zhǔn)確率［6］。Geng使用一種用于瞬時(shí)sEMG圖像的CNN架構(gòu)，在CapgMyo DB-a和NinaProDB1分別實(shí)現(xiàn)了89.3%和78.9%的準(zhǔn)確率［7］。Wei采用一種基于sEMG的兩階段多流CNN方法，在CapgMyo DB-a和NinaProDB1上分別實(shí)現(xiàn)了99.1%和85.0%的準(zhǔn)確率［17］，Ketykó采用一種基于域適應(yīng)的兩階段RNN架構(gòu)，在CapgMyo DB-a和NinaProDB1上分別實(shí)現(xiàn)了97.1%和90.7%的準(zhǔn)確率［18］。本研究分別實(shí)現(xiàn)了99.2%和88.5%的準(zhǔn)確率，這說(shuō)明所提出的模型完全能應(yīng)用于sEMG的處理，且在高密度sEMG上表現(xiàn)良好，在稀疏的多通道sEMG上表現(xiàn)相對(duì)有所不足。

5 結(jié)束語(yǔ)

本文提出的兩級(jí)BiLSTM模型架構(gòu)，首先將不同的特征向量單獨(dú)的輸入到BiLSTM層挖掘其深層的序列信息，而后將單獨(dú)學(xué)習(xí)的結(jié)果進(jìn)行融合并通過(guò)softmax分類(lèi)器進(jìn)行分類(lèi)。本研究沒(méi)有直接將所有特征向量組成特征矩陣進(jìn)行學(xué)習(xí)，而是利用不同特征在學(xué)習(xí)中占用的權(quán)重進(jìn)行拼接。通過(guò)在CapgMyo DB-a和NinaPro DB1兩個(gè)基準(zhǔn)數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)驗(yàn)證，本研究的模型與現(xiàn)有文獻(xiàn)中的模型相比，在高密度sEME中能夠有效提高識(shí)別準(zhǔn)確率，在稀疏的多通道sEMG中性能有所不足。下一步進(jìn)一步將融入其他結(jié)構(gòu)改善所提模型。