表面肌電與三軸信息融合的運(yùn)動判斷實(shí)驗(yàn)

喻 劍，李至霖，龐鵬矚，李 潔，c

（同濟(jì)大學(xué)a.電子與信息工程學(xué)院；b.計(jì)算機(jī)與信息技術(shù)國家級實(shí)驗(yàn)教學(xué)示范中心；c.上海市養(yǎng)志康復(fù)醫(yī)院（上海市陽光康復(fù)中心），上海 201804）

0 引言

人體運(yùn)動識別作為智能康復(fù)機(jī)器人［1］、智能外骨骼機(jī)器人［2］和智能假肢［3］等關(guān)鍵技術(shù)之一，引起了學(xué)術(shù)界的廣泛興趣。針對運(yùn)動識別的發(fā)展經(jīng)歷了多個(gè)階段，從基于規(guī)則的方法到模板匹配［4］、機(jī)器學(xué)習(xí)［5］的方法，再到目前深度學(xué)習(xí)方法的廣泛應(yīng)用。隨著算法的不斷迭代更新，針對運(yùn)動識別模型的準(zhǔn)確率和泛化能力要求也日益嚴(yán)苛。盡管深度學(xué)習(xí)模型在分類能力上具有顯著優(yōu)勢，但由于表面肌電數(shù)據(jù)的通道有限，稀疏的信息量成為限制深度學(xué)習(xí)模型實(shí)際應(yīng)用效果的瓶頸［6］。

為了解決肌電信號通道數(shù)量限制對深度學(xué)習(xí)模型的影響，提高運(yùn)動識別準(zhǔn)確率，本文提出了一種表面肌電與三軸加速度［7］多模態(tài)息融合（將多種感官信息進(jìn)行融合）的實(shí)驗(yàn)流程與方法：利用多層小波分析，從肌電信號中提取出不同頻域的特征；并將分離出的不同頻域的肌電信號特征與空間運(yùn)動特征相融合，構(gòu)建融合特征圖序列；再在動作識別階段引入狀態(tài)自動機(jī)。從而有效地?cái)U(kuò)展肌電信號的信息量，提高對多模態(tài)運(yùn)動識別的準(zhǔn)確性。

1 實(shí)驗(yàn)原理

為了實(shí)現(xiàn)對多模態(tài)信號的識別，本文設(shè)計(jì)了如圖1所示的信號處理流程。整個(gè)實(shí)驗(yàn)流程包含了信號采集、信息處理與融合、深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練以及運(yùn)動判斷幾個(gè)步驟：①信號采集部分主要是同步采集表面肌電信號（Electromyography，EMG）和三軸加速度信號，由于信號融合時(shí)間窗口很小，因此對兩種信號采集需保證毫秒級的同步；②數(shù)據(jù)處理與融合由滑動窗口采樣［8］、時(shí)頻分析、向量拼接3 個(gè)處理步驟構(gòu)成，主要是將兩種信號進(jìn)行多頻域的特征提取與深度融合；③神經(jīng)網(wǎng)絡(luò)訓(xùn)練可選Conv1d 或Conv2d 網(wǎng)絡(luò)［9］進(jìn)行，使用上一步驟生成的融合特征圖對深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，對當(dāng)前的運(yùn)動狀態(tài)進(jìn)行快速判斷；④使用一個(gè)狀態(tài)機(jī)對運(yùn)動狀態(tài)的轉(zhuǎn)換條件進(jìn)行判斷，保證了運(yùn)動識別的穩(wěn)定性。

圖1 信號處理步驟

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 信號采集

由于信號融合處理需要確保來自不同傳感器的異構(gòu)數(shù)據(jù)保持較高的同步性和實(shí)時(shí)性，因此選用了如圖2 所示的ESen-2518 肌電手環(huán)作為有線EMG 信號采集設(shè)備和gForceDual腕帶手環(huán)作為三軸加速度信號采集設(shè)備。

圖2 信號采集設(shè)備

信號采集時(shí)，受試者需要同時(shí)佩戴肌電手環(huán)和三軸加速度腕帶，根據(jù)實(shí)驗(yàn)流程完成指定的實(shí)驗(yàn)范式動作。受試者可以在電腦屏幕上看到當(dāng)前的動作指令，并且可以同時(shí)看到各通道采集到的信號波形以確保當(dāng)前的動作信號都被準(zhǔn)確采集，如圖3 所示。

圖3 EMG信號和三軸加速度信號采集

2.2 信息處理與融合

數(shù)據(jù)處理與融合的分為滑動窗口處理、時(shí)頻特征提取、特征融合3 個(gè)步驟，如圖4 所示。滑動窗口處理主要對采集的肌電信號進(jìn)行滑動采樣，對每個(gè)滑動窗口生成1 張?zhí)卣鲌D；時(shí)頻特征提取主要使用多層離散小波變換對表面肌電信號進(jìn)行時(shí)頻分解，提取出一組低頻特征信息；特征融合處理則將肌電信號中提取現(xiàn)的低頻特征信息與三軸加速度信息以向量的形式進(jìn)行拼接，形成融合特征圖。

圖4 信息處理與信號融合示意圖

（1）滑動窗口采樣。滑動窗口采樣時(shí)，將滑動窗口的大小設(shè)定為200 ms，滑動步長設(shè)置為窗口大小的一半，即100 ms。這一設(shè)置能夠確保每次滑動窗口都有一定的重疊，以充分利用時(shí)序數(shù)據(jù)中的信息，提高采樣的覆蓋范圍。保持窗口大小不變，可以更準(zhǔn)確地對比不同實(shí)驗(yàn)條件下不同信息融合處理方法的性能。

由于采集得到的信號中包含了大量的休息狀態(tài)信號。為了提高算法的針對性，設(shè)計(jì)的滑動窗口跳過靜止?fàn)顟B(tài)的信號［10］，從而避免在休息狀態(tài)下產(chǎn)生的冗余信息對算法性能的干擾。

（2）時(shí)頻特征提取。采用小波變換時(shí)頻分析（Discrete Wavelet Transform，DWT）方法對肌電信號進(jìn)行多分頻域分解。這樣的處理方式不僅可以充分提取時(shí)序信息，還增強(qiáng)了信號的頻譜信息，使得模型更具魯棒性。

在DWT中，采樣尺度和平移參數(shù)被離散化，其中尺度通常進(jìn)行冪級數(shù)的離散化，而位移進(jìn)行均勻離散取值［11］。這個(gè)過程的離散化是為了適應(yīng)連續(xù)小波變換（Continuous Wavelet Transform，CWT）的不足，因?yàn)镃WT需要連續(xù)信號，而實(shí)際信號是離散的。設(shè)x（n）為實(shí)驗(yàn)采集的離散EMG 信號，則x（n）的DWT 計(jì)算式為：

式中：DWT［x（n）］為對采集信號x（n）進(jìn)行離散小波變換的結(jié)果；n為時(shí)間序列索引；ψ（n）為母小波；ψj，k（n）為母小波進(jìn)行縮放平移操作得到的小波基函數(shù)，ψj，k（t）=∶j為縮放尺度參數(shù)；k為平移位置參數(shù)。

離散小波變換的分解過程可以看作是使用一組低通和高通濾波器，分離出低頻信號和高頻信號。隨后，對低頻信號再進(jìn)行循環(huán)的分解操作直到預(yù)定的分解層數(shù)。低頻信號保留了原信號的概貌和輪廓，而高頻信號則代表了原信號中的細(xì)節(jié)信息和一部分噪聲［12］。在實(shí)驗(yàn)中，使用每次分解得到的低頻信號部分，將其合并為新的融合信號，以增強(qiáng)同一類別動作的相似性。圖5 所示為在信號處理中，每個(gè)通道的表面肌電信號會分別進(jìn)行5 層離散小波分解，得到5 個(gè)低頻信號。這5 個(gè)低頻信號與空白信號進(jìn)行重構(gòu)，形成一個(gè)局部的融合單元。同時(shí)，融合特征窗口信號則是每個(gè)通道各自分解形成的小融合單元所合并的大融合單元。

圖5 時(shí)頻分析處理示意圖

通過采用滑動窗口結(jié)合小波變換，每個(gè)通道的原始信號都變換為一組時(shí)序信號，12 個(gè)通道的原始信號拓展為60 個(gè)時(shí)序信號，從而將圖片尺寸從200 ×12 拓展到了200 ×60 的大小，豐富了特征信息。

（3）向量特征融合。相較于表面肌電信號，三軸加速度傳感器的信息變化較慢，但是它為模型補(bǔ)充了重要的空間運(yùn)動信息［13］。表面肌電與三軸加速度的特征融合采用了特征向量拼接合并的方法，通過將離散小波變換處理后的表面肌電信號與原始的三軸加速度信號拼接在一起，形成了更為豐富的特征圖，如圖6所示。經(jīng)離散小波變換后的表面肌電圖尺寸為200 ×60，而三軸加速度信號以原始信號的形式拼接在表面肌電圖下方，最終得到了200 ×96 尺寸的融合特征圖。

圖6 信號融合特征圖像示意圖

在拼接的過程中，為了保證信號之間的相關(guān)性，需要確定一個(gè)合適的拼接順序。實(shí)驗(yàn)中將同一通道表面肌電信號分解得到的子信號看作1 個(gè)獨(dú)立的融合單元，將這12 個(gè)融合單元拼接得到一個(gè)更大的表面肌電融合單元；同時(shí)，三軸加速度傳感器所采集的加速度信息中，同1 個(gè)節(jié)點(diǎn)加速度的3 個(gè)維度被看作1 個(gè)融合單元，將這12 個(gè)傳感器的融合單元拼接成1 個(gè)更大的加速度融合單元；最后，將表面肌電融合單元與加速度融合單元進(jìn)行拼接，得到最終的融合特征圖像。

這種向量拼接的特征融合方法充分融合了表面肌電和空間運(yùn)動信息，為深度學(xué)習(xí)模型提供了更全面的特征信息。通過將不同維度的信息相互關(guān)聯(lián)，使模型更具泛化能力。

2.3 深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程對輸入的融合特征信息進(jìn)行學(xué)習(xí)與訓(xùn)練。為體現(xiàn)不同的深度神經(jīng)網(wǎng)絡(luò)對信號的學(xué)習(xí)不同效果，選擇使用Conv1d 和Conv2d 2 種不同卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。

Conv1d為一維卷積神經(jīng)網(wǎng)絡(luò)模型，主要用于處理序列數(shù)據(jù)或時(shí)間序列數(shù)據(jù)。在生理信號分析中，Conv1d常用于處理一維信號，比如EMG，能夠捕獲信號在時(shí)間軸上的特征變化，適用于需要關(guān)注信號時(shí)間信息的任務(wù)。Conv2d為二維卷積神經(jīng)網(wǎng)絡(luò)模型，主要用于處理圖像等二維數(shù)據(jù)。可以有效地捕捉信號的空間特征，對于需要分析信號在不同空間維度上的模式和關(guān)聯(lián)性的任務(wù)有一定優(yōu)勢。在生理信號分析中，Conv1d和Conv2d的主要區(qū)別在于其處理信號的維度和特征捕獲方式。Conv1d 更適合處理單一維度的信號，例如時(shí)間序列信號，能夠較好地捕捉信號在時(shí)間軸上的變化和模式；而Conv2d則更適用于考慮信號在多個(gè)維度（例如空間維度）上的特征［14］，能夠同時(shí)關(guān)注不同維度間的關(guān)聯(lián)性和模式。該模塊的示意如圖7 所示。可以通過選擇不同的網(wǎng)絡(luò)進(jìn)行多模態(tài)信號的識別，從而對比分析不同方法的差異。

圖7 神經(jīng)網(wǎng)絡(luò)訓(xùn)練示意圖

2.4 動作判斷

動作判斷的任務(wù)是將神經(jīng)網(wǎng)絡(luò)得到的運(yùn)動分類結(jié)果，通過狀態(tài)機(jī)轉(zhuǎn)移規(guī)則層面的推理實(shí)現(xiàn)對當(dāng)前運(yùn)動動作的判斷。本模塊設(shè)計(jì)考慮了歷史運(yùn)動狀態(tài)的穩(wěn)定性，通過狀態(tài)機(jī)的方法實(shí)現(xiàn)了對運(yùn)動狀態(tài)的連續(xù)判斷。

人體的運(yùn)動狀態(tài)往往是一個(gè)連續(xù)的過程，而不是瞬時(shí)突變的動作。因此，引入狀態(tài)機(jī)［15］可以通過連續(xù)跟蹤運(yùn)動狀態(tài)的變化，推斷出當(dāng)前的動作。這種連續(xù)性的狀態(tài)機(jī)設(shè)計(jì)使得模塊能夠更加穩(wěn)定地判斷用戶的運(yùn)動狀態(tài)，避免了一些由于神經(jīng)網(wǎng)絡(luò)的分類錯(cuò)誤造成運(yùn)動狀態(tài)判斷錯(cuò)誤。狀態(tài)機(jī)的轉(zhuǎn)移條件是動作判斷模塊設(shè)計(jì)中的關(guān)鍵。靜止?fàn)顟B(tài)和運(yùn)動狀態(tài)2 種基本狀態(tài)間的切換是通過判斷隊(duì)列中元素的數(shù)量和出現(xiàn)情況來實(shí)現(xiàn)的。

圖8 所示為2 種狀態(tài)轉(zhuǎn)移條件。在靜止?fàn)顟B(tài)轉(zhuǎn)移到運(yùn)動狀態(tài)時(shí)，需要滿足隊(duì)列中出現(xiàn)得最多元素?cái)?shù)量大于閾值p1，且這些元素不為占位符。這樣的設(shè)計(jì)是為了排除偶然的分類異常結(jié)果，確保在短時(shí)間內(nèi)能穩(wěn)定完成某一動作。而從運(yùn)動狀態(tài)轉(zhuǎn)移到靜止?fàn)顟B(tài)的條件包括隊(duì)列中占位符的數(shù)量大于閾值p2，或者隊(duì)列中出現(xiàn)得最多元素?cái)?shù)量小于閾值p3。這2 個(gè)條件的設(shè)置是為了應(yīng)對系統(tǒng)在一段時(shí)間內(nèi)的判斷概率低或者分類混亂的情況，從而可以使系統(tǒng)恢復(fù)靜止?fàn)顟B(tài)。

圖8 2種狀態(tài)轉(zhuǎn)移條件

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)招募了10 位被試人員，并對應(yīng)采集了相應(yīng)的數(shù)據(jù)，分別使用本文提出的實(shí)驗(yàn)方法和常用4 種信號融合的處理方法，在2 種卷積神經(jīng)網(wǎng)絡(luò)模型上完成了訓(xùn)練與評估。本實(shí)驗(yàn)方法與對比處理方法的準(zhǔn)確率結(jié)果對比如表1 所示。

表1 不同信號融合方法準(zhǔn)確度比較

由表1 的數(shù)據(jù)對比分析可得如下結(jié)論：

（1）多模態(tài)信號的融合提高了運(yùn)動判斷準(zhǔn)確性。圖9 所示為多模態(tài)融合信號與單一信號對比。由圖9可知，僅通過表面肌電信號進(jìn)行分類，最高準(zhǔn)確率為81.9%；而在二維卷積神經(jīng)網(wǎng)絡(luò)中，準(zhǔn)確率達(dá)到了95.4%；在一維卷積神經(jīng)網(wǎng)絡(luò)中，準(zhǔn)確率為89.2%。多模態(tài)信號在多種網(wǎng)絡(luò)中均呈現(xiàn)出更高的準(zhǔn)確率，驗(yàn)證了多模態(tài)數(shù)據(jù)融合在提升模型性能方面的有效性。

圖9 多模態(tài)融合信號與單一信號對比

（2）信號特征提取有效。圖10 所示為時(shí)頻特征的工程對比。由圖10 可知，將原始表面肌電信號圖像直接輸入CNN中進(jìn)行訓(xùn)練，準(zhǔn)確率僅為63.6%；而使用小波變換將最終準(zhǔn)確率提高至81.9%。表明通過對原始信號進(jìn)行時(shí)頻分析并提取特征，可以更充分地反映信號的動態(tài)特性，提高模型的分類性能。

圖10 時(shí)頻特征工程對比

（3）動作判別實(shí)時(shí)性。實(shí)時(shí)性是運(yùn)動判別系統(tǒng)的關(guān)鍵性能之一。在實(shí)驗(yàn)流程中，主要的計(jì)算復(fù)雜度來自特征圖構(gòu)造和模型分類。通過以大小為100 ms 的滑動窗口進(jìn)行采樣，對長度為80 s 的時(shí)序信號進(jìn)行800 次數(shù)據(jù)處理和模式識別進(jìn)行實(shí)時(shí)性測試。結(jié)果顯示，每次數(shù)據(jù)處理的平均時(shí)間為9.2 ms，而使用二維和一維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類的平均時(shí)間分別為44.7 和41.5 ms。

圖11 所示為標(biāo)簽與動作識別結(jié)果對比。由圖11可知，輸出信息中實(shí)驗(yàn)系統(tǒng)對動作的識別速度，實(shí)驗(yàn)系統(tǒng)在運(yùn)動發(fā)起的初期就可以迅速完成對運(yùn)動動作的判斷，并成功將狀態(tài)機(jī)從靜止轉(zhuǎn)移到相應(yīng)的運(yùn)動狀態(tài)；在運(yùn)動結(jié)束后，也能及時(shí)將狀態(tài)機(jī)從運(yùn)動狀態(tài)轉(zhuǎn)移到靜止?fàn)顟B(tài)。這也表明了深度學(xué)習(xí)方法在表面肌電信號分類問題上有著更高的上限。

圖11 標(biāo)簽與動作識別結(jié)果對比

4 結(jié)語

本文設(shè)計(jì)的信息融合流程與方法能充分融合肌電信號和三軸加速度信號的運(yùn)動特征，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與自動狀態(tài)機(jī)，實(shí)現(xiàn)了對運(yùn)動狀態(tài)的準(zhǔn)確、穩(wěn)定識別。通過實(shí)驗(yàn)表明，設(shè)計(jì)的算法總體識別精度分別達(dá)到了95.4%和89.2%，取得了較好的實(shí)時(shí)運(yùn)動判斷準(zhǔn)確率。這種信息融合的方法也可以用于生物信號處理、多源信號融合、神經(jīng)網(wǎng)絡(luò)訓(xùn)練等項(xiàng)目，為探索新的多源信息融合方法提供有益的參考。