采用遷移學(xué)習(xí)的表面肌電信號(hào)手勢(shì)識(shí)別方法

胡學(xué)政, 陶慶, 趙暮超, 劉景軒, 馬金旭

(新疆大學(xué)機(jī)械工程學(xué)院, 烏魯木齊 830017)

人機(jī)交互是人與計(jì)算機(jī)或智能體之間交流對(duì)話(huà)、互換信息、協(xié)作配合的橋梁,涉及對(duì)人與計(jì)算機(jī)或智能體之間接口的科學(xué)含義和實(shí)踐的深入研究[1-2]。近年來(lái),基于生物電信號(hào)的人機(jī)交互模式已經(jīng)成為領(lǐng)域研究的熱點(diǎn)內(nèi)容[3-4]。相比于腦電信號(hào)空間分辨率低、采集煩瑣等特點(diǎn),表面肌電信號(hào)(surface electromyography,sEMG)的獲取渠道簡(jiǎn)單且成熟,能夠提供豐富的信息。此外,它的采集方式可以是無(wú)創(chuàng)采集,因此受到越來(lái)越多學(xué)者的青睞[5-6]。

基于sEMG進(jìn)行意圖識(shí)別已有許多成功案例,在上肢、下肢等領(lǐng)域都已得到廣泛應(yīng)用[7]。Wen等[8]采用最大互信息(MMI)對(duì)超參數(shù)(包括特征、窗口長(zhǎng)度和狀態(tài)數(shù))進(jìn)行優(yōu)化來(lái)構(gòu)建手部動(dòng)作的隱馬爾可夫模型(HMM),通過(guò)40個(gè)手部動(dòng)作進(jìn)行驗(yàn)證,獲得了97%的準(zhǔn)確率。Liu等[9]提出了一種新的對(duì)數(shù)-梅爾-頻譜(log-MFS)特征,該特征可以減少力變化對(duì)肌電圖模式識(shí)別(EMG-PR)方法分類(lèi)性能的影響,增強(qiáng)基于EMG-PR的系統(tǒng)在實(shí)際應(yīng)用中對(duì)抗力變化的魯棒性, 對(duì)于未經(jīng)訓(xùn)練的高、低力水平,平均分類(lèi)準(zhǔn)確率分別提高了約27%和11%。林恒等[10]提出了差分共空間模式(differential common spatial patterns,DCSP)特征,該特征在采用不同的分類(lèi)器進(jìn)行動(dòng)作分類(lèi)時(shí)具有較高的魯棒性,不依賴(lài)分類(lèi)器的選擇。趙詩(shī)琪等[11]提出了一種FS(Fisher score)降維方法,通過(guò)FS與SVM結(jié)合進(jìn)行手勢(shì)識(shí)別,既提高了準(zhǔn)確率又縮短了訓(xùn)練時(shí)間。采用傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行手勢(shì)識(shí)別所需數(shù)據(jù)量少,訓(xùn)練時(shí)間短,但是特征提取過(guò)程復(fù)雜煩瑣,而且所提取的特征對(duì)于分類(lèi)器來(lái)說(shuō)可能并不是一個(gè)良好特征。

隨著深度學(xué)習(xí)的崛起,越來(lái)越多學(xué)者開(kāi)始采用深度學(xué)習(xí)進(jìn)行手勢(shì)識(shí)別研究[12]。Rahimian等[13]提出了一種基于混合識(shí)別模型(hybrid recognition model, HRM)和時(shí)間卷積網(wǎng)絡(luò)模型(temporal convolutional network model, TCNM)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),以NinaPro DB2公用數(shù)據(jù)集進(jìn)行測(cè)試,分別獲得了98%和92%的準(zhǔn)確率。Fang等[14]提出了一種與假手交互的手勢(shì)和力的同時(shí)識(shí)別方法,變化力可以實(shí)現(xiàn)更精細(xì)的控制并緩解肌肉疲勞,截肢者手勢(shì)的平均識(shí)別準(zhǔn)確率為78%,力的平均識(shí)別準(zhǔn)確率為76%。Cté-Allard等[15]采用遷移學(xué)習(xí)來(lái)處理多用戶(hù)的聚合數(shù)據(jù),同時(shí)利用深度學(xué)習(xí)從大型數(shù)據(jù)集中學(xué)習(xí)判別特征來(lái)進(jìn)行手勢(shì)識(shí)別。Lai等[16]提出了一個(gè)對(duì)比自監(jiān)督學(xué)習(xí)框架(ConSSL)以實(shí)現(xiàn)目標(biāo)域的域適應(yīng),實(shí)驗(yàn)結(jié)果表明雖然標(biāo)記樣本的數(shù)量相對(duì)較少(≤50%),但該框架仍然達(dá)到>90%的識(shí)別精度。相比傳統(tǒng)機(jī)器學(xué)習(xí),深度學(xué)習(xí)識(shí)別準(zhǔn)確率高,但所需數(shù)據(jù)量龐大,訓(xùn)練時(shí)間較長(zhǎng)。

采用表面肌電信號(hào)進(jìn)行手勢(shì)識(shí)別在客觀(guān)情況下可以取得良好的效果,但面臨電極貼片位移、受試者動(dòng)作變化等情況,會(huì)使得用戶(hù)間數(shù)據(jù)差異變大,識(shí)別準(zhǔn)確率會(huì)有所下降。為解決上述問(wèn)題,提出一種基于遷移學(xué)習(xí)的手勢(shì)分類(lèi)模型。通過(guò)流形嵌入分布對(duì)齊(manifold embedded distribution alignment,MEDA)方法[17]執(zhí)行流形特征學(xué)習(xí),解決遷移學(xué)習(xí)域適應(yīng)中存在的特征退化問(wèn)題,同時(shí)執(zhí)行動(dòng)態(tài)分布對(duì)齊以定量調(diào)整邊緣分布和條件分布,減小不同受試者之間的數(shù)據(jù)差異。通過(guò)實(shí)驗(yàn)驗(yàn)證MEDA方法在復(fù)雜情況下的手勢(shì)分類(lèi)中具有良好的準(zhǔn)確性與魯棒性,解決了復(fù)雜情況下手勢(shì)識(shí)別的準(zhǔn)確率,為擬人化智能假手提供了理論依據(jù)。

1 實(shí)驗(yàn)設(shè)計(jì)與信號(hào)采集

1.1 實(shí)驗(yàn)設(shè)計(jì)

本次實(shí)驗(yàn)采用4種日常生活中常用的手勢(shì)進(jìn)行手勢(shì)分類(lèi),分別是五指伸展、握拳、ok伸展以及大拇指伸展,如圖1所示。信號(hào)采集范式采用E-Prime軟件與計(jì)時(shí)器相結(jié)合的方法,如圖2所示。

圖1 4種生活中常用手勢(shì)Fig.1 Four common gestures in life

圖2 信號(hào)采集實(shí)驗(yàn)范式Fig.2 Signal acquisitionexperimental paradigm

實(shí)驗(yàn)開(kāi)始前,先在采集區(qū)域用濃度為70%的酒精進(jìn)行擦拭,以防止在采集過(guò)程中出現(xiàn)電極貼脫落的情況。受試者注視“+”3 s后實(shí)驗(yàn)開(kāi)始,當(dāng)屏幕上出現(xiàn)手勢(shì)照片時(shí)進(jìn)行為時(shí)1 s的手勢(shì)動(dòng)作,出現(xiàn)黑色背景時(shí)休息1 s,計(jì)時(shí)器以每1 s響應(yīng)一次的頻率加以輔助,每種動(dòng)作以放松-動(dòng)作-放松的形式采集20次。采集完一類(lèi)手勢(shì)動(dòng)作后休息5 min再進(jìn)行下一類(lèi)手勢(shì)動(dòng)作的采集,以防止受試者肌肉疲勞。

1.2 表面肌電信號(hào)采集

選取葡萄牙PLUX公司生產(chǎn)的biosignalsplux Hybrid-8生物信號(hào)采集系統(tǒng)進(jìn)行sEMG采集,采樣頻率為1 000 Hz。實(shí)驗(yàn)采用一次性表面電極貼片進(jìn)行右臂四通道sEMG的采集,在實(shí)驗(yàn)開(kāi)始前要用酒精擦拭受試者電極貼片處的肌肉。電極貼片位置如圖3所示,4個(gè)采集點(diǎn)距離肘關(guān)節(jié)40～50 mm,各采集點(diǎn)圍繞前臂等距分布,同一采集通道的兩電極間隔20 mm,將接地電極放置于受試者的第7節(jié)頸椎。

1～4為采集點(diǎn)

來(lái)自新疆大學(xué)的11名健康受試者參加實(shí)驗(yàn),受試者均無(wú)關(guān)節(jié)或上肢肌肉疾病史,共計(jì)男生9名,女生2名,均為右利手,平均年齡(23±1.5)歲(用均值±標(biāo)準(zhǔn)差表示)。11受試者都是自愿參加,且在進(jìn)行實(shí)驗(yàn)前都已經(jīng)簽署了實(shí)驗(yàn)知情書(shū)。

1.3 數(shù)據(jù)預(yù)處理

sEMG的主要頻率集中在20～300 Hz,在其采集過(guò)程中容易受到基線(xiàn)漂移以及50 Hz的工頻干擾。首先采用四階巴特沃斯帶通濾波器消除基線(xiàn)漂移,濾波器的頻率設(shè)置在20～300 Hz,在此基礎(chǔ)上選取50 Hz陷波器消除工頻干擾。由于sEMG的采集過(guò)程中存在休息區(qū)間,因此需要對(duì)采集到的數(shù)據(jù)進(jìn)行活動(dòng)段提取,圖4展示了sEMG的活動(dòng)段提取。采用滑動(dòng)時(shí)間窗口進(jìn)行活動(dòng)段提取,時(shí)間窗口長(zhǎng)度設(shè)為128,滑動(dòng)窗口長(zhǎng)度設(shè)為64。采取4個(gè)通道平均能量和最大值的0.06h倍作為閾值(h為經(jīng)驗(yàn)取值),起止點(diǎn)采用多次閾值判斷,即連續(xù)超過(guò)5次閾值判定活動(dòng)段起止,在活動(dòng)段前后采用數(shù)據(jù)補(bǔ)充防止丟失有效信息。

圖4 sEMG活動(dòng)段提取Fig.4 sEMG activity segment extraction

1.4 特征提取

良好的特征對(duì)于分類(lèi)有著不可或缺的作用,能對(duì)不同的手勢(shì)進(jìn)行區(qū)分。采用具有重疊部分的滑動(dòng)時(shí)間窗的方法進(jìn)行特征提取,從采集到的4個(gè)通道的肌電信號(hào)中提取時(shí)域特征和頻域特征并進(jìn)行歸一化處理。

提取絕對(duì)平均值、均方根值、方差、波形長(zhǎng)度4個(gè)時(shí)域特征[18]。相關(guān)的計(jì)算公式如表1所示。

表1 時(shí)域特征計(jì)算公式Table 1 Calculation formula of time domain characteristics

選取平均功率頻率、中值頻率兩個(gè)頻域特征[19]。相關(guān)計(jì)算公式如表2所示。

表2 頻域特征計(jì)算公式Table 2 Calculation formula of frequency domain characteristics

2 方法原理

MEDA方法首先執(zhí)行流形學(xué)習(xí)與動(dòng)態(tài)分布對(duì)齊,然后通過(guò)SRM原理進(jìn)行總結(jié)來(lái)獲得一個(gè)域不變分類(lèi)器f,首先定義g(·)為流形特征的學(xué)習(xí)函數(shù),然后給出域不變分類(lèi)器f的定義為

(1)

2.1 流形特征學(xué)習(xí)

格拉斯曼流形[20]用于解決由線(xiàn)性子空間組成的數(shù)據(jù),選取測(cè)地線(xiàn)流核(geodesic flow kernel,GFK)[21]作為格拉斯曼的核函數(shù)。MEDA從格拉斯曼流形G中學(xué)習(xí)g(·),在執(zhí)行流形特征學(xué)習(xí)時(shí),使用d維子空間對(duì)數(shù)據(jù)進(jìn)行建模,將源領(lǐng)域特征矩陣和目標(biāo)領(lǐng)域特征矩陣嵌入稱(chēng)為G的集合中,G代表所有的d維子空間。每個(gè)d維子空間在G中對(duì)應(yīng)一個(gè)點(diǎn),通過(guò)測(cè)地線(xiàn)流Φ(t):0≤t≤1來(lái)繪制兩個(gè)d維子空間之間的路徑,其次t為兩個(gè)域之間的距離。把源領(lǐng)域特征矩陣的子空間表示為Φ(0),目標(biāo)領(lǐng)域特征矩陣的子空間表示為Φ(1),找到一條Φ(0)～Φ(1)的測(cè)地線(xiàn)流,相當(dāng)于將原始特征轉(zhuǎn)換為無(wú)限維特征空間,最終消除源領(lǐng)域和目標(biāo)領(lǐng)域的數(shù)據(jù)差異。

2.2 動(dòng)態(tài)對(duì)齊分布

(2)

使用最大均值差異(maximum mean discrepancy,MMD)來(lái)計(jì)算域之間的分布差異,采用投影MMD[22]來(lái)計(jì)算與分類(lèi)器f相關(guān)的MMD,此時(shí)兩域間的動(dòng)態(tài)分布對(duì)齊定義為

(3)

式(3)中:E[·]為嵌入數(shù)據(jù)的平均值;zs為源域數(shù)據(jù);zt為目標(biāo)域數(shù)據(jù)。

目標(biāo)領(lǐng)域中沒(méi)有標(biāo)簽,條件分布Qt=Qt(yt|zt)無(wú)法直接計(jì)算得到,采用類(lèi)條件分布Qt=Qt(zt|yt)來(lái)近似Qt。使用在Ds上訓(xùn)練的基本分類(lèi)器的預(yù)測(cè)結(jié)果應(yīng)用于Dt,以獲得Dt的軟標(biāo)簽。由于軟標(biāo)簽的可信度較低,因此通過(guò)迭代來(lái)進(jìn)行優(yōu)化,首次迭代時(shí)采用原始分類(lèi)器,后續(xù)迭代過(guò)程中MEDA會(huì)根據(jù)上一次的迭代結(jié)果對(duì)Dt的標(biāo)簽進(jìn)行優(yōu)化。

將μ視為一個(gè)參數(shù),其最終取值采用交叉驗(yàn)證來(lái)獲取。由于目標(biāo)領(lǐng)域沒(méi)有標(biāo)簽,所以通過(guò)利用域的全局和局部結(jié)構(gòu)來(lái)計(jì)算μ。采用A距離作為基本測(cè)量,A距離被定義為建立線(xiàn)性分類(lèi)器來(lái)區(qū)分兩個(gè)域的誤差。將ε(h)為線(xiàn)性分類(lèi)器h區(qū)分源領(lǐng)域和目標(biāo)領(lǐng)域和的誤差。A距離可定義為

dA(Ds,Dt)=2[1-2ε(h)]

(4)

(5)

2.3 域不變分類(lèi)器

經(jīng)過(guò)流形特征學(xué)習(xí)和動(dòng)態(tài)分布對(duì)齊以后,通過(guò)總結(jié)SRM原理總結(jié)以上兩個(gè)步驟來(lái)學(xué)f,給定最終域不變分類(lèi)器f的數(shù)學(xué)定義為

(6)

式(6)中:β為系數(shù)向量;K為核函數(shù);‖·‖F(xiàn)為弗羅貝尼烏斯范數(shù);A為對(duì)角域指示矩陣;Y為源領(lǐng)域和目標(biāo)領(lǐng)域的標(biāo)簽矩陣;tr(·)為跟蹤操作;M為MMD矩陣;L為拉普拉斯矩陣。

2.4 MEDA方法分類(lèi)模型

首先采集不同場(chǎng)景下受試者的sEMG,經(jīng)過(guò)預(yù)處理和特征提取獲得源領(lǐng)域和目標(biāo)領(lǐng)域特征矩陣,將其輸入MEDA模型中,最后獲得分類(lèi)結(jié)果,采用MEDA方法進(jìn)行手勢(shì)分類(lèi)的流程圖如圖5所示。在MEDA遷移學(xué)習(xí)模型中,首先執(zhí)行流形學(xué)習(xí),減小源領(lǐng)域特征矩陣與目標(biāo)領(lǐng)域特征矩陣的數(shù)據(jù)差異,消除特征退化。然后動(dòng)態(tài)調(diào)整分布差異,若數(shù)據(jù)集之間存在很大差異,兩域間的邊緣分布差異更為明顯,若數(shù)據(jù)集是相似的,則每個(gè)類(lèi)別條件分布中的差異更為顯著。

圖5 采用MEDA方法進(jìn)行手勢(shì)分類(lèi)流程圖Fig.5 Hand gesture classification flow chart using MEDA method

3 實(shí)驗(yàn)結(jié)果及分析

3.1 性能度量

為了能夠客觀(guān),全面的評(píng)價(jià)分類(lèi)器的性能,采取F1分?jǐn)?shù)對(duì)分類(lèi)器性能進(jìn)行衡量,其定義為

(7)

式(7)中:P為分類(lèi)精確率;R為分類(lèi)召回率;F1為F1分?jǐn)?shù),取值范圍為0～1,F1取值越接近1說(shuō)明分類(lèi)器的性能越好。

3.2 實(shí)驗(yàn)結(jié)果

圖6為采用MEDA方法進(jìn)行手勢(shì)動(dòng)作四分類(lèi)的混淆矩陣,可以看出,所提出的遷移學(xué)習(xí)模型可以對(duì)手勢(shì)精準(zhǔn)的進(jìn)行分類(lèi)。混淆矩陣圖中右側(cè)四行分別代表四類(lèi)手勢(shì)動(dòng)作的召回率,其物理含義為在該類(lèi)動(dòng)作的真實(shí)次數(shù)中,模型預(yù)測(cè)正確的比重。下方四列分別代表著四類(lèi)手勢(shì)動(dòng)作的精確率,其物理含義為模型預(yù)測(cè)為該類(lèi)動(dòng)作次數(shù)中,預(yù)測(cè)正確的比重。采用MEDA方法進(jìn)行手勢(shì)動(dòng)作四分類(lèi),每種手勢(shì)動(dòng)作的召回率與精確率都可以達(dá)到90%,其中五指伸展動(dòng)作的召回率最高,達(dá)到96.8%,ok伸展動(dòng)作的精確率最高,達(dá)到96.3%。

圖6 MEDA方法四分類(lèi)混淆矩陣Fig.6 MEDA method four classification confusion matrix

得到MEDA方法對(duì)四類(lèi)手勢(shì)的召回率與精確率后,采用決策樹(shù)(decision tree,DT)、支持向量機(jī)(support vector machine,SVM)、k臨近(k-nearest neighbor,KNN),3種傳統(tǒng)機(jī)器學(xué)習(xí)分類(lèi)器與未執(zhí)行流形特征學(xué)習(xí)與動(dòng)態(tài)分布對(duì)齊的JDA遷移學(xué)習(xí)方法與本研究提出的MEDA遷移學(xué)習(xí)模型進(jìn)行對(duì)比,5種分類(lèi)器的精確率、召回率、F1分?jǐn)?shù)如圖7所示。可以看出,采用MEDA方法取得的精確率、召回率、F1分?jǐn)?shù)都要高于其他分類(lèi)器,5種分類(lèi)器的F1分?jǐn)?shù)(均值±標(biāo)準(zhǔn)差)分別為0.805±0.014、0.72±0.034、0.846±0.027、0.408±0.089、0.934±0.016。與3種傳統(tǒng)機(jī)器學(xué)習(xí)方法相比,MEDA方法的F1分?jǐn)?shù)均有提升,與未執(zhí)行流形特征學(xué)習(xí)與動(dòng)態(tài)分布對(duì)齊的聯(lián)合分布適配(joint distribution adaptation,JDA)方法相比,MEDA方法的F1分?jǐn)?shù)提高了0.526,這證明了流形特征學(xué)習(xí)與動(dòng)態(tài)分布對(duì)齊的重要性。

圖7 5種分類(lèi)器分類(lèi)性能對(duì)比Fig.7 Comparison of classification performance of five classifiers

進(jìn)行域適應(yīng)學(xué)習(xí)后不同特征維度的手勢(shì)識(shí)別F1分?jǐn)?shù)如圖8所示,可以看出,相比于JDA方法,MEDA方法的分類(lèi)性能要更加優(yōu)秀,隨著維度的增長(zhǎng),MEDA方法的分類(lèi)性能逐步提高,在維度為12時(shí),MEDA方法的F1分?jǐn)?shù)達(dá)到最高。JDA方法與MEDA方法旨在解決遷移學(xué)習(xí)中的域適應(yīng)問(wèn)題,即通過(guò)尋找共性知識(shí)減小源領(lǐng)域與目標(biāo)領(lǐng)域之間的數(shù)據(jù)差異。

圖8 不同維度下的分類(lèi)性能變化Fig.8 Classification performance changes in different dimensions

JDA方法在尋找兩域間的共性知識(shí)時(shí),通過(guò)TCA方法將兩域間的數(shù)據(jù)投影到高維再生核希爾伯特空間進(jìn)行特征學(xué)習(xí),TCA方法只能減小兩域數(shù)據(jù)間的邊緣分布差異,而對(duì)數(shù)據(jù)間的條件分布差異沒(méi)有影響,所以F1分?jǐn)?shù)可能上升也可能下降;此外,對(duì)F1分?jǐn)?shù)起良性作用的特征值數(shù)值在經(jīng)過(guò)TCA方法后可能會(huì)發(fā)生變化,此時(shí)TCA方法對(duì)F1分?jǐn)?shù)提升將會(huì)帶來(lái)負(fù)面效果,也就是沒(méi)有解決特征退化問(wèn)題。JDA方法總是把邊緣分布與條件分布視為同等重要,即不考慮源領(lǐng)域和目標(biāo)領(lǐng)域間的數(shù)據(jù)差異,總是將μ的取值設(shè)為0.5,因此JDA方法的F1分?jǐn)?shù)較低。

MEDA方法獲得二者共性知識(shí)時(shí),通過(guò)GFK方法將數(shù)據(jù)嵌入格拉斯曼流形空間內(nèi)進(jìn)行學(xué)習(xí),構(gòu)建源領(lǐng)域和目標(biāo)領(lǐng)域間的測(cè)地線(xiàn)流,將原始特征轉(zhuǎn)換到無(wú)限維特征空間,解決了特征退化問(wèn)題。通過(guò)動(dòng)態(tài)分布對(duì)齊來(lái)解決兩域間的邊緣分布與條件分布比重,根據(jù)分布的差異來(lái)進(jìn)行來(lái)動(dòng)態(tài)衡量二者之間的重要性。當(dāng)兩域的數(shù)據(jù)差異較大時(shí),著重考慮邊緣分布差異,當(dāng)數(shù)據(jù)差異較小時(shí),則著重考慮 條件分布差異。在MEDA方法中,執(zhí)行流形特征學(xué)習(xí)后維度越高所學(xué)習(xí)到的共性知識(shí)越多,模型分類(lèi)性能越好。MEDA方法相比于JDA方法隨維度變化的F1分?jǐn)?shù)提升效率如表3所示。

表3 MEDA方法F1分?jǐn)?shù)提升效率Table 3 MEDA method F1 score improvement efficiency

4 結(jié)論

研究手部離散動(dòng)作分類(lèi),為了提高電極貼片位移、受試者動(dòng)作變化等復(fù)雜情況下的手勢(shì)分類(lèi)識(shí)別準(zhǔn)確率,提出一種基于遷移學(xué)習(xí)的分類(lèi)模型。通過(guò)MEDA方法將數(shù)據(jù)嵌入到格拉斯曼流形空間內(nèi)執(zhí)行流形特征學(xué)習(xí),解決特征退化問(wèn)題;提出自適應(yīng)因子來(lái)應(yīng)對(duì)不同情況下的分布差異,動(dòng)態(tài)調(diào)整數(shù)據(jù)不同分布差異下邊緣分布和條件分布的相對(duì)重要性。對(duì)多名受試者開(kāi)展實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明用于手勢(shì)分類(lèi)的MEDA方法表現(xiàn)優(yōu)異,相比DT、SVM、KNN 3種傳統(tǒng)機(jī)器學(xué)習(xí)方法,F1分?jǐn)?shù)分別提高了0.13、0.21、0.09。相比未執(zhí)行流形學(xué)習(xí)和動(dòng)態(tài)調(diào)整分布對(duì)齊的JDA方法,F1分?jǐn)?shù)提高了0.52,有效地提高了在復(fù)雜情況下手勢(shì)分類(lèi)的準(zhǔn)確率。