基于氣壓肌動圖和改進神經模糊推理系統的手勢識別研究

汪 雷 黃 劍 段 濤 伍冬睿 熊蔡華 崔雨琦

手勢作為一種自然、有效的交流方式,在人機交互的應用中發揮著重要的作用[1],并已成為操縱人機接口的主流方法之一[2].對于手部截肢患者等在運動控制和運動功能方面有困難的殘障人群,基于手勢識別技術的人機接口及其應用有助于通過智能假肢恢復他們缺失的自然手部功能,因而相關研究對于此類弱勢群體而言至關重要.

當前,基于穿戴式生物信號采集裝置的手勢識別研究大多利用肌電圖(Electromyogram,EMG)實現[3?6].由于EMG 信號通常比較微弱(亞毫伏級別),因而存在對于電噪聲敏感、需要笨重的濾波放大電路等外圍設備、不可重復等缺點.此外,肌肉通常在皮膚下交錯以肌肉群的方式出現,且在獲取EMG 信號時,傳感器必須直接附著在皮膚上甚至侵入皮膚,所以EMG 也存在串擾、易受汗液和肌肉疲勞影響等缺陷.近年來,肌動圖(Mechanomyogram,MMG) 逐漸受到科研人員的重視[7?11],它具有信號強、采集方便、非侵入等優點,更重要的是MMG 對于出汗、電噪聲等不利影響有很好的魯棒性.此外,MMG 與肌力呈近似線性關系,這種線性關系受肌肉疲勞影響很小[12].這些優點使得MMG可為人機交互提供優質的信號來源.然而,截至目前國內利用肌動圖信號進行手勢識別,特別是識別截肢者手勢并用于假肢手控制的相關研究尚不多見.

從方法上來看,設計分類能力強和具有學習能力的智能模式識別方法仍是這一領域的主要研究方向.一些典型的研究工作包括基于人工神經網絡[13?14]和基于模糊系統[15?16]的手勢識別方法等.自適應神經模糊推理系統 (Adaptive neural fuzzy inference system,ANFIS) 由于具備模糊系統的可解釋性和神經網絡的學習性優點,在處理非線性問題上有很好的效果,也是手勢識別領域潛在的有效工具之一[17?18].但傳統ANFIS 只有一個輸出節點,通常適合于解決二分類問題,在解決多分類問題時存在泛化性能差、訓練速度慢等缺點.如何提高ANFIS 的學習效率和分類精度,是其應用于手勢識別領域亟待解決的難點問題.

考慮到在獲取MMG 時一般會用到加速度計和麥克風,這兩種傳感器僅適用于實驗室環境,而基于氣壓肌動圖(Pressure-based mechanomyogram,pMMG) 能夠很好地解決適用范圍的問題,本文采用pMMG 作為健康人和殘疾人手勢識別研究的信號來源,設計了基于氣壓肌動圖的穿戴式信號采集裝置.同時針對多分類問題中ANFIS 存在訓練效率低的問題,提出了一種高效的多分類自適應神經模糊推理系統 (Multi-classification adaptive neural fuzzy inference system,MC_ANFIS),其特點在于僅需要訓練一個MC_ANFIS,就可以完成對于多種手勢的分類任務,用以實現多手勢分類中分類器的高效訓練.

本文的主要工作歸納如下:1) 通過拓展傳統Takagi-Sugeuo-Kang (TSK) 模糊系統的解模糊層,提出了一種適用于多分類任務的神經模糊推理系統,該系統具有很高的訓練效率和快速的分類速度;提出了一種新的高性能自適應多分類算法MC_TS_UR (Multi-class with typical sampling and uniform regularization),用改進的抽樣方法和正則化技術又極大地提升了所提系統的訓練效率,解決了傳統ANFIS 泛化能力差的問題;2) 設計了穿戴式氣壓肌動圖信號采集裝置,開展了健康人和殘疾人兩類受試者的手勢識別實驗,與經典的機器學習算法以及近期相關研究結果進行性能對比,驗證了所提系統和方法的有效性.

1 基于氣壓肌動圖的手勢數據采集

本節主要敘述pMMG 原理,手勢數據的采集方法,預處理和特征提取方法.

1.1 氣壓肌動圖原理

如圖1(a)所示,將肌肉看作橫截面積Am、長為xm的均勻圓柱體.記初始橫截面積為Am0,長為xm0,假定肌肉總體積Vm0不變.

Hill 提出的肌肉生物力學方程如下[19]:

其中,F為肌力,v為肌肉收縮速度,a、b和F0均為與肌肉相關的常量,且a ?F、b ?v.由式 (1)可得,在肌肉活動過程中,即肌肉收縮速度v0時,F與v近似反比,記比例系數為k.肌肉激活時,長度變化量為 dxm,則肌力計算如下:

如圖1(b)所示,假定氣囊將肌肉表面全覆蓋,且被臂環固定,則氣囊與肌肉的總橫截面積不變.氣囊橫截面積為Ab,氣壓為Pb.記氣囊初始橫截面積為Ab0,初始氣壓為Pb0.肌肉激活時,氣囊橫截面積變化 dAb,氣壓變化 dPb,肌肉橫截面積變化 dAm.假定氣囊長度為lb0不變,則由氣囊的理想氣體方程、肌肉體積和氣囊與肌肉總橫截面積不變的假設可得:

圖1 pMMG 原理圖Fig.1 The schematic diagram of pMMG

其中,n僅與氣囊的初始狀態有關,Rb為常量,T為氣體溫度.忽略氣體溫度變化,則式(3)右邊為僅與氣囊初始狀態有關的常量.化簡式(3)、式(4)并代入式(5)可得:

兩邊同時對時間求微分,易得:

將式 (7) 代入式(2) 可得肌力F的計算公式如下:

由式(8) 可以看出,在肌肉運動過程中,肌力與氣囊氣壓變化率有關,即能夠用氣壓的變化率表征肌肉運動情況.更進一步,從式(8) 中可以得到如下信息:

1) 根據前面提出的假設,k為與個體相關的變量,Ab0、xm0、Vm0、Pb0均為與氣囊初始狀態有關的常量,所以對于特定個體,kAm0Pb0/(xm0Ab0) 也為常量.即肌力與氣囊氣壓變化率的倒數線性相關,且系數僅與裝置的初始情況有關.

2) 肌力與氣壓變化率呈靜態關系,所以知道氣壓變化率之后,可立即推算出肌力的大小.

3) 不需要對信號作進一步處理即可得到肌肉活動信息,與肌電圖方法相比更加簡潔直觀,且不用擔心復雜的濾波、特征提取過程帶來的遲滯效應.

注意到雖然式(8)給出了肌力和氣壓之間的量化關系,表明pMMG 具有和EMG 類似的功能,但是手勢和肌力或氣壓之間的關系卻并不明確,因此仍需研究智能的非線性分類器實現基于pMMG 的手勢識別.

1.2 氣壓肌動信號采集

本文招募了7 名上肢健全和1 名上肢殘疾的受試者 (表1 給出了每名受試者的信息),設計了如圖2(a) 所示的硬件裝置記錄每名受試者前臂運動過程中的氣壓肌動信號.該裝置主要由6個單向氣囊、6個200 kHz 采樣頻率氣壓傳感器、1個GY953慣性測量單元 (Inertial measurement unit,IMU)、1 對藍牙收發裝置以及2 條低成本臂環組成.氣壓傳感器測量手部運動中的pMMG 信號,同時IMU傳感器測量前臂的姿態信號 (返回歐拉角數據),主要用于補償手臂位姿帶來的氣壓肌動圖差異.盡管氣壓傳感器的采樣頻率很高,但是受限于IMU 和藍牙的傳輸速率,該硬件裝置的采樣頻率為200 Hz.

表1 參與手勢識別實驗的受試者信息Table 1 Information of the subjects participating in the gesture recognition experiment

pMMG 手勢數據的獲取流程如下.受試者首先按照圖2(b)所示佩戴好裝置,然后按照以下范式采集手勢數據.先休息2 s,接著以10 s 為周期做每次運動,首先以最大的力量執行屈腕 (Wrist flexion,WF) 手勢,保持6 s 后休息4 s,每種手勢運動重復5 次;然后按照保持6 s,休息4 s 的規律依次執行伸腕 (Wrist extension,WE)、伸掌 (Hand open,HO)、握拳 (Hand close,HC)、尺側傾 (Ulnar deviation,UD)、橈側傾 (Radial deviation,RD),每完成6 種手勢的運動記為一輪.每一輪手勢數據采集過程如圖3 所示,每名受試者重復采集8 輪數據.對于每一個手勢周期,休息期間的手勢數據沒有被記錄下來,每種手勢的樣本數基本相等.

圖2 手勢識別裝置及其佩戴位置Fig.2 The gesture recognition device and it＇s wearing position

圖3 每一輪的手勢數據采集過程Fig.3 Each round of gesture data acquisition process

殘疾人受試者也依據以上相同范式進行數據采集,和健康受試者不同的是,實驗過程中他需要在研究人員的指導和幫助下,注視鏡子中的健手做6種手勢運動,同時想象殘肢和鏡像健手做同樣的手勢運動.在此過程中,殘肢在運動想象的帶動下將會有相應的肌肉運動,這些運動信息可以被手勢識別裝置實時記錄.

該裝置檢測的是氣囊接觸位置的氣壓大小,所以對于受試者手腕的干濕程度、清潔程度沒有要求.

圖4 給出了6 種手勢對應的pMMG 原始信號圖(Subject-4),相對于EMG 信號而言,pMMG 原始信號更加光滑且具有更高的幅值,對電噪聲具有較強的魯棒性.

圖4 采集的原始手勢數據流Fig.4 The collected raw gesture data stream

1.3 預處理和特征提取

盡管文獻[20]指出,與隨機和高度可變的表面肌電信號不同,肌動圖與肌力圖(Force myogram,FMG) 通過機械過程自然過濾,可以將原始壓力傳感器信號直接用作分類特征.然而,第1.1 節中得到的肌力與氣壓變化率的關系僅為理想狀況下的近似.實際上前臂肌肉之間的聯系非常復雜,而且存在不同程度的相互干擾.因此,仍然有必要對獲取的pMMG 數據作相應的預處理.

由于所使用的MC_ANFIS 的結構中規則數與輸入維度的指數線性相關,為避免計算冗余,對采集到的手勢數據作降維處理很有必要.

最后將降維處理后的手勢數據隨機分為訓練集(80%)和測試集(20%).PCA 處理后的手勢數據作為降維特征用于MC_ANFIS 的訓練.數據處理過程如圖5 所示.

圖5 手勢數據處理過程Fig.5 Gesture data processing

2 改進的多類神經模糊推理系統

傳統ANFIS 的單個輸出節點適合解決二分類問題,在解決多分類任務時需要根據類別數設計分類策略、訓練多個分類器,因而訓練效率較低,且包含了ANFIS 泛化性能較差的缺陷.針對以上問題,本節首先構造一種多分類的ANFIS,然后又提出一種高性能學習算法MC_TS_UR 解決其泛化性能較差的問題.改進的多類神經模糊推理系統 (Improved multicalss neural fuzzy inference system,IMNFIS) 是兩者結合的高性能多分類系統.

2.1 MC_ANFIS 分類器

在最近的研究中,許多跨領域的技術應用取得了很好的效果.本文通過利用卷積神經網絡中的全連接層拓展經典TSK 模糊系統的解模糊層,使單個拓展后的TSK 模糊系統具備多分類的能力.其結構如圖6 所示,其中方形節點代表含系統參數的自適應節點,圓形節點代表無系統參數的固定節點.

圖6 MC_ANFIS 結構圖Fig.6 Structure of MC_ANFIS

第4 層:計算每條規則的加權輸出

第5 層:解模糊.用權矩陣V ∈RR×P將所有規則輸出映射到每個類別得分.第r條規則對應類別p的權重記為vrp ∈V,vrp與wr,m,br,0共同組成后件參數.每個類別的得分計算如下

第6 層:將類別得分轉化為類別概率

第7 層:將最大概率對應的類別記為最終的分類結果.例如,假設為第6 層輸出的最大值,則分類器輸出類別為p.

這樣,通過權矩陣V拓展后,MC_ANFIS 具備多分類能力.即僅需訓練好一個MC_ANFIS 分類器的系統參數,就可以完成多分類任務,能夠大幅節省計算量,縮短訓練時間.

由于MC_ANFIS 的每一層節點函數都連續可導,所以直接由鏈式法則和誤差反向傳播更新參數.在反向傳播過程中,記代價函數為C(認為C中不包含與系統參數直接相關的項),結構風險函數為J.則目標函數O=C+J對于MC_ANFIS 的前件參數和后件參數梯度計算如下:

2.2 MC_TS_UR 融合算法

從第2.1 節可知,MC_ANFIS 提供了一種通用的多分類器架構,通過誤差反向傳播而具有自學習的能力.因此,MC_ANFIS 具體的學習效果受損失函數的選擇、梯度更新的策略影響較大,需要合適的算法優化分類器的性能.MC_ANFIS 是拓展的ANFIS,繼承了ANFIS 所具備的神經網絡的學習、建模能力和TSK 模糊系統的知識表達特性,所以神經網絡和模糊系統的優化算法同樣適用于MC_ANFIS.

在分類器的訓練過程中,為了綜合提升訓練質量和訓練效率,通常用簡單隨機抽樣的方式從訓練集中抽取數量為BS的小批量樣本代替整個訓練集進行訓練.注意到小批量樣本的質量直接關系到算法的學習質量,而簡單隨機抽樣沒有考慮到訓練集樣本分布的影響,所以訓練得到的分類器泛化性能不能得到保證.

典型抽樣 (Typical sampling,TS) 是最近提出的一種神經網絡優化算法[21].通過設定閾值γT,將訓練集按概率密度劃分為概率密度高的典型集H和概率密度低的非典型集L兩種,然后分別從H和L中隨機抽取數量為BS的樣本組成每次訓練用的小批量樣本Bts. 通過調節閾值γT和小批量樣本Bts中抽取的H和L樣本比例αT,可以讓小批量樣本最大限度地符合總體的分布特點.注意到每次迭代中實際參與訓練的為Bts中的BS個實例.在使用TS 算法后,式(21) 應修改為:

在TSK 模糊系統學習過程中,容易出現各規則觸發強度不均勻的情況,在極端情況下,一些規則的觸發強度甚至接近于零.這不僅會浪費計算機的計算量,甚至會損害系統的性能.

標準正則化 (Uniform regularization,UR) 是最近提出的一種TSK 模糊系統優化算法[22].通過增加結構風險函數Ju的方式,讓各規則的觸發強度盡可能相等,從而提高系統的性能.記UR 的系數為λu,則Ju計算如下:

注意到Ju與MC_ANFIS 后件參數無關,所以代入到目標函數O中之后,后件參數的梯度計算不變.

為增加系統泛化性能,還需要加入較小的L2正則化結構風險項J2,降低后件參數的結構風險.記L2正則化系數為λ2,J2由下式計算得到:

引入上述優化后,神經模糊系統的學習過程顯著變化,相應的反向傳播的梯度同樣改變,重新推導如下:

本文提出的MC_TS_UR 優化算法是在MC_ANFIS 的架構上,融合最近提出的神經系統優化算法TS、模糊系統優化算法UR、L2正則化以及adaBound 等經典機器學習優化算法的融合自適應算法.MC_TS_UR 融合算法流程見算法1.

算法 1.MC_TS_UR 融合算法

從TS、UR 兩種算法本身的特點來看,所提融合算法具備以下特性:1) 能精確反映總體特性,即有優秀的泛化能力;2) 優化系統結構,讓所有規則都能發揮其應有的作用,即能表現出很好的性能.

3 手勢識別實驗

本節通過手勢識別離線實驗驗證所提手勢識別方法的性能.

3.1 實驗設置

本文主要識別6 種手腕手勢:屈腕、伸腕、伸掌、握拳、尺側傾和橈側傾,如圖7 所示.控制6 種手腕手勢對應的肌肉信息在表2 中給出.

表2 6 種手腕手勢對應的肌肉信息Table 2 Muscles information of the corresponding six gestures

圖7 本文研究的6 種手勢Fig.7 Six gestures studied in this paper

本文研究中手勢識別的方案如下:先用可穿戴式設備采集對應的6 塊肌肉氣壓肌動圖以獲取原始手勢數據,然后通過數據降維、格式轉換等方法預處理數據.數據采集方法詳見第1.2 節,預處理的方法詳見第1.3 節.經8 位受試者手勢數據預處理,得到PCA 降維后的維度為M=7.將處理后的數據打上標簽后劃分訓練集 (80%) 和測試集 (20%),用5 折交叉驗證的方式訓練IMNFIS 以及測試IMNFIS的訓練效果.本文實驗是在一臺配置為16G RAM、3.2 GHz core i7 8700K 的計算機上進行的.

3.2 模型和算法

本次實驗比較了幾種經典分類算法,如支持向量機 (Support vector machine,SVM)、梯度增強決策樹 (Gradient boosting decision tree,GBDT)、線性判別分析 (Linear discriminant analysis,LDA)、一種基于ANFIS 的經典神經模糊系統優化方法(TSK_GD_LSE),以及幾種基于MC_ANFIS和小批量梯度下降的TSK 模糊系統優化算法 (MC、MC_TS、MC_UR 和MC_TS_UR).模型和算法的設置如下.

1) SVM:在Python 中調用Scikit-learn 庫函數實現.使用5 折交叉驗證從 {0.05,0.1,1,10,20}中選擇懲罰系數,使用 ‘rbf’ 核,‘auto’ 核系數,‘ovr’決策函數以及默認的其他參數初始化分類器.

2) GBDT:在Python 中調用Scikit-learn 庫函數實現.使用5 折交叉驗證從 {3,4,5,6} 中選擇最大深度,其余參數設置為默認.

3) LDA:在Python 中調用Scikit-learn 庫函數實現.使用5 折交叉驗證從 {0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9} 中選擇懲罰項 ‘shrinkage’,使用 ‘eigen’ 求解器,其余參數設置為默認.

4) TSK_GD_LSE:用一般ANFIS 的分類器模型.通過 ‘ovr’ 的分類策略,將多分類問題轉化為多個ANFIS 的二分類問題.最后比較所有二分類器的結果,決定最終的分類結果,按照以下方法訓練每個二分類器.系統參數均初始化為0.在前向傳播中使用迭代最小二乘法確定先行參數,在反向傳播中使用梯度下降結合L2正則化確定后件參數.所有超參數均設置為默認或者典型值 (λ2=0.05).

5) MC:用MC_ANFIS 的分類器模型.系統參數初始化為0.先用簡單隨機抽樣的方式從訓練集中隨機選取mini-batch,然后用L2正則化結合AdaBound 更新參數.所有超參數均設置為默認或者典型值 (λ2=0.05,β2=0.999).

6) MC_TS:用MC_ANFIS 的分類器模型.系統參數初始化為0.先用典型抽樣的方式從訓練集中隨機選取mini-batch,然后用L2正則化結合AdaBound 更新參數.所有超參數均設置為默認或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

7) MC_UR:用MC_ANFIS 的分類器模型.系統參數初始化為0.先用簡單隨機抽樣的方式從訓練集中隨機選取mini-batch,然后用UR+L2正則化結合AdaBound 更新參數.使用5 折交叉驗證從 {0.1,1,10,100} 中選擇UR 系數λu,其余超參數均設置為默認或者典型值 (λ2=0.05,β2=0.999).

8) MC_TS_UR:用MC_ANFIS 的分類器模型.系統參數初始化為0.先用典型抽樣的方式從訓練集中隨機選取mini-batch,然后用UR+L2正則化結合AdaBound 更新參數.使用5 折交叉驗證從{0.1,1,10,100} 中選擇UR 系數λu,其余超參數均設置為默認或者典型值 (γT=0.8,αT=0.8,λ2=0.05,β2=0.999).

3.3 評價指標

本文設計了以下指標評價識別性能:1) 混淆矩陣 (Confusion matrix,CM);2) 原始錯誤率 (Raw error rate,RER);3) 平衡錯誤率 (Balanced error rate,BER);4) kappa 系數κ;5) 訓練時間Tt.評價指標1)～4)根據訓練的小批量樣本以及測試集的CM 計算得到,是一般分類任務的常用指標;評價指標5)用于評估算法的訓練效率.

這些指標的計算如下:

1)混淆矩陣CM.混淆矩陣中每一行代表真實標簽為該行數的分類情況.例如,混淆矩陣中第i行j列的數值為該分類器將真實標簽為第i類的數據判定為第j類的樣本占真實標簽為第i類的總樣本數的百分比.CM 對角線原素越大越好.

2)原始錯誤率RER

其中,

p為類別索引,即第p類;

P為分類的類別數,本文中對6 種手腕手勢分類,即P=6;

T(p) 為標簽為第p類的樣本被正確分類的數目;

F(p) 為標簽為第p類的樣本被錯誤分類的數目.

3)平衡錯誤率BER

4)κ系數.一種用于評價所設計分類器或算法效率的系數,用于涉及到識別兩個以上類的多類問題.該系數的數值越高,表示結果越好.

其中,

M為待分類樣本總數,即測試集大小;

mp,p為標簽為第p類且同時被分類器判定為第p類的樣本數;

Gp為標簽為第p類的樣本總數;

Cp為被分類器判定為第p類的樣本總數.

5)訓練時間Tt.訓練時間包括:a) 數據降維、標簽數據格式轉換和數據集劃分等將采集的原始手勢、標簽數據轉化為分類器可直接操作數據的數據預處理時間;b) 數據預處理后,從分類器初始化到分類器學習過程完成的純粹用于分類器自學習的總時間.Tt越小,分類器的實用性和學習效率越高,更適合用于開發手勢識別的在線產品.

以上指標用于評估本研究中的機器學習方法在手勢識別中的性能.其中,CM 可以驗證單個類別的識別性能,Tt可以驗證算法的可拓展性,其余指標可以驗證分類器整體的識別性能.

3.4 離線實驗結果

本節對于健康人和殘疾人兩種對象分別給出第3.2 節列出的8 種機器學習算法的離線手勢分類結果,并對其進行分析與討論.

考慮到收集到的數據集較大(每名受試者約50 萬組數據)且MATLAB 能夠使用的內存有限,直接讀取所有數據的話,會有內存溢出的風險.因此,按照每10 萬組數據為一個數據集,將實驗數據5 等分進行手勢識別的離線實驗.分別在每個子數據集上用5 折交叉驗證的方式訓練,然后將5個子數據集的平均分類錯誤率作為每個受試者的最終平均分類錯誤率.

融合算法在每名受試者數據集上的混淆矩陣如圖8 所示.由圖8 可知,利用肌動圖識別手腕手勢時,伸腕手勢和伸掌的識別效果較差且容易互相混淆.這可能是因為受試者們在采集手勢數據的過程中動作不夠標準引起的,在采集伸腕手勢數據時不自覺地也有輕微的伸掌動作.而握拳、手尺側傾和手橈側傾則不容易與其他手勢混淆,所以識別效果更好,在受試者的數據集上幾乎都達到98.5% 以上.

圖8 MC_TS_UR 融合算法在每名受試者數據集上的混淆矩陣Fig.8 The CM of the MC_TS_UR fusion algorithm applied to the datasets of every subject

最后在7 名健康人受試者的數據集上,用第3.2 節提到的8 種算法計算第3.4 節中給出的指標.表3 和表4 分別給出了健康人與殘疾人實驗的平均結果,該結果由健康人和殘疾人兩種對象的所有受試者實驗結果取平均得到.可以看到在健康人的數據集上,相比于SVM、GBDT 等傳統機器學習算法,本文所提的融合算法在測試集誤差上有明顯的減少而κ系數明顯提高.基于ANFIS 的分類性能高于SVM 等傳統機器學習算法,這與文獻[23?24]中所述的結論一致.4 種基于MC_ANFIS 的算法的結果均優于傳統ANFIS 優化方法且訓練時間Tt更短,說明MC_ANFIS 的結構在處理多分類問題時有更大的優勢.訓練時間更短的原因在第2.1 節已經分析過,是因為需要訓練的分類器數量少,節省了大量數據預處理時間和學習時間.分類效果更好可能是因為在 ‘ovr’ 的分類策略中,每個類的分類器之間的訓練是獨立的,而MC_ANFIS 則是在第5 層中綜合了全部的類別輸出信息.融合算法相比于純MC 方法,測試誤差更小并小于訓練誤差,平均訓練時間更是縮短了一半以上,說明融合算法除了分類性能好、泛化能力強以外,計算效率也得到了很大的提升.

而在殘疾人的數據集上,本文提出的MC_TS_UR 融合算法表現出的性能同樣優秀.在錯誤率極低的情況下,同樣大幅縮減了訓練時間.與表3 相比,表4 中8 種算法在CER、BER 等指標上有不同程度的上升而κ系數略有減少.這可能是因為相比于健康人受試者,殘疾人受試者的腕部肌肉功能已經發生了遺忘或退化,所以殘疾人受試者的手勢意圖不夠明確、準確.盡管如此,MC_TS_UR 融合算法依然達到了97.25%的手勢識別準確率,比健康受試者的手勢識別準確率僅差0.93%.

表3 8 種算法在健康人數據集上的離線實驗結果Table 3 The offline experiment results of eight algorithms on datasets of the normal

表4 8 種算法在殘疾人數據集上的離線實驗結果Table 4 The offline experiment results of eight algorithms on datasets of the disabled

3.5 分析與討論

圖9 給出了4 種基于MC_ANFIS 框架的分類算法的誤差隨訓練時間的變化曲線.從曲線中容易看出,用UR 優化后,訓練時間變化不大,收斂特性有所提升;TS 優化會略微增加一部分訓練時間,泛化性能得到了增強;而融合算法在泛化性能和系統收斂特性都提高的同時,訓練時間也得到了大幅縮減.這可能是因為TS 和UR 兩種優化方法在融合過程中出現了更深層次的結合,從而加快了收斂速度,讓訓練效率和質量都大幅提升.本文提出的手勢識別方法優于傳統機器學習算法,而相比于一般MC_ANFIS 分類方法,能節省大量的訓練時間,更適合用于開發在線的殘疾人手勢識別產品.

圖9 4 種基于MC_ANFIS 的算法在訓練過程中的分類誤差隨時間變化曲線Fig.9 The classification error changes curve of four MC_ANFIS based algorithms with time during the training process

本文與近期手勢識別研究工作的比較如表5 所示.可以看到,與同類研究工作相比,在研究對象為健康人時,在手勢類別數相當的情況下,本文所提的手勢識別方法取得的分類精度最高;而在研究對象為殘疾人時,本文所提方法在所用的傳感器通道數差別不大的情況下,同樣得到了最高的手勢識別精度.綜合來看,本文所提的手勢識別方法在識別的手勢類別數相當的情況下,在健康人和殘疾人兩種類型的受試者上均表現優秀.

表5 與近期同類研究工作文獻的比較Table 5 Comparison with similar research work literature

4 結束語

為克服殘疾人的肢體缺陷,設計能被殘疾人普遍接受的手勢識別產品,本文提出了基于pMMG和IMNFIS 的手勢識別方法.該方法融合了多分類的神經模糊系統結構、神經網絡與模糊系統優化方法,在分類效果優秀的同時極大地縮短了訓練所需的時間.通過健康人實驗和殘疾人實驗,分別驗證了本文所提的手勢識別方法在健康人和殘疾人數據集上的有效性和可拓展性.相比于許多近些年發表文獻中的方法,本文提出的MC_TS_UR 融合算法、6個pMMG 傳感器和1個IMU 傳感器的手勢識別方法對于6 種手腕手勢的識別能力更高.

本文實驗僅考慮了離線情形,而從離線實驗到轉化為殘疾人能夠直接使用的產品還有很大的差距,且本文實驗中僅研究了8 名受試者的6 種手腕手勢,實驗對象和手勢類別都十分有限.考慮到使用在線的學習方法可以適應不同用戶的需求,后續的研究工作會集中在:優化代碼結構降低訓練時間,離線轉在線的學習方法的開發,以及識別更多種類手勢能力的推廣.