一種基于手部精細運動分類的腦機接口方法研究

【摘要】 目的 探索一種基于6種手部精細運動解碼的腦機接口（BCI）技術。方法 在分析了6種手部常見精細運動腦電圖（EEG）產生機理與響應特性的基礎上，設計了手部精細運動執行BCI范式，實現了一種基于卷積神經網絡的運動相關EEG信號解碼模型，并搭建了基于手部精細運動的BCI系統，對8例健康受試者、2例因病變累及頂葉而出現明顯運動功能障礙患者的6種精細運動手勢EEG信號進行了分類。結果10例受試者在基于手部精細運動的BCI系統下，EEG信號的分類準確率為（79.20±6.05）%。結論 基于6種手部精細運動解碼的BCI方法具有一定有效性和泛化能力。

【關鍵詞】 精細運動；腦機接口；腦電信號；解碼方法

【中圖分類號】 R651 【文獻標志碼】 A 【文章編號】 1672-7770（2024）04-0384-06

Study on a brain computer interface based on decoding of precise hand movements LI Rui， LIU Yuqi， LIU Weiping， WU Rui， BAI Duanyang， YANG Dong， ZHANG Junfeng， ZHAO Jie. Department of Brain， Xi'an People's Hospital（Fourth Hospital of Xi’an）， Xi’an 710000， China

Corresponding author： LIU Weiping

Abstract： Objective To explore a motor-related brain computer interface（BCI） technology based on the decoding of six precise hand movements. Methods Based on the analysis of the mechanisms and response characteristics of six common types of fine motor electroencephalography（EEG） in the hand， a BCI paradigm for fine motor execution was designed. A motion related EEG signal decoding model based on convolutional neural networks was implemented， and a BCI system based on fine motor was built. Six types of fine motor gesture EEG signals from eight healthy subjects and two patients with significant motor dysfunction due to lesions involving the parietal lobe were classified. Results The classification accuracy of EEG signals in 10 subjects under the BCI system based on fine hand movements was（79.20±6.05）%. Conclusions The BCI method based on decoding six types of fine hand movements has certain effectiveness and generalization ability.

Key words： precise hand movement; brain computer interface; EEG; decoding method

基金項目：西安市人民醫院（西安市第四醫院）科研孵化基金立項項目[2022BSH01（BH-1）]；陜西省教育廳專項科研計劃項目（22JK0471）

作者單位： 710000 西安，西安市人民醫院（西安市第四醫院）腦科病院（李睿，劉衛平，兀瑞）；西安理工大學機械與精密儀器工程學院（李睿，白端陽，楊東）；西安醫學院（劉宇琪，張俊峰，趙杰）

通信作者：劉衛平

近年來，因萎縮性脊髓側索硬化癥（amyotrophic lateral sclerosis，ALS）、腦卒中等神經性疾病導致的肢體行動能力減退或肌肉控制能力缺失的殘疾人數呈逐年上升態勢。面對這一嚴峻挑戰，一種不依賴于外周神經系統和肌肉的腦機接口（brain computer interface，BCI）技術，通過解碼受試者腦意圖來實現大腦與外圍設備間的直接交流與通信，成為國內外康復醫療領域關注的重點，并被初步用于腦卒中患者的輔助運動康復治療中^[1-4]。

現有手部精細運動相關BCI方法的研究，多聚焦于手部抓取動作的研究或抓取運動軌跡的重構，并沒有從日常生活出發，以生活中常用的靈巧、精細手部動作為目標，開展基于手部精細運動BCI系統的研究^[5-6]。因此，本研究擬通過揭示6種不同手部精細運動的EEG信號響應規律、溯源分析，進而實現一種基于手部精細運動分類的腦機接口方法。

1 材料與方法

1.1 受試者 本研究共招募8例健康受試者（6例男性，2例女性，年齡22～33歲）和2例腦病患者。10例受試均為右利手。8例健康受試者沒有神經系統疾病史。2例腦病患者均因腦皮層病變累及頂葉、出現明顯運動功能障礙而入院，入院上肢肌力查體均小于5級。在實驗開始前，研究人員將實驗流程和實驗中的注意事項均準確告知每個受試者。本研究由西安市人民醫院（西安市第四醫院）倫理審查會審批。

1.2 實驗采集設備 10例受試者均采用由博睿康科技有限公司生產的NeuSen-W64無線腦電采集設備（圖1）進行EEG采集，該設備的信號采樣頻率為1 000 Hz。本研究首先選取了全腦64通道EEG信號進行運動執行EEG的神經信息傳導機理分析，并在分析結果的基礎上進一步選取了來自大腦皮層的FC3、FCz、FC4、C3、Cz、C4、CP3、CP4 8個電極位置記錄EEG數據，進行一種基于手部精細運動分類的腦機接口方法研究，其電極分布位置見圖2。

綜合考慮手部精細EEG信號的產生機理與日常生活中的必要性^[7]，本研究設計手部精細運動BCI接口，選取了6種精細運動手勢（圖3），分別是右手五指閉合運動（手勢1）、右手食指單指伸展運動（手勢2）、右手拇指單指伸展運動（手勢3）、左手五指閉合運動（手勢4）、左手食指單指伸展運動（手勢5）、左手拇指單指伸展運動（手勢6）。

8例健康受試者的EEG采集實驗，在安靜的辦公室進行，受試者坐在舒適的椅子上，距離電腦屏幕60 cm左右。實驗要求每例受試者需要完成6種手勢的實驗，做手勢之前手處于自然放松狀態，每個手勢需要重復10個Session，每個Session包括6個Trial，單組Session的實驗時序安排見圖4A，實驗場景見圖4B。實驗開始時，受試者有3 s的準備時間，受試者根據系統提示做出相應手勢動作并持續4 s，接著有3 s休息時間，隨后開始下一輪實驗。實驗期間要求受試者集中注意力，并盡量避免其他肢體的運動。

2例患者在獨立的病房內進行6種手部精細運動EEG信號的采集，采集環境與實驗安排均與健康受試者一致。

1.3 手部精細運動EEG信號處理方法 EEG信號來源于頭皮的腦神經放電活動，其幅值在10～50 μV范圍內，在采集過程中易混雜大量噪聲并且容易產生基線漂移。因此，首先采用頻段濾波范圍為0.5～45 Hz的四階巴特沃斯濾波器，進行EEG信號中工頻噪聲的去除。

手部精細運動是一種自發型內源EEG，具有隨機性強、個體差異大的特點，因此傳統的機器學習方法，難以實現對6種手部精細動作EEG進行有效分類。卷積神經網絡（convolutional neural network，CNN）作為近年來興起的一項新興技術，可以從EEG中深入挖掘隱藏其中的高維隱形特征^[8]。因此本研究采用CNN數學模型來實現六種手部精細運動EEG信號的分類問題。

由于本研究選取了手部精細動作執行4 s時間長度內，大腦皮層軀體運動區8個通道的EEG作為目標信號，而所建立CNN模型需要對6類運動手勢的EEG進行分類。因此提出了輸入層為8×4 000數據點、輸出層為6個神經元、全連接層數為3的CNN網絡模型，進行6種手部精細運動EEG的解碼。CNN網絡模型的其余超參數設置為批處理32，學習率0.001，迭代次數100，損失函數為交叉熵損失函數。本研究所提出的CNN模型架構見圖5。

為了進一步驗證所選取方法的有效，將小波變 換與反向傳播（back propagation，BP）神經網絡相結合的傳統算法作為對比算法，驗證基于CNN解碼算法的手部精細運動BCI方法的有效性。其中，BP神經網絡的主要參數設置如下，輸入層為16個節點，輸出層節點為6個，隱藏層節點為20個，其余超參數的設定與CNN網絡模型一致。

1.4 系統的性能評價指標 Kappa值是評價BCI系統性能的有效指標，它表達了分類準確率P₀與預期一致率P_e之間的一致性，其計算方式為k=P₀-P_e/1-P_e。其中，P₀為6類精細運動手勢EEG分類準確率，P_e為期望一致性率。

2 實驗結果分析

借助MATLAB中的brainstorm工具箱，對8例健康受試者、2例腦病患者執行6種精細運動手勢時的全腦響應特性進行了溯源分析。10例受試者均表現出相似的腦響應激活規律，圖6以最具有代表性的受試者S3在執行左、右手拇指單指伸展運動時，0.133 3 s的時間間隔下，4 s運動過程中的全腦激活狀態。圖7為相同分析條件下，具有代表性腦病患者S9的全腦激活規律。分析結果可以看出，健康被試者與腦病患者執行所選取的精細手勢時，大腦皮層軀體運動區發生了明顯的激活現象。

為了進一步分析手部精細運動EEG的響應特性，以健康被試者S3在軀體運動區最具代表性的C3、C4 EEG采集通道為例，本研究計算了執行左手3種動作、右手3種動作EEG時頻、響應特性（圖8）。分析結果顯示，在執行左、右手精細運動時，在軀體運動區產生了明顯的ERD/ERS現象^[9]。

以分析6種手部精細運動EEG是否具有差異性為目標，采用BrainMesh_ICBM152大腦模型模板，對6種手部精細動作時的腦網絡進行了構建（圖9）。其中，腦網絡的節點代表每個電極通道，節點間的連線代表了神經信息的信息流動性。6種手勢執行過程中大腦的連接結構類似，具有EEG響應機理上的穩定性，但仔細觀察6種手勢執行過程腦網絡的狀態和連接強度科研發現，6種手部精細運動的腦網絡具有的差異性，因此其EEG信號具有一定的可分性。

最后，為了驗證手部精細運動BCI系統的有效性，分別采用CNN解碼算法與傳統WT-BPNN解碼方法對10例受試者6種手部精細運動EEG的分類準確率及Kappa系數進行計算（表1）。8例健康受試者在本研究所設計算法下的平均識別正確率為（80.67±3.76）%，平均Kappa系數為0.77，比WT-BP算法提高了3.77%，具有更高的準確率以及更好的一致性。2例患者基于CNN解碼算法的平均正確率分別為（73.33±13.43）%，平均Kappa系數為0.68。

3 討 論

根據EEG產生機理的不同，目前主流BCI系統中所采用的范式包括慢皮層電位范式、運動想象范式、P300范式和穩態視覺誘發范式^[10]。除此之外，近年來基于情緒的BCI范式也掀起了腦機接口領域的研究熱潮^[11]。上述范式中，運動想象作為一種自發型的BCI技術，通過采集受試者想象肢體運動時腦皮層產生的神經電信號，受到了康復領域專家學者的青睞^[12]。華南理工大學采用改進的CNN方法，成功對左手、右手、雙腳和舌頭四類運動想象的EEG進行了有效分類^[13]。西華大學通過將注意力機制引入運動想象EEG中，也成功實現了對四類運動想象EEG的分類^[14]。雖然運動想象BCI技術的研究取得了飛速進展，但是此類方法仍存在訓練時間長、個體差異性大、EEG隨機性強的缺點。對于運動功能區域受損的患者來說，僅通過運動想象EEG難以實現對其腦控意圖的準確辨識^[15]。

研究人員發現運動執行EEG與運動想象EEG具有相似的運動機制，且運動執行EEG的響應更為明顯，因此研究人員陸續開展了基于運動執行BCI方法的研究。通過采集受試者執行肢體運動時的EEG，來實現與外圍環境的交互或運動功能障礙患者愈后的康復訓練^[16-17]。Wei等^[18]通過研究穩態運動相關節律在運動解碼中的應用，設計了一種基于四種手指運動的BCI方法。東南大學發現通過同時提取手部精細運動EEG的時域、頻域特征，改善了3種自然抓握動作的EEG分辨精度^[19]。Wang等^[20]在深入分析EEG頻帶中包含的手部關鍵運動信息后，成功重建了患者手部的運動軌跡。

靈巧、精細的手部動作對應著大腦中復雜的神經認知活動，因此揭示手部運動的神經傳導機理、神經信息產生機制以及運動相關EEG的腦網絡結構特性，對發展上肢精細運動相關BCI技術的研究具有重要意義。由于EEG信號是一種微弱的神經信號而手部精細運動相關EEG又是一種個體差異性較大的內源性神經信息，因此探討不同運動手勢的產生機理，特別是信息流動性，不僅有助于大腦意圖的解讀，還可以有效改善上肢精確運動的BCI系統性能。

從對健康受試者、腦病患者的EEG進行多維度分析可以看出，雖然腦病患者出現了明顯的運動功能障礙，但通過溯源分析顯示，患者在執行手部精細運動時，軀體運動區仍出現了明顯的激活現象，且不同的手部精細運動間存在一定的差異性。這一現象進一步證明了，將BCI技術引入運動功能障礙患者的愈后康復、運動功能重建具有巨大的臨床應用潛力。 此外，通過解碼6種EEG信號中包含的腦控意圖可以看出，將先進的人工智能算法引入BCI系統中，是提升此類系統性能、精確解讀患者意圖的有效途徑之一。

綜上所述，本研究通過分析靈巧、精細手部動作的腦電響應特性，設計并實現了一種基于手部精細運動分類的BCI技術，為運動功能障礙患者生活自理能力的恢復，開辟了新的途徑。本研究采用的研究方法、分析技術及研究結果都有很好的參考價值，有助于推動相關研究的進一步開展。但是，必須說明的是現有的BCI技術仍處于實驗室階段，仍然需要更多的實際患者進行實驗驗證與優化，這對未來康復腦機接口領域研究具有很好的價值，同時，開發出經濟實用的腦控上肢康復機器人，應是未來康復腦機接口領域研究的重點方向。

利益沖突：所有作者均聲明不存在利益沖突。

作者貢獻聲明：李睿負責參與實驗方法設計、實際調查研究、實驗數據分析、實驗結果可視化與論文初稿撰寫；劉宇琪負責數據整理與管理、實際調查研究；劉衛平負責參與研究概念生成、研究資源采集、實驗設計驗證與核實、研究課題監管與指導、參與論文審閱與修訂；兀瑞負責研究課題監管與指導；白端陽負責實驗設計驗證與核實；楊東負責論文審閱與修訂；張俊峰負責實驗結果可視化；趙杰負責實驗數據分析。

[參 考 文 獻]

[1]Mridha MF，Das SC，Kabir MM，et al.Brain-computer interface：advancement and challenges[J].Sensors（Basel），2021，21（17）：5746.

[2]潘林聰，王坤，許敏鵬，等.面向運動意圖解碼的共空間模式及其擴展算法研究綜述[J].中國生物醫學工程學報，2022，41（5）：577-588.

Pan LC，Wang K，Xu MP，et al.Review of researches on common spatial pattern and its extended algorithms for movement intention decoding[J].Chin J Biomed Eng，2022，41（5）：577-588.

[3]Mridha MF，Das SC，Kabir MM，et al.Brain-Computer Interface： Advancement and Challenges.Sensors（Basel）[J]. 2021，21（17）：5746.

[4]吳弦光，陳迪，荀芳，等.發展康復事業促進實現“健康中國2030”目標[J].中國康復理論與實踐，2022，28（1）：6-14.

Wu XG，Chen D，Xun F，et al.Development of rehabilitation undertakings to achieve the “Healthy China 2030” goals[J].Chin J Rehabil Theory Pract，2022，28（1）：6-14.

[5]Kim H，Yoshimura N，Koike Y.Characteristics of kinematic parameters in decoding intended reaching movements using electroencephalography（EEG）[J].Front Neurosci，2019，13：1148.

[6]Wang PP，Gong PL，Zhou YY，et al.Decoding the continuous motion imagery trajectories of upper limb skeleton points for EEG-based brain-computer interface[J].IEEE Trans Instrum Meas，2022，72：2503212.

[7]Bodda S，Diwakar S.Exploring EEG spectral and temporal dynamics underlying a hand grasp movement[J].PLoS One，2022，17（6）：e0270366.

[8]Gao YY，Gao B，Chen Q，et al.Deep convolutional neural network-based epileptic electroencephalogram（EEG） signal classification[J].Front Neurol，2020，11：375.

[9]Yuan H，He B.Brain-computer interfaces using sensorimotor rhythms：current state and future perspectives[J].IEEE Trans Biomed Eng，2014，61（5）：1425-1435.

[10]Wang Y，Nakanishi M，Zhang D.EEG-Based Brain-Computer Interfaces[J].Adv Exp Med Biol. 2019，1101：41-65.

[11]Li R，Liu D，Li ZJ，et al.A novel EEG decoding method for a facial-expression-based BCI system using the combined convolutional neural network and genetic algorithm[J].Front Neurosci，2022，16：988535.

[12]Gruenwald J，Znobishchev A，Kapeller C，et al.Time-variant linear discriminant analysis improves hand gesture and finger movement decoding for invasive brain-computer interfaces[J].Front Neurosci，2019，13：901.

[13]Yang L，Song YH，Jia XY，et al.Two-branch 3D convolutional neural network for motor imagery EEG decoding[J].J Neural Eng，2021，18（4）：ac17d6.

[14]Jia H，Yu SQ，Yin SJ，et al.A model combining multi branch spectral-temporal CNN，efficient channel attention，and LightGBM for MI-BCI classification[J].IEEE Trans Neural Syst Rehabil Eng，2023，10（2）：1311-1320.

[15]杜義浩，常超群，杜正，等.基于改進遷移學習的運動想象分類識別算法[J].計量學報，2023，44（11）：1740-1748.

Du YH，Chang CQ，Du Z，et al.Classification and recognition algorithm of motion imagination based on improved transfer learning[J].Acta Metrol Sin，2023，44（11）：1740-1748.

[16]Munzert J，Lorey B，Zentgraf K.Cognitive motor processes：the role of motor imagery in the study of motor representations[J].Brain Res Rev，2009，60（2）：306-326.

[17]Xu BG，Zhang DL，Wang Y，et al.Decoding different reach-and-grasp movements using noninvasive electroencephalogram[J].Front Neurosci，2021，15：684547.

[18]Wei YX，Wang X，Luo RJ，et al.Decoding movement frequencies and limbs based on steady-state movement-related rhythms from noninvasive EEG[J].J Neural Eng，2023，20（6）：ad01de.

[19]張大林，徐寶國，宋愛國.基于頻域和時域腦電特征解碼自然抓握動作[J].傳感器與微系統，2023，42（1）：67-70，74.

Zhang DL，Xu BG，Song AG.Decoding natural reach-and-grasp actions by using frequency and time-domain EEG features[J].Transducer Microsyst Technol，2023，42（1）：67-70，74.

[20]Wang JR，Bi LZ，Fei WJ，et al.EEG-based continuous hand movement decoding using improved center-out paradigm[J].IEEE Trans Neural Syst Rehabil Eng，2022，30：2845-2855.

（收稿2024-03-14 修回2024-05-09）