運動想象與其子過程相關腦電特征的數學分解和融合*

袁密桁，呂曉彤，董煜陽

（昆明理工大學 信息工程與自動化學院，云南 昆明 650504）

0 引言

腦機接口（Brain-Computer Interface，BCI）是一種變革性的人機交互[1]，其中基于運動想象（Motor Imagery，MI）的BCI 是一類重要的腦機交互，其在運動意圖的控制和運動功能障礙康復中具有潛在的應用。現有的MI-BCI 系統主要致力于解碼MI 涉及的肢體類型（Types of limbs）并映射為特定的控制指令[2-3]，以實現大腦的感覺運動意圖直接、自然地與外部環境進行所需要的交互，如可以通過MI-BCI 系統將腿部的運動意圖轉化為驅動外骨骼機器人的指令，以實現對下肢癱瘓患者的康復訓練[4]。

然而，迄今為止的MI-BCI 研究大多將MI 作為一個整體活動來理解，僅識別其所涉及的肢體，少有將MI 分解為若干子過程（sub-process/subprocedure）來解碼[5]，如圖1 所示。由于沒有解碼MI 的子過程，不能反映真實的運動意圖，也難以實現較精細、高維和準確的控制。

圖1 目前MI-BCI 系統的肢體識別過程

實際上，MI 是一種包含若干子過程的心理活動，例如，想象右手臂舉起和放下運動，可以分解為首先想象手臂從自然下垂狀態舉起到齊肩的水平位置，其次想象從水平位置舉起到垂直向上的位置，再次想象從垂直向上的位置下放到水平位置，最后想象從水平位置回到自然下垂狀態。MI 要求用戶或被試者在心里逼真或生動地重復或排練相應的實際運動過程（包含若干子過程），其所需的時間必須與相應實際運動所需的時間一致[6]，并要求參與者心理體現或心理感受/體驗出實際運動的各個子過程，避免草率或者應付式地瞬間完成[7]。用戶或被試者通過一定量的MI 訓練，能夠可控地或可操作地執行MI 過程[8]，如圖2 所示。

圖2 MI 識別子流程

本研究針對抓握物體的MI 過程，將該過程分解為打開手掌（opening hand）和抓握（gripping hand）想象兩個子過程，被試者在執行想象的抓握物體時，要求其逼真、可控地想象兩個子過程。由于這兩個子過程不相同，相應的大腦控制指令和過程也不相同，因此，假定兩個子過程相關聯的腦電（Electroencephalogram，EEG）特征也不相同，并能夠區分。為驗證該假設，建立MI 與其子過程相關EEG 特征的數學模型，然后選擇EEG 通道構建靜息態特征空間作為參考，并表征MI 及其子過程的EEG 特征，最后求解MI 與其子過程EEG 特征之間的關系，證明MI 分解和融合的可能性。本研究有望為MI-BCI 系統精細、高維和準確地控制提供新思路。

1 材料和方法

1.1 MI 與其子過程EEG 特征關系的數學模型

引言中所述命題可以理解為，對于某一運動想象腦意圖（記為a，對應的EEG 數據記為A），均可以視其為特定子意圖（記為b，c，d，…，對應的EEG 數據為B，C，D，…）的一個累加態，因此，引言中命題的數學表示為：

式中：Af，Bf，Cf，Df，…為對應的EEG 數據A，B，C，D，…映射到特征空間的特征；F(·)Fusion為特征融合方法；m為相關性矩陣。

不失一般性，為了方便實驗驗證和數學分析，本研究將a對應的子意圖簡化為b和c這兩個，式（1）可簡化為：

式中：A′f=F(Bf,Cf)Fusion。進一步驗證該數學關系對于同一被試者具有統一性，則式（2）可表示為：

1.2 實驗設計及實驗過程

1.2.1 實驗設計

將一個連續的運動想象過程分解為若干個子過程是一件較為困難的事情，但站在驗證命題的角度，實驗范式只需滿足命題要求，即運動想象動作a 為子動作b 和c 的累加即可。如圖3 所示，將a 定義為右手手掌攤開，再從攤開到握拳的想象過程；b的運動想象內容定義為右手手掌攤開的運動想象過程；將c 定義為右手手掌握拳的運動想象過程。

圖3 3 組運動想象a、b、c 的實驗內容

1.2.2 實驗過程

如圖4 所示，本文選取15 名身體情況健康的右利手為被試者，實驗中被試者坐在提示屏幕正前方，面部距離顯示屏約75 cm，認真按照實驗刺激程序的流程進行運動想象。本實驗所選擇的實驗設備型號為64 通道的Cognionics 無線干電極腦電采集設備，電極安放依據64 導聯的國際標準，所有導聯均采用AgCl 電極，各電極的阻抗均通過Cognionics Acquisition Beta 軟件設置被降至5 kΩ以下，初始采樣頻率設置為500 Hz，設備的帶通濾波設置為0.5～40 Hz，參考電極為左側和右側的耳后隆起位置[9-10]。

圖4 實驗過程

實驗開始前，被試者需在靜息態下采集1 min的EEG 作為對照組。實驗開始時，實驗范式提示端的顯示器背景先為黑色，接著開始顯示指導語持續2 s，幫助被試者理解實驗內容；然后出現黑底白色的十字光標2 s 作為準備階段，第4 s 時出現運動想象內容的提示圖片和文字，被試者觀察提示內容2 s 后，提示屏幕上再度出現十字光標2 s，然后黑屏進入4 s 的運動想象過程，隨后再出現十字光標2 s 作為被試者的休息時間，再進入下一次運動想象。被試者單次實驗的累計運動想象次數為30次，每次實驗間被試者休息2 s，運動想象a、b 和c 共計90 次，獲得數據集A，B和C各30 組。以運動想象c 的實驗為例，具體的實驗流程和對應的實驗范式的刺激程序如圖5 所示。

圖5 實驗范式流程c

1.3 實驗數據分析方法

1.3.1 特征提取算法選擇和通道選擇

（1）基于靜息態參考和Frobenius范數（Frobenius-Resting state，F-Rs）的特征向量表達

式（1）要求將可以表征運動想象意圖的矩陣空間的數據投射到特征空間，這個投射過程所采取的特征提取方法在本研究中是非常重要的。與傳統的腦電分類研究不同，這里所規劃的特征提取算法并非以分類效果為指標，而是該特征能夠盡可能全面而準確地表達需要表征的運動想象意圖。

在不考慮數據的相容性的情況下，EEG 信號的每個通道的數據都可以作為一個高維向量Zi，同時也可以視為一個矩陣。而對于一個向量的充分表征，當然可以從相對某一參考的模長與夾角進行描述。對于一個矩陣的描述，可以從范數的角度進行理解。這里定義靜息態EEG 為Rs作為參考靜息態EEG 的模長作為單位模長，將運動想象的EEG 信號從笛卡爾空間變換到靜息態空間[11]，如圖6 所示。

圖6 基于靜止狀態參考和Frobenius 范數的特征向量表示

Frobenius 范數是指對矩陣全部元素平方和的平方根，即：

當矩陣為一維時，Frobenius 范數求解得到的即為模長，而且從矩陣的角度來說，Frobenius 范數對矩陣任一元素的概括均是遍歷的。下面本文根據N維向量的夾角公式得到Zi與Rs的余弦相似度[12]，計算公式為：

接著通過坐標變換，任一通道的EEG 均可表征為：

（2）基于EEG-MI 的通道貢獻的導聯選擇

據現有研究，運動想象EEG 的采集主要使用C3、Cz和C4三個通道及其附近通道[13]。在本研究中，筆者希望可以盡可能地選擇合適的通道的數據去表達運動想象的內容，因此需要研究各個導聯組合對運動想象的貢獻程度。這一基本思路是利用1.2.1節中描述的方法去提取各個通道的特征，再通過無監督的聚類算法去做簡單的運動想象的二分類，按照分類的精度去尋找最合適的導聯組合。

為避免不必要的討論，本文首先在C3、Cz 和C4 三個通道及其附近選取共計13 個通道作為組合的基底，如表1 所示；其次按照空間位置規劃了多種通道組合，如圖7 所示，并采用無監督的K-means算法[14]去分類這些通道組合下的運動想象數據；最后利用分類準確度去標定各個組合對運動想象的貢獻。

表1 所選取的通道

圖7 各通道組合

1.3.2 運動想象子過程的特征融合

按式（1）所述，需要對Bf和Cf進行特征融合，典型的特征融合算法包括串聯融合、并行融合和典型相關性分析（Canonical Correlation Analysis，CCA）[15]，這些算法有其各自的優勢并在自己的領域可進一步拓展算法的功能，如串聯融合可以延伸為結合網絡訓練的加權串聯融合；CCA 可拓展為mCCA 以解決多變量的典型相關性問題，或引入核函數（Kernel Function）的概念將CCA 增強至kCCA，以解決變量間的非線性典型相關性[16-17]。而本文需要融合的特征為一組二維樣本，同時Af的對應的運動想象過程為Bf和Cf的一個順序連接的過程，因此，最直接的思路是，直接利用樣本層的融合，直接得到A′f，即Af中的每個樣本由Bf和Cf對應位置的樣本加權融合而成。

則式（2）的串聯融合表達式為：

式中：α和β為融合權值。則式（2）中m可以表示為：

則式（7）的求解即為：

即可求解出αi和βi，進而得到mi，取其中一個被試者的結果。

此外，考慮到本研究下的特征現實語義是表達Bf和Cf對組成Af的貢獻度，因此嘗試從每個特征的特征進行融合，即融合子特征和組合特征的對應樣本點建立數學關系，則其表達式為：

同理，可求解出m。

2 實驗結果

使用各類通道的分類結果如表2 與圖8 所示，其中表2說明了各組通道組合方式所選取的通道數。根據第2 組的測試結果可知，單純的C3、Cz 和C4三個通道在本研究的實踐中并不能很好地反映運動想象的語義；但是根據第3 組結果對比可知，C3、Cz 和C4 三個通道對于運動想象的表征是必不可少的。最后根據9 組的結果對比，可以確定第6 組的導聯組合下的信號對運動想象的貢獻最多，因此，在后續研究中選擇第6 組的9 通道導聯組合。

圖8 不同通道組合的運動想象數據分類結果

表2 所選取的通道

通過通道選擇和基于F-Rs 特征提取后，在靜息態空間內12 組被試者的Af，Bf和Cf的空間分布如圖9 所示。組合特征與兩個子特征均屬于同側肢體的運動想象，且反映的是手部的精細姿態——攤手和握拳，但在特征空間內，三類特征在不依賴任何訓練模型和分類算法的情況下，各個特征依然表現出比較明顯的聚集性。這證明經過上述數據處理過程得到的三類運動想象特征Af，Bf和Cf符合理論預期。

圖9 靜態空間內Af，Bf 和Cf 的空間分布

運用上述特征融合可求解出m，如圖10 所示。進一步的，對兩種融合方式下的mi找到聚類中心m^，利用m^，Bf和Cf計算AF特征，最后對比AF和Af特征，對比結果見圖11。可以看到，利用串聯融合求解的m可以較好地擬合運動想象子特征與運動想象特征，但從特征樣本的對應關系來入手，反而不能擬合出較好的結果。

圖10 兩種特征融合方法求解融合矩陣m 的結果分布

圖11 基于兩個融合矩陣m 在靜息狀態參考空間中的融合特征分布

3 結語

本研究首先將問題轉化為一個數學解的判定問題，其次設計了符合數學命題的單側肢體的運動想象實驗組，將數據經過一定的通道選擇后，利用靜息態參考的原理和Frobenius 范數將數據映射至特征空間，最后利用串聯融合和樣本層融合這兩種方式求解融合矩陣。

此外，本文探討了運動想象腦意圖所對應的EEG 信號的特征是否具有可分解性與可組合性，即能否被拆解為若干個運動想象子過程與其對應的子特征。這個問題的產生主要源于在線的運行想象系統精細控制的需要。實驗結果表明，運動想象確實可以通過某個統一的數學關系拆解為若干個子過程，而且該過程可逆。

值得說明的是，各個腦電設備、被試者和實驗環境下通道選擇的結果理論上來說具有一定差異。本研究的通道選擇結果僅服務于運動想象過程與子過程的充分表達這一目的，因此該結果對所有的問題是否具有普適性需要進一步研究。

本研究尚存在值得進一步研究的問題，如能否研究出對不同被試者高泛化性的融合矩陣或融合算法。此外，實驗過程中有數據證明，基于靜息態參考和Frobenius 范數的特征向量表達對少樣本、少通道高采樣率的運動想象分類具有優秀的性質。一言以蔽之，本研究落實于EEG-MI 系統的精細控制，但道阻且長。在接下來的工作中，會將本文證明的MI 與其子過程相關腦電特征的分解與融合關系用于MI-BCI 系統中，并提高其性能。