基于RCSP 的言語想象多分類任務

劉艷鵬，羅建功，劉化東

（昆明理工大學 信息工程與自動化學院，云南 昆明 650500）

0 引 言

腦機接口（Brain-Computer Interface，BCI）[1-2]技術為言語障礙患者提供了一種新的交流方式，這是一種不依賴于正常外周神經和肌肉通路，而是直接通過大腦與外部輔助設備交互的通信系統。目前常見的BCI 系統范式有基于P300 成分[3]、穩態視覺誘發電位（Steady-State Visual Evoked Potentials，SSVEP）[4]、運動想象[5]以及言語想象[6]的系統。其中，基于P300 成分與SSVEP 的BCI 系統需要由外部提供視覺刺激，使用者在使用過程中長時間注視屏幕容易導致視覺疲勞；基于運動想象的BCI 系統會存在部分被試不能執行這一心理任務，即BCI盲現象。

言語想象，即人們在心中默讀或想象某些特定的字符或詞語，BCI 系統通過識別被試執行言語想象任務時的腦神經信號特征，即可輸出對應的控制指令，其不需要持續存在的視覺刺激，也避免了運動想象BCI 盲現象。這一范式有諸多優點，如自發產生且無需刺激、無需訓練且對被試友好、可直接表達真實意圖，并且能夠提供一種自然的交流方式，因此這一范式逐漸受到關注。

在BCI 領域，利用非侵入式技術（即將信號采集電極放置頭皮表面）采集腦神經信號的方式有腦電（Electroencephalography，EEG）[7]、功能性近紅 外 光 譜（functional Near-Infrared Spectroscopy，fNIRS）[8]及腦磁圖（Magnetoencephalography，MEG）[9]等。其中，EEG 信號的采集憑借價格較低、便攜易用等優點被廣泛深入研究。基于言語想象的BCI 系統大多采集EEG 信號。

雖然EEG 信號有著較高的時間分辨率，但是其空間分辨率較低，因此需要通過空域濾波算法彌補這一缺點。共空間模式（Commom Spatial Patterns，CSP）算法就是用來提取兩類模式特征的空間濾波算法。其通過設計空間濾波器來提取兩類模式間方差最大的EEG 數據成分以實現分類[10]。并且，CSP及其改進算法已被廣泛地應用于基于運動想象的BCI 系統中，并表現出較好的分類性能[11]。

言語想象作為一種新穎的BCI 實驗范式，對其特征提取并未廣泛開展深入研究，因此本文將正則化與CSP 相互融合以構成正則化CSP（Regularized CSP，RCSP）的特征提取算法，并將其首次應用于言語想象多分類任務。

1 材料與方法

1.1 實驗數據

本研究使用2020 年國際BCI 競賽數據集Track#3 的數據（多分類言語想象任務）。數據可通過公開網站（https://osf.io/pq7vb/）獲取。其中包含15 名被試（年齡在20 ～30 歲）的數據。被試被要求執行5個不同單詞/短語（“hello”“help me”“stop”“thank you”“yes”）的言語想象任務，這些單詞/短語可用于生活中的基本對話。數據集記錄了被試執行五類言語想象任務時的EEG 信號。每類言語想象任務包含70 個試次（共70×5=350個試次），60 個試次用于訓練，10 個試次用于驗證（由于官方并未公布測試集數據，因此在本文分類過程將10 個試次的驗證集用作測試集）。

1.1.1 實驗范式

在實驗數據記錄過程中，被試坐在24 英寸LED 顯示屏幕前的椅子上，進行指定單詞/短語的言語想象任務。在言語想象當中，被試被要求不移動發音器官，也不發出聲音，就像他們在真實說話一樣進行思維活動。在執行這一心理任務時被試不能進行其他大腦活動。在視覺提示后即為言語想象周期，提示被試不能移動身體，避免眨眼。為了避免其他因素影響大腦的活動，在言語想象期間屏幕呈現黑屏。實驗范式時序如圖1 所示。

圖1 實驗范式時序圖

5個不同單詞/短語通過聲音提示隨機呈現，然后是為期0.8 ～1.2 s 的“+”字標記，當“+”字標記在屏幕上消失時，要求被試對所提示的單詞/短語進行言語想象。每個隨機任務包含4個“+”字標記和言語想象期（2 s）。進行4次言語想象任務后，被試有3 s 的休息間隙，以便進入下一個想象任務。

1.1.2 實驗裝置

EEG 數據由EEG 信號放大器（德國Brain Product 公司生產的BrainAmp）采集，原始數據使用Brain Vision 軟件（德國BrainProduct 公司開發）和Matlab 2019a 軟件（美國The MathWorks Inc.開發）記錄。64 個電極按照國際10-20 系統排布方式進行記錄，接地和參考電極位于Fpz 和FCz 上，采樣電極和頭皮之間的阻抗均保持在15 kΩ 以下。

1.2 特征提取算法

1.2.1 CSP 算法

本節將簡要描述CSP 算法。Xa(N*T)表示一類EEG 數據矩陣，其中N為EEG 數據的電極數，T為每個電極采集的樣本數。同理，Xb表示的是另一類EEG 數據矩陣。兩類數據的協方差矩陣分別為：

對混合協方差矩陣進行特征分解，如式（3）所示：

式中：矩陣U由矩陣C的特征向量組成，矩陣Λ是由矩陣C的特征值組成的對角矩陣。

接著，進行白化變換，如式（4）、式（5）所示：

將Ca和Cb經過白化變換后分別得到矩陣S a和S b，并且得到的兩個矩陣具有相同的特征向量，再分別對其進行特征分解，如式（6）所示：

式中：矩陣ya和yb的和為單位矩陣，并且矩陣S a和S b具有相同的特征向量B。由此可知，對一類數據特征值最大的特征向量對另一類數據特征值最小，反之亦然。將EEG 信號進行白化變換，再選取矩陣B的前m及后m列構成空間濾波器，然后按照式（7）可以得到映射矩陣，即空間濾波器，如式（7）所示：

矩陣W-1的列是共空間模式，即兩類條件下腦電源分布向量。最后就可以將每次試驗的EEG 數據X按式（8）進行分解：

得到的新的矩陣，其方差能最大化區分兩類任務。對濾波后的特征信號Z的方差進行歸一化，將其作為新的特征，過程如下：

1.2.2 RCSP 算法

正則化首先被應用在正則化判別分析（Regularized Discriminant Analysis，RDA）中，用于解決線性和二次判別分析中小樣本的問題。小樣本訓練往往會導致特征值產生有偏估計，通過引入兩個正則化參數可以解決這一問題[12]。CSP 算法對噪聲較為敏感，泛化能力也較低，而且EEG 數據的樣本量較少。為解決這些問題，可通過應用正則化的方法進行改善，即構成基于正則化的RCSP 算法。正則化的使用對CSP 算法的最終分類性能有著明顯的提高。正則化在CSP 算法中的應用一般有兩種方法，一種是引入兩個正則化參數，并利用其他被試的數據來提高分類性能[13]，而另一種方法不需要其他被試的數據，僅需一個被試的數據即可實現正則化[14]。由于第一種方法需要較多的計算量，僅使用一個被試的數據實現正則化的方法更為實用，因此在本文研究選擇第二種方法。下面介紹這一算法的實現過程。

式中：Ci表示i類數據的協方差矩陣，表示成對協方差矩陣?；谡齽t化的協方差矩陣如下：

式 中：α和β為 兩 個 正 則 化 參 數（0 ≤α≤1，0 ≤β≤1），I為單位陣，m為執行某一種言語想象任務的次數。兩類數據的平均協方差矩陣分解為：

2 實驗結果

2.1 數據預處理

成年人的EEG 主要包括δ波（0.5 ～4 Hz）、θ波（4 ～7 Hz）、α波（8 ～13 Hz）、β波（14 ～30 Hz）以及γ波（＞30 Hz），并且每種頻率的EEG 節律都與大腦特定的生理現象密切相關。在言語想象分類任務相關研究中，JAHANGIRI 等人[15]通過音節想象分類任務發現α波具有最高的分類性能，其次是β波；KOIZUMI 等人[16]通過言語想象分類任務發現，在低γ波段（30 ～40 Hz）的分類精度有一個峰值。因此對原始言語想象EEG 數據選擇4 ～44 Hz 帶通濾波器進行濾波處理，然后對預處理后的信號應用RCSP 算法提取相應的特征，最后對其進行分類。

2.2 分類結果

在分類過程中，選擇支持向量機（Support Vector Machine，SVM）進行分類識別。由于SVM適用于解決小樣本、非線性和高維度的模型等問題，而EEG 數據同樣具有樣本量少且非線性等特點，故本文選擇這一算法進行分類。為避免單一分類算法造成最終結果不穩定，本文還選擇K 近鄰算法（K-Nearest Neighbor，KNN）進行分類。15 名被試執行言語想象任務的分類準確率如表1 所示。

表1 15 名被試執行言語想象任務的分類準確率/%

從表1 的結果可知，RCSP 與SVM 的組合取得了最高的準確率，其次是CSP 與SVM 組合。當分類器為SVM 時，RCSP 算法可以提高分類準確率；而當分類器為KNN 時，RCSP 算法的分類準確率卻不及CSP 算法。

另外，本文還將這一算法的分類結果與其他研究進行對比（使用同一數據集），結果對比如表2 所示。

表2 本文方法與其他研究結果的對比

同樣，本文提出的方法相比于深度學習網絡也取得了較好的分類性能。

3 結 語

本文針對言語想象多分類任務，將RCSP 算法應用于這一范式BCI 數據集。從分類結果來看，當分類器為SVM 時，RCSP 算法可以提高分類性能，并且利用這一算法可使分類準確率提高4.0%；而當分類器為KNN 時，RCSP 算法取得的分類準確率卻比CSP 算法低2.3%。因此，對于言語想象EEG信號分類任務，更適合選擇SVM 對RCSP 提取的特征進行分類。另外，RCSP 與SVM 組合的準確率達到76.7%±5.8%，比深度學習網絡高出17%。深度學習雖然在腦神經信號解碼過程中有諸多優點，能表現出較好的解碼性能，但在處理言語想象EEG 數據分類任務過程中，深度學習的分類性能卻不如經典的CSP 及其改進算法。因此，在EEG 信號特征提取及分類過程中對算法的選擇應選擇合適的算法，才能取得較好的分類結果。