融合注意力的多維特征圖卷積運動想象分類

李珍琦，王 晶+，賈子鈺，林友芳

1.北京交通大學 計算機與信息技術學院，北京 100044

2.北京交通大學 交通數據分析與挖掘北京市重點實驗室，北京 100044

腦-機接口（brain-computer interface，BCI）是一種被廣泛研究的人機交互技術，可以在人類大腦和外部設備之間建立直接連接通路，允許人們僅通過大腦神經活動來與現實世界交流或者操縱外部設備。目前，腦-機接口的研究有很多，比如運動想象（motor imagery，MI）、情緒識別和睡眠分期等，其中運動想象在近幾年引起了極大的關注。運動想象是與人體運動有關特異性行動在大腦的再現，但并不伴有實際的身體運動。對不同運動想象大腦神經元活動的正確識別，可以獲得大腦指令，進而幫助患有嚴重運動神經元疾病的患者控制輪椅等外部設備，同時運動想象分類也是進行運動康復訓練的重要支撐。

腦-機接口系統包括侵入性和非侵入性兩種方法對大腦神經元的活動進行測量，其中腦電波（electroencephalogram，EEG）作為非侵入性方法之一，憑借其安全性、可靠性、舒適性和高便捷性被人們廣泛使用。基于腦電信號的運動想象分類研究，核心問題是如何將根據多個電極收集到的腦電信號解碼為有效特征，并提高分類的準確性。

對于腦電信號的特征提取，學者們已經做出了許多努力。早期的腦電分類方法直接從波形上提取時間特征，只能用于隨時間變化明顯的信號。后來學者們將腦電信號從時域轉換到頻域或者空間域去提取特征，進而分類。但這些方法只考慮了時頻或時空特征，沒有同時考慮到腦電信號的多維（空間、時間和頻譜維度）特征，而且分類效果嚴重依賴于專家經驗。最近很多學者利用深度學習方法來解碼腦電信號，如利用二維或三維卷積神經網絡（convolutional neural network，CNN）自動提取腦電信號不同維度的特征。但是，腦電電極分布并非天然的歐式空間，不適合用標準卷積去提取特征。而且由于腦電的特性，各維度上的關聯強度會隨著不同實驗而變化。因此，如何表示腦電的多維信息以及捕獲各維度上動態關聯強度仍是當前的挑戰。

為解決上述挑戰，本文提出了一種融合注意力的多維特征圖卷積網絡（attention based multi-dimensional feature graph convolutional network，AMFGCN）來進行運動想象分類。本文的主要貢獻概述如下：

（1）提出一種適用于腦電信號的圖結構，能夠準確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關性。

（2）提出時-空、頻-空的雙分支框架，同時提取腦電信號在時域、頻域和空間域三個維度上的特征信息。

（3）設計出AMFGCN 模型，首次結合注意力機制和圖卷積去自適應地捕獲腦電信號在各維度上的動態關聯強度并有效地提取腦電特征。

（4）在四個公開腦機接口數據集上進行了實驗，證明本文提出的模型優于其他現有運動想象分類方法。

1 相關工作

1.1 運動想象分類

針對基于腦電信號的運動想象分類問題，大量學者在不懈努力下提出了許多優秀的分類算法。

傳統的運動想象腦電信號識別方法通常是基于人工提取特征的方法，大致分為以下兩種：一類是空間濾波的方法，比如運動想象領域中最流行的共空間模式（common spatial pattern，CSP），該方法從多導腦電數據中提取每一類空間分布的分量并對其分類。后來，Ang等人提出了濾波器組共空間模式（filter bank common spatial pattern，FBCSP），該方法在CSP的基礎上增加了一種特征選擇算法，選擇可區分的頻帶對和相應CSP 特征。另一類是基于時頻域轉換進行腦電分類的方法，例如小波變換和短時傅里葉變換等。但是，這些方法依賴專家經驗，運動想象分類的準確性受到很大的限制。

如今，深度學習算法憑借自動提取特征的優勢，在圖像和自然語言處理等領域取得了巨大的成功。為了解決人工提取特征的限制，學者們將深度學習算法同樣應用到了運動想象分類中。Schirrmeister等人提出了一種淺層的卷積網絡，直接從原始腦電信號中自動提取特征。Zhao 等人提出具有三個不同卷積核大小的多分支三維卷積模型，從腦電信號的三維表示中提取特征。Wu 等人提出一種并行多尺度濾波器組的卷積神經網絡去提取腦電特征。但是，大多數方法都只考慮了腦電信號的時間和空間特征。而且腦電的電極分布并非標準的網格結構，普通的卷積無法充分捕獲電極之間的空間相關性。

由于腦電的電極分布并非歐式空間，學者們逐漸利用圖卷積神經網絡（graph convolutional network，GCN）來對運動想象進行分類。Li等人提出一種端到端的時空圖卷積神經網絡，同時捕獲腦電信號的時空特征來識別不同的運動想象。Lun 等人通過結合電極的功能拓撲關系，提出一種基于GCN 的深度學習框架，提高對運動想象腦電信號的解碼性能。Sun 等人提出一種自適應時空圖卷積網絡，可以同時充分利用腦電信號時域中的特征和空間域中的通道相關性。現階段利用圖卷積在運動想象分類問題上的研究還不是很多，以上這些模型雖然都取得了分類性能上的提升，但對于腦電信號在時間、頻率和空間多個維度中的信息表示和建模還有待完善。

1.2 圖卷積神經網絡

圖是由若干節點以及連接兩點的線所構成的，通常用來描述某些事物之間的某種特定關系。考慮到圖的鄰居節點并不是固定的，不能用傳統上固定大小可學習的卷積核去提取圖節點特征。因此，學者們提出了圖卷積的概念，可以在圖上進行卷積操作。最常用的構建方式有兩種：空間域和譜域。在空間域上構建圖卷積就是把卷積核直接應用到圖上的節點及其鄰域。但是由于每個頂點的鄰域不同，需要針對每個頂點去處理，計算成本很高，復雜度很大。在譜域上，通過圖拉普拉斯矩陣變換到譜域，再利用切比雪夫多項式的階截斷近似求解，實現圖結構數據上的卷積操作，計算成本較低。因此，本文使用譜圖卷積來提取圖節點特征。

2 融合注意力的多維特征圖卷積網絡

本文提出了一種新型的AMFGCN 模型，對運動想象所產生的腦電信號進行解碼與識別。AMFGCN整體框架如圖1 所示，原始腦電信號基于圖結構被轉換成時-空圖表示和頻-空圖表示后，分別輸入到由注意力機制、圖卷積、時間卷積、全局特征聚合和短路連接組成的網絡中，兩個分支的輸出經過特征融合后進行分類。

圖1 AMFGCN 模型框架圖Fig.1 Architecture of AMFGCN

模型整體包括五部分，分別為數據轉換及其圖表示、基于注意力機制的空間圖卷積模塊、基于注意力機制的時間/頻譜卷積模塊、全局特征聚合模塊和多維特征融合模塊，接下來分別進行詳細介紹。

2.1 數據轉換及其圖表示

由于腦電信號的電極節點位置并非標準的歐式空間，為了準確表示這一特性，本文根據電極的自然空間分布構建出一個圖。再將腦電信號的時域和頻域信息映射到圖中，具體轉換過程如圖2 所示。

圖2 腦電信號的轉換過程Fig.2 Conversion process of EEG signals

本文根據電極節點在大腦上的自然空間分布構建出一個適用于腦電信號的圖，構建過程如圖3 所示。圖由節點和邊構成，記為=(,)，其中是腦電電極的節點集，是邊集。考慮到每個電極節點的電壓值受其周圍電壓值的影響較大，因此本文假設每個節點有上、下、左、右、左上、右上、左下、右下共8個自然相鄰的節點，同時假設每個節點與其自身相連。定義邊集為={NN|(,)∈}，其中是自然相鄰節點的集合。對于時域上的多導腦電信號，每一時間片可以構成一個無向圖，全部的時間就形成了時-空圖表示x，用來描述時間在空間上的信息。

圖3 圖的構建過程Fig.3 Construction process of graph

2.2 基于注意力機制的空間圖卷積

為了自適應地捕獲空間域中腦電節點之間的動態關聯強度，本文設計出一個基于注意力機制的空間圖卷積模塊，其包含兩部分：空間注意力機制和空間圖卷積。

一般來說，不同的運動想象任務會觸發大腦不同區域的神經元活動。即使是進行同一任務，不同區域的激活程度也會因人而異。因此，大腦節點之間的關聯強度是動態變化的。受到自注意力機制的啟發，本文設計出一種空間注意力機制去自適應捕獲這種動態關聯強度，具體計算過程如下：

由于時-空分支和頻-空分支結構完全相同，這里以時-空分支為例進行描述。模塊的輸入為x∈R，為通道數，模塊根據x自適應地計算得到a∈R：

通常情況下，使用Softmax 歸一化函數對a進行歸一化。然而，Softmax 雖然能夠保證不同電極之間是可分的，但無法達到區域內緊湊和區域間分離的效果。因此，本文提出對a進行L2 歸一化計算空間注意力矩陣，L2 歸一化可以令特征向量區域內盡可能緊湊，區域間盡可能分離，能夠更好地提升模型性能。空間注意力矩陣a′∈R定義為：

為了減少計算成本，本文采用譜圖卷積在經過空間注意力機制調節后的圖結構數據上進行卷積操作，提取腦電信號的空間特征，具體過程如下：

根據構建的圖，計算鄰接矩陣A∈R：

式中，′∈R是切比雪夫系數向量，切比雪夫多項式的遞歸定義為T()=2xT()-T()，()=1，()=。

式中，表示激活函數，?表示對應元素相乘。

2.3 基于注意力機制的時間/頻譜卷積

為了提取腦電時域和頻域上的特征并自適應地捕獲腦電時間與時間之間、頻譜與頻譜之間的動態關聯強度，本文設計出基于注意力機制的時間/頻譜卷積模塊，包括時間/頻譜注意力機制和卷積。

腦電信號是隨著時間變化的多條時間序列，它在不同時刻的電壓值會存在一定的相互影響與依賴。同樣，相鄰頻率之間的頻率譜密度也會相互影響與依賴。因此，本文設計出一種時間/頻譜注意力機制去自適應捕獲這種動態變化的關聯性。本文的時間注意力和頻譜注意力分別作用于兩個分支，但結構相同。因此，本文仍舊以時-空分支為例進行描述，具體計算過程如下：

其次，對a進行L2 歸一化得到時間注意力矩陣a′∈R：

經過時間/頻譜注意力機制的調整后，本文選擇用二維的標準卷積去分別學習時間依賴性以及頻譜依賴性。盡管深度神經網絡具有良好的學習表示能力，但對于腦電分析而言，并不是網絡越深效果越好。因此，一層的卷積已經能夠很好地捕捉到每一節點上的時間及頻譜特征。本文中，時間/頻譜卷積的具體結構如表1 所示。

表1 時間/頻譜卷積結構Table 1 Convolution structure of temporal/spectral

式中，和分別是時間卷積學習到的權重和偏差。

2.4 全局特征聚合

為了全局地考慮所有節點之間的特征信息以及所有時間/頻譜之間的特征信息，本文設計出一個全局特征聚合模塊，通過兩個卷積層分別聚合空間全局特征和時/頻全局特征。而且，卷積層間的非線性函數ReLU 還可以令模型學習到更復雜的函數，進而增加模型復雜度。

式中，和分別是全局空間聚合的權重和偏差。

式中，和分別是全局時間聚合的權重和偏差。全局特征聚合模塊的結構設置如表2 所示。

表2 全局特征聚合的結構Table 2 Structure of global feature aggregation

2.5 多維特征融合

式中，W和W是學習參數，反映了兩個分支對運動想象分類的不同影響程度。

3 實驗結果與分析

3.1 數據集與數據預處理

本文中使用的4 個公開腦機接口數據集分別為：BCI Competition IV 數據集2a（http://www.bbci.de/competition/iv）、BCI Competition III 數據集3a（http://www.bbci.de/competition/iii）、大型腦電數據集HaLT（https://www.nature.com/articles/sdata2018211）和AHUMIEEG 數據集（http://iiphci.ahu.edu.cn/toeeg）。

BCI Competition IV 數據集2a（BCICIV-2a）：該數據集包含9 位受試者做不同運動想象任務的腦電信號，分別是想象左手、右手、腳以及舌頭運動的4 類運動想象任務。使用22 個電極和250 Hz 的采樣頻率來記錄腦電信號。每個人在不同的日期共進行了兩組實驗。每組實驗包含288 次運動想象，平均每類運動想象進行72 次。

BCI Competition III數據集3a（BCICIII-3a）：該數據集包含3 位受試者，其中第一位受試者進行了360次運動想象，其他人為240 次。運動想象任務有4類，分別為左手、右手、腳和舌頭。腦電信號的收集使用了60 個腦電電極，并以250 Hz 的采樣頻率進行記錄。

HaLT 數據集：考慮到BCI 競賽的時間都相對較早，本文還選擇了一個于2018 年發布的大型公共腦電信號數據集。HaLT 數據集是“用于腦機接口腦電圖的大型腦電圖運動想象數據集”中的子數據集。它包含12 位受試者，運動想象任務有6 類，分別是左手、右手、左腿、右腿、舌頭和靜止。以200 Hz 的采樣率和19 個腦電電極記錄腦電信號。數據集中共包含29 次實驗，每次實驗中大約有900 次運動想象，包括不同的想象任務。

AHU-MIEEG 數據集：該數據集為安徽大學公開的運動想象腦電信號數據集，本文選擇了其中的10位受試者進行實驗。數據為Neuroscan 放大器采集的腦電信號，電極個數為26，采樣頻率為250 Hz，運動想象任務有3 類，分別是左手、右手和腳。每位受試者在不同的日期進行實驗，每次實驗大約包含75次運動想象，平均每類運動想象進行25 次。

在深度學習領域，訓練數據量對于高分類精度至關重要。由于運動想象實驗耗時且復雜，無法獲得大量腦電信號，于是，本文使用數據增強從原始腦電信號中生成更多的訓練數據。在BCICIV-2a 和BCICIII-3a 數據集中，每個運動想象任務包含3 s 的腦電信號數據，本文選擇了一種在腦電信號中常用的數據增強方法——滑動窗口。設置窗口大小為2 s，滑動步幅為0.32 s，將腦電數據增強為原來的4 倍。在HaLT 數據集中，每個運動想象任務只包含1 s的腦電信號數據，考慮到任務的持續時間太短，本文采用增加白噪聲的方法對其進行數據增強。

3.2 實驗設置

本文中，將每個受試者的所有組實驗數據組合在一起，并使用5 折交叉驗證的方式來驗證提出模型的有效性，最后取結果的平均值。模型在訓練過程中采用Adam 優化器算法最小化交叉熵損失函數，進行模型優化，學習率設置為0.001。批大小設置為64，即每次選擇64 個樣本進行模型優化。圖表示中，時間長度和頻率長度全都設置為100，切比雪夫多項式中的設為3。

本文的實驗部分全部使用Python 語言編寫實現，其中模型部分采用了TensorFlow 和Keras 框架，模型的訓練和測試都是在GPU服務器上運行的。表3給出了實驗中所使用軟硬件環境的詳細說明。

表3 實驗環境Table 3 Experimental environment

3.3 基準方法

為了驗證AMFGCN 在運動想象分類任務上的優越性，本文選取運動想象分類研究中一些優秀的傳統方法和深度學習方法作為基準方法與AMFGCN進行比較，基準方法描述如下：

FBCSP（filter bank common spatial pattern）：一種空間濾波方法，從多通道腦電信號中提取每種類型的空間分布分量，然后用線性判別分析對其進行分類。

Shallow ConvNet：一種淺層卷積網絡，利用兩個卷積層分別作為時間卷積和空間濾波器，提取原始腦電信號的特征。

EEGNet：一種緊湊的卷積神經網絡，它使用深度和可分離卷積來構建腦電分類模型。

Multi-branch-3D：一種具有三個不同卷積核大小的多分支三維卷積模型，從腦電信號的三維表示中提取時空特征。

MSFBCNN（multiscale filter bank convolutional neural network）：一種并行多尺度濾波器組卷積神經網絡，從腦電中提取時間和空間特征。

CNN-LSTM：一種基于FBCSP、CNN 和長短期記憶（long short-term memory，LSTM）的混合深度神經網絡，去解碼運動想象的腦電信號。

本文采用運動想象分類中常用的準確率（accuracy，Acc）和Kappa系數作為模型的評價指標。其中，準確率為運動想象被正確分類的比例，即正確分類的樣本數和總樣本數的比值；Kappa 系數的具體計算公式如下：

3.4 實驗結果與分析

為了驗證AMFGCN 在運動想象分類方法中的優勢，將其在4 個數據集上與基準方法進行了比較。本文對所有基準方法應用相同的數據預處理和5 折交叉驗證。表4、表5、表6、表7分別顯示了在BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 數據集中不同方法的分類準確率和Kappa 系數。由于本文是基于特定受試者的運動想象分類研究，計算了每一個人的分類準確率和Kappa 系數，以及每個數據集中所有人的平均值。

表4 不同方法在數據集BCICIV-2a 中的分類性能比較Table 4 Performance comparison of different methods on BCICIV-2a dataset

表5 不同方法在數據集BCICIII-3a 中的分類性能比較Table 5 Performance comparison of different methods on BCICIII-3a dataset

表6 不同方法在數據集HaLT 中的分類性能比較Table 6 Performance comparison of different methods on HaLT dataset

表7 不同方法在數據集AHU-MIEEG 中的分類性能比較Table 7 Performance comparison of different methods on AHU-MIEEG dataset

從表中可以看到，FBCSP 作為一種基于空間濾波的傳統腦電分類方法僅僅考慮了空間信息，忽略了時間和頻率信息中的辨別性特征，因此分類結果較差。而Shallow ConvNet、EEGNet和MSFBCNN 等方法通過設計不同類型的2D 卷積從腦電中提取時間和空間特征；Multi-branch-3D 利用大小不同的3D 卷積核來同時提取時空特征；CNN-LSTM 結合了FBCSP、CNN 和LSTM 等傳統與深度方法去提取時空特征。以上這些方法考慮到了腦電信號時間和空間兩個維度的特征，因此分類性能要優于FBCSP。

本文提出的AMFGCN 與所有基準方法相比，在4 個數據集上的平均準確率和平均Kappa系數都具有最佳性能。這是因為AMFGCN 基于適合腦電信號的圖表示同時提取了時-頻-空特征，獲得了更準確、更全面的特征信息。而且AMFGCN 還利用了注意力機制去自適應地捕獲腦電信號在不同維度上的動態關聯強度，令模型具有更強的魯棒性。在單個人的實驗結果中，EEGNet 在數據集HaLT 中受試者6 上取得了最佳的分類效果，CNN-LSTM 在數據集AHUMIEEG 中受試者S4 上表現最好。這可能是因為運動想象產生的腦電信號個體差異較大，EEGNet 的深度和可分離卷積以及CNN-LSTM 的混合網絡分別更好地捕捉到了這兩位受試者的特征信息。相比之下，AMFGCN 雖然沒能捕捉到最適合這兩位受試者的腦電特征，但是也取得了相當不錯的分類結果。而且從整體來看，AMFGCN 在其他受試者上均獲得了最佳的分類性能。因此，AMFGCN 能夠提升絕大多數受試者的運動想象分類性能，且能保證每個數據集中的平均分類結果是最優的。

為了進一步研究AMFGCN 中不同模塊的作用，本文設計了AMFGCN 的5 個變體，這些變體之間的差異描述如下：

（1）時-空圖卷積：此模型僅具有AMFGCN 的時-空分支，分支中只包括空間圖卷積和時間卷積。

（2）頻-空圖卷積：此模型僅具有AMFGCN 的頻-空分支，分支中只包括空間圖卷積和頻譜卷積。

（3）雙分支：此模型同時包括AMFGCN 的時-空分支、頻-空分支和最后兩個分支的特征融合。

（4）+全局特征聚合：此模型在變體3（雙分支）的基礎上，增加了全局特征聚合模塊。

（5）+注意力機制：此模型在變體4 的基礎上，增加了注意力機制，即空間注意力和時間/頻譜注意力。

圖4 展示了模型的5 個變體在數據集BCICIV-2a、BCICIII-3a、HaLT 和AHU-MIEEG 中所有人平均分類準確率的對比。從中可以看出，如果提取腦電的時-頻-空三個維度的特征比單獨提取時空特征或者頻空特征能夠提供更多、更豐富的辨別性特征，進而獲得更好的分類性能；而且，本文設計的全局特征聚合模塊和注意力機制都能不同程度地提高模型對不同運動想象的分類準確性。由此可以證明，本文提出的AMFGCN 模型中每一模塊都是有效的，都能提升運動想象分類性能。

圖4 模型不同變體的實驗結果Fig.4 Experimental results of different model variants

4 結束語

針對運動想象分類問題，本文提出一種新型的融合注意力的多維特征圖卷積網絡AMFGCN。該模型基于一種適合腦電信號的圖結構作為輸入，能夠準確表示腦電電極分布的非歐空間并充分考慮電極間的空間相關性；利用雙分支框架從原始腦電信號轉換成的時-空圖表示和頻-空圖表示中同時提取時-頻-空多維度特征信息；并設計出注意力機制和全局特征聚合模塊，與圖卷積結合去自適應地捕獲腦電信號在各維度上的動態關聯強度和有效特征。在4個公開腦機接口數據集上進行的實驗表明，AMFGCN比其他基準方法在運動想象分類任務上取得了一定程度的提升。此外，AMFGCN 模型是腦電信號分類的通用框架，適用于情感識別、睡眠分期等基于腦電進行研究的領域，且該模型具有在現實生活中運動想象康復醫療領域應用的潛力。

雖然本文算法顯示出了獨特的優勢，但是依然存在一些問題需要進一步研究。比如，當前的研究是針對每一位受試者的，如何提出普適性更高的算法去進行跨受試者研究，需要更深一步的探討與分析。