基于多尺度特征提取與擠壓激勵模型的運動想象分類方法

賈子鈺 林友芳,3 劉天航 楊凱昕 張鑫旺 王 晶,3

1(北京交通大學計算機與信息技術學院 北京 100044)

2(交通數據分析與挖掘北京市重點實驗室(北京交通大學) 北京 100044)

3(民航旅客服務智能化應用技術重點實驗室(中國民用航空局) 北京 100044)

腦機接口(Brain-computer Interface, BCI) 作為人機混合增強智能的重要應用，可以通過大腦活動來控制外部設備進而建立大腦與外界的聯系.在早期的研究中，腦機接口主要應用于中風患者的康復治療[1]，后期應用到了更廣泛的領域，例如控制輪椅[2]、文字拼寫器[3]、情感識別[4]等領域.腦機接口可以充分利用電生理活動或血液動力學活動等大腦活動來實現大腦和外界的交互[5].其中，測量腦電信號(electroencephalography, EEG)可以直接反應出電生理活動.測量血液動力學活動通常使用功能磁共振和近紅外光譜等方法.由于腦電信號較其余生理數據具有高時間分辨率、低成本、高便攜性等優勢，因此被廣泛應用于腦機接口的研究中，在醫學的康復治療中起著至關重要的作用.

腦電信號具有非線性、非平穩和低信噪比等特點，如何進行有效的運動想象信號分類，一直是腦機接口領域的重點研究問題.基于EEG的運動想象是腦機接口的經典范式之一，它是指受試者在大腦中想象肢體執行特定運動任務，而實際肢體處于靜止狀態.在此過程中產生的腦電信號具有事件相關同步(event-related synchronization, ERS)和事件相關去同步(event-related desynchronization, ERD)現象[6].大多數傳統方法主要對腦電信號的空間或時頻等特征進行手動提取然后進行運動想象分類，例如利用公共空間模式(common spatial pattern, CSP)[7]、濾波器組公共空間模式(filter bank common spatial pattern, FBCSP)[8]等方法可以提取腦電信號中的空間特征.利用短時傅里葉變換、小波變換等方法可以提取腦電信號中的時頻域特征.但是，有效的特征提取往往需要研究人員具備一定的先驗知識并進行大量的特征選擇.

為了避免手動提取特征，研究者嘗試使用深度學習的端到端模型提升運動想象分類任務的準確度. Schirrmeister等人[9]建立了多個不同架構的端到端卷積神經網絡(convolutional neural networks, ConvNets)模型對運動想象腦電信號進行分類；Zhao等人[10]改進了ConvNets模型，解決了其需要大量數據來訓練的問題并實現了時空特征聯合學習.雖然現有的端到端模型取得了較高的準確度，但是這些模型大都同時利用腦電信號的空間信息和時間信息.而在實際BCI系統的應用中，具有較少通道的腦電信號更便于采集，并且能夠大幅度降低腦機接口設備的生產與使用成本.但當采集的通道數較少時會影響運動想象的分類效果，現有端到端模型往往難以達到較優的效果.因此，當采集腦電信號的通道數較少(缺乏空間信息)時，對其進行精準分類是一個亟待解決的問題.

為解決上述問題，本文提出了一種基于多尺度特征提取與擠壓激勵模型的深度模型，該模型包括3個核心模塊，分別是多尺度模塊、殘差模塊和擠壓激勵模塊.與現有多尺度模型不同，該模型不依賴于腦電信號的預處理(例如信號濾波)，并且更多的卷積尺度能夠在較少的腦電通道中充分挖掘腦電信號特征.此外，深度模型的擠壓激勵模塊可以自適應提取對于高精度分類更為重要的特征。基于本文提出的深度神經網絡也可以在腦電信號通道數較少的情況下進行運動想象腦電信號分類，這有利于BCI可穿戴智能設備的發展，本文的主要貢獻分為3個方面:

1) 基于多尺度卷積結構可以自動提取原始腦電信號中的時域、頻域和時頻域特征，無需手動提取特征.

2) 基于擠壓激勵模塊自動學習不同特征的重要性程度，提升端到端模型的分類效果.

3) 在公開的BCI競賽Ⅳ 2a和2b數據集上進行實驗，驗證本文模型的分類效果優于現有運動想象分類模型.

1 相關工作

現有的大多數方法主要基于腦電信號的空間特征和時頻特征進行運動想象分類.基于空間特征的方法主要有CSP及其改進方法.CSP方法基于矩陣對角化構建最優空間濾波器進行投影，進而得到具有較高區分度的特征向量.例如，Zhang等人[11]提出的基于CSP方法的多核極限學習機，該模型使用CSP方法提取空間特征進行運動想象任務的分類.Ang提出了FBCSP[8]方法解決了CSP的效果依賴于選擇合適的頻段這一問題.針對時頻特征的提取，目前主要的方法有快速傅里葉變換、小波變換等方法.如Lu等人[12]提出基于受限玻爾茲曼機(restricted Boltzmann machine, RBM)的深度學習模型使用了快速傅里葉變換提取EEG信號中的時頻特征.此外，還有一些研究者提出了基于雙譜特征的提取方法[13].

然而，提取腦電信號特征需要掌握大量先驗知識. 近些年來，深度學習在計算機視覺、自然語言處理和語音識別方面取得了巨大成就[14].端到端的深度學習框架[15]將多個處理階段如數據處理、特征提取合并為一個模型，建立了從輸入到輸出的直接投影，在各種任務中均表現出色.因此，深度學習的出現為建立端到端模型提供了思路，諸多研究者嘗試構建端到端的深度學習模型進行運動想象的分類.但是腦電信號具有非線性、非平穩、低信噪比等特性，這些特性成為了構建基于腦電信號端到端模型時的幾大難題.在運動想象領域中已經有一些基于端到端模型的研究.Schirrmeister等人[9]利用Conv-Nets適合端到端學習的優勢，構建了3種不同架構的ConvNets模型:Deep ConvNets模型、Shallow ConvNets模型、Hybrid ConvNets模型對腦電信號進行分類.Zhao等人[10]提出WaSF ConvNet模型改進了ConvNets模型，同時解決了傳統模型難以解釋、參數量大等問題，實現了時空聯合的特征學習.

但是，上述模型一般使用單一尺度的卷積，這種結構提取的特征是有限的，盡管存在少量多尺度模型進行運動想象分類[16]但仍然依賴于腦電信號的預處理并且這些模型的多尺度跨度較小不能充分提取腦電特征.此外，大多數現有模型的分類結果在一定程度上依賴于腦電信號空間信息的豐富程度.實際上，通道數較少的數據采集更為便利，所以當空間信息不足時，如何進行腦電信號的特征提取與分類是一個重要的問題.因此，我們設計了具有不同卷積核大小的多分支卷積神經網絡來捕獲不同類型的特征，這些特征相互補充并提高了分類的準確性，與此同時應用擠壓激勵模塊自動學習不同特征的重要性進而實現高精度的分類.

2 符號定義

對運動想象腦電進行采集時，一般通過固定在頭部的若干電極獲取多通道信號，并且所有電極以相同的采樣頻率記錄大腦產生的信號.每組運動想象腦電信號的采集實驗包含若干關鍵時間節點，例如每次給出運動想象開始提醒的時間節點，以及運動想象開始和結束的時間節點等.研究者采用的運動想象腦電信號一般是從運動想象提醒至結束的時間節點間采集的腦電信號.

運動想象腦電信號分類問題可以定義為：基于端到端深度神經網絡學習映射函數F，該函數將原始腦電信號X映射為標簽yprediction：

yprediction=F(X),

(1)

其中,F表示映射函數，X是輸入的腦電數據，yprediction是模型輸出的預測結果.

3 多尺度特征提取與擠壓激勵神經網絡

本文的多尺度特征提取與擠壓激勵神經網絡模型總體框架如圖1所示，該模型包括3個核心部分：多尺度卷積模塊(Part1)、殘差模塊(Part2)、擠壓激勵模塊(Part3).其中，Part1基于多尺度卷積核從原始腦電信號中，自動地提取腦電信號的時域、頻域和時頻特征；Part2基于殘差模塊進行特征融合，同時引入殘差避免了網絡層數過多產生的網絡退化問題；Part3基于擠壓激勵模塊對融合的特征進行選擇，有效地避免了信息冗余并自動學習不同特征的重要性，進而提升運動想象腦電信號的分類效果.

Fig. 1 Overall framework of the multiscale feature extraction and squeeze excitation model圖1 多尺度特征提取與擠壓激勵模型總體架構圖

3.1 多尺度卷積模塊

在運動想象分類任務中，一個重要的問題是如何提取到豐富的特征進而提高分類準確度，尤其是在空間信息較少的情況下.在之前的研究中大部分模型僅使用單一尺度的卷積核進行卷積操作及特征提取，這種單一尺度的設計在一定程度上限制了模型特征提取和分類的能力.因此，我們設計了一種多尺度卷積結構Part1，該結構基于多尺度卷積自動從原始腦電信號中提取時域、頻域以及時頻特征.其結構如圖2所示:

我們設計的多尺度卷積結構主要根據信號處理領域的相關方法[17]，利用大尺度卷積核捕獲腦電信號中的頻域特征，小尺度卷積核捕獲時域特征；3種中等尺度的卷積核捕獲時頻域特征，從而提取更多更豐富的特征，進而提高分類效果.相比于傳統的手動設計特征的方法，該結構可以自動對原始腦電信號進行多尺度的特征提取.具體而言，我們受到Inception結構[18]的啟發，將其改進為適合處理腦電信號的Part1結構，該結構采用了多個并行卷積分支對原始數據進行特征提取，包含大尺度1×180卷積核、小尺度1×10卷積核以及其余中等尺度1×45,1×65,1×85卷積核，中等尺度的卷積對于其余尺度的卷積起到了有益的補充作用.同時，與Inception模型類似，Part1結構保留了并行池化層以提高模型的分類準確度，其大小為1×100. Part1結構定義為：

Iconv=[p1,k*xi;p2,k*xi;p3,k*xi;p4,k*xi;p5,k*xi],

(2)

I=[Iconv;Fmaxpooling(xi)],

(3)

其中，Iconv表示5個卷積分支上的輸出，xi表示輸入的第i個樣本，pj,k表示第j個分支上的第k個卷積核，*表示卷積操作，Fmaxpooling(x)表示最大池化層上的輸出，[ ]表示特征圖拼接操作，I是Part1的輸出表示拼接操作得到的矩陣.

3.2 殘差模塊

Part2是本文模型的殘差模塊，該模塊對提取的特征進行特征融合，與此同時該模塊引入殘差避免了網絡層數過多產生的網絡退化問題[19].殘差模塊的結構如圖3所示，該模塊由多個一維卷積層和批量歸一化(batch normalization, BN)層結合殘差連接堆疊形成，其定義為：

U=Fres(I)+I,

(4)

其中，I表示該模塊的輸入，U表示其輸出.殘差連接可以將淺層網絡學習得到的特征傳遞給深層網絡，從而避免網絡退化的發生.

3.3 擠壓激勵模塊

Part3是本文模型的擠壓激勵模塊，可以對融合的特征進行選擇，有效地避免了信息冗余，該模塊采用SE(squeeze-and-excitation block)結構[20]自動學習不同特征的重要性，進而提升運動想象腦電信號的分類效果.

Part3主要包含3步操作：

第1步通過使用全局平均池化將通道進行壓縮(squeeze)操作，其定義為：

(5)

其中，Fsq表示壓縮操作，m表示壓縮操作形成的壓縮向量，U表示輸入的特征圖(feature map)，L是它的大小.

第2步是激勵(excitation)操作，其定義為：

S=Fex(m,W),

(6)

其中，Fex表示激勵操作，S是該操作的輸出可以刻畫不同特征的重要程度，W基于比例參數(ratio)進行該操作的調節.

第3步操作是為特征圖U分配重要程度：

f=Fscale(U,S)=U·S,

(7)

其中,·表示矩陣相乘運算，Fscale表示分配權重操.

4 實驗與結果

4.1 評價指標

本文選擇準確度和Kappa值作為評價指標來評估實驗結果，準確度(accuracy,acc)的定義為:

(8)

其中，TP表示真陽性，TN真陰性，FP假陽性，FN假陰性.

Kappa值(κ)的定義為:

(9)

(10)

其中,n為樣本總數，a1,a2,…,az為每類樣本的實際量，而b1,b2,…,bz為模型預測出的每類樣本的數量.

4.2 數據集

本文使用了2008年BCI競賽Ⅳ中2個公開的數據集[21].

1) 數據集1.BCI競賽Ⅳ 2b數據集包含9名受試者執行運動想象任務(左手和右手動作)的數據，其中受試者都是右利手，采集數據時要求所有受試者坐在椅子上，注視距離眼睛1 m的屏幕.采集的腦電信號包括頻率為250 Hz的3個EEG通道(C3,Cz和C4)，并使用0.5 Hz～100 Hz帶通濾波器和50 Hz的工頻陷波器進行濾波.每個受試者進行5組實驗，其中前2組實驗采用無反饋實驗范式采集，每組包含120次運動想象任務，后3組實驗采用有反饋實驗范式采集，每組包含160次運動想象任務.

數據采集時包含有反饋實驗范式和無反饋實驗范式，其中有反饋實驗范式是第0秒時在屏幕中央出現灰色笑臉(gray smile).在第2秒處，出現短時提示音(beep)提示受試者準備開始.在第3秒時，箭頭提示線索(cue)出現，屏幕上箭頭的左右朝向將提示受試者想象左手或是右手動作，屏幕上的反饋笑臉(feedback smile)將根據想象朝左側或是右側移動.第7.5秒時，屏幕變為空白，運動想象結束.算法將識別的結果反饋給受試者，若識別結果與真實提示的運動類別一致，則屏幕顯示笑臉，否則屏幕顯示哭臉.

無反饋實驗范式是在運動想象任務開始時出現短暫提示音(beep)，之后屏幕上顯示一個固定的十字(fixation cross)，之后在第2秒時屏幕上出現提示線索(cue)，第3秒受試者開始運動想象(motor imagery)，第6秒結束運動想象進行短暫休息(break).實驗使用所有受試者全部5組實驗，并提取每次運動想象任務中從提示開始4 s的腦電信號數據.

2) 數據集2.BCI競賽Ⅳ 2a數據集包含9名受試者執行運動想象任務(左手、右手、舌頭和足部動作)的數據.其所采集的腦電信號包括頻率為250 Hz的22個EEG通道，并使用0.5 Hz～100 Hz帶通濾波器和50 Hz工頻陷波器進行濾波.實驗中，每個受試者進行2組實驗，每組實驗包括288次運動想象任務，每種分類任務72次.

該數據集的采集使用無反饋實驗范式，所收集的運動想象任務的持續時間與BCI競賽Ⅳ 2b數據集相同.我們的實驗使用所有受試者的全部2組實驗，并提取實驗中從提示開始4 s腦電信號數據.此外，為了研究在空間信息較少的情況下的分類情況，我們的實驗使用與2b數據集相同的3個EEG通道 (C3,Cz和C4)進行實驗.

4.3 實驗設置

為了評估模型的有效性，在實驗中我們采用了5折交叉驗證，使用ELU激活函數、Adam優化器，模型學習率恒定為0.0001，dropout=0.8.此外，我們分別在Part1和Part2中的卷積層中使用了L2正則化，正則化參數分別設置為0.002和0.01.同時，在訓練過程中使用了早停訓練的方式.此外，我們使用了滑動窗口和添加高斯噪聲的方法進行數據增強[22]，更多的網絡參數設置詳見表1所示：

Table 1 Network Parameter Settings of the Proposed Model表1 本文模型的網絡參數設置

4.4 基準模型

本文模型與6種基準模型進行比對：

1) CSP模型[7].基于矩陣對角化構建最優空間濾波器進行投影，進而得到具有較高區分度的特征向量.

2) FBCSP模型[8].基于多頻段帶通濾波的CSP方法，采用特征選擇算法進行特征的選擇，最后使用分類模型進行分類.

3) MKELM模型[11].使用2種不同類型內核(高斯內核和多項式內核)的極限學習機方法，將CSP特征映射到不同的非線性特征空間中.

4) Shallow ConvNets模型和Deep ConvNets模型[9].2個能端到端地提取時域特征和空間特征的淺層和深層卷積模型，該方法模型是使用深度學習進行腦電信號分類的第1次探索.

5) EEGNets模型[23].使用深度卷積和可分離卷積的單一尺度神經網絡，該模型參數量較小，在訓練數據有限時具有較強的泛化能力和更高的性能.

6) MSFBCNN模型[24].一種由3部分構成(特征提取層、特征簡化層、分類層)的深度卷積神經網絡.

4.5 與基準模型的結果對比

表2列出了本文模型與先進基準模型在BCI 競賽Ⅳ 2b數據集上的結果對比.實驗表明本文模型優于其余基準模型，其平均準確度是最高的.CSP和FBCSP這2種方法在空間信息較少的情況下無法發揮其提取空間特征的優勢，也忽略了腦電信號時域或頻域特征等信息的提取，因此并不能達到較高的分類準確度.以受試者S3為例，本文模型比CSP方法提高了20%多的準確度，比FBCSP方法提高了10%以上的準確度.對于端到端模型，盡管EEGNets模型和Shallow ConvNets模型可以進行端到端的腦電信號特征提取，但其進行提取特征時僅采用單一尺度的卷積核并不能充分挖掘腦電信號中蘊含的大量信息，同時存在一定程度上的信息損失從而限制了分類準確度.本文模型基于多尺度卷積的設計，可以自動提取腦電信號的時域、頻域以及時頻域特征，相比于傳統模型增加了特征的豐富程度從而增加了分類效果.因此本文模型在大部分受試者的準確度上優于傳統的基準模型，并且具有最高的平均準確度.

Table 2 The Performance Comparison of the State-of-the-Art Models on BCI cCompetition Ⅳ 2b表2 本文模型與基準模型在BCI競賽Ⅳ 2b數據集的結果對比

圖4展示了本文模型在BCI競賽Ⅳ 2a數據集與現有的先進端到端基準模型(EEGNets,Shallow ConvNets,Deep ConvNets,MSFBCNN)的比較.結果表明在空間信息較少的情況下，對于運動想象分類任務本文模型仍能取得最優的結果，同時也體現了本文模型在不同數據集上的魯棒性.

Fig. 4 The performance comparison of the state-of-the-art models on BCI competition Ⅳ 2a圖4 本文模型與基準模型在BCI競賽Ⅳ 2a實驗結果對比

4.6 討論多尺度結構中分支數對分類結果的影響

為了驗證多尺度結構Part1中每個分支的有效性，我們在BCI競賽Ⅳ 2b數據集上進行實驗，從僅使用一個卷積分支Part1-(1)開始，逐步遞增卷積分支的數量，直至與原結構相同，對比結果如圖5所示.

Fig. 5 Experiment result with different branch numbers圖5 不同分支數的實驗結果

由圖5可得，分類準確度隨著卷積分支的增加而提高，基于全部卷積分支的模型達到了最高的準確度.這說明隨著卷積分支的增加，模型提取特征的豐富程度不斷增加，這些特征(時域、頻域、時頻域等特征)起到互相補充的作用，從而提高了分類準確度.

4.7 討論擠壓激勵模塊對分類結果的影響

Fig. 6 Experimental results before and after the SE block is removed圖6 移除擠壓激勵模塊前后的實驗結果對比

為了探究擠壓激勵模塊對模型分類結果的影響，我們移除擠壓激勵模塊與本文模型進行比較.如圖6所示，移除擠壓激勵模塊后每個受試者的分類準確度出現不同程度的降低.由此說明，擠壓激勵模塊在本文模型的有效性，原始腦電信號經過多尺度卷積模塊和殘差模塊提取到的特征對于分類的重要程度是不同的，基于擠壓激勵模塊可以自動學習不同特征的重要程度，進而提升運動想象任務的分類效果.

4.8 討論不同通道對分類結果的影響

在腦電信號的提取過程中，往往需要在頭部覆蓋若干電極，以全面地捕獲大腦在進行運動想象時產生的生理信號.通常電極數量越多采集的信息就越全面，但采集成本會隨之提高并且設備的便攜性也會降低.因為每個通道的信息對分類結果的重要程度是不同的，所以確定出對于分類較為重要的通道，進行有針對性的采集將有助于提高采集設備的便攜性，進一步降低生產和使用的成本.

我們基于本次實驗使用的所有通道(C3，C4，Cz通道)的腦電信號，進一步探究不同腦電通道對分類結果的影響.由圖7可得，單獨使用C3通道或C4通道得到的分類效果優于單獨使用Cz通道，并且單獨使用C4通道的結果又優于C3通道的結果.每個通道對于分類的影響是不同的.此外，由圖7可知當基于組合腦電通道進行分類時，其分類結果都優于使用單獨的通道得到的結果.其中同時使用C3和C4這2個通道的分類準確度僅與3個通道同時使用時的分類準確度相差2%，這說明在實驗中從C3和C4兩個通道提取到的信息對運動想象分類起著主要作用，再增加Cz通道對于模型分類準確度的提升相對較小.

Fig. 7 Experiment result with different channels圖7 不同通道的實驗結果

上述實驗表明進行運動想象腦電信號分類時，所有通道對分類準確度都起到了提升作用，但是不同通道的腦電信號對提升分類效果的重要性是不同的.當資源有限的情況下，C3和C4兩個通道的組合能夠達到較優的分類效果.這些探究結論為腦電信號通道的選擇提供了一定的參考標準，將有助于便攜式運動想象設備的研發.

5 總 結

本文提出一種基于多尺度特征提取與擠壓激勵的深度模型進行運動想象腦電信號分類.首先根據信號處理相關理論設計多尺度卷積模塊，對原始腦電信號進行時域、頻域和時頻域特征的自動提取；其次基于殘差模塊和擠壓激勵模塊進行特征的融合和選擇；最后通過全連接層進行腦電信號分類.在2個公開數據集進行的實驗結構表明，本文模型的分類效果優于現有基準方法達到了最高的平均分類精度. 此外，本文討論了多尺度的設計、擠壓激勵模塊和通道的選擇對于分類效果的不同影響.在未來，我們將研究輕量級深度神經網絡在運動想象分類的應用，進一步提高腦機交互的實時性.

貢獻聲明：賈子鈺進行了該論文的模型設計和編碼、論文撰寫等工作；林友芳進行了方法的設計與論文的修改；劉天航進行了模型調優和論文修改；楊凱昕和張鑫旺進行課題的前期調研和數據的統計分析及可視化；王晶為參與了論文的修改和討論.