重疊時間切片改進深度神經(jīng)網(wǎng)絡(luò)的運動想象EEG 模式識別①

鄭成杰, 肖國寶, 羅天健,3

1(福建師范大學(xué) 計算機與網(wǎng)絡(luò)空間安全學(xué)院, 福州 350117)

2(閩江學(xué)院 計算機與控制工程學(xué)院, 福州 350108)

3(福建師范大學(xué) 數(shù)字福建環(huán)境監(jiān)測物聯(lián)網(wǎng)實驗室, 福州 350117)

1 引言

腦機接口(brain computer interface, BCI)技術(shù)是一種建立在大腦和外部設(shè)備之間、且不依賴于外圍神經(jīng)系統(tǒng)與肌肉組織的新型人機交互方式[1]. BCI 技術(shù)可以實現(xiàn)大腦與外部電子設(shè)備的直接通信與控制, 主要涉及認知神經(jīng)科學(xué)、信號處理和模式識別等多學(xué)科交叉.常見的BCI 技術(shù)包括無創(chuàng)BCI[2]和有創(chuàng)BCI, 其中無創(chuàng)BCI 可應(yīng)用于常人, 不用面對倫理道德問題. 腦電信號是常用的無創(chuàng)BCI 技術(shù)手段之一, 基于腦電信號(electroencephalogram, EEG)的BCI 主要包含P300[3],穩(wěn)態(tài)視覺電位[4]和運動想象[5]3 個類別.

運動想象(motor imagery, MI)是指人在進行運動想象(如想象左手、右手、舌、雙腳的運動)時所產(chǎn)生的大腦運動感知節(jié)律變化, 主要由mu 節(jié)律和beta 節(jié)律組成[6]. 如人在進行單側(cè)肢體的想象運動時, 大腦皮層同側(cè)感覺區(qū)中的mu 和beta 節(jié)律幅值會增加, 發(fā)生事件相關(guān)同步(event-related synchronization, ERS)現(xiàn)象; 同時, 大腦皮層對側(cè)運動感覺區(qū)中的mu 和beta 節(jié)律幅值會減少, 發(fā)生事件相關(guān)去同步(event-related desynchronization, ERD)現(xiàn)象[7]. 基于EEG 的運動想象腦機接口(motor imagery brain computer interface, MIBCI)系統(tǒng)可以對這些不同的ERD/ERS 模式進行分類,其目的在于準(zhǔn)確的辨認出受試者的肢體運動意圖[8]. 但由于MI-BCI 過程中采集到的EEG 信號信噪比低、空間分辨率低、非線性、非平穩(wěn)性和隨機性強等特點,導(dǎo)致現(xiàn)有的腦電識別技術(shù)對EEG 信號的解碼正確率較低.

近年來, 深度學(xué)習(xí)方法在圖像識別[9]、語音識別[10]等領(lǐng)域體現(xiàn)出其巨大的優(yōu)勢. 目前, 眾多研究者已經(jīng)將深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)應(yīng)用到MI-BCI過程中 EEG 信號的模式識別中. 胡章芳等人[11]提出了一種短時傅里葉變換(short-time Fourier transform,STFT)和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,ConvNet)相結(jié)合的方法進行MI-BCI 過程中EEG 信號的識別分類, 該方法在BCI 競賽數(shù)據(jù)集上獲得了86.5%的平均分類正確率, 優(yōu)于其他傳統(tǒng)識別分類方法. Tabar等人[12]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與堆疊自動編碼器(stacked autoencoder, SAE)對MI-BCI 過程中EEG 信號進行模式識別研究, 該方法首先采用短時傅里葉變換進行EEG信號的時頻域特征預(yù)提取, 接著通過SAE 對ConvNet提取到的特征進行最終分類. 該方法在2008 年BCI 競賽數(shù)據(jù)集2b 上獲得了不錯的分類性能, Kappa 值達到0.547, 比競賽第一名的算法高出9%. 褚亞奇等人[13]提出一種基于時空特征學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(TSCNN)的運動想象腦電解碼方法, 該方法對公共數(shù)據(jù)集的平均解碼精度達到80.09%, 顯著提升了運動想象腦電解碼的可靠性. Dai 等人[14]提出一種將卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)與變分自編碼器(VAE)相結(jié)合的MI-BCI 過程中EEG 信號分類框架, 該框架平均Kappa 值為0.564, 優(yōu)于文獻中最好的BCI 競賽IV 數(shù)據(jù)集2b 的分類方法,提高了3%的識別準(zhǔn)確率. Dai 等人[15]提出了一種混合尺度CNN 架構(gòu)和數(shù)據(jù)增強方法(HS-CNN)用于腦電運動圖像分類, 該方法在兩個常用數(shù)據(jù)集上的平均分類準(zhǔn)確率分別達到91.57%和87.6%, 優(yōu)于幾種最新的腦電運動圖像分類方法.

在采用深度神經(jīng)網(wǎng)絡(luò)進行MI-BCI 過程中EEG 信號的模式識別中, 傳統(tǒng)的訓(xùn)練方法是使用trial-wise 方法: 即將整個試驗(trial) 信號作為輸入樣本, 以每個trial 的標(biāo)簽作為目標(biāo)的訓(xùn)練策略. 但傳統(tǒng)的trial-wise策略具有兩大不足之處: 一是樣本量太少, 不適合用于深度神經(jīng)網(wǎng)絡(luò); 二是單個trial 的時間域過長, 特征維度太高, 導(dǎo)致分類效果不好. 為此, Schirrmeister 等人[16]設(shè)計了一種cropped 訓(xùn)練策略, 該策略通過滑動時間窗口(sliding time windows)對每個trial 進行裁剪, 既增加了訓(xùn)練樣本量, 又避免了數(shù)據(jù)特征維度太高對結(jié)果的影響. 但是由于單純的cropped 訓(xùn)練策略未考慮到EEG 信號具有時變性, 單純的cropped 訓(xùn)練策略無法提取和學(xué)習(xí)到各個切分后crops 之間的關(guān)聯(lián)性特征, 導(dǎo)致效果不佳. Schirrmeister 等人[16]設(shè)計的cropped 訓(xùn)練策略采用的是非重疊時間的cropped 切分方式, 即各個crops 之間沒有重疊部分, 并且原文中并未進行trialwise 和cropped 的方式對比. 對此, 本文提出一種新型的重疊時間切片的訓(xùn)練策略, 并且詳細對比了幾種劃分方式的結(jié)果. 重疊時間切片的訓(xùn)練策略采用帶有重疊時間的滑動時間窗口對原始輸入進行切分, 并在計算最后的分類標(biāo)簽時, 采用多數(shù)投票制確定樣本的預(yù)測標(biāo)簽. 帶有重疊的時間滑動窗口可保證切分后的樣本之間保留其重疊部分的信息, 可通過神經(jīng)網(wǎng)絡(luò)提取和學(xué)習(xí)到切分后樣本之間的關(guān)聯(lián)性特征. 除此之外, 保留樣本間的重疊信息可以使可學(xué)習(xí)到的特征更加豐富,可以更加適應(yīng)較深層的網(wǎng)絡(luò).

本文的其余部分結(jié)構(gòu)如下: 第2 節(jié)介紹基于深度神經(jīng)網(wǎng)絡(luò)模型的運動想象EEG 模式識別中常見的5 種模型. 第3 節(jié)首先介紹用于運動想象EEG 信號的trial-wise 和cropped 訓(xùn)練策略, 以及本文提出的重疊時間切片的訓(xùn)練策略. 第4 節(jié)為實驗的結(jié)果與分析, 包括實驗框架、3 種開源MI 實驗數(shù)據(jù)集, 以及各種策略在各種模型的對比結(jié)果.

本文的主要貢獻:

(1)提出了一種改進的重疊時間切片的訓(xùn)練策略,該訓(xùn)練策略可有效彌補一般訓(xùn)練策略帶來的訓(xùn)練樣本不足、特征維度太高和未能解決EEG 信號具有時變性的缺陷, 有效提升了EEG 信號的分類準(zhǔn)確率.

(2)在3 種不同公共數(shù)據(jù)集上對比了3 種不同訓(xùn)練策略的性能和效率. 本文提出的重疊時間切片訓(xùn)練策略對公共數(shù)據(jù)集的分類準(zhǔn)確率相比于先前兩種訓(xùn)練策略有較顯著的提升.

2 基于深度神經(jīng)網(wǎng)絡(luò)模型的運動想象EEG模式識別

2.1 Deep ConvNet

Deep ConvNet 架構(gòu)的靈感來自于Krizhevsky 等人[17]提出的且在計算機視覺領(lǐng)域取得成功的一種架構(gòu). 該架構(gòu)的出發(fā)點是想要找到一個能夠提取廣泛特征并且不限于特定特征類型的神經(jīng)網(wǎng)絡(luò)模型[18]. 設(shè)計這種通用體系的目的是揭露這種通用的ConvNet 是否可以僅靠少量的專業(yè)知識就可以取得具有競爭力的準(zhǔn)確率.

Deep ConvNet 具有4 個卷積最大池化塊(convolution-max-pooling blocks), 其中第1 個特殊的塊用于處理輸入的EEG 信號, 然后是3 個標(biāo)準(zhǔn)的卷積最大池化塊和一個Softmax 分類層. Deep ConvNet 的體系結(jié)構(gòu)如圖1.

圖1 Deep ConvNet 體系結(jié)構(gòu)

Deep ConvNet 的一些設(shè)計策略:

(1)為了更好的處理大量輸入通道, 第1 個卷積塊采取分步卷積, 分為兩層: 在第1 層中, 每個濾波器隨時間進行卷積. 在第2 層中, 每個濾波器對先前進行時間卷積后的電極對執(zhí)行權(quán)重的空間濾波.

(2)使用指數(shù)線性單元(exponential linear units,ELU)[19]作為激活函數(shù). 公式為:

(3)在每個卷積層的輸出使用批標(biāo)準(zhǔn)化和歸一化.對每一批訓(xùn)練樣本, 將網(wǎng)絡(luò)的中間輸出標(biāo)準(zhǔn)化為零均值和單位方差, 這可以使在訓(xùn)練過程中的層間的輸入保持近似的正態(tài)分布, 有助于優(yōu)化.

(4)在訓(xùn)練更新中采用dropout. 除第一個卷積層外, 以0.5 的概率隨機地將之后的卷積層的輸入設(shè)置為零.

2.2 Shallow ConvNet

Shallow ConvNet 是一種比較淺的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其受到濾波器組共空間模式(filter bank common spatial patterns, FBCSP)的啟發(fā), 是專門為解碼頻帶功率特征而量身定制的. 這里首先介紹FBCSP 解碼試驗標(biāo)簽的一些步驟:

(1) 帶通濾波: 應(yīng)用不同的帶通濾波器將原始EEG 信號分離為不同的頻帶.

(2)劃分時間: 將連續(xù)的EEG 信號分為3 部分.

(3) CSP 特征計算: 在每個頻帶上, 將CSP 算法應(yīng)用于提取空間濾波器. CSP 的目的是提取空間濾波器,以通過空間濾波后的試驗信號的功率來區(qū)分試驗.

(4)空間濾波: 將步驟(3)中計算出的空間濾波器應(yīng)用于EEG 信號.

(5)特征構(gòu)造: 特征向量由濾波后的信號構(gòu)成, 具體來說, 特征向量是試驗信號的每個頻帶使用不同空間濾波器空間濾波后的對數(shù)方差.

(6)分類: 基于特征向量訓(xùn)練一個分類器以預(yù)測每個試驗標(biāo)簽.

Shallow ConvNet 的前兩層執(zhí)行時間卷積和空間濾波. 這類似于FBCSP 中的帶通濾波和CSP 空間濾波步驟. 與Deep ConvNet 相比, Shallow ConvNet 的時間卷積具有更大的卷積核(25 vs. 10), 從而允許在該層進行更大范圍的轉(zhuǎn)換. 在Shallow ConvNet 的時間卷積和空間濾波后, 使用了平方非線性函數(shù)(square)、均值池化層和對數(shù)激活函數(shù)(log), 這些步驟組合在一起類似于FBCSP 中的試驗的對數(shù)方差計算. 與FBCSP 相比,Shallow ConvNet 將所有計算步驟嵌入到單個網(wǎng)絡(luò)中,因此可以共同優(yōu)化所有步驟. Shallow ConvNet 的體系結(jié)構(gòu)如圖2 所示.

圖2 Shallow ConvNet 體系結(jié)構(gòu)

2.3 Hybrid ConvNet

Hybrid ConvNet 是一種融合Deep ConvNet 和Shallow ConvNet 的混合ConvNet 模型. Hybrid ConvNet 希望從Shallow ConvNet 中提取到更具體特征, 以及從Deep ConvNet 中提取到更通用的特征. Hybrid ConvNet 用Deep ConvNet 和Shallow ConvNet 的60 個和40 個濾波器ELU 層替換了兩個ConvNet 的4 個濾波器Softmax分類層. 將生成的100 個特征圖連接起來, 并用作新的Softmax 分類層的輸入. Hybrid ConvNet 不使用任何Deep 或Shallow ConvNet 預(yù)先訓(xùn)練好的參數(shù), 而是對整個Hybrid ConvNet 進行重新訓(xùn)練.

2.4 EEGNet

EEGNet 是由Lawhern 等人[20]提出的基于CNN的模型, 是一種緊湊的腦電分析卷積神經(jīng)網(wǎng)絡(luò), 專為常規(guī)EEG 信號識別任務(wù)而設(shè)計. EEGNet 可以應(yīng)用于多種不同的BCI 范式, 不但可采用非常有限的數(shù)據(jù)進行訓(xùn)練, 而且可以產(chǎn)生神經(jīng)生理學(xué)上可解釋的特征.

EEGNet 保留了Shallow ConvNet 中的時間和空間卷積層. EEGNet 引入了深度卷積和可分離卷積, 來代替Shallow ConvNet 中的簡單卷積, 以減少訓(xùn)練參數(shù)的數(shù)量. EEGNet 還使用了ELU 激活函數(shù)代替Shallow ConvNet 的平方激活函數(shù). EEGNet 的總體結(jié)構(gòu)如圖3所示, 對于一個22×1125 的輸入樣本, 在Conv2D 層使用8 個大小為(1, 64)的卷積核, 使用線性激活函數(shù), 輸出大小為(8, 22, 1 125), 在DepthwiseConv2D 層使用16 個大小為(22, 1)的卷積核, 使用ELU 激活函數(shù), 輸出大小為(16, 1, 1 125), 接著是一個平均池化層Average-Pool2D, 卷積核為(1, 4), 輸出大小為(16, 1, 281), 在SeparableConv2D 層, 使用16 個大小為(1, 16)的卷積核, 使用ELU 激活函數(shù), 輸出大小為(16, 1, 281), 接著一個AveragePool2D 層, 卷積核為(1, 4), 輸出大小為(16, 1, 35), 然后展平成大小為560 的一維數(shù)組, 最后一個全連接層有2 240 卷積核, 使用Softmax 激活函數(shù),輸出大小為4 的一維數(shù)組.

2.5 EEGResNet

殘差網(wǎng)絡(luò)(residual network, ResNet)是由He 等人[21]提出的一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 獲得了2015 年Image-Net 大規(guī)模視覺識別競賽的第一名. ResNet 通常具有大量的層數(shù), 將ResNet 應(yīng)用于EEG 解碼旨在研究這種具有更多層數(shù)的網(wǎng)絡(luò)是否也能在EEG 解碼中獲得良好的性能. 在ResNet 的一個殘差塊結(jié)構(gòu)中, 記輸入為x, 其期望學(xué)習(xí)到的潛在映射記為H(x), 學(xué)習(xí)到的殘差為F(x)=H(x)-x. 當(dāng)殘差為F(x)=0時, 此時殘差塊可以實現(xiàn)恒等映射. 殘差塊的設(shè)計如圖4.

圖4 殘差塊

EEGResNet 模型在第1 塊仍然是先進行時間卷積和空間濾波, 接著是14 個殘差塊, 平均池化和最后的Softmax 分類層. EEGResNet 的體系結(jié)構(gòu)如表1.

表1 EEGResNet 體系結(jié)構(gòu)

3 運動想象EEG 信號單個trial 重疊時間切片策略

3.1 Trial-wise 策略的訓(xùn)練方法

通常, 為了訓(xùn)練一個ConvNet 模型, 需要對Conv-Net 模型中所有參數(shù)(包括所有權(quán)重和偏置)進行聯(lián)合訓(xùn)練. 在有監(jiān)督分類問題中, 構(gòu)建ConvNet 模型的目的是計算從輸入數(shù)據(jù)到其對應(yīng)的真實類別標(biāo)簽的一個函數(shù):

3.2 Cropped 策略的訓(xùn)練方法

Cropped 策略的訓(xùn)練使用裁剪方法, 即在原始輸入試驗中使用滑動窗口, 使輸入深度神經(jīng)網(wǎng)絡(luò)模型中的訓(xùn)練樣本比trail-wise 策略更多, 更適合于深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練. 對于原始輸入試驗樣本Xi∈RE,T, 采用T′作為裁剪長度, 通過裁剪可得到一個裁剪樣本集合(crops):

3.3 重疊時間切片策略的訓(xùn)練方法

運動想象屬于長時間、持續(xù)的過程, 根據(jù)經(jīng)典運動想象刺激范式, 在整個4 s 的信號采集過程中, 受試者都將持續(xù)保持運動想象. 雖然反映運動想象數(shù)據(jù)可能集中在部分采樣區(qū)間中, 但由于不同受試者對于運動想象的反應(yīng)時間、持續(xù)時間不同, 這樣的區(qū)間卻因為個體差異性而各不相同. 因此, 無法使用統(tǒng)一的方式從不同被試者的運動想象集中區(qū)間中提取有效特征.實際上, 由于卷積神經(jīng)網(wǎng)絡(luò)的特性, 誤差反向傳播將會對不同區(qū)間的權(quán)重進行調(diào)整, 隨著訓(xùn)練的進行那些蘊含運動想象特征的權(quán)重越來越高, 而不蘊含運動想象特征的權(quán)重將越來越低. 因此, 本文選擇采用重疊切片的方式, 讓蘊含和不蘊含運動想象特征的區(qū)間進行組合, 保證蘊含運動想象區(qū)間的部分以更多樣性的組合形式輸入至卷積神經(jīng)網(wǎng)絡(luò)中, 從而保證了采用卷積神經(jīng)網(wǎng)絡(luò)進行運動想象分類時的魯棒性.

圖5 重疊時間切片切分策略

在預(yù)測樣本標(biāo)簽時, 采用多數(shù)投票制, 即對于來自同一個原始試驗的切片, 統(tǒng)計這些切片的預(yù)測值, 將這些切片中出現(xiàn)最多次數(shù)的預(yù)測標(biāo)簽作為這個樣本本次預(yù)測的預(yù)測標(biāo)簽. 該策略的其余超參數(shù)與trial-wise 策略的超參數(shù)保持一致.

4 實驗與結(jié)果分析

4.1 實驗初始化

本文實驗選用2008 年BCI Competition IV Dataset 1、2a 和2b 三個公開數(shù)據(jù)集.

Dataset 1 數(shù)據(jù)集包含來自7 位健康受試者執(zhí)行運動想象的EEG 數(shù)據(jù). 標(biāo)簽類型為2 種, 其中類別1 表示受試者在執(zhí)行左、右手或者腳的運動想象, 類別0 表示受試者無控制意圖. 該數(shù)據(jù)集測量了每個受試者的59 個在感覺運動區(qū)域上最密集的通道信號. 信號以1 000 Hz 為采樣頻率, 并在0.05-200 Hz 之間進行帶通濾波. Dataset 2a 數(shù)據(jù)集包含來自9 個受試者執(zhí)行運動想象的EEG 數(shù)據(jù). 運動想象類型為4 種, 包括左手、右手、雙腳和舌頭. 信號以250 Hz 為采樣頻率, 并在0.5-100 Hz 之間進行帶通濾波. 放大器的靈敏度設(shè)置為100 μV, 并使用了50 Hz 陷波濾波器抑制線路噪聲.

Dataset 2a 數(shù)據(jù)集的EEG 信號采集過程如圖6 所示. 每個受試者坐在計算機屏幕前的舒適扶手椅上. 在實驗開始時, 屏幕上出現(xiàn)十字注視叉, 并發(fā)出簡短的提示音, 2 s 后, 屏幕上出現(xiàn)持續(xù)1.25 s 的指向左、右、上或下(分別對應(yīng)于4 種運動想象類別)的箭頭, 隨后受試者執(zhí)行箭頭對應(yīng)的運動想象并持續(xù)到實驗開始后的第6 s. 訓(xùn)練數(shù)據(jù)集包含每個受試者的288 次試驗樣本,測試數(shù)據(jù)集同樣包含每個受試者的288 次試驗樣本.

圖6 Dataset 2a 數(shù)據(jù)采集實驗

Dataset 2b 數(shù)據(jù)集包含來自9 個右利手的受試者執(zhí)行運動想象的EEG 數(shù)據(jù). 運動想象類型為2 種, 包括左手和右手. 信號以250 Hz 為采樣頻率, 并在0.5-100 Hz之間進行帶通濾波. 放大器的靈敏度設(shè)置為100 μV, 并使用了50 Hz 陷波濾波器以抑制線路噪聲. 每位受試者的腦電數(shù)據(jù)集都包括5 個 Session, 前2 個Session為無視覺反饋的腦電想象數(shù)據(jù), 后3 個Session 為包含視覺反饋的腦電想象數(shù)據(jù).

Dataset 2b 數(shù)據(jù)集的采集工作分為無視覺反饋和有視覺反饋實驗. 無視覺反饋實驗過程如圖7 所示, 在實驗開始時, 屏幕上出現(xiàn)十字注視叉, 并發(fā)出簡短的提示音, 2 s 后, 屏幕上出現(xiàn)持續(xù)1.25 s 的指向左或右(分別對應(yīng)于左手或右手運動)的箭頭, 隨后受試者執(zhí)行箭頭對應(yīng)的運動想象并持續(xù)到實驗開始后的第6 s.

圖7 Dataset 2b 無視覺反饋數(shù)據(jù)采集實驗

有視覺反饋實驗過程如圖8 所示, 在實驗開始時,屏幕上顯示灰色的笑臉, 2 s 后發(fā)出簡短的提示音, 3 s時屏幕上出現(xiàn)持續(xù)1.25 s 的指向左或右(分別對應(yīng)于左手或右手運動)的箭頭, 隨后受試者執(zhí)行箭頭對應(yīng)的運動想象將笑臉向左或向右移動, 如果移動方向正確,屏幕中的灰色笑臉就會變?yōu)樾δ? 反之, 變成哭臉.

圖8 Dataset 2b 有視覺反饋數(shù)據(jù)采集實驗

本文實驗的硬件配置為CPU: Intel(R) Core(TM)i5-10210U 1.60 GHz, GPU: NVIDIA GeForce MX350.

本文采用開源的ConvNet 模型EEG 信號識別框架進行EEG 信號識別(https://github.com/braindecode/braindecode). 實驗需安裝Python 第三方庫PyTorch. 數(shù)據(jù)預(yù)處理: 在讀取原始數(shù)據(jù)后, 將數(shù)據(jù)在3-38 Hz 之間進行帶通濾波, 然后進行數(shù)據(jù)切分, 以Dataset 2a 數(shù)據(jù)集為例, 切分的大小為22×1125, 形成訓(xùn)練和測試樣本,最后將切分后的樣本送入braindecode 框架中進行處理. 實驗參數(shù)設(shè)置: trial-wise 和overlapped 訓(xùn)練策略的最大迭代次數(shù)設(shè)為1 600, cropped 訓(xùn)練策略的最大迭代次數(shù)設(shè)為800. 學(xué)習(xí)率為0.001, 使用early-stopping,停止條件為達到最大迭代次數(shù)或者驗證集上的誤分類率沒有下降. 優(yōu)化器使用torch.optim 中的Adam 優(yōu)化器, 損失函數(shù)使用torch.nn.functional 中的nll_loss 函數(shù). 實驗結(jié)果的圖使用echarts (一個基于 JavaScript 的開源可視化圖表庫)畫出.

4.2 Dataset 1 實驗結(jié)果對比

基于本文介紹的trial-wise、cropped 和設(shè)計的重疊時間切片(overlapped)策略, 將這3 種訓(xùn)練方法應(yīng)用于本文介紹的5 種深度神經(jīng)網(wǎng)絡(luò)模型: Deep ConvNet、Shallow ConvNet、Hybrid ConvNet、EEGNet 和EEGResNet 上. 由于Dataset 1 數(shù)據(jù)集的單個trial 持續(xù)時間較短, 在Dataset 1 數(shù)據(jù)集上采用trial-wise、cropped和overlapped 三種策略訓(xùn)練2 種深度神經(jīng)網(wǎng)絡(luò)模型:Shallow ConvNet 和EEGNet, 得到所有受試者的測試集上的識別準(zhǔn)確率如表2 所示. 其中, 實驗的overlapped訓(xùn)練方法中的 α, β參數(shù)值分為設(shè)置為100 和20.

由表2 可以看出, 在Dataset 1 數(shù)據(jù)集上, overlapped訓(xùn)練策略在Shallow ConvNet 和EEGNet 上的分類準(zhǔn)確率均高于cropped 訓(xùn)練策略的分類準(zhǔn)確率, 分別提升了5.4%和6.9%. 在EEGNet 模型上的分類準(zhǔn)確率高于trial-wise 訓(xùn)練策略的, 在Shallow ConvNet 模型上的分類準(zhǔn)確率與trail-wise 的相差不大.

表2 Trial-wise、cropped 和overlapped (100, 20)方法在Dataset 1 數(shù)據(jù)集上的識別準(zhǔn)確率比較(%)

對于Dataset 1 數(shù)據(jù)集, 實驗將 α設(shè)置為100、150或200, β設(shè)置為20、30 或40, 共產(chǎn)生9 組參數(shù)組合.

9 組不同參數(shù)組合的overlapped 策略應(yīng)用于2 種不同模型的識別準(zhǔn)確率的提升百分比如圖9 所示.

圖9 在Dataset 1 上9 組參數(shù)組合的overlapped 策略的識別準(zhǔn)確率提升百分比的比較

從圖9 可以看出, overlapped 訓(xùn)練策略的9 種參數(shù)組合在Shallow ConvNet 和EEGNet 兩種模型的識別準(zhǔn)確率均有提升. Shallow ConvNet 在 α=200 ,β=20時, 識別準(zhǔn)確率提升百分比最大, 達到了6.5%. EEGNet在 α =150 , β=30時, 識別準(zhǔn)確率提升百分比最大, 達到了7.964%.

4.3 Dataset 2a 實驗結(jié)果對比

基于本文介紹的trial-wise、cropped 和設(shè)計的重疊時間切片(overlapped)策略, 將這3 種訓(xùn)練方法應(yīng)用于本文介紹的5 種深度神經(jīng)網(wǎng)絡(luò)模型: Deep ConvNet、Shallow ConvNet、Hybrid ConvNet、EEGNet 和EEGResNet 上, 并計算出其在Dataset 2a 數(shù)據(jù)集所有受試者的測試集上的識別準(zhǔn)確率如表3 所示. 其中, 實驗的overlapped 訓(xùn)練方法中的 α , β參數(shù)值分為設(shè)置為500和100.

由表3 可以看出, 在Dataset 2a 數(shù)據(jù)集上, 對于Shallow ConvNet 和EEGNet 這兩種淺層模型, overlapped訓(xùn)練策略與trial-wise 訓(xùn)練策略的分類準(zhǔn)確率相差不大, 但都優(yōu)于cropped 訓(xùn)練策略. 對于Deep ConvNet、Hybrid ConvNet 和EEGResNet 3 種模型, overlapped 訓(xùn)練策略的分類準(zhǔn)確率均高于trial-wise 和cropped 訓(xùn)練策略的分類準(zhǔn)確率.

表3 Trial-wise、cropped 和overlapped (500, 100)方法在Dataset 2a 數(shù)據(jù)集上的識別準(zhǔn)確率比較(%)

本文還通過設(shè)置不同的 α 和 β參數(shù), 以研究不同的α 和 β參數(shù)對overlapped 訓(xùn)練策略的性能影響. 實驗將α設(shè)置為500、600 或800, β設(shè)置為100、150 或200,共產(chǎn)生9 組參數(shù)組合.

相比于cropped 策略, 9 組不同參數(shù)組合的overlapped 策略應(yīng)用于5 種不同模型的識別準(zhǔn)確率的提升百分比如圖10 所示.

圖10 在Dataset 2a 上9 組參數(shù)組合的overlapped 策略的識別準(zhǔn)確率提升百分比的比較

從圖10 可以看出, 除Hybrid ConvNet 和EEGResNet在 α =500 , β=200和 α =600 , β=200的參數(shù)設(shè)置之外,overlapped 的各組參數(shù)設(shè)置的識別準(zhǔn)確率均較cropped的識別準(zhǔn)確率有所提升. 由圖10 也可看出, 隨著 β值的增加, 即重疊的時間部分減少, overlapped 策略的識別準(zhǔn)確率提升百分比也在降低. Shallow ConvNet 和EEGResNet 在 α=800 , β=100時, 識別準(zhǔn)確率提升百分比最大, 分別達到了5.826%和2.65%. Deep Conv-Net 和EEGNet 在 α =600 , β=100時, 識別準(zhǔn)確率提升百分比最大, 分別達到了23.461%和5.887%. 由此可見, 可根據(jù)應(yīng)用的不同模型, 通過不斷調(diào)整, 可得到最適合該模型的 α 和 β參數(shù)值, 進而得到較高的識別準(zhǔn)確率.

4.4 Dataset 2b 實驗結(jié)果對比

同樣, 在Dataset 2b 數(shù)據(jù)集上采用cropped 和overlapped 兩種策略訓(xùn)練5 種深度神經(jīng)網(wǎng)絡(luò)模型, 得到所有受試者的測試集上的識別準(zhǔn)確率如表4 所示. 其中, 實驗的overlapped 訓(xùn)練方法中的 α, β參數(shù)值分為設(shè)置為500 和100.

由表4 可以看出, 在Dataset 2b 數(shù)據(jù)集上, trialwise 訓(xùn)練策略在Shallow ConvNet、Deep ConvNet 和EEGNet 3 種模型上取得更好的分類準(zhǔn)確率, cropped訓(xùn)練策略在EEGResNet 模型上取得更好的分類準(zhǔn)確率, overlapped 訓(xùn)練策略在Hybrid ConvNet 模型上取得更好的分類準(zhǔn)確率.

從表2、表3 和表4 中的實驗結(jié)果可以看出, 雖然overlapped 方法不能同時比trial-wise 和cropped 方法顯著提升識別準(zhǔn)確率. 但是, 采用student-test 方式進行假設(shè)檢驗, 在Dataset 2a 和Dataset 2b 數(shù)據(jù)集上的5 種不同模型, oiverlapped 方法總能比trial-wise 或cropped 方法顯著提升識別準(zhǔn)確率(p＜0.05 或p＜0.01).實際上, 針對EEG 信號的預(yù)處理過程, 在不同數(shù)據(jù)集和不同卷積神經(jīng)網(wǎng)絡(luò)模型下, trial-wsie 方法由于樣本量較少, 更適合于簡單模型或數(shù)據(jù)集(如Dataset 1 數(shù)據(jù)集和Shallow ConvNet 模型). Cropped 方法能夠彌補樣本不足和特征維度較高的缺點, 因此更適合復(fù)雜的模型或數(shù)據(jù)量較大的情況(如Dataset 2a/2b 數(shù)據(jù)集和Hybrid ConvNet/EEGResNet 模型). 不同于二者都有適應(yīng)自己情況的數(shù)據(jù)集和模型, 通過實驗結(jié)果可以看出,overlapped 方法能夠同時滿足數(shù)據(jù)量較小/較大、模型較簡單/復(fù)雜的情況, 其對于運動想象識別率的魯棒性較高. 在實際基于運動想象的腦機接口應(yīng)用中, 采用overlapped 方法能夠極大的降低對于數(shù)據(jù)集和模型的依賴性, 保證運動想象識別準(zhǔn)確率的穩(wěn)定性.

表4 Trial-wise、cropped 和overlapped (500, 100)方法在Dataset 2b 數(shù)據(jù)集上的識別準(zhǔn)確率比較(%)

在Dataset 2b 數(shù)據(jù)集上, 同樣將 α設(shè)置為500、600 或800, β設(shè)置為100、150 或200, 共產(chǎn)生9 組參數(shù)組合, 相比于cropped 策略, 9 組不同參數(shù)組合的overlapped 策略應(yīng)用于5 種不同模型的識別準(zhǔn)確率的提升百分比如圖11 所示.

圖11 在Dataset 2b 上9 組參數(shù)組合的overlapped 策略的識別準(zhǔn)確率提升百分比的比較

從圖11 可以看出, overlapped 訓(xùn)練策略在Shallow ConvNet、Deep ConvNet 和EEGNet 3 種模型的識別準(zhǔn)確率提升百分比較高. 隨著 β值的增加, 即重疊的時間部分減少, overlapped 策略的識別準(zhǔn)確率提升百分比也在降低. Shallow ConvNet、Deep ConvNet 和EEGNet 在 α =800 , β=100時, 識別準(zhǔn)確率提升百分比最大, 分別達到了7.101%、21.965%和9.335%. Hybrid ConvNet 在α =600 , β=200時, 識別準(zhǔn)確率提升百分比最大, 達到了1.423%. 對于EEGResNet, 9 種參數(shù)組合中, 僅有 α =800 , β=200時, overlapped 策略的識別準(zhǔn)確率才有提升.

綜合以上在3 個數(shù)據(jù)集上應(yīng)用3 種不同訓(xùn)練策略的實驗結(jié)果分析, 由于Dataset 1、2a 和2b 數(shù)據(jù)集中每個樣本的電極數(shù)分別為64、22 和3, 在使用相同的采樣率時, Dataset 2b 數(shù)據(jù)集的數(shù)據(jù)量要遠小于Dataset 1 和2a 的, 因此, 對于Dataset 1 和2a 數(shù)據(jù)集, 在遇到簡單模型(如Shallow ConvNet 模型)時, trial-wise 和overlapped 訓(xùn)練策略的識別性能相差不大, 當(dāng)遇到更復(fù)雜的模型時, overlapped 訓(xùn)練策略可提供的海量樣本量的優(yōu)勢得以體現(xiàn)出來. 對于Dataset 2b 數(shù)據(jù)集, 其數(shù)據(jù)量本身不大, 所以在簡單模型上應(yīng)用trial-wise 訓(xùn)練策略的效果更好, 對于復(fù)雜模型, 由于數(shù)據(jù)量的限制,overlapped 訓(xùn)練策略較cropped 訓(xùn)練策略的優(yōu)勢不大.

實際上, 由于大數(shù)據(jù)時代的到來, 遷移學(xué)習(xí)形成的海量樣本集, 促使我們使用更復(fù)雜的模型完成MI 的分類工作, 如Hybrid ConvNet 和EEGResNet, 此時采用overlapped 訓(xùn)練策略能夠保證較高的魯棒性, 并且避免trial-wise 訓(xùn)練策略帶來的過擬合問題.

4.5 時間復(fù)雜度對比

本文實驗還記錄了每個模型在應(yīng)用不同訓(xùn)練策略時每次迭代所花費的時間, 以探究overlapped 策略在獲得更好的分類性能的同時, 其時間復(fù)雜度與cropped策略的時間復(fù)雜度的對比情況.

以Dataset 2a 數(shù)據(jù)集的Subject 1 的數(shù)據(jù)為例, 5 種不同模型在應(yīng)用cropped 策略和應(yīng)用overlapped 的9 種參數(shù)組合(與第4.3 節(jié)中的參數(shù)組合相同)情況下,平均每輪訓(xùn)練迭代所花費的時間如表5 所示.

表5 Cropped 與overlapped 策略應(yīng)用于5 種模型的平均每輪訓(xùn)練迭代所花費的時間對比 (s)

5 結(jié)論與展望

本文提出了一種新型的重疊時間切片的訓(xùn)練策略以改進深度神經(jīng)網(wǎng)絡(luò)在運動想象EEG 信號模式識別中的性能.

首先, 本文設(shè)計了重疊時間切片的訓(xùn)練策略并設(shè)計了全新的損失函數(shù)和預(yù)測標(biāo)簽方法. 其次, 在Competition IV Dataset 1、2a 和2b 數(shù)據(jù)集上分別建立使用trial-wise、cropped 和overlapped 策略的5 種深度神經(jīng)網(wǎng)絡(luò)模型, 其實驗結(jié)果表明, overlapped 策略較cropped 策略擁有更好的識別性能. 對于使用的5 種模型, 在Dataset 1、2a 和2b 數(shù)據(jù)集上最高分類準(zhǔn)確率分別達到91.3%、77.3%和86.4%. 最后, 通過調(diào)整overlapped 策略的 α 和 β值, 設(shè)計了9 組不同的參數(shù)組合做分類性能和時間復(fù)雜度的對比實驗. 實驗表明, 不同的α 和 β參數(shù)組合會影響最終的分類性能, 且分類性能的好壞并不與時間復(fù)雜度的高低呈某種特定的線性關(guān)系,可根據(jù)不同數(shù)據(jù)集, 通過不斷調(diào)整 α 和 β來達到時間復(fù)雜度低且分類性能好的參數(shù)組合. 在實驗中, 對于使用overlapped 策略的5 種模型, 在Dataset 1、2a 和2b 數(shù)據(jù)集上最高分類準(zhǔn)確率分別達到了92.3%、77.8%和86.3%. 本文所做工作驗證了重疊時間切片策略在MIBCI 中EEG 信號模式識別任務(wù)中的有效性, 可為構(gòu)建MI-BCI 的應(yīng)用提供方法和思路上的參考.

今后的工作要通過優(yōu)化深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以提升訓(xùn)練效率, 并將重疊時間切片策略與其他優(yōu)化策略相結(jié)合, 如隨機選取重疊切片, 將不同組合的重疊切片輸入到網(wǎng)絡(luò)中進行訓(xùn)練, 進一步提升運動想象EEG 信號識別性能.