基于卷積神經(jīng)網(wǎng)絡(luò)的腦電信號分類

李玉花, 柳 倩, 韋 新, 程永強(qiáng)*, 李海芳

(1.太原理工大學(xué)信息與計算機(jī)學(xué)院，太原 030600；2.西安交通大學(xué)社會心理學(xué)研究所，西安 710000)

腦電信號(EEG)是生物電信號中的一種，蘊(yùn)含著豐富的生理和心理信息，腦電活動與腦區(qū)域、腦狀態(tài)有著密切的聯(lián)系。通過記錄腦電信號，可以檢測大腦活動[1]，也是了解人腦信息處理過程的重要手段之一。對腦電信號進(jìn)行深入的分析處理可以為生物醫(yī)學(xué)、臨床疾病診斷提供重要依據(jù)[2]。腦電信號的研究應(yīng)用主要集中在以下幾方面：腦機(jī)接口、情緒情感識別、心理生理疾病的診斷與預(yù)測[3]以及大腦活動的檢測與區(qū)分[4]。在對腦電信號的分析處理中，腦電信號的分類是其中最關(guān)鍵的技術(shù)。近年來，腦電信號分類的方法主要有：S變換[5]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(CNN)[6]，快速獨(dú)立分量分析(fast independent component analysis，F(xiàn)ast ICA)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)，功率譜熵、樣本熵和Hurst指數(shù)等非線性特征提取結(jié)合相關(guān)向量機(jī)(relevence vector machine, RVM)[7]，基于稀疏回歸和加權(quán)樸素貝葉斯分類器的方法[8]，共空間模式(common space model,CSP)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)[9]，基于固有模態(tài)分解算法(empirical mode decomposition,EMD)與CNN的方法[10]，在純?nèi)斯ど窠?jīng)網(wǎng)絡(luò)方面多數(shù)為CNN[11-12]，還有一部分為循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)及RNN的升級版長短時記憶網(wǎng)絡(luò)[13](long short-term memory，LSTM)。目前腦電信號分類模型中，分類效果最好的是CNN。在癲癇自動檢測的腦電信號分類中平均準(zhǔn)確率達(dá)到了88.67%[14]，在想象左右手運(yùn)動腦電信號分類中準(zhǔn)確率達(dá)到了93.12%[12]，效果均優(yōu)于傳統(tǒng)腦電分類方法。

但是現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)腦電信號分類模型還是以其他特征為依托，需要對預(yù)處理后的信號再處理得到一定的特征后再輸入CNN進(jìn)行分類，分類效率低。本文針對以上問題，提出了一種多尺度卷積核CNN腦電分類模型。首先，通過在輸入數(shù)據(jù)前添加系數(shù)矩陣，代替?zhèn)鹘y(tǒng)手工提特征的步驟，其次，設(shè)置不同參數(shù)的多尺度卷積核CNN確定網(wǎng)絡(luò)模型，最后使用高原腦電數(shù)據(jù)集做分類實(shí)驗(yàn)檢測模型的分類效果，驗(yàn)證該模型的可行性。

1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

1.1 腦電數(shù)據(jù)

圖1 電極安放空間示意圖Fig.1 Electrode placement space

實(shí)驗(yàn)數(shù)據(jù)采集對象為來自四個不同海拔地區(qū)的80名志愿者，四個地區(qū)分別為渭南(海拔400 m)、林芝(海拔3 100 m)、拉薩(海拔3 600 m)和那曲(海拔4 500 m)。實(shí)驗(yàn)使用NeuroScan公司的32導(dǎo)電極帽進(jìn)行數(shù)據(jù)采集，按照國際10%～20%電極安放法放置，即：以鼻根到枕外隆凸尖的前后連線作為矢狀線，以雙耳前凹之間的左右連線為冠狀線，兩條線的焦點(diǎn)在頭頂Cz電極處，左側(cè)為奇數(shù)電極，右側(cè)為偶數(shù)電極，電極分別為前額葉(FP1、FP2)，額葉(F3、F4、F7、F8)，前顳葉(FT7、FT8)，前額中部(FC3、FC4、FCZ)，顳葉(T3-T6)，頂葉(P3、P4)，中央(C3、C4)，枕葉(O1、O2、OZ)，頂顳葉(TP7、TP8)中枕葉(CP3、CP4、CPZ)，加上前后位上的額中點(diǎn)(Fz)、頂點(diǎn)(Pz)以及兩個耳電極(A1、A2)共32個電極，電極之間間隔按矢狀線的10%～20%的比例確定。空間示意圖如圖1所示。采集圖1中的32個電極處的腦電信號。采樣頻率為1 000 Hz,阻抗低于5 kΩ，參考電極物理連接在左、右側(cè)乳突[15]。采集數(shù)據(jù)時，被試在安靜的室內(nèi)閉眼靜坐，限制頭部運(yùn)動，避免吞咽以及眼睛閃爍。

1.2 數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)離線處理時以所有電極的平均電位作為參考，使用BP 2.0平臺上的Ocular Correction 功能去除眼電干擾，使用Raw Data Inspection 功能去偽跡，其中涉及的參數(shù)選擇包括：電壓梯度值最大為50 μV/ms，時間間隔內(nèi)電壓變化絕對值最大設(shè)置為200 ms 內(nèi)，至多變化200 μV，電壓變化的最低活躍度設(shè)置為100 ms 內(nèi)，至少變化0.5 μV[15]。

采集到的數(shù)據(jù)有：渭南、林芝、拉薩和那曲各60、30、16、38個樣本，每個海拔的樣本為時間長度不等的45～70 s的腦電數(shù)據(jù)段，每段有4.5×104～7×104個采樣點(diǎn)。使用的網(wǎng)絡(luò)分類模型為CNN，為了適應(yīng)CNN的輸入，需要將預(yù)處理后的腦電數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換，即將EEG數(shù)據(jù)轉(zhuǎn)換成MATLAB格式的二維數(shù)字矩陣，最后將轉(zhuǎn)換后的數(shù)據(jù)按采樣點(diǎn)切分成32×81大小的圖片，最終得到的數(shù)據(jù)量為渭南4.2×104、那曲2.7×104、林芝2.1×104、拉薩 1.1×104個，待后續(xù)輸入網(wǎng)絡(luò)使用。

2 卷積神經(jīng)網(wǎng)絡(luò)

2.1 經(jīng)典CNN

經(jīng)典CNN模型一般結(jié)構(gòu)為輸入層、交替疊加的卷積層和池化層、全連接層和分類器。CNN通過卷積層從輸入數(shù)據(jù)中提取局部特征，通過池化層將提取到的特征降維簡化，最后利用全連接層與分類器輸出分類結(jié)果。經(jīng)典CNN通過前向傳播輸出卷積層中可學(xué)習(xí)卷積核與本層輸入的卷積，作為下一層的輸入，通過誤差的反向傳播修正各層的網(wǎng)絡(luò)權(quán)值和偏置。其前向傳播公式為

(1)

2.2 多尺度卷積核CNN

2.2.1 CNN卷積層改進(jìn)

經(jīng)典CNN在每一個卷積層中使用單一尺寸的卷積核，卷積核尺寸的大小直接影響著網(wǎng)絡(luò)性能的好壞，感受野太大超出卷積核可以表達(dá)的范圍，感受野太小，卷積核無法提取到有效的局部特征[17]。因此經(jīng)典CNN依靠多層卷積池化提取不同的基層特征提高分類準(zhǔn)確率，但是網(wǎng)絡(luò)層數(shù)的增加會使網(wǎng)絡(luò)參數(shù)成倍增長，不利于網(wǎng)絡(luò)的快速收斂，嚴(yán)重影響網(wǎng)絡(luò)性能。

針對以上問題，對經(jīng)典CNN的卷積層進(jìn)行改進(jìn)，即在CNN的卷積層上增加不同尺度的卷積核，以拓展卷積層提取特征的視野維度，減少網(wǎng)絡(luò)層數(shù)，降低網(wǎng)絡(luò)的復(fù)雜度，極大減少了需要訓(xùn)練的權(quán)值參數(shù)，適用于樣本量小的數(shù)據(jù)集。改進(jìn)前后CNN卷積層對比如圖2所示。

圖2 改進(jìn)前后卷積層結(jié)構(gòu)對比Fig.2 Comparison of convolutional layer structure before and after improvement

2.2.2 多尺度卷積核CNN網(wǎng)絡(luò)模型結(jié)構(gòu)

由于經(jīng)過預(yù)處理和格式轉(zhuǎn)換的腦電數(shù)據(jù)為二維的數(shù)字矩陣，不像圖像數(shù)據(jù)那樣有豐富的信息，只能從時間維度和空間通道維度提取一些特征來識別，而深度卷積神經(jīng)網(wǎng)絡(luò)的最佳對象為圖片、影視圖像等，對于腦電之類的時間序列，隱含層的增加在特征提取上意義不大，不僅不會使分類準(zhǔn)確率提升，還會導(dǎo)致需要訓(xùn)練的權(quán)值參數(shù)激增，而數(shù)據(jù)量的不足會使參數(shù)訓(xùn)練不充分，導(dǎo)致分類效果變差。因此針對所使用數(shù)據(jù)的特性，對CNN改進(jìn)后，提出了多尺度卷積核卷積神經(jīng)網(wǎng)絡(luò)腦電分類模型。

該網(wǎng)絡(luò)模型一共包含5層，第一層為輸入層，輸入數(shù)據(jù)為32×81大小的圖片；第二層為卷積層，包含三種尺度的卷積核；第三層為池化層；第四層為全連接層，將池化后的數(shù)據(jù)鋪平，為最后的分類做準(zhǔn)備；第五層為輸出層，由Softmax分類器輸出，可以實(shí)現(xiàn)多分類。輸入采用N×T的形式，其中N=32表示通道數(shù)，T=81表示采樣點(diǎn)數(shù)，因此輸入矩陣為32×81。腦電分類模型的總體結(jié)構(gòu)如圖3所示。多尺度卷積核CNN模型的前向傳播與經(jīng)典CNN相同，如式(1)所示，損失函數(shù)如式(2)所示：

(2)

(3)

式(3)中:k表示類別數(shù);zj表示第j個類別的線性預(yù)測概率;zk為k個類別的線性預(yù)測概率之和;fj(z)為每一類的歸一化預(yù)測結(jié)果。

2.2.3 輸入數(shù)據(jù)特征粗提取

傳統(tǒng)CNN腦電分類模型中特征提取與信號分類是分離的，需要進(jìn)行專門的特征提取，如文獻(xiàn)[9]使用CSP算法提取數(shù)據(jù)特征作為CNN的輸入，文獻(xiàn)[10]使用EMD算法得到特征，還有一些使用的是差分熵(differential entropy,DE)[18]計算結(jié)果作為特征，這些都是在預(yù)處理后，根據(jù)數(shù)據(jù)特性計算某些參數(shù)指標(biāo)作為下一階段分類的輸入。

而通過在輸入數(shù)據(jù)前添加32×1的W系數(shù)矩陣(32對應(yīng)輸入數(shù)據(jù)的通道數(shù)N)達(dá)到對數(shù)據(jù)特征的初步提取，省去了繁瑣的參數(shù)計算，同時W系數(shù)矩陣中的數(shù)值不需要人為設(shè)定，只需要給定一組初始的隨機(jī)值，后續(xù)會隨著網(wǎng)絡(luò)的迭代自動更新。

圖3 多尺度卷積核CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Multi-scale convolution kernel CNN network structure

3 實(shí)驗(yàn)與結(jié)果分析

3.1 網(wǎng)絡(luò)模型參數(shù)選擇

為了找到一組最佳的網(wǎng)絡(luò)模型參數(shù)，選取渭南和那曲兩個數(shù)據(jù)集分別做單尺度和多尺度的二分類對比實(shí)驗(yàn)。卷積核尺寸大小為3～32，激活函數(shù)使用ReLu函數(shù)，學(xué)習(xí)率設(shè)置為0.001，步長設(shè)置為1，padding層為設(shè)置為0，池化層采用空間金字塔池化法[19]，每個batch處理128個腦電數(shù)字矩陣，訓(xùn)練次數(shù)為50個epoch。

首先驗(yàn)證多尺度卷積核CNN的有效性。分別設(shè)置卷積層為單一尺度卷積核[6]、[12]、[25]，設(shè)置多尺度卷積核尺寸為[6,12,25]，即卷積層循環(huán)使用尺寸為[6]、[12]、[25]三種大小的卷積核，網(wǎng)絡(luò)的其他參數(shù)設(shè)置不變。圖4為50個epoch中測試集上單尺度與多尺度的實(shí)驗(yàn)結(jié)果圖。圖4中四條曲線準(zhǔn)確率從高到低依次為多尺度[6,12,25],單尺度[25]、[12]和[6]。單尺度上準(zhǔn)確率隨著卷積核尺寸的增加而增加，但提高的幅度不是很大，而多尺度的分類準(zhǔn)確率明顯高于其他三個單尺度，分類準(zhǔn)確率比單尺度分類最好的高約8%，這是由于多尺度卷積核尺寸組合由小到大，可以從不同的感受野提取信號的特征，提取的信息特征更細(xì)致，所以效果更好。

圖4 單尺度與多尺度準(zhǔn)確率對比Fig.4 Single-scale and multi-scale accuracy comparison

其次尋找一組最佳的多尺度卷積核組。選取3個尺寸均比較小卷積核組成多尺度[3,6,9]，3個尺寸均中等大小的組成多尺度[10,12,15]，3個尺寸均較大的組成[16,20,25]三種多尺度CNN模型與由尺寸相對較小、中等和較大的卷積核組成的[6,12,25]多尺度CNN模型在其他參數(shù)設(shè)置不變的情況下做對比。圖5為多尺度與多尺度準(zhǔn)確率對比結(jié)果。圖5中分類準(zhǔn)確率最高的紫色線條為尺度組合為[6,12,25]的多尺度CNN模型，雖然尺寸較大的組合[16,20,25]分類準(zhǔn)確率也較高，但是與[6,12,25]這一組還有約3%的差距。這是由于[6,12,25]這組卷積核尺寸差異較大，可以更全面地提取到數(shù)據(jù)的特征，而其他三組卷積核尺寸差異較小，提取到的特征相對單一，準(zhǔn)確率較低。

圖5 多尺度與多尺度準(zhǔn)確率對比Fig.5 Multi-scale and multi-scale accuracy comparison

根據(jù)以上兩組對比，確定網(wǎng)絡(luò)模型中卷積核的尺寸組合為[6,12,25]，網(wǎng)絡(luò)模型的參數(shù)選擇如表1所示。

表1 網(wǎng)絡(luò)模型參數(shù)Table 1 Network model parameter

3.2 高原腦電分類實(shí)驗(yàn)

確定好參數(shù)后，用選定參數(shù)的腦電模型對不同海拔腦電數(shù)據(jù)做二分類、三分類和四分類實(shí)驗(yàn)，分類的準(zhǔn)確率在訓(xùn)練集和測試集上的結(jié)果以及損失值分別如圖6所示。

圖6 二、三、四分類準(zhǔn)確率與損失值結(jié)果Fig.6 Each classification accuracy and loss value results

由圖6可知，二分類在訓(xùn)練集上最高可以達(dá)到98.43%，測試集上可以達(dá)到93.59%；三分類任務(wù)中訓(xùn)練集最高為92.87%，測試集上為90.17%；四分類任務(wù)中訓(xùn)練集準(zhǔn)確率最高為91.40%，測試集為81.15%。二分類和三分類任務(wù)中，訓(xùn)練集和測試集分類準(zhǔn)確率相差不大，而在四分類任務(wù)中訓(xùn)練集準(zhǔn)確率可以達(dá)到91%，而在測試集上只有81%，是因?yàn)槎诸悺⑷诸惾蝿?wù)中使用的數(shù)據(jù)集為渭南、那曲和林芝，其數(shù)據(jù)量較多，而拉薩的數(shù)據(jù)量較少，和其他三個海拔的數(shù)據(jù)量相差明顯，所以在四分類時導(dǎo)致測試集上效果不理想。

4 結(jié)論

以CNN網(wǎng)絡(luò)為原型，通過改造CNN的卷積層優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，并在輸入數(shù)據(jù)前加系數(shù)矩陣，通過不同海拔腦電數(shù)據(jù)的多分類實(shí)驗(yàn)驗(yàn)證了所提出的腦電分類模型的優(yōu)越性。在高原腦電二分類的對比中多卷積核卷積神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確率提高了約8個百分點(diǎn)，在三分類和四分類的實(shí)驗(yàn)中準(zhǔn)確率達(dá)到了92.87%和81.15%。所以提出的腦電分類模型有一定的參考價值。