集成膠囊網(wǎng)絡(luò)的腦電情緒識別

諶 鈫，陳蘭嵐，江潤強(qiáng)

華東理工大學(xué) 化工過程先進(jìn)控制和優(yōu)化技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，上海 200237

情緒是心理與生理共同作用而使機(jī)體產(chǎn)生的主觀意識狀態(tài)，自Affective Computing首次闡述“情感計(jì)算”這一概念后[1]，情緒識別逐漸成為情感計(jì)算領(lǐng)域的重要研究方向。目前研究個(gè)體情緒識別的方式主要有以下兩種：一種是檢測人的情緒行為如語音識別[2]、面部表情識別[3]和姿態(tài)識別[4]，通過外在行為能較容易地識別個(gè)體的情緒狀態(tài)，但是外在行為可能存在偽裝欺騙性而導(dǎo)致情感識別不準(zhǔn)確；另一種是檢測生理信號如呼吸、皮膚電阻、體溫、心律和腦電信號（electroencephalogram，EEG）等，通過生理信號可以獲取人體特定情感喚醒水平的信息，從而識別情感狀態(tài)。研究發(fā)現(xiàn)中樞神經(jīng)系統(tǒng)各個(gè)皮層下的結(jié)構(gòu)對情緒產(chǎn)生的機(jī)制具有關(guān)鍵的作用，腦電信號作為中樞神經(jīng)生理信號，相比情緒行為更具有客觀準(zhǔn)確性和不可主觀操縱性，因此近年研究者開始更多地使用腦電信號進(jìn)行情緒識別。

目前，研究者應(yīng)用機(jī)器學(xué)習(xí)方法在腦電信號情緒識別領(lǐng)域已取得了較大的進(jìn)展。例如，文獻(xiàn)[5]基于相關(guān)向量機(jī)（RVM）稀疏特性設(shè)計(jì)了復(fù)合分類結(jié)構(gòu)（OAAOAO）對EEG進(jìn)行情緒分類，四分類平均精度達(dá)到83.91%；文獻(xiàn)[6]利用核密度估計(jì)（kernel density estimation，KDE）提取腦電信號特征，然后將輸入特征通過人工神經(jīng)網(wǎng)絡(luò)（ANN）分類器進(jìn)行分類，最終喚醒度（Arousal）和效價(jià)值（Valence）的二分類精度分別達(dá)到83.53%和82.68%；文獻(xiàn)[7]通過多元經(jīng)驗(yàn)?zāi)Ｊ剑╩ultivariate empirical mode decomposition，MEMD）進(jìn)行腦電信號特征提取，然后采用ANN和KNN分類器進(jìn)行情緒分類，基于效價(jià)和喚醒度的識別精度達(dá)到了77.55%、82.48%；文獻(xiàn)[8]首先采用ReliefF算法選取對情緒信息敏感的導(dǎo)聯(lián)，然后利用SVM對優(yōu)勢導(dǎo)聯(lián)的相應(yīng)特征進(jìn)行訓(xùn)練，最終四分類識別精度達(dá)到70.13%。

計(jì)算機(jī)性能的快速提升為深度學(xué)習(xí)能夠更深層次地挖掘數(shù)據(jù)信息奠定了硬件基礎(chǔ)。近年來，利用深度學(xué)習(xí)算法對腦電數(shù)據(jù)進(jìn)行情緒識別研究也逐漸成為熱點(diǎn)，如深度信念網(wǎng)絡(luò)（deep belief network，DBN）[9]、循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）[10]、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[11-12]、長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory，LSTM）[13]等多種深度神經(jīng)網(wǎng)絡(luò)均在腦電情緒領(lǐng)域取得較好的成果。如文獻(xiàn)[14]使用DBN對EEG信號的微分熵特征進(jìn)行訓(xùn)練，二分類情緒識別精度能夠達(dá)到86.08%；文獻(xiàn)[15]采用CNN對DEAP數(shù)據(jù)集的腦電信號提取特征并應(yīng)用softmax函數(shù)進(jìn)行分類，最終二分類識別精度分別達(dá)到75.58%和73.28%；文獻(xiàn)[16]通過CNN提取EEG和GSR的融合特征，采用softmax進(jìn)行分類預(yù)測，最終識別精度達(dá)到73.4%；文獻(xiàn)[17]應(yīng)用棧式自編碼神經(jīng)網(wǎng)絡(luò)（stacked auto-encoder neural network，SAE）和LSTM-RNN的復(fù)合算法對包含EEG的多模態(tài)特征進(jìn)行訓(xùn)練，最終識別精度達(dá)到79.26%。

目前大部分基于腦電信號的情緒研究未充分利用好導(dǎo)聯(lián)空間信息，一般僅保留了腦電導(dǎo)聯(lián)的維度信息，較少涉及到導(dǎo)聯(lián)空間位置的具體分布。針對這一問題，本文旨在將腦電導(dǎo)聯(lián)的空間分布和時(shí)頻域特性有效結(jié)合起來，獲取到對情緒影響更為敏感的特征。深度學(xué)習(xí)相較于淺層機(jī)器學(xué)習(xí)主要的特點(diǎn)在于前者能夠通過訓(xùn)練數(shù)據(jù)自動提取特征，替代了傳統(tǒng)依賴人工經(jīng)驗(yàn)的特征工程環(huán)節(jié)。目前CNN是深度學(xué)習(xí)應(yīng)用領(lǐng)域中的主流結(jié)構(gòu)之一，并在圖像識別領(lǐng)域上取得突出的成果，但由于CNN采用的池化層操作是以標(biāo)量的形式存儲特征，無法完整保留特征間的空間關(guān)系從而影響識別效果。相較于CNN，膠囊網(wǎng)絡(luò)（CapsNet）采用動態(tài)路由機(jī)制替代池化層結(jié)構(gòu)，在膠囊中以多維向量的形式保留實(shí)例化特征，能夠獲取腦電信號中不明顯的情緒特征，使數(shù)據(jù)特征能夠被完整保留，彌補(bǔ)了CNN在特征提取時(shí)忽略細(xì)微特征的缺陷。同時(shí)，膠囊網(wǎng)絡(luò)通過動態(tài)路由機(jī)制能夠自動更新膠囊間的連接權(quán)重，從而識別特征間關(guān)系的緊密程度以及挖掘腦電信號頻帶與導(dǎo)聯(lián)空間位置的組合式信息。在處理腦電空間信息中已有相關(guān)的研究成果，如文獻(xiàn)[18]提出了一種基于三維卷積網(wǎng)絡(luò)的腦電情緒識別，將電極的空間位置映射為一個(gè)二維矩陣，矩陣中的元素為熵特征，最終在效價(jià)和喚醒度上的平均準(zhǔn)確率為94.14%和94.44%；文獻(xiàn)[19]提出了一種基于肌電信號空間注意力機(jī)制的二維離散特征情緒識別，將空間注意力機(jī)制與膠囊網(wǎng)絡(luò)相結(jié)合，最終能達(dá)到84.77%的測試精度。本文提出了一個(gè)基于膠囊網(wǎng)絡(luò)的情緒識別模型，在此基礎(chǔ)上通過集成學(xué)習(xí)（ensemble learning，EL）的方法建立集成模型，并與其他分類算法進(jìn)行比較。

1 情感識別總體框架

本文采用的是包含腦電、眼電、肌電、皮膚電等多種生理信號的DEAP數(shù)據(jù)集，基于CapsNet構(gòu)建情緒識別模型，結(jié)構(gòu)設(shè)計(jì)如圖1所示。

圖1 基于腦電信號的情緒識別模型總體框圖Fig.1 Overall block diagram of EEG-based emotion recognition algorithm

首先對原始腦電信號進(jìn)行濾波和降采樣的預(yù)處理，并采用小波包變換（wavelet packet transform，WPT）對處理過的EEG進(jìn)行特征提取，然后將不同頻帶的腦電特征拼接構(gòu)成可供CapsNet模型訓(xùn)練的多頻帶特征矩陣，并基于不同的頻帶生成多個(gè)膠囊網(wǎng)絡(luò)模型，最后通過投票法（Voting）和加權(quán)平均法（Weighted average）兩種不同的集成學(xué)習(xí)策略構(gòu)建集成模型進(jìn)一步提升識別效果。

2 實(shí)驗(yàn)數(shù)據(jù)

2.1 DEAP數(shù)據(jù)集及預(yù)處理

DEAP-Dataset[20]是來自Queen Mary University of London所在的研究團(tuán)隊(duì)通過多個(gè)被試實(shí)驗(yàn)開發(fā)的多模態(tài)情緒數(shù)據(jù)集，包含有情緒維度數(shù)據(jù)和生理信號數(shù)據(jù)，情緒維度數(shù)據(jù)是被測試者根據(jù)Arousal、Valence和Dominance三個(gè)屬性對120個(gè)音樂視頻片段的在線評分，生理信號數(shù)據(jù)則是32個(gè)被測試者觀看40個(gè)1 min時(shí)長的音樂片段時(shí)所觸發(fā)40個(gè)導(dǎo)聯(lián)的信號，其中32個(gè)導(dǎo)聯(lián)記錄了512 Hz的腦電數(shù)據(jù)。每個(gè)被試采集數(shù)據(jù)的總時(shí)長為63 s，前3 s為baseline信號（未對被試者加任何刺激），后60 s為音頻時(shí)長，一般利用baseline信號進(jìn)行校正以降低個(gè)體差異性對情緒識別的影響，具體做法是保留60 s的情感誘發(fā)數(shù)據(jù)并依次減去baseline信號的相關(guān)特征值。原始數(shù)據(jù)的格式為40×32×8 064，40表示總共有40個(gè)音樂片段，32表示腦電信號所用的導(dǎo)聯(lián)數(shù)，每個(gè)視頻片段共采集到63×128=8 084個(gè)數(shù)據(jù)點(diǎn)，將原始數(shù)據(jù)拆分成誘發(fā)數(shù)據(jù)和基線數(shù)據(jù)，數(shù)據(jù)格式分別為40×32×7 680和40×32×384，然后將誘發(fā)數(shù)據(jù)的尺寸變換為2 400×32×128，單個(gè)被試的樣本總數(shù)為2 400。圖2為國際10-20系統(tǒng)，紅色圓圈代表該數(shù)據(jù)集中腦電數(shù)據(jù)所使用到的導(dǎo)聯(lián)。

圖2 國際10-20系統(tǒng)Fig.2 International 10-20 system

2.2 情緒劃分模型

DEAP數(shù)據(jù)集的情緒標(biāo)簽是基于被試者對音樂視頻分別從喚醒度（Arousal）、效價(jià)值（Valence）、支配度（Domaince）進(jìn)行1～9分的評價(jià)，其中Arousal表現(xiàn)為情緒狀態(tài)的強(qiáng)弱性，值越高表示情緒越強(qiáng)烈；情緒的正負(fù)性可以用Valence表示，值越高代表情緒越積極，值越低則表示情緒較為消極。因?yàn)閂-A維度構(gòu)成的二維情緒空間模型可以描述情緒的正負(fù)性和強(qiáng)弱性，基于這兩個(gè)維度生成情緒標(biāo)簽并分別研究二分類和四分類的情緒識別模型。二分類標(biāo)簽是分別對單個(gè)維度進(jìn)行情緒類別劃分，將設(shè)定為5的分值作為閾值[21]，劃分Low、High兩類，標(biāo)簽分別為LV（Low Valence）、HV（High Valence）和LA（Low Arousal）、HA（High Arousal），如表1所示為二分類的標(biāo)簽數(shù)量分布。四類情緒是由Valence和Arousal坐標(biāo)生成的四個(gè)象限構(gòu)成，采用K-means聚類方法將情緒維度數(shù)據(jù)分為LVLA、LVHA、HVLA、HVHA四種情緒標(biāo)簽，如圖3所示為通過K-means聚類方法生成的四種情緒分布，其中紅色實(shí)心圓點(diǎn)是每個(gè)類別中間值，也是各類別的質(zhì)心。

表1 二分類標(biāo)簽分布Table 1 Distribution of binary labels

圖3 K-means四分類情緒分布Fig.3 Four categories of emotion distribution K-means clustering

2.3 基于小波包變換的特征提取

特征提取是從腦電信號中獲取與情緒狀態(tài)相關(guān)信息的有效方式之一，本文采用小波包變換（WPT）將降采樣和過濾后的腦電信號分解成各個(gè)頻段，然后將相應(yīng)頻帶區(qū)段的小波系數(shù)能量值作為特征。腦電信號屬于非平穩(wěn)信號，WPT適用于非平穩(wěn)信號的分解并且能對低頻、高頻區(qū)段提取更深層的成分，得到更精細(xì)的時(shí)頻帶，在生成的小波包分解樹中能準(zhǔn)確地看到腦電信號分布在各個(gè)頻段的詳細(xì)信息。

首先對預(yù)處理后的腦電信號進(jìn)行4級WPT分解，生成16個(gè)小波包系數(shù)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)的帶寬是64/16=4 Hz，其中64 Hz為采樣頻率的1/2，然后采用各個(gè)節(jié)點(diǎn)的系數(shù)值根據(jù)式（1）計(jì)算出系數(shù)能量值作為輸入特征。

其中，pn(j,i)和E(j,i)分別是第j層第i個(gè)節(jié)點(diǎn)的第n個(gè)小波包系數(shù)值以及該節(jié)點(diǎn)的系數(shù)能量值。

圖4以2層的WPT為例展示了小波包分解樹的示意圖，其中L代表樹的深度，通過小波包分解的成分樹選取合適的節(jié)點(diǎn)作為輸入特征，表2示出了不同頻帶的腦電信號所對應(yīng)的樹節(jié)點(diǎn)，如Gamma波的頻帶范圍在32～48 Hz，對應(yīng)樹的節(jié)點(diǎn)為A22，表示L=2層的第三個(gè)節(jié)點(diǎn)。

圖4 小波包變換分解樹Fig.4 Tree of wavelet packet transform decomposition

表2 不同頻帶的小波包分解成分Table 2 Components of different frequency bands in WPT

2.4 多頻帶特征矩陣

腦電信號是由各個(gè)相應(yīng)導(dǎo)聯(lián)的電極所采集的電信號構(gòu)成，因此腦電情緒識別與導(dǎo)聯(lián)空間位置具有一定的相關(guān)性，將腦電信號所使用的32個(gè)導(dǎo)聯(lián)按照國際10-20系統(tǒng)的導(dǎo)聯(lián)分布位置映射在一個(gè)9×9的矩陣中，如圖5所示為導(dǎo)聯(lián)空間信息矩陣，其中每個(gè)元素的位置代表導(dǎo)聯(lián)相應(yīng)的位置，元素的值是從各個(gè)頻帶波抽取的特征值，0代表該導(dǎo)聯(lián)未被使用。鑒于腦電信號頻段對情緒狀態(tài)的影響性，將小波包提取的4個(gè)頻段的特征根據(jù)導(dǎo)聯(lián)分布的位置拼接構(gòu)成多頻帶特征矩陣（multiband feature matrix，MFM），如圖6所示，即由Theta、Alpha、Beta、Gamma四個(gè)不同頻帶的特征矩陣拼接成18×18的多頻帶特征矩陣，多頻帶矩陣融合了四個(gè)關(guān)鍵頻帶，不僅包含了各個(gè)頻帶的時(shí)頻信息而且蘊(yùn)含了導(dǎo)聯(lián)空間信息。

圖5 9×9導(dǎo)聯(lián)空間信息矩陣Fig.5 9×9 matrix of channel spatial information

圖6 多頻帶特征矩陣Fig.6 Multiband feature matrix

3 集成膠囊網(wǎng)絡(luò)的情緒識別模型

3.1 膠囊網(wǎng)絡(luò)的架構(gòu)

CapsNet是一種與CNN結(jié)構(gòu)相似的新型深度學(xué)習(xí)模型。CNN主要由卷積層和池化層構(gòu)成，卷積層是根據(jù)局部關(guān)聯(lián)和空間信息的參數(shù)共享提取局部特征，池化層的作用是有對特征進(jìn)行有效的壓縮，簡化計(jì)算復(fù)雜度，但池化層也會丟失大量有價(jià)值的空間信息。膠囊網(wǎng)絡(luò)的主要特點(diǎn)是使用膠囊（多個(gè)神經(jīng)元組成一個(gè)基本模塊）代替了神經(jīng)元，膠囊的矢量性能將細(xì)微的特征信息完整保存，并且輸入和輸出是具有等變性（輸入細(xì)微的變化會導(dǎo)致輸出也發(fā)生改變）。在保證特征完整性以及處理空間信息等方面比CNN更具優(yōu)勢，同時(shí)由于膠囊具有出色的空間特征提取能力，不僅可以對位姿變化（如平移、旋轉(zhuǎn)、縮放）后的同一對象正確識別，還能從不同角度（如顏色、大小）識別同一物體，因此CapsNet在小規(guī)模數(shù)據(jù)集上也能夠充分挖掘數(shù)據(jù)的特征信息。

CapsNet是由多個(gè)基本單元構(gòu)成，本文采用的網(wǎng)絡(luò)架構(gòu)總共分為3層，第一層是卷積層，第二層是主膠囊層（Primary Caps），第三層為情緒膠囊層（Emotion Caps），如圖7所示為本文的膠囊網(wǎng)絡(luò)模型，表3為各膠囊網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)，由于單頻帶輸入數(shù)據(jù)的格式是9×9，在參數(shù)選擇上與多頻帶略有區(qū)別。

圖7 膠囊網(wǎng)絡(luò)模型結(jié)構(gòu)圖Fig.7 Diagram of CapsNet’s structure

表3 設(shè)計(jì)的CapsNet結(jié)構(gòu)參數(shù)Table 3 Designed structural parameters of each CapsNet

卷積層能夠多層次提取數(shù)據(jù)的基本特征，為主膠囊層提供局部感知信息。首先從18×18的特征矩陣進(jìn)行第一次卷積操作，采用了32個(gè)步長為1的3×3的filter，得到一個(gè)16×16×32的輸出，這一步主要作用是對輸入數(shù)據(jù)進(jìn)行局部特征檢測以及抽取腦電信息的低級特征，且采用ReLU函數(shù)對結(jié)果進(jìn)行非線性映射以加快模型訓(xùn)練速度。

主膠囊層作為CapsNet的準(zhǔn)備層，不僅接收了卷積層提取到的所有基本特征，同時(shí)存儲了腦電數(shù)據(jù)不同形態(tài)的空間特征，并將獲取的特征屬性調(diào)整成適用于情緒膠囊層的輸入。該層采用了256個(gè)步長為2的3×3×32的filter，得到了一個(gè)7×7×256的輸出，將其表示為向量形式，則主膠囊層的格式轉(zhuǎn)換為7×7×8×32，表示有7×7×32=1 568個(gè)膠囊，每個(gè)膠囊是一個(gè)深度為8的向量存儲了空間形態(tài)特征。

情緒膠囊層存儲高級特征的向量，首先將接收到的低層膠囊特征轉(zhuǎn)換為1 568×4×8×1的張量（Tensor）作為該層輸入，然后將輸入與1 568×4×16×8權(quán)重矩陣相乘得到屬性長度為16的輸出膠囊，特征維度的擴(kuò)展能夠保留更豐富的情緒信息，擴(kuò)維后格式為1 568×4×16×1。其次將各擴(kuò)維后的情緒膠囊乘以權(quán)值后相加得到總輸入格式為16×4，最后通過softmax函數(shù)輸出分類結(jié)果。

3.2 囊間動態(tài)路由算法

動態(tài)路由算法是膠囊網(wǎng)絡(luò)的重要機(jī)制，其作用是確定低層膠囊向高層膠囊傳播的方向。如圖8所示為膠囊間的信息傳遞與路由過程，從卷積層獲取的低層特征通過動態(tài)迭代、權(quán)值更新、反向傳播等步驟后，在主膠囊層獲取高層輸出向量v j。

圖8 膠囊間的信息傳遞與路由過程Fig.8 Information transfer between capsules and routing process

將低層膠囊的特征屬性（如長度和方向）封裝成一個(gè)預(yù)測向量u^j|i，該向量是由第i個(gè)卷積層的輸出向量u i與權(quán)重矩陣Wij相乘得到，將各個(gè)預(yù)測向量u^j|i乘以相應(yīng)權(quán)重cij后累加構(gòu)成高層膠囊的輸入s j，而低層預(yù)測向量向高層膠囊的傳送方向則是由權(quán)重c調(diào)整確定，其數(shù)值通過動態(tài)路由算法迭代更新，式（2）和式（3）分別是計(jì)算預(yù)測向量和高層輸入的公式：

其中，cij表示每一個(gè)低層膠囊與其相對應(yīng)的高層膠囊之間的權(quán)重，為非負(fù)標(biāo)量，且高層膠囊輸入對應(yīng)的各個(gè)權(quán)重cij之和為1。權(quán)重cij由動態(tài)路由算法中的式（4）所示：

bij是一個(gè)臨時(shí)變量，設(shè)定的初始值為0，在前向傳播求s j的過程中，將W ij設(shè)計(jì)成隨機(jī)值，通過bij初始化值可以求得cij，進(jìn)而求得下一層膠囊網(wǎng)絡(luò)的輸入向量，最后通過壓縮函數(shù)生成新的輸出向量v j。

3.3 squash函數(shù)

膠囊網(wǎng)絡(luò)為了表征當(dāng)前高層輸入的概率，采用向量形式的新型非線性激活函數(shù)對接收到的膠囊進(jìn)行壓縮處理，與歸一化處理類似，將高層膠囊接收到的輸入向量進(jìn)行一定比例的縮放，其壓縮后的長度約為1，向量中的每個(gè)元素表征某個(gè)特定屬性的概率，其公式如下：

式中，s j為第j個(gè)膠囊的總輸入，v j為第j個(gè)高層膠囊經(jīng)過squash壓縮后的總輸出。

3.4 膠囊損失評估

本文采用交叉熵?fù)p失函數(shù)，主要原因有兩個(gè)，其一是交叉熵能穩(wěn)定地將各個(gè)情感類別所對應(yīng)的梯度進(jìn)行回傳，有效解決了在進(jìn)行誤差傳播時(shí)梯度消失的問題；其二，交叉熵?fù)p失函數(shù)能夠有效擴(kuò)大類間差距，從而提升模型的分類能力，并且加入了L2正則化項(xiàng)以降低過擬合的程度，式（7）為本文膠囊網(wǎng)絡(luò)所采用的損失函數(shù)：

式中，yi為真實(shí)值，y^i為通過膠囊網(wǎng)絡(luò)模型得到的預(yù)測值，等號右側(cè)第一項(xiàng)為損失項(xiàng)，第二項(xiàng)‖RF‖2為L2正則化項(xiàng)。

3.5 多頻帶腦電信號的集成模型

集成學(xué)習(xí)（Ensemble learning）是利用現(xiàn)有的基分類器進(jìn)行組合以得到更全面的分類模型，能夠使分類結(jié)果更加穩(wěn)定。考慮到腦電頻帶區(qū)段的不同會對情緒分類結(jié)果有較顯著的影響，本文以不同的腦電頻帶作為情感識別集成模型的基準(zhǔn)，將Theta、Alpha、Beta、Gamma波以及多頻帶特征矩陣（MFM）作為訓(xùn)練數(shù)據(jù)通過CapsNet分別生成5個(gè)膠囊網(wǎng)絡(luò)模型，然后分別采用投票策略（Voting）、加權(quán)平均策略（Weighted averaging）這兩種集成學(xué)習(xí)方法得到最終的測試結(jié)果，集成模型的整體結(jié)構(gòu)如圖9所示，隨機(jī)抽取每個(gè)被試者樣本總數(shù)中的80%作訓(xùn)練集，剩余20%為測試集，超參數(shù)通過驗(yàn)證集設(shè)定，隨機(jī)抽取訓(xùn)練集中的10%作為驗(yàn)證集。

圖9 集成膠囊網(wǎng)絡(luò)的結(jié)構(gòu)Fig.9 Framework of ensemble model

投票法。統(tǒng)計(jì)各基分類器分類結(jié)果，并將票數(shù)最多的某一類別作為最終的預(yù)測值。

加權(quán)平均法。將各個(gè)基分類器的輸出結(jié)果進(jìn)行加權(quán)求和，最終的輸出Y(x)可通過式（8）計(jì)算得到：

權(quán)重λi為：

式中，ki值代表各個(gè)基分類器按照在驗(yàn)證集上的分類精度所得的排序順序，如i=5,表示該基分類器的分類精度最高；i=1,則精度最低。

4 實(shí)驗(yàn)及結(jié)果分析

CapsNet模型在Tensorflow框架下通過Python實(shí)現(xiàn)。實(shí)驗(yàn)環(huán)境為Inter?CoreTMI5-7400HQ CPU@2.50 GHz，12 GB內(nèi)存，NVIDIA GeForce GTX940M顯卡，64位Windows10系統(tǒng)。設(shè)定每個(gè)CapsNet模型最大迭代次數(shù)均為800，為了避免訓(xùn)練時(shí)間過長，當(dāng)損失函數(shù)連續(xù)10次迭代都沒有發(fā)生優(yōu)化時(shí)停止訓(xùn)練。

4.1 情感識別結(jié)果

首先各被試按照設(shè)定的規(guī)則劃分?jǐn)?shù)據(jù)，通過本文提出的方法分別進(jìn)行二分類和四分類的測試，被試1的測試結(jié)果如圖10所示。可以看出不同頻帶的信號對情緒狀態(tài)的敏感度不同，例如Gamma波的識別精度達(dá)到85.63%，而Theta波的識別精度僅有69.38%，被試1在基于CapsNet訓(xùn)練多頻帶矩陣時(shí)，得到識別精度為91.25%，說明融合了頻帶信息和導(dǎo)聯(lián)空間信息的特征能夠提升情緒識別的精度，驗(yàn)證了文獻(xiàn)加入空間信息能夠提高識別精度的結(jié)論[18]。采用投票法和加權(quán)平均策略的識別精度分別能達(dá)到92.25%和93.13%，加入集成學(xué)習(xí)對基于多頻帶膠囊網(wǎng)絡(luò)的識別精度有進(jìn)一步的提升。

圖10 各模型的分類混淆矩陣（被試1）Fig.10 Confusion matrix of different classifiers for Subject No.1

表4是16個(gè)被試二分類和四分類測試精度的平均值，從該表可以得出，Gamma波相對其他三種波識別精度更高，印證了文獻(xiàn)中提到的高頻波比低頻段對情緒反應(yīng)更加明顯[22]，并且在四分類情緒識別中高頻段對情緒的作用更加明顯，如基于Gamma波的四分類識別精度可達(dá)86.24%。使用MFM進(jìn)行情緒分類時(shí)，相比單個(gè)頻帶的識別精度有較明顯的提升，其中使用MFM進(jìn)行Arousal二分類的測試精度相比Gamma波的二分類測試精度提升了8.08個(gè)百分點(diǎn)。此外使用兩種集成學(xué)習(xí)策略均能進(jìn)一步提升識別精度。

表4 二分類和四分類的平均精度Table 4 Average accuracy of two and four classifications %

4.2 不同算法的對比

選用一種較常用的非深度學(xué)習(xí)分類器SVM和一種深度學(xué)習(xí)分類器2D-CNN與本文方法分別進(jìn)行二分類和四分類的對比實(shí)驗(yàn)。設(shè)定懲罰因子C=2，核函數(shù)選用線性核，SVM在驗(yàn)證集的分類精度較高；CNN參數(shù)選用兩個(gè)3×3的卷積核，最大池化層尺寸為2×2，并采用隨機(jī)梯度下降法（Stochastic Gradient Descent）進(jìn)行優(yōu)化，最后Softmax輸出分類結(jié)果。圖11～13分別為各個(gè)分類器在Arousal、Valence、A-V的個(gè)體測試精度。

圖11、12所示，對于二分類的情緒識別，無論是基于Arousal還是Valence，使用CapsNet對多頻帶特征矩陣進(jìn)行分類測試，識別效果更好且結(jié)果更加穩(wěn)定。四分類的測試精度如圖13所示，SVM分類的效果并不理想，2D-CNN測試結(jié)果較為平穩(wěn)但精度相較二分類略有下降，同時(shí)也能驗(yàn)證CapsNet相比CNN在處理具有導(dǎo)聯(lián)空間位置信息的腦電信號上更有優(yōu)勢。

圖11 Arousal二分類結(jié)果對比Fig.11 ComparisonofArousaltwoclassificationresults

圖13 A-V四分類的結(jié)果對比Fig.13 ComparisonofA-Vfourclassificationresults

圖12 Valence二分類結(jié)果對比Fig.12 ComparisonofValencetwoclassificationresults

因?yàn)槟z囊網(wǎng)絡(luò)結(jié)構(gòu)比CNN和SVM復(fù)雜，網(wǎng)絡(luò)參數(shù)也多，整體計(jì)算時(shí)間會有所提升。如表5所示膠囊網(wǎng)絡(luò)與其他模型的運(yùn)算成本，包括模型訓(xùn)練所需時(shí)間、測試運(yùn)行所需時(shí)間以及相應(yīng)精度，其中每種模型的輸入均有單頻帶和多頻帶兩種情況，單頻帶以Gamma為例。從表中可以看出，SVM計(jì)算時(shí)間成本最少但獲取的精度也最低；膠囊網(wǎng)絡(luò)模型相比CNN需要更長的訓(xùn)練時(shí)間，但是同等條件下精度有較為明顯的提升，且測試所需的時(shí)間與CNN相比增幅不大；集成膠囊網(wǎng)絡(luò)模型精度最高，但時(shí)間成本最高，在特別注重識別精度的條件下可以采用這種模型。

表5 各模型運(yùn)算時(shí)間對比Table5 Comparisonoftrainingandtestingtimeofeachmodel

4.3 同類研究的對比

將本文方法與同類研究進(jìn)行比較，二分類和四分類的對比情況如表6所示。文獻(xiàn)[23]中將近似熵、樣本熵、排列熵進(jìn)行組合作為特征，利用KNN進(jìn)行分類，分類精度達(dá)到77.8%；文獻(xiàn)[24]中利用了卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的方式對DEAP數(shù)據(jù)進(jìn)行了情緒分類，整體識別率為73.09%；文獻(xiàn)[25]通過自編碼機(jī)制，編碼階段將腦電數(shù)據(jù)與眼電數(shù)據(jù)分開建模，解碼階段再組合到一起，最后使用SVM作為分類器，最終二分類測試精度達(dá)到82.25%；文獻(xiàn)[26]采用新型動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（dynamicalgraphconvolutionalneuralnetworks，DGCNN）對腦電信號進(jìn)行分類，平均分類精度達(dá)到90.04%。

表6 同類研究對比Table6 Comparisonofsimilarstudies

文獻(xiàn)[27]提出了一種針對腦電信號在HRI領(lǐng)域中使用的實(shí)時(shí)情緒估計(jì)方法獲取與內(nèi)在EEG模式相關(guān)的有意義的特征，使用高斯過程分類器最終分類的識別精度為91.20%；文獻(xiàn)[28]基于多通道腦電信號的頻帶和空間特性，采用連續(xù)小波變換生成時(shí)頻域波譜，最后通過GoogleNet模型訓(xùn)練得到83.59%的識別精度；文獻(xiàn)[29]首先應(yīng)用WPT將腦電信號分解成一組窄帶時(shí)域序列，然后采用希爾伯特-黃變換（HHT）得到窄帶序列的Hilbert能量譜，求出平均瞬時(shí)能量作為最終特征，最后利用CNN、RNN、SVM復(fù)合模型進(jìn)行情緒分類，四分類平均識別精度達(dá)到86.22%。

5 總結(jié)與展望

本文提出了一種基于多頻帶集成的膠囊網(wǎng)絡(luò)情緒識別模型。該算法融合了腦電的多頻帶信息和導(dǎo)聯(lián)空間位置信息，能夠充分挖掘腦電的時(shí)空信息，克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)因最大池化導(dǎo)致局部信息缺失的問題，然后借助集成學(xué)習(xí)的優(yōu)勢，通過多頻帶特征矩陣生成5個(gè)不同膠囊網(wǎng)絡(luò)模型的基分類器加以集成，最后二分類平均測試精度可達(dá)95.11%，四分類平均測試精度92.43%，并且對比了一些同類研究結(jié)果，實(shí)驗(yàn)結(jié)果表明本文方法在情緒識別的計(jì)算精度上有比較好的結(jié)果。本文所設(shè)計(jì)的集成膠囊網(wǎng)絡(luò)模型結(jié)構(gòu)相對復(fù)雜，參數(shù)較多而導(dǎo)致運(yùn)算成本偏大，下一步工作是研究利用注意力機(jī)制優(yōu)化導(dǎo)聯(lián)，并采用模型遷移的方式降低參數(shù)的訓(xùn)練量以提高學(xué)習(xí)效率。