基于SDAE與RELM的EEG情感識(shí)別方法

連衛(wèi)芳，晁 浩，劉永利

（河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南焦作 454000）

0 概述

情感是機(jī)體內(nèi)部的主觀體驗(yàn)，是綜合感覺(jué)、思想和行為而產(chǎn)生的心理和生理狀態(tài)。情感有生理喚醒、主觀體驗(yàn)以及外部表現(xiàn)3 種成分，人類(lèi)情感的早期研究通常利用外部表現(xiàn)，包括對(duì)人的面部表情和聲音信號(hào)進(jìn)行情感狀態(tài)識(shí)別。近年來(lái)的研究結(jié)果表明，腦電（Electroencephalographic，EEG）信號(hào)所包含的情感相較于語(yǔ)音［1］、表情［2］等更為客觀可靠，更能反映一個(gè)人最真實(shí)的情感狀態(tài)［3］。因此，有很多研究人員開(kāi)始利用EEG 信號(hào)進(jìn)行情感識(shí)別。

利用EEG 信號(hào)進(jìn)行情感識(shí)別時(shí)常用的特征有時(shí)域特征［4］、頻域特征［5］和時(shí)頻域特征［6］。時(shí)域特征主要集中在事件相關(guān)電位（Event-Related Potentials，ERPs）的研究中，統(tǒng)計(jì)學(xué)特征也被用于描述EEG 信號(hào)時(shí)間序列，主要包括能量特征、幅值特征等。頻域特征主要包括功率譜密度（Power Spectral Density，PSD）、自回歸（Autoregressive，AR）模型功率譜估計(jì)、能量及其不對(duì)稱(chēng)性（Asymmetry，ASM）以及快速傅里葉變換等。時(shí)頻域特征包含基于小波變換、小波包變換、Wigner-Ville 分布、短時(shí)傅里葉變換（Short-Time Fourier Transform，STFT）、希爾伯 特-黃 譜（Hilbert-Huang Spectrum，HHS）［7］的特征等。由于EEG 信號(hào)具有隨時(shí)間瞬變的特點(diǎn)，因此只使用時(shí)域、頻域或時(shí)頻域特征中的一種將難以取得良好的識(shí)別效果。具體而言，使用單一的EEG 特征進(jìn)行識(shí)別時(shí)存在2 點(diǎn)不足：一是傳統(tǒng)的EEG 特征在低頻信號(hào)段時(shí)表現(xiàn)能力較弱；二是EEG 特征容易受到噪聲的干擾。

深度學(xué)習(xí)能將底層特征提取為抽象的高層特征，可以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示［8］，同時(shí)對(duì)高維特征進(jìn)行自動(dòng)提取和分類(lèi)，因此，深度學(xué)習(xí)適用于EEG 信號(hào)分析。文獻(xiàn)［9］提出一種基于多融合層堆疊式自動(dòng)編碼器的集成分類(lèi)器，將其用于情緒識(shí)別。文獻(xiàn)［10］運(yùn)用監(jiān)督限制玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）修改了標(biāo)準(zhǔn)深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN），并提出基于監(jiān)督DBN 的情感狀態(tài)識(shí)別模型。文獻(xiàn)［11］提出基于DBN 的半監(jiān)督深度學(xué)習(xí)模型（Semi-Supervised Deep Learning Model，Semi-DLM），用于二元情感分類(lèi)。文獻(xiàn)［12］提出一種基于EEG 信號(hào)的主題獨(dú)立情感識(shí)別方法，該方法以變分模態(tài)分解（Variational Modal Decomposition，VMD）為特征提取技術(shù)，以深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）為分類(lèi)器。文獻(xiàn)［13］使用改進(jìn)的基于SincNet 的深度學(xué)習(xí)模型進(jìn)行EEG 情感分類(lèi)。

作為深度學(xué)習(xí)模型的關(guān)鍵組成部分，堆疊式降噪自動(dòng)編碼器（Stacked Denoising Auto-Encoder，SDAE）不僅可以通過(guò)數(shù)據(jù)學(xué)習(xí)特征，而且能夠獲得不同數(shù)據(jù)級(jí)別的特征表達(dá)。但是，由于結(jié)構(gòu)較深，SDAE 難以以較快的學(xué)習(xí)速度獲得良好的泛化性能。基于梯度下降的反向傳播（Backpropagation，BP）算法很容易陷入局部最優(yōu)，導(dǎo)致其分類(lèi)精度不佳。極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）以較快的學(xué)習(xí)速度和良好的泛化性能引起了研究人員的廣泛關(guān)注，但是，由于輸入權(quán)重和隱藏偏差的隨機(jī)選擇，ELM 傾向于使用更多的隱藏節(jié)點(diǎn)以實(shí)現(xiàn)更好的泛化性能，這使得其網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜。

本文提出一種SDAE 和正則化極限學(xué)習(xí)機(jī)（Regularized Extreme Learning Machine，RELM）相結(jié)合的EEG 特征提取與識(shí)別方法。利用SDAE 對(duì)EEG 多分析域特征進(jìn)行降維去噪處理，以過(guò)濾生理特征中的有害噪聲并導(dǎo)出穩(wěn)定的特征表示。通過(guò)RELM 實(shí)現(xiàn)情感分類(lèi)，使用SDAE 和RELM 相結(jié)合的深度學(xué)習(xí)方法捕捉高維數(shù)據(jù)中的有效特征并提高表達(dá)能力。將SDAE 用于優(yōu)化RELM 的輸入權(quán)重和隱藏層偏差，從而以更少的隱藏層節(jié)點(diǎn)來(lái)簡(jiǎn)化模型。同時(shí)，將時(shí)域、頻域和時(shí)頻域特征相結(jié)合并應(yīng)用于EEG 信號(hào)分析，利用三者自身的優(yōu)點(diǎn)提取EEG 信號(hào)的多角度特征，以實(shí)現(xiàn)更好的識(shí)別效果。

1 DEAP 數(shù)據(jù)集和特征提取

DEAP 數(shù)據(jù)集［14］是倫敦女王大學(xué)瑪麗分校某研究小組開(kāi)發(fā)的一個(gè)基于生理信號(hào)的開(kāi)放數(shù)據(jù)集，該數(shù)據(jù)集中包括32 位健康參與者（19 歲～37 歲，平均26.9 歲，男性和女性參與者均為16 人），對(duì)于每位參與者，在40 次實(shí)驗(yàn)中使用40 個(gè)時(shí)長(zhǎng)1 min 的音樂(lè)視頻作為視覺(jué)刺激，以激發(fā)不同的情感，同時(shí)記錄EEG 信號(hào)和部分外周生理信號(hào)。在每次實(shí)驗(yàn)結(jié)束后，參與者對(duì)他們的喚醒度（Arousal）、效價(jià)（Valence）、優(yōu)勢(shì)度（Dominance）和喜好程度（Liking）進(jìn)行自我評(píng)估。本文關(guān)注喚醒度、效價(jià)和優(yōu)勢(shì)度3 個(gè)指標(biāo)，每次實(shí)驗(yàn)針對(duì)3 個(gè)指標(biāo)將結(jié)果均分為兩類(lèi)，如果被試者對(duì)某一音樂(lè)視頻的評(píng)級(jí)分低于4.5，則標(biāo)簽被設(shè)置為“l(fā)ow”；如果大于等于4.5，則標(biāo)簽被設(shè)置為“high”。3 個(gè)指標(biāo)均有2 個(gè)標(biāo)簽，分別為HA（高喚醒度）、LA（低喚醒度）、HV（高效價(jià)）、LV（低效價(jià)）、HD（高優(yōu)勢(shì)度）和LD（低優(yōu)勢(shì)度）。因此，情感識(shí)別任務(wù)轉(zhuǎn)化為3 個(gè)二分類(lèi)問(wèn)題，圖1 所示為三維情感模型。

圖1 三維情感模型Fig.1 Three-dimensional emotion model

在預(yù)處理階段，512 Hz 采樣頻率的EEG 信號(hào)被下采樣成128 Hz。采用一個(gè)4.0 Hz～45.0 Hz 的帶通濾波器進(jìn)行濾波，從而消除EEG 信號(hào)中眼電（Electrooculogram，EOG）信號(hào)的影響。為了充分利用EEG 信號(hào)中蘊(yùn)含的多分析域特征，提取每個(gè)樣本的EEG 信號(hào)特征，特征具體描述如表1 所示。

表1 4 種初始EEG 信號(hào)特征描述Table 1 Description of the four initial EEG signal features

假設(shè)每一個(gè)通道的EEG 信號(hào)為s(t)，t=1,2,…，T，其中，t為信號(hào)時(shí)長(zhǎng)。時(shí)域和頻域提取的均值、方差、過(guò)零率、近似熵和功率譜密度5 種特征表示公式分別為：

其中：?m(r)表示平均相似率，可以表示為?m(r)=為時(shí)間序列屬性統(tǒng)計(jì)數(shù)值；m表示子序列數(shù)量；FT(ω)為s(t)的傅里葉變換。

由于短時(shí)傅里葉變換在所有頻率下均具有恒定的分辨率，因此不適合分析EEG 這種非平穩(wěn)信號(hào)。而離散小波變換（Discrete Wavelet Transform，DWT）在非平穩(wěn)信號(hào)分析中具有多分辨率的特性，可以捕獲信號(hào)的局部行為，并且同時(shí)獲得瞬態(tài)非平穩(wěn)信號(hào)的頻率和時(shí)間信息。因此，本文使用DWT 進(jìn)行EEG信號(hào)分析。在第一級(jí)分解中，低通和高通濾波器用于獲得原始信號(hào)表示，以近似系數(shù)（A1）和細(xì)節(jié)系數(shù)（D1）表示數(shù)字信號(hào)，DWT 分解定義如下：

其中：dj,k和Cn,k分別代表近似系數(shù)和細(xì)節(jié)系數(shù)；n是分解級(jí)別；? 表示規(guī)模函數(shù)。隨后分解近似系數(shù)并多次重復(fù)上述過(guò)程。

本文將DWT 應(yīng)用于32 個(gè)腦電通道的EEG 信號(hào)分析，由于4 級(jí)分解提供了最好的信號(hào)特征，因此本文使用Daubechies4（db4）小波對(duì)EEG 信號(hào)進(jìn)行4 級(jí)DWT 處理。圖2 所示為DWT 樹(shù)結(jié)構(gòu)，其中包含采樣頻率為128 Hz 的EEG 信號(hào)分解，將每一通道的EEG信號(hào)分解為5 個(gè)不同的波段，包括δ（0～4 Hz）、θ（4 Hz～8 Hz）、α（8 Hz～16 Hz）、β（16 Hz～32 Hz）和γ（32 Hz～64 Hz）。如表2 所示，本文分別提取γ、β、α和θ4 個(gè)波段的能量和熵值作為時(shí)頻域特征。

圖2 DWT 樹(shù)結(jié)構(gòu)Fig.2 DWT tree structure

表2 離散小波分解Table 2 Discrete wavelet decomposition

熵是信號(hào)中信息量的度量值，計(jì)算特定頻帶內(nèi)時(shí)間窗上的信號(hào)熵如下：

通過(guò)將時(shí)間窗上的小波系數(shù)進(jìn)行平方求和，可以得出每個(gè)頻帶的能量如下：

其中：j是小波分解級(jí)別（頻帶）；k是j頻帶中的小波系數(shù)。

2 基于SDAE-RELM 的深度學(xué)習(xí)框架

2.1 堆疊式自動(dòng)編碼器

自動(dòng)編碼器（Auto-Encoder，AE）是一種盡可能復(fù)現(xiàn)輸入信號(hào)的前向型神經(jīng)網(wǎng)絡(luò)，其包含輸入層、隱含層（特征層）和輸出層，輸出向量與輸入向量同維，常用于無(wú)監(jiān)督學(xué)習(xí)中的特征提取任務(wù)。圖3（a）所示為簡(jiǎn)單的AE 模型結(jié)構(gòu)。堆疊式自動(dòng)編碼器（Stacked Auto-Encoder，SAE）將多個(gè)AE 堆 疊在一起，如圖3（b）所示。SAE 采用逐層貪婪訓(xùn)練方法以無(wú)監(jiān)督的方式對(duì)每個(gè)AE 進(jìn)行單獨(dú)訓(xùn)練，通過(guò)堆疊多個(gè)AE 形成SAE 網(wǎng)絡(luò)，以層次結(jié)構(gòu)計(jì)算生理特征抽象。逐層確定SAE 參數(shù)的過(guò)程稱(chēng)為預(yù)訓(xùn)練，要進(jìn)行情感識(shí)別需要在SAE 的頂級(jí)編碼層添加一個(gè)與二元情緒相對(duì)應(yīng)的含2 個(gè)神經(jīng)元的輸出層。最后，用BP算法對(duì)訓(xùn)練好的SAE 參數(shù)進(jìn)行微調(diào)。

圖3 AE 和SAE 的結(jié) 構(gòu)Fig.3 Structure of AE and SAE

2.2 正則化極限學(xué)習(xí)機(jī)

ELM 是一種具有單隱藏層前饋神經(jīng)網(wǎng)絡(luò)（Single-hidden Layer Feed Forward Neural Networks，SLFNs）結(jié)構(gòu)的算法，其網(wǎng)絡(luò)拓?fù)渑c反向傳播（BP）神經(jīng)網(wǎng)絡(luò)相同，由輸入層、隱藏層和輸出層組成。雖然網(wǎng)絡(luò)結(jié)構(gòu)相同，但是ELM 和BP 的訓(xùn)練方法大不相同。BP 網(wǎng)絡(luò)需要使用梯度下降算法，通過(guò)多次迭代來(lái)求解網(wǎng)絡(luò)權(quán)重，而ELM 通過(guò)隨機(jī)生成輸入權(quán)重和隱藏偏差來(lái)求解輸出權(quán)重。ELM 的具體架構(gòu)參考文獻(xiàn)［15］，RELM 在標(biāo)準(zhǔn)ELM 的二次型指標(biāo)中增加了正則化項(xiàng)。

RELM 的目標(biāo)是獲得最低的訓(xùn)練誤差和最小的輸出權(quán)重，其極限學(xué)習(xí)機(jī)的目標(biāo)函數(shù)為：

加入正則化項(xiàng)可控制模型的復(fù)雜程度，將約束條件引入其目標(biāo)函數(shù)中，即得到下面的等價(jià)優(yōu)化問(wèn)題：

利用訓(xùn)練集樣本數(shù)量N和RELM 隱藏層神經(jīng)元數(shù)量L，根據(jù)KKT（Karush-Kuhn-Tucker）定理［16］可以得到β的2 種不同的近似解，如下：

其中：I是單位矩陣；C是正則化系數(shù)。

2.3 SDAE-RELM 模型

為了防止過(guò)擬合問(wèn)題，同時(shí)學(xué)習(xí)到較魯棒的特征并提高模型的訓(xùn)練穩(wěn)定性，本文在AE 的輸入層數(shù)據(jù)中引入50%的隨機(jī)噪聲，將其變?yōu)镈AE。在該過(guò)程中，本文還嘗試引入30%、40%和60%的隨機(jī)噪聲，但引入50%隨機(jī)噪聲時(shí)效果最好。為了實(shí)現(xiàn)情感分類(lèi)，本文在SDAE 的頂端編碼層添加一個(gè)分類(lèi)器，使用RELM 代替softmax 作為分類(lèi)器可以有效提高網(wǎng)絡(luò)訓(xùn)練速度，且通過(guò)訓(xùn)練SDAE 可以獲得RELM 的網(wǎng)絡(luò)參數(shù)。如圖4 所示，SDAE-RELM 情感識(shí)別模型結(jié)構(gòu)由3 個(gè)部分組成，包括數(shù)據(jù)預(yù)處理、特征融合和情感識(shí)別，系統(tǒng)架構(gòu)如圖5 所示。

圖4 SDAE-RELM 情感識(shí)別模型結(jié)構(gòu)Fig.4 SDAE-RELM emotion recognition model structure

圖5 SDAE-RELM 系統(tǒng)架構(gòu)Fig.5 SDAE-RELM system architecture

實(shí)驗(yàn)將32 路腦電通道中每一通道的60 s 腦電信號(hào)無(wú)重疊等分為30 段，每段2 s 作為獨(dú)立樣本繼承原始樣本的標(biāo)簽。首先，分別計(jì)算如表1 所示的初始600 維情感特征，包括統(tǒng)計(jì)特征、能量特征、能量差異特征和小波變換特征；然后，通過(guò)多層SDAE 模型進(jìn)行特征融合并提取高層抽象EEG 特征；最后，將獲得的高層抽象特征輸入RELM，實(shí)現(xiàn)情感分類(lèi)。模型的訓(xùn)練過(guò)程分為2 個(gè)部分：

1）特征提取。SDAE 模型通過(guò)重構(gòu)誤差的反向傳播訓(xùn)練無(wú)監(jiān)督模型，先對(duì)每個(gè)單隱藏層的DAE 單元進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練，然后再堆疊得到一個(gè)包含多個(gè)隱藏層結(jié)構(gòu)的SDAE。為了進(jìn)行線模型的訓(xùn)練，本文將小批量梯度下降用作優(yōu)化器算法，并將均方誤差（Mean Square Error，MSE）作為損失函數(shù)。

2）特征分類(lèi)。本文將特征提取部分最后一層的輸出作為RELM 的輸入，RELM 的隱藏層激活函數(shù)選擇非線性函數(shù)hardlim，如式（14）所示：

使用RELM 分類(lèi)器進(jìn)行分類(lèi)，計(jì)算其隱藏層的權(quán)值，至此網(wǎng)絡(luò)模型的權(quán)值都被確定下來(lái)，即訓(xùn)練完畢。本文選取整個(gè)實(shí)驗(yàn)過(guò)程中所有分類(lèi)結(jié)果的最優(yōu)值作為模型分類(lèi)結(jié)果。算法詳細(xì)描述如下：

算法1SDAE-RELM 算法

輸入特征H0=，標(biāo)簽T=，隱藏節(jié)點(diǎn)數(shù)Li，隨機(jī)噪聲的百分比，正則化系數(shù)C

輸出所有隱藏層的權(quán)值βi

步驟1訓(xùn)練SDAE 的第一個(gè)隱藏層DAE。建立DAE 網(wǎng)絡(luò)的第一層，并使用梯度下降法訓(xùn)練，獲得該隱藏層的輸出H1和相應(yīng)的網(wǎng)絡(luò)參數(shù)θ1，H1為輸入特征的抽象表示，且θ1=(W1,b1)。

步驟2訓(xùn)練SDAE 的第i個(gè)隱藏層DAE。將第i-1 層的輸出作為第i層的輸入，建立DAE 網(wǎng)絡(luò)的第i層，并使用梯度下降法訓(xùn)練，以確定RELM 的輸入權(quán)重和隱藏偏差，獲得該隱藏層的輸出Hi和相應(yīng)的網(wǎng)絡(luò)參數(shù)θi，Hi為Hi-1的抽象表示，且θi=（Wi，bi）。

步驟3訓(xùn)練RELM。建立RELM 分類(lèi)器，輸入為最后一層DAE 的輸出，權(quán)重和隱藏層偏置為θi+1=（Wi+1，bi+1），RELM 網(wǎng)絡(luò)的隱藏層輸出矩陣為Hi+1，輸出權(quán)重向量β可以根據(jù)式（13）計(jì)算而得。

3 實(shí)驗(yàn)結(jié)果及分析

本文使用DEAP 數(shù)據(jù)集中全部32 個(gè)通道的EEG數(shù)據(jù)。數(shù)據(jù)預(yù)處理是處理原始EEG 數(shù)據(jù)的第一步，去除前3 s 靜默狀態(tài)數(shù)據(jù)，為了避免腦電信號(hào)連續(xù)樣本之間存在的依賴(lài)性，采用無(wú)重疊固定寬度滑動(dòng)窗口技術(shù)將后60 s 數(shù)據(jù)無(wú)重疊等分為30 段，每段為2 s并作為獨(dú)立的樣本數(shù)據(jù)，提取特征向量并繼承原始樣本的標(biāo)簽，則每位被試者的實(shí)驗(yàn)數(shù)據(jù)樣本數(shù)為1 200（40×30），特征向量維數(shù)為600。

在實(shí)驗(yàn)中采用交叉驗(yàn)證技術(shù)。訓(xùn)練時(shí)每一位參與者的1 200個(gè)樣本被劃分為不重合的10個(gè)子集，9個(gè)子集（1 080 個(gè)樣本）分配給訓(xùn)練集，1 個(gè)子集（120 個(gè)樣本）分配給測(cè)試集。以上過(guò)程重復(fù)10 次，直到測(cè)試完所有子集。

3.1 超參數(shù)選擇

一般而言，隨著網(wǎng)絡(luò)深度的增加，可以獲得更抽象的特征表示。但是，太多的層數(shù)會(huì)使網(wǎng)絡(luò)難以有效訓(xùn)練，同時(shí)帶來(lái)更多的參數(shù)需要學(xué)習(xí)，因此，將花費(fèi)更長(zhǎng)的訓(xùn)練時(shí)間。本文對(duì)3 個(gè)情感維度分別進(jìn)行測(cè)試，得出2 層或3 層隱藏層能取得較好的結(jié)果。因此，在超參數(shù)的選擇中，首先將SDAE 模型的隱藏層數(shù)設(shè)置為2 層或3 層，對(duì)于SDAE-RELM 模型，SDAE和RELM 模型分別進(jìn)行訓(xùn)練。如2.3 節(jié)所述，本文使用SDAE 的網(wǎng)絡(luò)進(jìn)行特征提取，對(duì)SDAE 中的降噪自動(dòng)編碼器都進(jìn)行200 個(gè)epochs（批量大小為100）的訓(xùn)練，然后微調(diào)為500 個(gè)epochs（批量大小為120）。

SDAE 將softmax 回歸分類(lèi)器添加到SDAE 的頂級(jí)編碼層，并且在訓(xùn)練的最后一步微調(diào)所有層的參數(shù)以實(shí)現(xiàn)所需的分類(lèi)性能。SDAE-ELM 將ELM 添加到SDAE 的頂層作為分類(lèi)器。對(duì)于3 個(gè)維度的分類(lèi)精度，本文均使用輸入的初始600 維高維特征進(jìn)行訓(xùn)練測(cè)試，分別尋找ELM 和RELM 的最佳隱藏節(jié)點(diǎn)數(shù)。從圖6 可以看出，隨著隱藏節(jié)點(diǎn)數(shù)量的增加，ELM 和RELM 的分類(lèi)精度提升。當(dāng)隱藏節(jié)點(diǎn)的數(shù)量增加到30 000 時(shí)，SDAE-ELM 的精度達(dá)到77.5%。此后，由于模型處于過(guò)擬合狀態(tài)，精度幾乎保持不變。因此，在對(duì)SDAE-ELM 進(jìn)行訓(xùn)練時(shí)，需將ELM的隱藏層節(jié)點(diǎn)數(shù)設(shè)置為30 000。由此可見(jiàn)，為了獲得更好的分類(lèi)效果，ELM 需要大量的隱藏節(jié)點(diǎn)，網(wǎng)絡(luò)結(jié)構(gòu)將會(huì)很復(fù)雜。當(dāng)使用RELM 進(jìn)行分類(lèi)時(shí)，僅需15 000 個(gè)隱藏節(jié)點(diǎn)即可獲得77.5%的精度。因此，本文所提方法可以有效減少ELM 的隱藏層節(jié)點(diǎn)數(shù)，從而簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)。

圖6 ELM 和RELM 在不同隱藏層節(jié)點(diǎn)數(shù)量下的分類(lèi)準(zhǔn)確率Fig.6 Classification accuracy of ELM and RELM under different numbers of hidden layer nodes

對(duì)于RELM，需要調(diào)整正則化系數(shù)C和隱藏層節(jié)點(diǎn)數(shù)量L這2個(gè)參數(shù)。實(shí)驗(yàn)中需要尋找C和L的最佳組合：

本文采用網(wǎng)格搜索法確定了C和L的最佳組合值，分別是100 和15 000。

3.2 SDAE 和SDAE-RELM 的 結(jié)果分析

為了驗(yàn)證SDAE-RELM 的學(xué)習(xí)性能，本文對(duì)SDAE 和SDAE-RELM 模型采用5 種參數(shù)組合進(jìn)行測(cè)試，同時(shí)確定模型參數(shù)的最佳組合。對(duì)于每一個(gè)組合，分別訓(xùn)練一個(gè)SDAE 和SDAE-RELM，在訓(xùn)練時(shí)，1 200 樣本被劃分為1 080 個(gè)樣本（訓(xùn)練集）和120 個(gè)樣本（測(cè)試集），采用10 折交叉驗(yàn)證法，根據(jù)表3 和表4 所示的5 種模型參數(shù)組合分別對(duì)喚醒度、效價(jià)和優(yōu)勢(shì)度3 個(gè)維度進(jìn)行訓(xùn)練測(cè)試，對(duì)32 個(gè)被試者測(cè)得的最高分類(lèi)精度值取平均。圖7（a）～圖7（c）所示為情感狀態(tài)分類(lèi)結(jié)果。

表3 SDAE 模型參數(shù)設(shè)置Table 3 Parameter settings of SDAE model

表4 SDAE-RELM 模型參數(shù)設(shè)置Table 4 Parameter settings of SDAE-RELM model

圖7 不同模型參數(shù)組合在3 個(gè)維度的識(shí)別精度對(duì)比Fig.7 Comparison of recognition accuracy of different model parameter combinations in three dimensions

可以看出，無(wú)論使用哪種參數(shù)組合來(lái)構(gòu)建模型，每一維度SDAE-RELM 的識(shí)別準(zhǔn)確率都要明顯優(yōu)于SDAE 模型。在喚醒維度，SDAE-RELM 采用Model 4的參數(shù)組合達(dá)到了最優(yōu)的識(shí)別效果（77.08%）；在效價(jià)維度，SDAE-RELM 采用Model 2 的參數(shù)組合達(dá)到了最優(yōu)的識(shí)別效果（77.69%）；在優(yōu)勢(shì)維度，SDAERELM 采用Model 5 的參數(shù)組合達(dá)到了最優(yōu)的識(shí)別效果（78.46%）。

本文還比較了SDAE 和SDAE-RELM 的訓(xùn)練時(shí)間，結(jié)果如表5 所示。從表5 可以看出，無(wú)論采用哪種參數(shù)組合方式，在輸入特征相同的情況下，SDAE-RELM 的訓(xùn)練時(shí)間均少于SDAE，這是因?yàn)镾DAE 將softmax 回歸分類(lèi)器添加到頂級(jí)編碼層，并且在訓(xùn)練的最后一步微調(diào)所有層的參數(shù)以實(shí)現(xiàn)所需的分類(lèi)性能，會(huì)花費(fèi)較多時(shí)間，而本文提出的EEG 情感識(shí)別方法將具有更快學(xué)習(xí)速度和更少調(diào)整參數(shù)的RELM 添加到SDAE 的頂層作為分類(lèi)器，其不需要微調(diào)所有層的參數(shù)，即減少了網(wǎng)絡(luò)訓(xùn)練所需時(shí)間。

表5 SDAE 和SDAE-RELM 的訓(xùn)練時(shí)間比較Table 5 Comparison of training time of SDAE and SDAE-RELM s

3.3 SDAE-RELM 模型與常用分類(lèi)器比較

為了驗(yàn)證本文所提模型利用時(shí)域、頻域和時(shí)頻域特征進(jìn)行情感識(shí)別的有效性，使用10 折交叉驗(yàn)證技術(shù)，用相同的特征分別訓(xùn)練幾種常用的情感分類(lèi)模型，并對(duì)每種模型的最優(yōu)識(shí)別結(jié)果進(jìn)行對(duì)比分析，對(duì)比模型包括決策樹(shù)（Decision Tree，DT）、隨機(jī)決策森 林（Random Decision Forest，RDF）、K 近 鄰（KNearest Neighbor，KNN）、支持向量機(jī)（Support Vector Machines，SVM）以及SDAE-DT、SDAE-RBF、SDAEKNN 和SDAE-SVM，實(shí)驗(yàn)結(jié)果如表6 所示。其中，最優(yōu)結(jié)果加粗表示，SDAE-RELM 的分類(lèi)結(jié)果是從表4 的5 種模型中選出的最優(yōu)值。

表6 不同模型的識(shí)別性能比較Table 6 Comparison of recognition performance of different models %

從表6 可以看出，深度學(xué)習(xí)算法（如SDAE、SDAE-SVM 和本文方法等）比傳統(tǒng)機(jī)器學(xué)習(xí)算法（如DT、KNN 和RDF 等）識(shí)別精度更高，這是因?yàn)閭鹘y(tǒng)機(jī)器學(xué)習(xí)算法需要充分訓(xùn)練樣本來(lái)確保識(shí)別性能，由于網(wǎng)絡(luò)結(jié)構(gòu)淺，這些算法無(wú)法有效地將目標(biāo)的固有類(lèi)信息與特征空間中的某些外部因素區(qū)分開(kāi)，深度學(xué)習(xí)算法在逐層解調(diào)各種因素之間的耦合關(guān)系時(shí)，會(huì)盡可能少地?fù)p失目標(biāo)的固有類(lèi)信息，即深度網(wǎng)絡(luò)中的底層功能通常是分布式的，并且可以在不同的類(lèi)之間共享，而高層功能通常更抽象，更可分離，這說(shuō)明了SDAE 能夠有效地提取EEG 信號(hào)中蘊(yùn)含的情感狀態(tài)區(qū)分性信息。SDAE-RELM 方法被試者間的標(biāo)準(zhǔn)差和其他方法相近，與其他方法相比，SDAERELM 的平均分類(lèi)精度更高（喚醒度為76.3%，效價(jià)為76.8%，優(yōu)勢(shì)度為78.5%），這驗(yàn)證了本文所提方法不僅有效，而且對(duì)于不同被試者也更魯棒。

RELM 通過(guò)使用多個(gè)隱藏節(jié)點(diǎn)來(lái)實(shí)現(xiàn)更好的泛化性能，而研究模型的泛化性能需要證明在訓(xùn)練樣本較少的情況下也可以獲得良好的識(shí)別性能。本文比較SAE、ELM、主成分分析（Principal Component Analysis，PCA）、SDAE-SVM 和SDAE-RELM 5 種模型在優(yōu)勢(shì)維使用不同數(shù)量訓(xùn)練樣本時(shí)的情感分類(lèi)準(zhǔn)確率，結(jié)果如圖8 所示。從圖8 可以看出，隨著訓(xùn)練樣本數(shù)量的增加，5 種模型的分類(lèi)精度提高。當(dāng)訓(xùn)練樣本較少時(shí)，SDAE-RELM 的分類(lèi)性能優(yōu)于其他模型，說(shuō)明該模型具有較好的泛化性能，當(dāng)只有少量訓(xùn)練樣本可用時(shí)，SDAE-RELM 也可以獲得良好的情感識(shí)別效果。

圖8 5 種模型在不同數(shù)量訓(xùn)練樣本時(shí)的分類(lèi)性能比較Fig.8 Comparison of classification performance of five models with different number of training samples

3.4 本文所提方法與其他方法比較

在DEAP 數(shù)據(jù)集上，文獻(xiàn)［17］將EEG 的原始通道通過(guò)Pearson 相關(guān)系數(shù)和重新排列的腦電圖輸入卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）。文獻(xiàn)［18］提出一種基于經(jīng)驗(yàn)?zāi)B(tài)分解（Empirical Mode Decomposition，EMD）的特征提取與情感識(shí)別方法。文獻(xiàn)［19］提出一種基于多通道腦電圖的SAE和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory Network，LSTM）相結(jié)合的情感識(shí)別框架。文獻(xiàn)［20］提出提取大腦連通性特征并使用SVM 識(shí)別情緒的方法。文獻(xiàn)［21］使用深度信念網(wǎng)絡(luò)（DBN）從原始EEG 信號(hào)中自動(dòng)提取高級(jí)特征進(jìn)行情感識(shí)別的方法。文獻(xiàn)［22］結(jié)合CNN 和遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN），用于提取與任務(wù)相關(guān)的特征，挖掘通道間的相關(guān)性并從這些特征中獲得上下文信息。文獻(xiàn)［23］使用EEG 的雙樹(shù)復(fù)小波包變換（Double-Tree Complex Wavelet Packet Transform，DT-CWPT）時(shí)頻域特征，用以檢測(cè)情緒，并分析不同情緒狀態(tài)下的大腦活動(dòng)。將本文所提方法的情感識(shí)別結(jié)果與上述方法的識(shí)別結(jié)果進(jìn)行比較，結(jié)果如表7 所示。

表7 不同方法的分類(lèi)準(zhǔn)確率比較Table 7 Comparison of classification accuracy of different methods %

在喚醒和優(yōu)勢(shì)2 個(gè)維度，本文所提方法均達(dá)到了最好的識(shí)別效果，在效價(jià)維度上其識(shí)別準(zhǔn)確率也優(yōu)于多數(shù)對(duì)比方法，但低于文獻(xiàn)［19］方法，原因是文獻(xiàn)［19］方法采用的是包含所有被試者信息的數(shù)據(jù)樣本，使得模型訓(xùn)練更加充分，而本文方法對(duì)每一位被試者的樣本分別進(jìn)行訓(xùn)練。此外，本文所提方法在喚醒、效價(jià)和優(yōu)勢(shì)3 個(gè)維度的識(shí)別準(zhǔn)確率相近，這表明該方法在綜合使用表1 所述的時(shí)域、頻域和時(shí)頻域3 種分析域特征進(jìn)行情感識(shí)別時(shí)具有有效性。

4 結(jié)束語(yǔ)

本文提出一種基于SDAE 和RELM 的EEG 情感識(shí)別方法SDAE-RELM。利用SDAE 對(duì)EEG 信號(hào)的多分析域特征進(jìn)行降維去噪，過(guò)濾生理特征中的有害噪聲并導(dǎo)出穩(wěn)定的特征表示。在網(wǎng)絡(luò)的回歸層，使用RELM 實(shí)現(xiàn)快速的情感分類(lèi)。實(shí)驗(yàn)結(jié)果表明，與SDAE 相比，SDAE-RELM 方法喚醒度提升6.8%，效價(jià)提升7.5%，優(yōu)勢(shì)度提升12.6%，平均節(jié)省約17.11 s 訓(xùn)練時(shí)間，其在準(zhǔn)確性和實(shí)時(shí)性方面均有明顯提升，與其他傳統(tǒng)基于機(jī)器學(xué)習(xí)的方法相比，SDAE-RELM 在隱藏節(jié)點(diǎn)較少的情況下?lián)碛懈叩淖R(shí)別精度，喚醒度為76.3%，效價(jià)為76.8%，優(yōu)勢(shì)度為78.5%，當(dāng)僅有少量訓(xùn)練樣本可用時(shí)，該方法也具有良好的識(shí)別性能。下一步將使用多模態(tài)生理信號(hào)進(jìn)行情感識(shí)別，包括實(shí)時(shí)記錄的中樞神經(jīng)系統(tǒng)和外周神經(jīng)系統(tǒng)的生理信號(hào)。此外，本文所提方法僅在DEAP 數(shù)據(jù)集上進(jìn)行了測(cè)試，今后將在更多的情感數(shù)據(jù)集上對(duì)其進(jìn)行測(cè)試，以驗(yàn)證該方法的普適性。