基于微分熵與深度殘差網(wǎng)絡(luò)的腦電信號(hào)情感識(shí)別

杜秀麗 馬振倩 郭慶汝 邱少明 呂亞娜

(大連大學(xué)通信和網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室 遼寧 大連 116622) (大連大學(xué)信息工程學(xué)院 遼寧 大連 116622)

0 引 言

人類(lèi)的情感既包含人類(lèi)對(duì)所處外界環(huán)境或者自身心理活動(dòng)而引發(fā)的生理反應(yīng),還包含這些生理反應(yīng)而觸發(fā)的心理反應(yīng),可以概括為一種整合了人類(lèi)的行為、感覺(jué)、思維的狀態(tài)活動(dòng)[1]。人的情感是人與人交往的一個(gè)重要因素,對(duì)一個(gè)自然的人機(jī)交互界面來(lái)說(shuō),識(shí)別、解釋和響應(yīng)語(yǔ)音中表達(dá)的情感史至關(guān)重要的[2]。在人-機(jī)交互系統(tǒng)中,如果能夠準(zhǔn)確并且快速地識(shí)別出體驗(yàn)者的情感變化,智能設(shè)備可以以此作為依據(jù)進(jìn)行相應(yīng)的調(diào)整,使得在使用過(guò)程更加滿(mǎn)足使用者的生理與心理需求[3];在軍事領(lǐng)域運(yùn)用情感識(shí)別,能夠輔助指揮人員依據(jù)戰(zhàn)士的情感狀態(tài)制定相應(yīng)合適的作戰(zhàn)計(jì)劃。所以,對(duì)人的情感狀態(tài)進(jìn)行準(zhǔn)確而有效的評(píng)估與識(shí)別,已經(jīng)成為各個(gè)研究領(lǐng)域的重點(diǎn)話題[4]。

腦電信號(hào)(Electroencephalogram,EEG)因具有不可偽裝性、實(shí)時(shí)差異性和容易采集等優(yōu)點(diǎn)逐步成為研究情感識(shí)別的生理依據(jù)。Duan等[5]利用能量頻譜特征對(duì)積極與消極情感進(jìn)行二分類(lèi),分類(lèi)準(zhǔn)確率為76.56%。柳長(zhǎng)源等[6]通過(guò)左、右側(cè)導(dǎo)聯(lián)的微分熵特征,提取腦電信號(hào)的不對(duì)稱(chēng)性特征,結(jié)合支持向量機(jī)對(duì)情感分類(lèi)識(shí)別,平均準(zhǔn)確率為88.625%。Murugappan等[7]提取EEG信號(hào)熵特征,比較了六種情緒狀態(tài),如恐懼、高興、驚奇等,發(fā)現(xiàn)利用腦電熵特征分類(lèi)的最大平均準(zhǔn)確率為83.04%,表明腦電熵特征可以有效地區(qū)分不同情感狀態(tài)。Chai等[8]提取腦電信號(hào)的六種時(shí)域統(tǒng)計(jì)特征,利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別憤怒、驚奇和悲傷等情感,識(shí)別準(zhǔn)確率最高可達(dá)95%。Zheng等[9]利用挑選的8個(gè)電極:AF3、AF4、F3、F4、F7、F8、T7和T8,得到了87.5%的情感識(shí)別效果。田莉莉等[10]將截取的62導(dǎo)聯(lián)的腦電信號(hào)數(shù)據(jù)結(jié)合改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)腦電情感狀態(tài)的識(shí)別,達(dá)到94.7%的準(zhǔn)確率。張家瑞等[11]采用多頻帶與多通道的EEG信號(hào)情感識(shí)別方法提取EEG信號(hào)的微分熵特征實(shí)現(xiàn)情感狀態(tài)識(shí)別,總體準(zhǔn)確率為91.99%。總結(jié)以上分析方法可以發(fā)現(xiàn):現(xiàn)有的腦電信號(hào)情感識(shí)別方法大都是挑選出與EEG信號(hào)情感變化相關(guān)度較大的某幾個(gè)單導(dǎo)聯(lián)進(jìn)行特征提取與特征選擇,往往會(huì)忽略掉其他導(dǎo)聯(lián)EEG信號(hào)的信息以及導(dǎo)聯(lián)間隱匿存在的空間拓?fù)浣Y(jié)構(gòu)特征,而這些信息和特征往往對(duì)情感狀態(tài)的識(shí)別具有關(guān)鍵性作用。

本文提出基于微分熵特征(Differential Entropy,DE)[12]和深度殘差網(wǎng)絡(luò)(Deep Residual Network,ResNet)[13]相結(jié)合的腦電信號(hào)情感識(shí)別方法。在對(duì)原始EEG信號(hào)進(jìn)行分頻帶后,采用微分熵來(lái)衡量每個(gè)導(dǎo)聯(lián)在特定時(shí)間間隔的特征,將各個(gè)導(dǎo)聯(lián)的特征組織映射到二維平面中,作為深度殘差網(wǎng)絡(luò)的輸入,進(jìn)行腦電信號(hào)特征自動(dòng)提取、學(xué)習(xí)和分類(lèi),以提高EEG信號(hào)情感識(shí)別的準(zhǔn)確率。

1 全導(dǎo)聯(lián)腦電信號(hào)微分熵特征

傳統(tǒng)的腦電信號(hào)情感識(shí)別過(guò)程中往往是挑選某幾個(gè)導(dǎo)聯(lián)進(jìn)行特征提取,實(shí)現(xiàn)特征識(shí)別的目的。現(xiàn)存的方法沒(méi)有利用其他導(dǎo)聯(lián)采集的信息,也會(huì)忽略掉導(dǎo)聯(lián)間存在的整體空間拓?fù)浣Y(jié)構(gòu)特征,這些隱匿的特征往往對(duì)提高情感識(shí)別的準(zhǔn)確率發(fā)揮著舉足輕重的作用。針對(duì)以上問(wèn)題,本文提出基于微分熵特征的全導(dǎo)聯(lián)腦電信號(hào)特征表示方法。對(duì)情感EEG信號(hào)利用短時(shí)傅里葉變換,分別將EEG信號(hào)的全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號(hào)的二維特征表示。

1.1 腦電信號(hào)短時(shí)傅里葉變換與微分熵特征

EEG信號(hào)是最常見(jiàn)的非平穩(wěn)、隨機(jī)信號(hào),如果僅僅從時(shí)域或者頻域上進(jìn)行特征分析,很難達(dá)到我們所期待的目的。信號(hào)的時(shí)頻分析往往相對(duì)于時(shí)域和頻域分析更能隨著時(shí)間的變化反映出頻域的變化特征。短時(shí)傅里葉變換就是種常用的時(shí)頻分析工具,因具備簡(jiǎn)捷有效的優(yōu)點(diǎn),被廣泛應(yīng)用。

假設(shè)研究的原始信號(hào)為x(n),選取的窗函數(shù)為d(n),利用式(1)可以得到腦電信號(hào)的短時(shí)傅里葉變換,本文在實(shí)際操作中選擇漢寧窗作為窗函數(shù)(漢寧窗不但能夠得到EEG信號(hào)隨時(shí)間變量的頻譜變化,還能有效減少頻譜能量泄露):

(1)

對(duì)于微分熵的定義如下:

(2)

式中:f(x)表示時(shí)間序列的概率密度函數(shù)。滿(mǎn)足高斯分布特性的連續(xù)時(shí)間信號(hào)微分熵計(jì)算公式如下[13]:

(3)

根據(jù)上述公式可以清晰地發(fā)現(xiàn):滿(mǎn)足高斯分布的時(shí)間序列信號(hào)的微分熵只與方差相關(guān)。對(duì)于一段已經(jīng)經(jīng)過(guò)歸一化處理的EEG信號(hào)XN(N表示腦電信號(hào)的長(zhǎng)度),可以得到其方差表示如下:

(4)

EEG信號(hào)的方差可以由能量譜P的均值表示,得:

(5)

通過(guò)上述的敘述,EEG信號(hào)某個(gè)頻帶的DE可以由此頻帶能量譜的對(duì)數(shù)近似表示。

1.2 腦電信號(hào)微分熵二維特征映射

為了盡可能多地挖掘到所有導(dǎo)聯(lián)間隱匿空間拓?fù)浣Y(jié)構(gòu)特征,將截取的62通道的腦電信號(hào)分別提取得到信號(hào)的全頻段、γ段(31～50 Hz)、β段(14～31 Hz)和α段(8～14 Hz)的微分熵映射到二維平面,具體的映射排列方式如圖1所示(沒(méi)有放置電極的部位進(jìn)行置零處理)。圖1中左側(cè)為腦電信號(hào)采集時(shí)62路電極放置方式,右側(cè)分別表示全頻段、γ段、β段和α段的62導(dǎo)聯(lián)微分熵特征,以此作為深度殘差網(wǎng)絡(luò)的輸入,實(shí)現(xiàn)全導(dǎo)聯(lián)信息及空間拓?fù)浣Y(jié)構(gòu)特征的自動(dòng)挖掘和學(xué)習(xí),建立EEG情感分類(lèi)模型。

圖1 EEG信號(hào)微分熵二維特征映射展示

2 本文方法

2.1 框 架

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network,CNN)是一種非常高效的深層前饋神經(jīng)網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或其他形式的變形具有高度不變性。典型的CNN結(jié)構(gòu)由輸入層、卷積層、池化層、全連接層、輸出層組成。

對(duì)于深度神經(jīng)網(wǎng)絡(luò),普遍認(rèn)為加深網(wǎng)絡(luò)層次是增強(qiáng)非線性擬合能力、提高模型識(shí)別準(zhǔn)確率的有效手段。但隨著網(wǎng)絡(luò)層次的增加,會(huì)伴隨出現(xiàn)梯度消失和梯度爆炸的問(wèn)題。為了解決深度卷積神經(jīng)網(wǎng)絡(luò)因網(wǎng)絡(luò)層數(shù)加深而引發(fā)的退化現(xiàn)象,He等[13]提出了深度殘差網(wǎng)絡(luò)的模型結(jié)構(gòu),解決了深層網(wǎng)絡(luò)面臨的收斂難、調(diào)優(yōu)難等問(wèn)題,克服了傳統(tǒng)卷積網(wǎng)絡(luò)隨著網(wǎng)絡(luò)層數(shù)增加而導(dǎo)致的退化問(wèn)題。

為自動(dòng)挖掘各個(gè)導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間空間拓?fù)浣Y(jié)構(gòu)特征,本文提出的基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號(hào)情感識(shí)別方法整體流程如圖2所示。對(duì)預(yù)處理后的情感腦電信號(hào)按照不同的頻帶提取微分熵特征,并將全頻段、γ段、β段和α段的微分熵特征映射到二維平面,得到情感腦電信號(hào)的二維特征表示;進(jìn)一步地將EEG信號(hào)的二維特征微分熵特征作為深度殘差網(wǎng)絡(luò)的輸入,實(shí)現(xiàn)多導(dǎo)聯(lián)間隱匿空間拓?fù)浣Y(jié)構(gòu)特征的自動(dòng)提取和學(xué)習(xí),建立EEG情感分類(lèi)模型。

圖2 基于微分熵特征與深度殘差網(wǎng)絡(luò)相結(jié)合的腦電信號(hào)情感識(shí)別總體框架

2.2 腦電信號(hào)情感識(shí)別的深度殘差網(wǎng)絡(luò)設(shè)計(jì)

62導(dǎo)聯(lián)的情感腦電信號(hào)經(jīng)過(guò)預(yù)處理、短時(shí)傅里葉變換后得到全頻帶、γ段、β段和α段的微分熵特征,將提取到的特征按照?qǐng)D1的排列方式轉(zhuǎn)化為二維特征。由于圖像的像素較小,并且數(shù)據(jù)較為“集中”,所以本文將原始圖像利用“雙立方插值算法”[14]放大到224×224×1的像素,以此作為深度殘差網(wǎng)絡(luò)的輸入。表1為設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),圖3為結(jié)構(gòu),本文針對(duì)EEG情感狀態(tài)這個(gè)數(shù)據(jù)集,采用ResNet18網(wǎng)絡(luò)模型進(jìn)行分析,并通過(guò)Softmax函數(shù)得到情感識(shí)別的結(jié)果。

表1 ResNet18超參數(shù)

圖3 本文設(shè)計(jì)的ResNet18結(jié)構(gòu)

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用國(guó)際公認(rèn)的人類(lèi)腦電情感數(shù)據(jù)集SEED作為實(shí)驗(yàn)數(shù)據(jù)[3]。該數(shù)據(jù)集使用電影片段作為情感誘發(fā)素材,情感狀態(tài)分為3類(lèi):積極、消極和中性。

EEG基本頻段如圖4所示,對(duì)EEG信號(hào)數(shù)據(jù)預(yù)處理,截取的腦電數(shù)據(jù)長(zhǎng)度為800,樣本總量為10 860。EEG信號(hào)經(jīng)過(guò)歸一化處理后,得到EEG信號(hào)微分熵二維特征映射圖。

3.2 仿真及實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)采用的硬件設(shè)備為Intel Core 4.20 GHz i7-7700 K CPU和NVIDA Geforce GTX 1080 Ti GPU。軟件環(huán)境采用MATLAB2014a和PyCharm 2019,同時(shí)借助Keras框架實(shí)現(xiàn)改進(jìn)的ResNet18網(wǎng)絡(luò),采用自適應(yīng)動(dòng)量估計(jì)(Adaptive Moment Estimation,Adam)優(yōu)化算法,分別設(shè)置參數(shù)為:循環(huán)迭代次數(shù)100次,初始化學(xué)習(xí)率為0.001。

本文采用下列四個(gè)定量模型評(píng)估指標(biāo)對(duì)模型的性能進(jìn)行評(píng)估:準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)與綜合調(diào)和分?jǐn)?shù)指標(biāo)(F1)。評(píng)估指標(biāo)定義如下:

(6)

(7)

(8)

(9)

式中:TP表示被模型分類(lèi)正確的正樣本;FP表示被模型分類(lèi)錯(cuò)誤的負(fù)樣本;TN表示被模型分類(lèi)正確的負(fù)樣本;FN表示被模型分類(lèi)錯(cuò)誤的正樣本。

對(duì)于N分類(lèi)問(wèn)題的綜合調(diào)和分?jǐn)?shù)指標(biāo)為:

(10)

3.2.1 基于全導(dǎo)聯(lián)腦電信號(hào)微分熵識(shí)別結(jié)果

為了驗(yàn)證本文方法的優(yōu)越性,同樣提取了相同時(shí)間段內(nèi)情感腦電數(shù)據(jù)的功率譜密度、近似熵特征,按照以上方法得到相應(yīng)的二維特征映射圖開(kāi)展對(duì)照實(shí)驗(yàn)。表2分別給出了利用功率譜密度(PSD)、近似熵(ApEn)[15-16]和本文的微分熵(DE)特征進(jìn)行腦電信號(hào)情感識(shí)別的每折實(shí)驗(yàn)測(cè)試集準(zhǔn)確率、五折實(shí)驗(yàn)的平均準(zhǔn)確率、標(biāo)準(zhǔn)差。

表2 不同EEG信號(hào)特征每折實(shí)驗(yàn)測(cè)試集準(zhǔn)確率、五折實(shí)驗(yàn)的平均準(zhǔn)確率、標(biāo)準(zhǔn)差

分析表2可以得出:應(yīng)用功率譜密度、近似熵和本文的微分熵特征識(shí)別的平均準(zhǔn)確率分別達(dá)到了90.985%、86.916%和95.091%。腦電信號(hào)的三種特征分別結(jié)合本文方法進(jìn)行情感識(shí)別都得到了比較令人滿(mǎn)意的準(zhǔn)確率,說(shuō)明本文將全部導(dǎo)聯(lián)腦電信號(hào)作為統(tǒng)一整體,利用深度殘差網(wǎng)絡(luò)自動(dòng)地挖掘全導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的整體空間拓?fù)浣Y(jié)構(gòu)特征進(jìn)行情感識(shí)別的方法是十分有效的。

每折實(shí)驗(yàn)對(duì)應(yīng)的分類(lèi)混淆矩陣如表3所示。為了更全面地對(duì)模型性能進(jìn)行評(píng)估,采用精準(zhǔn)率、召回率和均值作為評(píng)級(jí)指標(biāo),結(jié)果如表4所示。可以看出,每折實(shí)驗(yàn)的精準(zhǔn)率與召回率之間都相差大約0.02,并且兩個(gè)指標(biāo)普遍保持在0.92以上,整體在0.92～0.97之間,體現(xiàn)出本文模型具有很強(qiáng)的泛化能力。對(duì)于綜合指標(biāo)Macro而言,模型每折實(shí)驗(yàn)的值均在0.940以上,說(shuō)明在Precision與Recall一樣重要的情況下,本文方法達(dá)到了較為理想的結(jié)果。

表3 微分熵特征混淆矩陣

表4 微分熵特征分類(lèi)指標(biāo)

3.2.2 同類(lèi)研究對(duì)比

為了進(jìn)一步驗(yàn)證基于本文方法的腦電情感識(shí)別效果的科學(xué)性與優(yōu)越性,將本文方法與采用相同數(shù)據(jù)集的其他識(shí)別方法進(jìn)行比較。Li等[17]將提取到的不同導(dǎo)聯(lián)腦電信號(hào)的微分熵映射為二維形式,以此作為分層卷積神經(jīng)網(wǎng)絡(luò)的輸入,識(shí)別準(zhǔn)確率為88.20%,同時(shí)發(fā)現(xiàn)Beta波和Gamma波對(duì)情感識(shí)別起著關(guān)鍵作用。Zheng等[3]提取腦電信號(hào)的微分熵特征進(jìn)行特征平滑、降維,將得到的低維特征結(jié)合判別圖正則極限學(xué)習(xí)機(jī)進(jìn)行情感識(shí)別,準(zhǔn)確率為91.07%。田莉莉等[10]采用一維卷積神經(jīng)網(wǎng)絡(luò)隨機(jī)森林情感識(shí)別的方法對(duì)62導(dǎo)聯(lián)的腦電數(shù)據(jù)進(jìn)行自動(dòng)特征提取,識(shí)別準(zhǔn)確度達(dá)到94.7%。對(duì)比發(fā)現(xiàn),本文基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號(hào)情感識(shí)別方法在相同數(shù)據(jù)集上充分挖掘了各個(gè)導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,該方法的識(shí)別平均準(zhǔn)確率為95.10%。

4 結(jié) 語(yǔ)

本文針對(duì)現(xiàn)有EEG信號(hào)情感識(shí)別中沒(méi)有考慮到導(dǎo)聯(lián)間存在的整體空間拓?fù)浣Y(jié)構(gòu)問(wèn)題,提出基于微分熵與深度殘差網(wǎng)絡(luò)的識(shí)別方法。首先,將全部導(dǎo)聯(lián)腦電信號(hào)作為一個(gè)整體,把EEG信號(hào)各個(gè)頻帶的微分熵特征按照相應(yīng)的電極空間位置、頻段順序映射為EEG信號(hào)微分熵二維特征;然后,利用深度殘差網(wǎng)絡(luò)實(shí)現(xiàn)二維特征的自動(dòng)提取,以充分挖掘了各個(gè)導(dǎo)聯(lián)信息,及導(dǎo)聯(lián)間EEG信號(hào)中隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,進(jìn)而提高腦電信號(hào)情感識(shí)別的準(zhǔn)確率。

為了驗(yàn)證本文方法的性能,分別提取了相同時(shí)間段內(nèi)各導(dǎo)聯(lián)EEG信號(hào)的功率譜密度、近似熵和微分熵特征得到二維映射特征圖,以此作為深度殘差網(wǎng)絡(luò)的輸入。實(shí)驗(yàn)結(jié)果表明:腦電信號(hào)的三種特征分別結(jié)合本文設(shè)計(jì)的網(wǎng)絡(luò)進(jìn)行情感識(shí)別都得到了比較令人滿(mǎn)意的準(zhǔn)確率,說(shuō)明本文將全部導(dǎo)聯(lián)腦電信號(hào)作為統(tǒng)一整體,利用深度殘差網(wǎng)絡(luò)自動(dòng)地挖掘?qū)?lián)間隱匿的整體空間拓?fù)浣Y(jié)構(gòu)特征進(jìn)行情感識(shí)別的方法是十分有效的;進(jìn)一步對(duì)比三種特征結(jié)合本文方法的準(zhǔn)確率可知,微分熵的平均識(shí)別準(zhǔn)確率最高,功率譜特征次之,近似熵特征最低,說(shuō)明微分熵特征更適合表示腦電信號(hào)。與其他識(shí)別方法進(jìn)行比較可知,本文基于微分熵特征與深度殘差網(wǎng)絡(luò)的腦電信號(hào)情感識(shí)別方法在相同數(shù)據(jù)集上充分挖掘了各個(gè)導(dǎo)聯(lián)信息及導(dǎo)聯(lián)間隱匿的空間拓?fù)浣Y(jié)構(gòu)特征,識(shí)別平均準(zhǔn)確率為95.10%,進(jìn)一步表明了本文方法的優(yōu)越性。