基于IMF能量矩的腦電情緒特征提取研究

王成龍 韋巍 李天永

摘 要： 為了提高腦電信號(hào)情緒識(shí)別分類的準(zhǔn)確率，在小波變換的基礎(chǔ)上，結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）和能量矩提出一種新的腦電特征提取方法。該研究利用小波變換提取左右前額葉（AF3，AF4）、左右額葉（F3，F(xiàn)4）和左右頂葉（FC5，F(xiàn)C6）通道的α波、θ波、β波和γ波節(jié)律；對(duì)提取的腦電節(jié)律進(jìn)行EMD分解獲得固有模態(tài)函數(shù)（IMF）分量，再進(jìn)一步提取IMF分量的能量矩特征；最后使用支持向量機(jī)實(shí)現(xiàn)情感狀態(tài)評(píng)估。實(shí)驗(yàn)結(jié)果表明，將IMF能量矩用于腦電信號(hào)情感識(shí)別是可行的。

關(guān)鍵詞： 小波變換； 經(jīng)驗(yàn)?zāi)B(tài)分解； 本征模態(tài)函數(shù)； 能量矩； 腦電信號(hào)； 情感識(shí)別

中圖分類號(hào)： TN925?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）20?0010?04

Abstract： A new EEG feature extraction method is proposed based on wavelet transform， empirical mode decomposition （EMD） and energy moment， so as to improve the classification accuracy rate of EEG signal emotion recognition. The wavelet transform is used to extract the α， θ， β and γ waveform rhythms for channels of left and right prefrontal lobes （AF3， AF4）， frontal lobes （F3， F4） and parietal lobes （FC5， FC6）. The EMD is conducted of extracted EEG rhythms to obtain components of the intrinsic mode function （IMF）， and further extract the energy moment feature of IMF components. The support vector machine is used to realize emotion status evaluation. The experimental results show that it is feasible to apply the IMF energy moment in EEG signal emotion recognition.

Keywords： wavelet transform； empirical mode decomposition； intrinsic mode function； energy moment； EEG signal； emotion recognition

0 引 言

腦電信號(hào)是一種非平穩(wěn)、非線性的隨機(jī)信號(hào)，單獨(dú)考慮時(shí)域特征或頻域特征都是不全面的，因此越來(lái)越多的研究致力于腦電信號(hào)時(shí)頻特征的研究。經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）是一種自適應(yīng)信號(hào)時(shí)頻分析方法，分解的本征模態(tài)函數(shù)（IMF）能夠體現(xiàn)信號(hào)的非線性、非平穩(wěn)性特征。自從1998年，Huang等提出EMD算法以來(lái)，EMD算法在國(guó)內(nèi)外腦電信號(hào)的研究中應(yīng)用非常廣泛[1]。沈雪麗將小波包變換和HHT結(jié)合起來(lái)，應(yīng)用到睡眠腦電的分期識(shí)別中[2]。李淑芳從癲癇腦電信號(hào)中提取IMF分量的能量、幅值和波動(dòng)指數(shù)特征，提高了癲癇腦電信號(hào)的識(shí)別率[3]。楊鵬圓利用HHT和小波包變換提取腦電信號(hào)的多個(gè)特征進(jìn)行愉悅度的識(shí)別[4]。陸苗使用分段冪函數(shù)插值算法改善EMD分解的精度，并提取IMF能量熵作為特征，提高了情感識(shí)別的準(zhǔn)確率[5]。Arasteh提取EMD的靈敏度的信噪比作為特征[6]。Rifai Chai提取每一個(gè)IMF分量的功率譜密度作為特征[7]。Ahmet Mert提出了多元經(jīng)驗(yàn)?zāi)B(tài)分解應(yīng)用于腦電的情緒識(shí)別[8]。

本文提出一種新的基于IMF能量矩和SVM的腦電情緒識(shí)別方法。通過利用小波變換分解重構(gòu)出α波、θ波、β波和γ波，再利用EMD將小波變換的信號(hào)進(jìn)行分解，得到一系列的IMF分量，進(jìn)一步提取IMF的能量矩作為特征，通過SVM分類器建立腦電情感識(shí)別模型。

本文研究使用的所有數(shù)據(jù)均來(lái)自Koelstra 2010年提取的腦電情感分析數(shù)據(jù)庫(kù)[9]。

1 EMD方法原理

EMD是一種非參數(shù)自適應(yīng)方法，它能把復(fù)雜的數(shù)據(jù)分解成若干個(gè)有限的IMF。

EMD分解的具體過程如下：

1） 找出原始信號(hào)x（t）所有的局部極大值點(diǎn)和極小值點(diǎn)；

2） 對(duì)所求的極大值點(diǎn)和極小值點(diǎn)進(jìn)行三次樣條插值，求出上包絡(luò)線xu（t）和下包絡(luò)線xl（t）；

2 IMF能量矩

針對(duì)腦電信號(hào)的時(shí)變、非平穩(wěn)性特性，本文引入了一種IMF能量矩的特征提取方法，其是對(duì)傳統(tǒng)IMF能量或能量熵的改進(jìn)。它采用IMF與時(shí)間乘積的積分來(lái)獲得每一個(gè)IMF的能量特征值，可以更好地反應(yīng)不同時(shí)間內(nèi)能量的波動(dòng)情況，更準(zhǔn)確地獲得信號(hào)的本質(zhì)特征[10]。IMF能量矩的定義為：

為了驗(yàn)證IMF能量矩與IMF能量表征腦電信號(hào)情緒的能力，對(duì)第一個(gè)受試者的Fp1通道的第1個(gè)實(shí)驗(yàn)和第40個(gè)實(shí)驗(yàn)的IMF能量矩和IMF能量分別進(jìn)行了對(duì)比。獲取這兩個(gè)信號(hào)前三個(gè)IMF分量的能量和能量矩，其統(tǒng)計(jì)直方圖如圖1和圖2所示。

通過對(duì)比可以看出，第一個(gè)受試者的Fp1通道的第1個(gè)實(shí)驗(yàn)和第40個(gè)實(shí)驗(yàn)的能量直方圖的區(qū)別并不明顯；當(dāng)引入能量矩后，兩者的差異性明顯增加，更有利于腦電信號(hào)不同的情緒之間的識(shí)別。

3 特征提取

特征提取是情緒識(shí)別的關(guān)鍵環(huán)節(jié)，提取特征的好壞直接影響到情緒識(shí)別的準(zhǔn)確率。

根據(jù)已有的腦電研究成果，腦電信號(hào)的不同節(jié)律，對(duì)情緒的影響也不同。α波與積極的音樂情緒呈現(xiàn)負(fù)相關(guān)趨勢(shì)，β波與積極的音樂情緒呈現(xiàn)正相關(guān)趨勢(shì)[11]。Sammler等人通過研究快樂與悲傷的音樂的腦部活動(dòng)發(fā)現(xiàn)，快樂的音樂與θ波的升高有關(guān)[12]。關(guān)于δ和γ的情緒識(shí)別的相關(guān)研究相對(duì)較少。由于選用的數(shù)據(jù)集的頻率范圍為4～45 Hz，因此本文的腦電信號(hào)的特征提取主要體現(xiàn)在θ，α，β和γ四種節(jié)律上。

首先將32個(gè)受試者的腦電信號(hào)利用小波變換進(jìn)行分層分解，分解重構(gòu)出θ波、α波、β波和γ波。接著進(jìn)行EMD分解，獲得n個(gè)IMF分量和殘余項(xiàng)。以第一個(gè)受試者的第一個(gè)實(shí)驗(yàn)的α波為例，EMD分解如圖3所示。

考慮到每一個(gè)信號(hào)進(jìn)行EMD分解之后的IMF的個(gè)數(shù)不一樣，并且如果選取全部的IMF進(jìn)行特征提取，那么特征向量的維數(shù)將會(huì)非常高。由于前三階的IMF分量的能量幾乎包含了信號(hào)98%左右的能量，因此選擇前三階的IMF分量進(jìn)行特征提取。以第一個(gè)受試者第一個(gè)通道的所有實(shí)驗(yàn)為例，前三階的IMF能量的比例如圖4所示。

4 腦電信號(hào)情感識(shí)別實(shí)驗(yàn)

腦電數(shù)據(jù)庫(kù)中，每一個(gè)實(shí)驗(yàn)有7 680個(gè)數(shù)據(jù)點(diǎn)。如果選擇全部的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，則在CPU為I5?4590的電腦上需要運(yùn)行30 h左右。因此本文根據(jù)Candra等人的研究[13]，截取3～12 s的腦電數(shù)據(jù)進(jìn)行分析。Oostenveld等人的研究表明情緒的產(chǎn)生主要集中在大腦的頂葉和前額葉部分[14]，所以選擇左右頂葉（FC5和FC6）、左右額葉（F3和F4）和左右前額葉（AF3和AF4）的腦電數(shù)據(jù)進(jìn)行研究。

從腦電數(shù)據(jù)庫(kù)中已有的17個(gè)情緒標(biāo)簽中選取4個(gè)情緒標(biāo)簽：樂趣、高興、悲傷和糟糕，對(duì)所選取的4種情緒進(jìn)行兩兩分類。分類結(jié)果如表1所示。

表中：F為數(shù)據(jù)庫(kù)中情緒標(biāo)簽為fun的數(shù)據(jù)；S為數(shù)據(jù)庫(kù)中情緒標(biāo)簽為sad的數(shù)據(jù)；T為數(shù)據(jù)庫(kù)中情緒標(biāo)簽為terrible的數(shù)據(jù)；H為數(shù)據(jù)庫(kù)中情緒標(biāo)簽為happy的數(shù)據(jù)。

分析表1的結(jié)果發(fā)現(xiàn)，基于IMF能量矩的情緒識(shí)別分類的準(zhǔn)確率基本都高于IMF能量和IMF能量熵的情緒識(shí)別分類的準(zhǔn)確率。使用近似熵作為腦電情緒識(shí)別特征的整體平均分類準(zhǔn)確率是62.18%；使用能量熵作為腦電情緒識(shí)別的特征的整體平均分類準(zhǔn)確率是58.34%；使用IMF能量矩作為腦電情緒識(shí)別的特征的整體平均分類準(zhǔn)確率是68.59%。結(jié)果表明IMF能量矩用于腦電信號(hào)的情感識(shí)別是有效的。

5 結(jié) 語(yǔ)

本文對(duì)腦電信號(hào)情緒識(shí)別的特征提取進(jìn)行研究，在小波變換和經(jīng)驗(yàn)?zāi)B(tài)的基礎(chǔ)上，提出一種基于IMF能量矩的腦電信號(hào)特征提取方法。實(shí)驗(yàn)表明，用IMF能量矩提取腦電信號(hào)的情感特征是可取的，情緒識(shí)別的分類精度有所提升。

參考文獻(xiàn)

[1] HUANG N E， SHEN Z， LONG S R， et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non?stationary time series analysis [J]. Proceedings： mathematical， physical and engineering sciences， 1998， 454（1971）： 903?995.

[2] SHEN X L， FAN Y L. Sleep stage classification based on EEG signals by using improved Hilbert?Huang transform [J]. Applied mechanics and materials， 2012， 138： 1096?1101.

[3] LI S， ZHOU W， CAI D， et al. EEG signal classification based on EMD and SVM [J]. Journal of biomedical engineering， 2011， 28（5）： 891?894.

[4] 楊鵬圓，李海芳，陳東偉.Hilbert?Huang變換在情感腦電特征提取中的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35（7）：2509?2514.

YANG Pengyuan， LI Haifang， CHEN Dongwei. Application of Hilbert?Huang transform in emotion EEG feature extraction [J]. Computer engineering and design， 2014， 35（7）： 2509?2514.

[5] 陸苗，鄒俊忠，張見，等.基于IMF能量熵的腦電情感特征提取研究[J].生物醫(yī)學(xué)工程研究，2016，35（2）：71?74.

LU Miao， ZOU Junzhong， ZHANG Jian， et al. Emotion electroencephalograph（EEG） recognition based on IMF energy entropy [J]. Journal of biomedical engineering research， 2016， 35（2）： 71?74.

[6] ARASTEH A， JANGHORBANI A， MORADI M H. A survey on EMD sensitivity to SNR for EEG feature extraction in BCI application [C]// Proceedings of 5th International Biomedical Engineering Conference. Cairo： IEEE， 2010： 175?179.

[7] CHAI R， LING S H， HUNTER G P， et al. Toward fewer EEG channels and better feature extractor of non?motor imagery mental tasks classification for a wheelchair thought controller [C]// Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego： IEEE， 2012： 5266?5269.

[8] MERT A， AKAN A. Emotion recognition from EEG signals by using multivariate empirical mode decomposition [J]. Pattern analysis and applications， 2018， 21（1）： 81?89.

[9] KOELSTRA S， MUHL C， SOLEYMANI M， et al. DEAP： a database for emotion analysis using physiological signals [J]. IEEE transactions on affective computing， 2012， 3（1）： 18?31.

[10] 秦太龍，楊勇，程珩，等.基于IMF能量矩和神經(jīng)網(wǎng)絡(luò)的軸承故障診斷[J].振動(dòng)、測(cè)試與診斷，2008，28（3）：229?232.

QIN Tailong， YANG Yong， CHENG Hang， et al. Rolling bearing fault diagnosis based on intrinstc mode function energy moment and BP neural network [J]. Journal of vibration， measurement & diagnosis， 2008， 28（3）： 229?232.

[11] 毛茅.音樂誘發(fā)情緒的心理生理測(cè)量及其在服務(wù)設(shè)計(jì)中的應(yīng)用[D].北京：清華大學(xué)，2013.

MAO Mao. Psychologically and physiologically measuring music?induced emotion and its application in service design [D]. Beijing： Tsinghua University， 2013.

[12] SAMMLER D， GRIGUTSCH M， FRITZ T， et al. Music and emotion： electrophysiological correlates of the processing of pleasant and unpleasant music [J]. Psychophysiology， 2007， 44（2）： 293?304.

[13] CANDRA H， YUWONO M， CHAI R， et al. Investigation of window size in classification of EEG?emotion signal with wavelet entropy and support vector machine [C]// Proceedings of 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan： IEEE， 2015： 7250?7253.

[14] OOSTENVELD R， PRAAMSTRA P. The five percent electrode system for high?resolution EEG and ERP measurements [J]. Clinical neurophysiology， 2001， 112（4）： 713?719.