基于腦電信號的ILDB情感特征提取算法

時文飛,　葉西寧

(華東理工大學信息科學與工程學院,上海 200237)

基于腦電信號的ILDB情感特征提取算法

時文飛,葉西寧

(華東理工大學信息科學與工程學院,上海 200237)

摘要：近年來,隨著信號處理和機器學習技術的快速發展,基于腦電信號的情感識別越來越受到重視。特征提取是情感識別過程中的關鍵一步。本文提出了改進的局域判別基(Improved Local Discriminant Bases,ILDB)算法,提取信號局域判別基各子空間的能量和系數均值特征構成特征向量,利用SVM分類器進行分類,通過對特征向量類可分性及分類正確率的評估,表明ILDB算法提取的特征具有可分性且分類正確率較高。ILDB算法的通道最高平均分類正確率達到88%,通道最高平均分類正確率比LDB算法提高4.4%和7.2%,所有通道平均分類正確率比LDB算法提高10.1%和9.8%。

關鍵詞：情感識別; ILDB; SVM

目前,情感識別領域常見的識別方法主要有情感行為識別(包括面部表情、語音、姿態等)和生理模式識別(包括皮膚電反應、心率、呼吸、體溫等)。基于情感行為識別的研究已經非常成熟,如Shan Caifeng等[1]利用LBP方法進行人臉表情識別;Picard等[2]提出機器智能應該包含情感智能,并且比較了基于多種生理特征的情感識別算法,由此打開了基于生理信號情感識別的大門。相比于皮膚電、心電等生理信號,腦電信號具有非平穩性、非線性、極易受偽跡干擾和幅度非常小的特點,導致腦電信號的處理非常困難。近年來,隨著信號處理技術的發展和腦電采集設備的應用,對腦電信號的采集和處理變得相對容易。現在已經建立了基于腦電信號的情感數據庫,并且能夠從網上下載3類免費的數據庫[3]。基于腦電信號的情感識別方法在近幾年也得到了一定的發展。

特征提取是模式識別中關鍵的一步,特征提取的好壞及特征維數的高低直接影響分類識別的正確率及模型的泛化能力。特征提取的方法主要有HHT(Hilbert-Huang Transform)、PCA(Principal Component Analysis)、ICA(Independent Component Analysis)和LDB(Local Discriminant Bases)等[4]。HHT過程中需要進行FFT變換,當時間序列出現突然的頻率變化時將導致不確定的結果;當信號的產生機制是高度非線性,并且依賴于復雜的多重性時,PCA是行不通的;ICA的一個限制是各獨立成分的能量和次序是不固定的。反映在時域、頻域或時頻域的信號瞬變現象往往是分類的重要特征,基于這個原因,關注信號的局部特征是很重要的。小波包變換能夠同時反映信號的時頻特征,最適合于處理腦電信號等隨機非平穩信號。基于小波包變換的LDB算法已經被用于生物醫學、地球物理學、聲波定位儀等多種分類問題。柳革命等[5]提出求取局域判別基的各子空間的能量,形成特征矢量的方法,在水聲模式分類中最高達到87.5%的分類正確率,但在特征選擇的時候只保留了判決度量函數值較大的部分子空間,沒有完全利用全部子空間的特征信息。Zheng Jiming等[6]利用平均距離作為改進的判決度量函數,提取局域判別基各子空間能量的統計特征組成特征矢量,在音頻信號分類中最高達到87%的總識別率,但在局域判別基選擇上忽略父節點與子節點判別度量值相近的情況,得到的局域判別基未必是最優的。本文在局域判別基選擇時設定閾值,在閾值范圍之外使用相對熵作為判決度量,在閾值范圍之內引入歐氏距離作為新的判決度量,并且可以通過調整閾值保證獲得的局域判別基是最優的;最后在特征提取過程中利用ILDB各子空間的能量和系數均值構成特征向量,充分利用了全部子空間的特征信息。

1小波包分解與局域判別基(LDB)

1.1概述

BB算法[7]是從正交小波包庫中選擇一組具有最小熵的小波包基作為最優基。BB算法主要用于數據壓縮和信號去噪領域。LDB算法對BB算法進行了改進,首先確定一個最能反映類可分性特征的判別度量函數,然后通過極大化判別度量函數獲得一組具有最優類可分性的小波包正交基,最后以這組小波包基系數作為特征向量，因此LDB算法的第一步就是小波包分解。

1.2小波包分解

1.3局域判別基

(1)

(2)

LDB算法步驟如下:

Step0選擇一個正交基庫,并且指定最大分解深度T和判決度量D;

Step1為類別c=1,…,C建立時頻能量圖Γc;

Step3通過如下規則判決最好的子空間Aj,k:

如果Δj,k≥Δj+1,2k+Δj+1,2k+1,則令Aj,k=Bj,k;否則令Aj,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1;

Step4根據判別度量值對基函數的分類能力進行由大到小排序;

Step5用前k個(k≤2n0)最具分類能力的基函數系數構建特征向量。

2改進的局域判別基(ILDB)算法

通過分析研究發現LDB算法存在2個主要問題:

(2)僅僅選擇前K個基函數系數作為特征,沒有完全利用各個子空間的特征,這將降低特征提取的可靠性及類可分性能力,進而影響分類正確率。

(3)

(4)

(5)

(6)

由于選取了相對熵和歐氏距離作為判決度量,所以為了降低特征維數及完全利用各個子空間的特征,在特征提取過程中利用ILDB各子空間的能量和系數均值構成特征向量。利用前面提出的方法對原LDB算法中的step3進行改進,ILDB算法的step3改為：

Step3通過如下規則判決最好的子空間Aj,k:

如果Δj,k-Δj+1,2k-Δj+1,2k+1≥ε,則令Aj,k=Bj,k;否則計算dj,k-dj+1,2k-dj+1,2k+1,如果dj,k-dj+1,2k-dj+1,2k+1≥0,則令Aj,k=Bj,k,否則令Aj,k=Aj+1,2k⊕Aj+1,2k+1,Δj,k=Δj+1,2k+Δj+1,2k+1。

關于如何選取基函數,目前還沒有很好的理論方法,鑒于Daubechies小波具有良好的緊支性、正交性,選擇db3作為基函數,對腦電信號進行5層小波包分解,分別采用LDB和ILDB算法(ε=5)得到的樣本局域判別基如圖1、2所示。

圖1　LDB算法小波包正交基

圖2　ILDB算法小波包正交基

由圖1、2可見,LDB算法和ILDB算法得到的局域判別基略有不同,主要原因是增加了新的判別準則。

3特征提取

本文選擇DEAP情感數據庫[8]進行樣本特征提取。DEAP數據庫基于效價、覺醒度和支配度三維情感模型,實驗過程中使用32通道的數據采集設備記錄了多達32個被試的情感腦電數據。根據數據庫文件participant_ratings的描述,從Valence、Arousal和Dominance評分較高的被試數據中可以提取12個愉悅狀態腦電數據,11個悲傷狀態腦電數據,15個平靜狀態腦電數據,27個喜愛狀態腦電數據和10個厭惡腦電數據。選取愉悅、悲傷、平靜、喜愛和厭惡狀態腦電數據樣本各10個,截取14～63 s共6 400個數據長度進行特征提取。神經科學和心理學的研究表明,人的各項生理和心理活動都影響腦電信號的δ頻段(1～4 Hz)、θ頻段(4～8 Hz)、α頻段(8～13 Hz)、β頻段(13～30 Hz)、γ頻段(36～44 Hz),大部分文獻在特征提取方面都是先提取腦電信號的各個節律,然后在各節律頻段提取相應的特征,這種做法無疑會增加計算時間,不利于實時應用。本文提取特征時直接提取腦電信號的特征。設原始EEG信號采樣率fs,各通道采樣數據長度為2n0,將EEG信號進行T級小波包分解,分別選擇ILDB和LDB作為小波包的一個完備基,這樣在第j(0

(7)

則每個通道所形成的系數均值特征矢量可以表示為Mi={AVEj,k},多個通道所形成的系數均值特征矢量可表示為M={M1,…,Mi}。從能量角度看,小波包變換將信號分解到不同的時頻域上,小波包變換幅度平方的積分同信號的能量成正比,則小波包樹第j層第k個節點的能量Ej,k計算公式為

(8)

則每個通道所形成的能量特征矢量可以表示為Ni={Ej,k} ,多個通道所形成的能量特征矢量可表示為N={N1,…,Ni}。

為了驗證LDB算法和ILDB算法得到的特征矢量的類可分性能力,可以使用Fisher判別準則[10]。定義準則:

(9)

表1　LDB與ILDB算法提取特征J值比較

對比表1中的J值可以看出，ILDB算法提取的特征向量的J值大于LDB算法提取的特征向量的J值,說明ILDB算法提取的特征向量的類可分性能力強于LDB算法提取的特征向量,從而從類可分性的角度驗證了ILDB算法的有效性。

4仿真結果與分析

模式識別的方法主要分為兩大類:一類是無監督的學習方法,包括模糊聚類、K均值和自組織映射等;另一類是有監督的學習方法,包括支持向量機、神經網絡、決策樹、貝葉斯網絡、K近鄰和隱馬爾科夫模型等。支持向量機有良好的分類正確率及模型泛化能力,本文采用SVM作為分類器進行情感模式分類。目前SVM實現的軟件包很多,以LIBSVM最為常用。LIBSVM使用過程中需要選定核函數,確定參數C、g。參數C和g的確定可以采用參數尋優算法。鑒于數據庫樣本數量較少的限制,為了避免分類問題的模型欠擬合現象,分別采用多項式核函數、徑向基核函數、神經網絡核函數構建SVM分類器,比較LDB算法與ILDB算法的分類正確率。

實驗過程使用DEAP數據庫中愉悅、悲傷、平靜、喜愛和厭惡情感狀態各10個樣本,對每類情感狀態的每個樣本提取10個相關通道電極的腦電數據,對每個通道每類情感狀態的10個樣本隨機選擇其中5個作為訓練集樣本,另5個作為測試集樣本,采用SVM一對一的方法進行分類。分別對每個通道每對情感狀態做5次分類實驗,比較了各通道腦電數據能量特征向量及能量、均值組合特征向量的平均分類正確率。各情感狀態的平均分類正確率在不同的通道是不同的，比如愉悅-悲傷以FC2通道平均分類正確率最高、悲傷-平靜以T8通道平均分類正確率最高。FC2通道平均分類正確率如表2所示;T8通道平均分類正確率如表3所示。所有通道平均分類正確率如表4所示,通道最高平均分類正確率如表5所示。所有通道平均分類正確率直方圖和通道最高分類正確率直方圖如圖3所示。

表2　FC2通道平均分類正確率

表3　T8通道平均分類正確率

表4　所有通道平均分類正確率

對比表2和表3可以看出，不同通道同一情感狀態對的分類正確率不同,這主要是因為不同通道電極連接不同的腦區,而情感狀態與腦區分布相關。由表2、3、4、5可看出分類正確率普遍不是非常高,這是由于腦電信號的非平穩性及產生機理非常復雜,極小的外界擾動及被試者心理波動都會對實驗數據造成很大干擾,從而影響特征提取及分類正確率。ILDB算法提取的特征向量分類正確率高于LDB算法提取的特征向量分類正確率,這也從分類正確率的角度證明了ILDB算法的有效性。平靜、喜愛、厭惡狀態的分類正確率低于愉悅、悲傷狀態的分類正確率,主要是由于平靜、喜愛、厭惡狀態的類別區分度較低。總體上看ILDB算法提取的能量、均值組合特征向量的分類正確率高于能量特征向量的分類正確率,這是由于在局域判別基選擇的時候ILDB算法利用了系數歐氏距離準則,在特征提取的時候組合了能量、均值特征,這也說明特征組合的方法可以提高分類正確率。表2和表5中wx情感狀態對的能量、均值組合特征向量的分類正確率低于能量特征向量的分類正確率,說明特征之間可能存在冗余以及信號之間具有相關性。由表5可以看出對于特定通道,某些類別的分類正確率較高,可以在今后的分類中對特定類別采集特定通道的腦電信號進行情感狀態識別,有助于提高識別率及減少計算量。另外,在實驗過程中還發現:LDB算法提取的特征分類正確率對訓練集樣本依賴性較強,而ILDB算法提取的特征分類正確率對訓練集樣本依賴性較弱,這主要是由于ILDB算法引入了閾值,通過調節閾值可以降低訓練集樣本對分類正確率的影響。

表5　通道最高平均分類正確率

圖3　分類正確率直方圖

5結束語

本文將LDB算法應用于基于腦電信號的情感識別的特征提取上,并提出ILDB算法,使用兩種算法分別提取腦電信號局域判別基各子空間小波包能量和系數均值構成特征向量。比較了能量特征和能量、均值組合特征的類可分性能力及分類正確率。兩類算法的分類正確率都較高,從而證明了LDB算法可用于基于腦電信號的情感識別方法的特征提取上。ILDB引入了閾值以及歐氏距離準則,通過調節閾值可以降低訓練集樣本對分類正確率的影響;組合能量、均值特征能夠提高分類正確率。由仿真實驗結果可以看出ILDB算法的通道最高平均分類正確率達到88%,所有通道平均分類正確率較LDB算法有10.1%和9.8%的提高,通道最高平均分類正確率較LDB算法有4.4%和7.2%的提高,這充分驗證了ILDB算法的有效性。

參考文獻：

[1]SHAN Caifeng,GONG Shaogang,MCOWAN P W.Robust facial expression recognition using local binary patterns[C]//Proceedings of International Conference on Image Processing.Genoa,Italy:IEEE,2005:370-373.

[2]PICARD R W,VYZAS E,HEALEY J.Toward machine emotional intelligence:Analysis of affective physiological state[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(10):1175-1191.

[3]LIU Yisi,SOURINA O.EEG databases for emotion recognition[C]//2013 International Conference on Cyber Worlds (CW).Yokohama:IEEE,2013:302-309.

[4]AZLAN W A W,LOW Y F.Feature extraction of electroencephalogram (EEG) signal:A review[C]//2014 IEEE Conference on Biomedical Engineering and Sciences (IECBES).USA:IEEE,2014:801-806.

[5]柳革命,孫超,陳建莉.基于局域判別基空間能量的特征提取[J].空軍工程大學學報(自然科學版),2008,9(1):33-36.

[6]ZHENG Jiming,WEI Guohua,YANG Chunde.Modified local discriminant bases and its application in audio feature extraction[C]//2009 International Forum on Information Technology and Applications IEEE Computer Society.USA:IEEE,2009:49-52.

[7]COIFMAN R R,WICKERHAUSE M V.Entropy-based algorithms for best basis selection[J].IEEE Transactions on Information Theory,1992,38(2):713-719.

[8]王慧琴.小波分析與應用[M].北京:北京郵電大學出版社,2011.

[9]SAITO N,COIFMAN R R.Local discriminant bases and their applications[J].Journal of Mathematical Imaging and Vision,1995,5(4):337-358.

[10]SERGIOS Theodoridis.Pattern Recognition[M].北京:電子工業出版社,2010.

EGG-Based ILDB Algorithm of Emotion Feature Extration

SHI Wen-fei,YE Xi-ning

(School of Information Science and Engineering,East China University of Science and Technology,Shanghai 200237,China)

Abstract:In recent years,with the rapid development of signal processing and machine learning technology,EEG-based emotion recognition has received more and more attention,in which feature extraction is a key step.This paper proposes an improved local discriminant bases (ILDB)algorithm,in which both the energy and the mean of each signal subspace coefficients are extracted from ILDB to construct feature vectors and SVM is utilized to classify.By assessing the separability of feature vectors and classification accuracy rate,the extracted features via ILDB are separable and have higher classification accuracy.The highest average classification accuracy rate of ILDB algorithm can attain 88%,which is 4.4% and 7.2% higher than that of LDB algorithm.Moreover,the average classification accuracy rate in all channels of ILDB algorithm increases by 10.1% and 9.8%.

Key words:emotion recognition; ILDB; SVM

收稿日期：2015-06-16

基金項目：國家自然科學基金(60974066)

作者簡介：時文飛(1987-),男,河南人,碩士生,主要研究方向為模式識別、機器學習。E-mail:18616276050@163.com 通信聯系人：葉西寧,E-mail:yexining@ecust.edu.cn

文章編號：1006-3080(2016)02-0254-06

DOI:10.14135/j.cnki.1006-3080.2016.02.016

中圖分類號：TP391.4

文獻標志碼：A