特征融合實現腦電信號情感分析

楊利英，孟天昊，張清楊，晁 思

(西安電子科技大學 計算機科學與技術學院，陜西 西安 710071)

情感是指一個人對客觀事物是否滿足自己的需要而產生的態度體驗，是由人的大腦和生活經驗兩個方面共同決定的。積極的情感對個人的日常生活和身體健康都有益；反之，如果長期處于低落的精神狀態，則很容易誘發抑郁癥等心理疾病，嚴重者甚至會產生自殘、傷害他人、輕生等損害身體健康的行為[1]。1997 年，由麻省理工學院 PICARD 教授定義了情感計算的概念[2]，從此情感計算正式成為現代計算機學科的一個分支。 情感計算可以通過人的表情、動作等外部生理信號進行分析，但由于情感具有可偽裝和非瞬時性的特點，使得它們無法進行高精度的情感識別。腦電信號(Electro Encephalo Gram，EEG)是與情感相關的神經中樞產生的，能夠體現出不同時刻的差異。生理和心理學家經過大量的研究，給出了合理、有效的情感評價標準[3]，也指出腦電與情感的關聯性遠遠超過其他生理信號。

對于腦電信號特征提取，KHALILI等[4]首先提出提取腦電信號的平均值、方差、偏度和峰值等時域特征進行情感識別。郭柳君等[5]對采集的腦電信號采用兩級腦控字符拼寫范式及 DeepLDA 指令解碼算法進行有效的目標字符解碼，并提出一種結合深度線性判別分析的腦電信號分類識別算法。柳素紅等[6]先分別提取腦了電信號的時域特征(Hjorth 參數 和 Energy)、STFT變換后的頻域特征(Power、RASM 和 DASM)和經過小波變換后提取的時頻域特征(Entropy 和 Energy)，然后分別對每個特征采用支持向量機評估其性能。ZHENG等[7]提取不同維度的腦電信號的判別特征進行情感分類，實驗表明表現最優的是一階差分、多尺度排列熵、gamma頻帶的能量和小波熵。馬江河等[8]利用相空間重構技術提取了腦電信號和語音信號的非線性幾何特征和非線性屬性特征，并結合進行了計算。

在腦電信號特征選擇方面，ZHANG等[9]使用C-RFE先根據權重對特征進行排序，選擇出貢獻度較高的腦電特征，運用最小二乘支持向量機分類，解決了腦電維數高的問題。XU等[10]提出了一種新的腦電特征選擇算法——FSOR，該算法將過濾特征選擇方法與封裝特征選擇方法相結合，使用了正交回歸來尋找空間中的特征子集。ASGHAR等[11]利用最佳函數還原的反函數 BoVC 來提高腦電特征的質量。

針對腦電信號分類的研究，曹衛東等[12]直接將情感特征通過Softmax分類器將情感特征進行分類，輸出情感極性。NAWAZ等[13]對比了分類方法SVM、KNN和DT，證明SVM在分類每種特征的效價和優勢度方面明顯優于KNN和DT，而在覺醒分類中，KNN在使用功率特征時略優于SVM，表明SVM在腦電信號情感識別上具有優越性。

對于特征提取和特征選擇的綜合應用方面，也有許多學者進行了探討。LIU等[14]從時域、頻域、時頻域和多電極的角度提取了12種特征，總計組合特征維度達到1 952維。他們通過mRMR算法進行特征選擇，分別使用KNN和隨機森林(RF)作為分類器。從實驗結果來看，mRMR算法明顯地提升了準確率。在其實驗中，RF分類器獲得了比KNN好的效果。CANDRA等[15]將小波熵和平均小波系數(WEAVE)結合起來作為腦電信號情緒特征，使用歸一化互信息(NMI)方法降維，并對Valence(非愉悅-愉悅)和Arousal(非激活-激活)情緒進行分類。SOROUSH等[16]提出了一種基于相空間動力學的方法對情緒進行分類，這種變換量化了相空間，并在新的狀態空間中表示特征，稱為龐加萊交叉點(Poincare intersections)特征。ISMAEL等[17]提出一種兩步多數投票的方式來解決情感識別問題，第1步基于小波熵特征確定每一頻段的最佳通道，第2步利用選出的所有頻段的通道預測情感狀態。

上述各方面研究都取得了進展，但是腦電信號分析在實際應用中還存在很多問題。一方面，由于腦電信號具有非平穩、信號微弱、頻段差異大的特性，很難以相對簡單的流程提取合理有效的特征來表征情感狀態；另一方面，腦電信號需要多通道采集設備以保證與情感相關的信號都能被涵蓋，而多通道采集設備在采集和數據處理過程中，存在大量對情感識別無意義或者貢獻度很低的信息，這不僅使腦電信號處理的復雜度大幅提升，同時也會影響情感識別的精度。

針對腦電信號的固有特性，筆者在功率譜強度特征的基礎上求得平衡功率譜強度特征，能有效地平衡腦電信號各頻段的信息，有利于情感識別與分類。針對腦電特征冗余的問題，提出將Relief算法和mRMR算法進行融合，并設計新的性能評價機制對融合特征進行選擇，最終獲得能夠更充分地表達腦電信號情感狀態的特征向量，為后續進行情感分析識別提供了依據。

1 應用融合特征進行腦電情感識別

1.1 DEAP數據

DEAP(Dataset for Emotion Analysis using EEG，Physiological and video signals) 數據集由KOELSTRA等學者創建[18]。KOELSTRA團隊從世界各地招募了32名受試者，其中男性和女性的數量各占總人數的一半，他們的年齡分布在19歲到37歲之間。在進行數據采集的過程中，首先讓32名受試者佩戴好數據采集設備，然后觀看了提前準備好的40個音樂視頻，并在觀看過程中采集受試者的生理信號。每一個受試者都要重復相同的實驗過程40次，同時采集每次實驗中受試者在不同的音樂視頻刺激下的生理信號。這些生理信號是從受試者頭皮上的40個通道上采集而來的，其中前32個通道采集的是腦電信號，后8個通道是心電、肌電和眼電等其他生理信號。

表1 DEAP數據集

在每次實驗執行過程中，首先會顯示目前所做實驗的編號，即所對應的音樂視頻的編號，然后會有3 s的空白，以使受試者的情緒恢復平穩。接著，是誘發情感的1 min 時長的音樂視頻，誘發出的40個通道的生理信號被同期采集。依據效果評價和喚醒度所構成的二維情感模型[19]，在實驗結束后讓受試者對每一個視頻的感覺在Valence(非愉悅-愉悅)、Arousal(非激活-激活)、Dominance(被支配-支配)和Like/Dislike(喜歡/不喜歡)這4個維度進行打分，分值的選擇范圍在1～9之間。為了適應情感識別問題的輸入，DEAP將腦電數據降采樣為128 Hz，情感刺激的時長為60 s，因此每一個通道有7 680個采樣點。DEAP數據集的描述如表1表示。

1.2 平衡功率譜強度

由于腦電信號低頻段與高頻段的能量值存在很大差異，使用能量譜、功率譜等特征時，頻譜的平方值會導致高低頻段差異性被過度放大，不利于特征的分類與識別。針對這一問題，以能量譜密度為基礎的差分熵特征[20]采取能量的對數值，對高低頻段進行平衡，縮小了特征的差異性。功率譜強度[21]是對頻域各樣本點的幅值求和，相比于取平方的能量譜而言，它在平衡高低頻段信號方面的效果更為顯著。

為了綜合利用高低頻段的信號并避免二者差異過大，筆者在進行特征提取時采用基于功率譜強度(Power Spectrum Intensity，PSI)的平衡功率譜強度(Balanced Power Spectrum Intensity，BPSI)。首先將原始腦電信號劃分成N個時間窗口；然后對每個時間窗口分別進行快速傅里葉變換；接著對頻域采樣點取幅值求和，得到功率譜強度；最后對功率譜強度取對數獲得平衡功率譜強度。平衡功率譜強度的計算如下：

(1)

1.3 融合特征選擇

對多通路腦電原始信號進行特征提取后，特征向量仍然存在較多冗余，特征選擇旨在獲得易區分真實情感的特征。特征選擇主要有兩種方法：一種是在特征集合內依據特征對相近樣本的區分能力來選擇特征，其代表為Relief算法[22]；另一種則在特征集合內選擇彼此相關性較小而與輸出結果相關性較大的特征，其代表為mRMR算法[23]。在應用方面，特征選擇表現為以較少的特征提升或維持識別準確率。上述兩種特征選擇方法存在很好的互補性：Relief算法可以在保證準確率降低較小的情況下，較大幅度地減少特征維度；mRMR算法雖然能保持識別準確率，但降維效果有待提升。鑒于此，筆者綜合兩種算法，提出融合特征選擇算法(Fusion Feature Select，FFS)。

首先，根據特征對相近樣本的區分能力，將原始信號特征向量中的特征進行重排，得到新的特征向量VR。特征區分能力權值更新如下：

(2)

(3)

式(2)中，i為迭代次數；Ri是第i次迭代中從訓練集中隨機選擇的樣本；Wi(fl) 是第i次迭代中第l個特征的權重值；P(C) 指類別C在樣本集中的占比；m為采樣次數；r為最近鄰樣本個數；Hj是R同類樣本中的最近鄰樣本，Mj是R不同類樣本中的最近鄰樣本；ddiff(f，X1，X2)是樣本X1與樣本X2中的特征f的差異性，通過式 (3) 計算。式(3)中，v(f，X) 指的是樣本X的特征f的特征值，max(f) 和min(f)分別代表所選樣本的特征f的最大值與最小值。

其次，以特征集合彼此相關性較小而與分類標簽相關性較大為標準，對原始特征重排，得到特征向量VM，評判標準如下：

maxΦ(D，R)，Φ=D-R。

(4)

式(4)中，D表示最大相關性，按式 (5) 計算；R表示最小冗余，按式 (6) 計算：

(5)

(6)

其中，I為互信息函數。

接著，通過特征向量融合式(7)，調整特征權重WR和WM，得到融合特征向量組G。G是二維特征向量，包含了多組融合特征向量。

G[i]=VRWR+VMWM，

(7)

其中，G[i] 表示第i個特征融合向量。第二維容量取決于WR和WM改變的次數，每改變一次，容量加1。改變的幅度由步長決定，步長的取值范圍為 [0.01，1]。

最后，通過驗證集在融合特征向量組G中選擇最佳融合特征向量VBest和其對應的特征維度的數目NBest，應用融合算法完成情感識別。

1.4 度量機制

應用特征選擇算法對特征向量進行降維的同時，要盡可能地提升或保持識別精度，這是特征選擇的基本要求。為綜合評價特征選擇算法的性能，筆者提出一種度量機制——Score，其計算如下所示：

(8)

其中，S是特征所得分值；A表示識別準確率；N表示特征選擇算法降維后的特征數目；C為度量代價的參數，用以表征特征維度對情感識別系統的負擔。經過對DEAP數據集的多次實驗，并調研使用DEAP數據集的其他研究者[20]的實驗結果，設置 Cost 為25，作為代價取值。

1.5 算法驗證

YAN等[24]指出，較小時間刻度的腦電信號能顯示出更好的情感識別性能，同時指出時間窗大小設置為1～2 s時最優，因此筆者將60 s的腦電數據按每段一秒劃分成60個片段，其中采樣頻率為128 Hz。隨機選擇1/6的片段作為測試集(400個片段)，1/6的片段作為驗證集(400個片段)，剩余的4/6的片段作為訓練集(1 600個片段)。為了驗證平衡功率譜強度的性能，將平衡功率譜強度與包括功率譜強度、差分熵等在內的多種頻域特征進行了對比實驗。為驗證特征融合算法的性能，采用支持向量機分類算法和高斯核函數，對腦電信號特征進行情緒狀態的兩類分類，比較了特征融合算法與包含Relief、mRMR在內的其他特征選擇算法。

2 實驗結果

2.1 平衡功率譜強度

表2列出了BPSI和PSI及其他常用頻域特征的對比結果，包括能量譜密度(Energy Spectral Density，ESD)、功率譜密度(Power Spectral Density，PSD)、相對強度比(Relative Intensity Ratio，RIR)、差分熵(Differential Entropy，DE)。由表2可見，無論是在Valence維度上，還是Arousal維度上，BPSI都有明顯優勢。

表2 平衡功率譜強度與其他特征分類準確率對比 %

2.2 融合特征選擇

以不進行選擇的BPSI特征作為基線(Base)，比較了特征融合算法(FFS)、Relief和mRMR特征選擇算法，其中Score數值由式 (8) 計算得到，結果如圖1所示。

(a) 準確率

由圖1可見，FFS在Valence維度上有86.26的Score分值，Arousal維度有85.02的Score分值，明顯優于其他算法。兩個維度上的Score結果都比傳統特征選擇算法中綜合分值居首的Relief算法高出約2分，高出基線約3.9分。從準確率來看，FFS的準確率在Valence維度為88.89%，Arousal維度為87.73%，其平均值較基線有提升，且在降維方面有較大優勢。同時，在兩個維度上，FFS都明顯優于Relief算法。從特征數目來看，FFS在Valence維度的特征數目為67，Arousal維度的為68，這比傳統特征選擇算法中最佳分值的Relief算法要低14維，相對于基線達到58%的降維，降維效果顯著。由此可見，無論在識別精度還是降維效果方面，FFS算法都有好的表現。

2.3 情感識別方法比較

當前，許多學者在DEAP數據集上進行了特征提取和特征選擇方面的研究。

筆者將引言中提及的應用于DEAP數據集的算法和筆者提出的融合算法進行對比，結果如表3所示。從表3可見，筆者提出的算法在準確率方面優于其他算法。

表3 DEAP數據集上情感識別方法準確率對比 %

3 分析及討論

針對腦電信號情感分析識別率低、特征冗余的問題，筆者從特征提取和特征選擇兩個方面進行了探討。

在特征提取方面，取頻段幅值和的對數值，得到平衡功率譜強度(BPSI)，使各頻段特征之間的差異遠小于其他頻域特征各頻段的差異，以此提高后續分類能力。相比于PSI和BPSI，優勢在于使一部分受試者的準確率有了較大幅度的提升，并且絕大多數受試者的BPSI特征的表現要優于PSI。這充分說明BPSI在腦電信號處理上有較強的普適性，有利于腦電情感的識別。與其他腦電信號頻域特征相比，BPSI也有更好的識別效果，在一定程度上解決了腦電信號識別率低的問題。

在特征選擇方面，提出了融合特征選擇算法(FFS)。該算法從特征間能否區分近距離樣本、特征集合能否彼此區分且與標簽相關性較大這兩個角度去選擇特征集合。與基線、Relief和mRMR算法的實驗對比表明，FFS算法選擇的特征集合在特征數目上有較大優勢，Valence維度的特征數目為67，Arousal維度的為68，相較于基線達到了58%的降維。FFS在識別準確率上也比基線高，兼顧了識別精度和降維效果；綜合分數Score也顯示出該方法的優越性。這說明對于存在互補性的多種特征選擇方法，使用FFS算法能在擴大搜索空間的同時產生新的最優解，充分挖掘了各種算法的優勢，在解決特征冗余問題的同時，提升了識別精度。

在情感識別方法的綜合分析方面，將BPSI與FFS的組合方法和近年來在DEAP數據集上進行特征提取和選擇的方法進行了對比。從結果來看，無論是識別精度還是降維效果，筆者所提出的方法都處于領先地位。但是，由于個體的特征集合不同，在應用特征融合方法進行情感分析時，仍需要采集全通道的腦電信號。

4 總 結

筆者從腦電信號的兩個核心研究方向，即從特征提取和特征選擇出發，改進PSI得到BPSI，并提出了特征融合選擇算法。經實驗驗證，基于BPSI的特征融合選擇算法在提高識別準確率的同時大幅度地降低了特征維度，有助于解決腦電信號情感分析時識別率低、特征冗余的問題。

下一步將對各受試者的最優特征集合進行研究，以獲得針對腦電情感分析的公共通道信息，提高腦電信號的采集效率，并緩解計算和傳輸壓力。