多特征融合的腦電情緒分類

梁明晶，王 璐，溫 昕，曹 銳

太原理工大學 軟件學院，山西 晉中 030600

情緒識別是人腦高級認知功能之一。作為一個跨學科領域，情緒識別的研究得益于心理學、現代神經科學、認知科學和計算機科學的發展[1]?，F階段，基于腦電圖（electroencephalogram，EEG）的情緒識別正成為該領域的研究熱點。相比于其他無創探測腦結構、功能成像或信號技術，EEG具有很高的時間分辨率，從大腦皮層、情緒理論到腦機接口應用的研究都表明使用EEG進行情緒識別是非常可行的[2-4]。

在傳統的基于EEG的情緒識別方法中，不同頻段的EEG功率譜密度（power spectral density，PSD）是情緒識別中最為常用的統計特征[5-7]。而近年來研究表明，微分熵（differential entropy，DE）是反映情緒變化更穩定和準確的EEG特征[8-9]。例如，Pan等人[5]提取DEAP數據集全頻段的PSD和DE特征，由SVM分類器獲得的LV/HV情緒的分類的平均精度和標準偏差分別為69.04%/5.91%和77.17%/6.37%；劉雙[10]基于觸覺和EEG融合的情感研究中，在不同頻段上使用DE特征的分類準確率優于PSD和小波熵，在γ頻段無觸覺和有觸覺狀態下分別達到70.89%和75.23%。

由于很多研究人員認識到人體是一個非線性系統，由人體自發產生的EEG是一種非線性信號，從而將熵引入到基于EEG的情緒識別研究中，特別是樣本熵（sample entropy，SampEn）在情緒識別任務中得到較多應用。Xiang等人[11]在DEAP數據集上基于SampEn對情感進行分類，在愉悅度和喚醒度準確率分別為80.43%和79.11%；蘇建新[12]使用SampEn對壓力狀態和平靜狀態進行情緒分類，分類準確率為77.8%。

但情緒活動涉及腦區間的交互和信息傳遞，研究人員嘗試將腦功能連接特征引入情緒識別研究中。最小生成樹（minimum spanning tree，MST）代表了網絡中關鍵的信息流，避免了傳統網絡閾值選擇等諸多爭議問題，在腦網絡研究領域展現出了潛在的優越性。例如，Farashi等人[13]利用腦功能連接中MST在DEAP數據集基于喚醒-效價空間象限進行情緒二元分類的系統性能高于80%；Xing等人[14]利用MST改變動態腦電圖連接組相空間特征進行社會焦慮的情緒調節。

使用單一特征可能丟失一些腦功能信息，認為不同類型的特征融合可以盡可能地涵蓋情緒變化中大腦活動模式的變化。因此，為充分考慮特征的互補性，在DE基礎上將分別提取非線性SampEn特征和功能連接MST屬性獲取更為豐富的EEG情感信息進行分類，以期達到更好的分類效果，為探索大腦認知機制提供新的研究思路。

1 情緒分類實驗

1.1 實驗數據

實驗數據來自上海交通大學BCMI實驗室提供的SEED-IV數據集[15]，包含由ESI神經掃描系統和SMI眼動追蹤眼鏡收集的15個被試的62通道腦電信號以及眼動信號。實驗范式如圖1所示。其中電影片段播放開始提示時間為5 s，電影片段約為2 min，看完電影后有45 s的自我評估時間。每個被試進行3次實驗（即3個session），每次實驗相隔一周。每次實驗觀看24個電影片段，電影片段包含快樂、悲傷、恐懼和中性4種情緒，每種情緒的電影片段為6個。

圖1 SEED-IV數據集實驗范式Fig.1 Experimental protocol in SEED-IV dataset

只使用62通道的腦電信號作為實驗數據，原始腦電數據降采樣至200 Hz，并使用1~75 Hz的帶通濾波器過濾噪聲、去除偽影。已有研究表明[16-17]，γ頻段與情緒過程具有高度相關性，其能更好地揭示情緒認知控制機制。將處理得到的γ頻段的腦電數據以4 s（800個采樣點）為一非重疊段劃分時間窗生成足夠數量的樣本用于情緒分類，時間窗個數視為樣本個數。

1.2 特征提取

1.2.1 微分熵（DE）

DE用于衡量連續隨機信號包含信息的總量，對于連續信號的概率密度分布中的不確定性進行統計。對于EEG時間序列X，已知其概率密度分布函數為P(x)，可以利用DE表示EEG序列復雜程度。隨機變量的DE計算如公式（1）所示：

研究表明雖然原始EEG信號不滿足某種特定概率密度分布函數，但是通過子頻帶分解，各子頻帶信號近似服從高斯分布x~N(μ,σ2)，EEG時間序列在固定子頻帶DE特征計算如公式（2）所示[9]：

本實驗中計算DE特征使用公式（2），重點研究處理得到的γ頻段的腦電數據。

1.2.2 樣本熵（SampEn）

SampEn用以量化EEG時間序列波動規律性和不可預測性的非線性動力學參數，其基于ApEn進行相應改進克服對時間序列長度依賴的缺點，保證較短時間序列也能計算SampEn。具體計算過程如公式（3）~（8）所示：

（1）定義參數m與r，其中m為重構向量維度，r為相似容限。

（2）將時間序列{x(i),i=1,2,…,N}重構N-m+1個m維向量X(1),X(2),…,X(N-m+1)，其中X(i)=[x(i),x(i+1),…,x(i+m-1)],1≤i≤N-m+1。

（3）計算每個向量與其他N-m個向量之間的距離d[Xm(i),Xm(j)]。將計算所得N-m個距離與給定相似容限r進行比較，當計算所得距離小于相似容限r時認為兩個向量相似，滿足條件的向量個數記為Bm

i(r)，計算過程如公式（3）所示：

（4）求Bmi(r)對所有i的平均值，記為Bm(r)，Bm(r)的計算過程如公式（4）所示：

（5）將時間序列重構為m+1維向量，重復上述步驟，根據公式（5）得到Bm+1(r)：

其中(r)計算過程如公式（6）所示：

則EEG時間序列SampEn可由公式（7）計算得到：

實際計算過程中N不可能為無窮，當N為有限值時，SampEn的計算如公式（8）所示：

本實驗計算EEG時間序列過程中，m設置為2，r設置為0.2 SD（SD為EEG時間序列的標準差）。

1.2.3 最小生成樹（MST）

以腦電節點作為腦網絡的節點，相位滯后指數（phase lag index，PLI）通過衡量腦電節點間的依賴關系作為腦網絡的邊，計算功能腦網絡關聯矩陣，然后采用算法效率更快的Kruskal算法得到MST。此過程將腦網絡所有的連接權重從最低權重排序到最高權重，首先斷開所有節點的連接，其次添加權重最高的連接，接下來添加權重第二高的連接，并重復此過程，直到所有節點都處于同一個連通圖中，并且沒有形成閉環。

為了更好地衡量MST的結構，計算了如表1所示的常用6種度量指標[18]，分別是節點度（degree）、直徑（diameter，Dia）、離心率（eccentricity，Ecc）、葉子分數（leaf fraction，Lf）、中間中心度（betweenness centrality，BC）、樹層次（tree hierarchy，Th）。

表1 MST屬性的常用度量指標Table 1 Common metrics for minimum spanning tree attributes

1.2.4 特征融合與選擇

從不同的EEG中提取了大量特征，將所有提取的特征矩陣使用串行拼接的融合方式構建新的特征向量。其融合特征計算過程如公式（9）~（12）所示：

其中，Di代表第i個樣本的DE特征，Mi代表第i個樣本的MST屬性（上述6個度量指標拼接得到），Si代表第i個樣本的Sampen特征，Yi代表融合特征，由Di、Mi和Si串行拼接得到。

每種特征對情緒最終的影響不盡相同，為了提高特征敏感性，正確地對每種情緒進行分類，使用雙樣本T檢驗（sample t-test）來選擇合適且重要的特征。其權重基于sample t-test的絕對值和合并方差估計，計算過程如公式（13）所示：

其中，W(i)是特征i的權重，m是特征均值，Nx是情緒類別中的樣本數量，mx和σx2是預期特征中的情緒分類的均值和方差。本實驗選擇特征時，將權重臨界值設為0.05，如果小于0.05，則視為顯著，反之不顯著。

1.2.5 分類方法

SVM分類器通常是通過建立超平面，盡可能區分正反例來解決兩類問題。本文使用LIBSVM[19]工具包對腦電不同情緒進行分類，通過訓練樣本和相應的標簽、核函數和懲罰因子構建用于測試樣本的決策函數。同時，使用五折交叉驗證盡可能地避免過擬合。

2 實驗結果與分析

2.1 基于單特征的情緒分類

為了研究不同類型特征對腦電情緒分類的影響，選取第一次實驗采集的腦電情緒數據（即1個session），將其快樂、悲傷、恐懼和中性4種情緒的EEG信號進行兩兩對比實驗共設計6組，分別采用DE、MST、SampEn作為SVM分類器的輸入向量并得出分類結果，分類結果如表2所列。

表2 單特征的情緒分類結果Table 2 Sentiment classification results with single feature 單位：%

結果表明，DE特征的分類效果要明顯優于MST和SampEn，其平均分類準確率為77.86%，而MST屬性的平均分類準確率僅為52.47%，SampEn特征的平均分類準確率為60.34%。這可能是因為高頻特征與情緒處理的關聯更大，而DE特征對于大腦情緒的高頻特征具有一定程度上的平衡作用[20]，使高頻特征的作用變得更強，進而更容易被有效區分，因此推測DE特征相較其他兩種特征更適用于EEG的情緒分類。而且，較Zheng等人[15]在同一數據集采用DE特征達到70.58%的平均分類準確率，本文經sample t-test特征選擇之后平均分類準確率提升了7.28個百分點，這說明提取的原始特征包含的冗余信息可能會影響情緒的分類。

2.2 基于多特征的情緒分類

為了進一步驗證特征之間互補性在腦電情緒分類中的作用，在上述實驗基礎上，分別將MST、SampEn與DE進行多特征融合后作為SVM分類器的輸入向量并得出分類結果，其中，DE+MST平均分類準確率為83.07%，DE+SampEn平均分類準確率為81.87%，MST+SampEn平均分類準確率為61.92%，DE+MST+SampEn平均分類準確率為84.58%。分類結果如表3所列。

表3 多特征的情緒分類結果Table 3 Sentiment classification results with multiple features 單位：%

對比表2和表3，可以發現相較于單特征分類結果，以DE特征作為融合時基準特征的多特征融合后的分類準確率均有明顯提高。相比于使用MST屬性的分類效果提升最高，高達30.6和32.11個百分點，而相比使用SampEn特征分類準確率提高了21.53和24.24個百分點。而簡單的MST和SampEn融合效果也有所提升，其分類準確率分別提升9.45和1.58個百分點。雖然單獨的MST屬性和SampEn特征情緒分類效果不太理想，但通過特征融合后改善了分類結果，說明兩者均包含表征情緒的有效信息，而利用不同特征對情緒狀態表征特性的互補性能有效提高最終的分類效果[15]。綜上結果也說明將腦功能連接特征引入情緒識別研究中是有效的。

圖2展示了不同特征及其融合的分類結果，可以發現，DE+MST+SampEn分類效果最好，DE+MST和DE+SampEn相差不大，而MST+SampEn小幅提升。這可能是因為，DE是一種衡量復雜性的有效方法，可以穩定地描述EEG特征，適用于情緒解碼和分類[21]。而在腦網絡中，大腦功能被認為是由幾個信息處理節點的同步活動產生的，MST可有效用于大腦特定行為（如對情緒刺激的感知）背后的主干結構，它允許在情緒處理任務期間研究大腦的動態狀態，有助于理解大腦網絡復雜性在情緒狀態之間轉換時的變化方式[13]。人體又是一個非線性動力系統，人體自發產生的EEG是非線性的，SampEn作為一種非線性特征可以用來衡量EEG的復雜程度，有效表征EEG情緒變化中更多的非線性信息[22]。將上述不同類型的腦電特征融合后，其在情緒處理過程中能夠相互作用，從而蘊含了EEG中更為豐富的情緒信息，這說明提取的DE、MST、SampEn三者之間存在互補性，同時驗證了多特征融合對腦電情緒分類的有效性。

圖2 不同特征及其融合的分類結果Fig.2 Classification results of different features and fusion

2.3 重復測量實驗

為進一步驗證本方法的有效性與穩定性，對被試在不同時間段做3次實驗采集的腦電情緒數據進行重復實驗，圖3展示不同特征及其融合在不同實驗中的分類結果，每一列代表一種特征或者一種融合特征，從左至右依次是DE、MST、SampEn、DE+MST、DE+SampEn、MST+SampEn、DE+MST+SampEn，每一行代表一次實驗，從上至下依次為1、2、3，顏色代表了平均分類準確率，越接近紅色代表平均分類準確率越高，越接近紫色代表平均分類準確率越低。

圖3 不同特征及其融合在不同實驗中的分類結果Fig.3 Classification results of different features and fusion in different experiments

結果表明，每種特征及其融合在不同實驗中的平均分類準確率沒有較大差異，在3次實驗中總體分別呈現綠色、紫色、藍色、淺藍色、橘色、橘黃色、橘紅色。這說明采集期的EEG隨情緒變化的模式是穩定的，即利用EEG對同一被試進行情緒分類是可以重復的，這與之前的研究結果是一致的[23]。而在相同實驗中，不同特征及其融合的平均分類準確率有較大的差異，相較于單獨的DE、MST、SampEn，MST+SampEn、DE+MST、DE+SampEn更接近紅色，平均分類準確率更高，但平均分類準確率最高的為DE+MST+SampEn，其顏色趨近紅色。這與2.2節所述結果一致，再次驗證了多特征融合對腦電情緒分類的有效性。

3 結束語

本文提出了一種基于多特征融合的腦電情緒分類新方法。具體地說，首先對EEG的DE、功能連接MST和非線性SampEn特征進行提取，然后結合sample t-test檢驗算法進行特征選擇去除冗余。最后，使用SVM進行情緒分類。實驗結果表明，與基于單一特征的情緒分類相比，本文提出的多特征融合方法在準確率方面取得了更好的性能，而且發現不同時間段內的EEG隨情緒變化的模式是穩定的。但本文僅在傳統的機器學習模型上予以討論，結合卷積神經網絡、循環神經網絡等深度學習算法模型還有待研究。另外，多模態生理信號攜帶的特征信息具有互補性，在將來的研究中基于多模態生理信號進行情緒識別也有望得到更好的分類效果。