基于2D-3D卷積神經網絡的情緒識別模型

摘要：基于腦電信號的情緒識別是人機交互的重要部分，本文將二維卷積神經網絡、三維卷積神經網絡、深度可分離卷積進行結合，提出一種基于2D-3D卷積神經網絡（2-3DCNN）模型，從時間、空間、頻率三個方面進行特征提取。在網絡中引入SE-ResNet網絡、深度殘差收縮網絡和Xception網絡，挖掘腦電信號中更能顯著反映情感變化的空間、時間和頻率信息。本文在DEAP公共情感數據集上做性能測試，結果表明，2-3DCNN在喚醒度和效價的兩個分類任務上的識別準確率分別達到了97.59%和97.21%，比目前最先進的模型分別高出2.36%和1.34%。

關鍵詞：情緒識別；腦電信號；卷積神經網絡；深度殘差收縮網絡；深度可分離卷積

中圖分類號： TP83 文獻標識碼： A ""DOI：10.3969/j.issn.1007-791X.2025.01.007

0 引言

人類在探索和認知世界的過程中會產生各種各樣的情緒，隨著神經學、深度學習和計算機等學科的飛速發展，情感識別技術在醫療康復、人機交互和疲勞駕駛等領域具有廣泛的應用前景。情緒識別能夠從生理信號和非生理信號的角度研究，例如從肢體動作、人臉識別、語音識別和腦電信號等，由于人類的外在表現和語言等難以分辨真假，因此從生理信號角度研究情感識別更加可靠。生理信號包括腦電信號、心電信號、肌電信號和眼電信號等，這些生理信號不受人的主觀控制，因此對情感識別更加客觀［1-3］。腦電信號具有非侵入性、高可靠性和廉價等特點，因此基于腦電信號的情感識別是當前研究的熱點之一。

機器學習通過提取特征以及設計分類器來進行情感識別，主要的特征有時域特征、頻域特征、時頻域特征，例如微分熵、方差和模平方相干估計等。Verma等人［4］通過離散小波變換提取功率譜密度，利用支持向量機在DEAP數據集中識別的準確率達到85.46%。Zheng等人［5］提取了腦電信號的微分熵特征，在DEAP和SEED數據集上的平均準確率分別為69.67%和91.07%。Zhu等人［6］通過提取腦電信號的功率譜密度特征和微分熵與卷積門控循環單元相結合，在DEAP數據集的喚醒度和效價的平均準確率分別為87.89%和88.69%。Zheng等人［7］通過分析腦電信號的多尺度樣本熵和事件相關電位，在快樂、恐怖和憤怒的平均分類準確率分別達到94.42%、94.88%、94.95%。陳景霞等人［8］通過提取6個頻帶的功率譜密度特征，在DEAP數據集的喚醒度和效價的平均準確率分別為85.88%和87.32%。但人工提取可能會錯失很多有關情感方面的特征，不能準確地表達情感信息，具有一定的局限性。

深度學習近幾年在情感識別方面迅猛發展。Yang等人［9］通過卷積神經網絡提取頻率特征，利用長短時記憶網絡提取時間上的特征，在DEAP數據集中喚醒度和效價的平均準確率分別為91.03%和90.80%。但是Yang沒有利用三維卷積提取空間特征，只在時間域和頻率域提取特征。Chen等人［10］提出了并聯和級聯的混合卷積神經網絡，在DEAP數據集上喚醒度和效價上的平均準確率均達到93%以上。Chen只在時間域對數據進行特征提取，缺乏在其他域的數據處理。Shi等人［11］利用具有注意力機制的雙向門控循環單元和二維卷積神經網絡提取時域和空間域的特征，在DEAP數據集喚醒度和效價兩個維度上準確率分別達到94.32%和93.66%。Shi對比Chen的模型加入空間域的特征提取。Li等人[12]提出一種基于深度可分離卷積的神經網絡模型，提取頻率的特征，然后利用有序神經元長短期記憶網絡提取時序特征，在DEAP數據集中喚醒度和效價的平均準確率分別為95.02%和94.61%。Li在頻率和時間域提取特征，并進行了兩個特征的融合，但是沒有利用三維卷積，缺乏對不同腦電通道的特征提取。Zhang等人[13]通過對腦電信號時域分段并提取微分熵特征，生成四維矩陣，通過頻率、空間注意力機制提取更能反應情感變化的空間和頻率特征，在DEAP數據集上喚醒度和效價兩個維度上準確率分別達到95.87%和95.23%。Zhang利用的微分熵的特征提高了模型的準確率，但是與Li的問題相同，缺少三維卷積的應用導致模型無法提取不同腦電通道之間的特征。

以往的工作極少考慮數據在空間域、時間域、頻率域的關系。為了克服以往模型不能同時提取腦電信號的空間域、時間域和頻率域的局限性，本文提出一個2-3DCNN卷積神經網絡，通過SE-ResNet［18］模塊和深度殘差收縮網絡（Deep Residual Shrinkage Network，DRSN）［19］提取不同腦電信號通道的頻率特征，Xception［20］網絡提取時間特征，三維卷積提取空間特征，將三個域的特征進行融合，深度挖掘數據的特征，聯系數據的時間、空間和頻率域。

1 方法

本文提出2-3DCNN模型，該模型由二維卷積、三維卷積、Xception網絡、深度殘差收縮網絡和SE-ResNet構成，可以提取時間、空間和頻率三方面的特征。2-3DCNN情緒識別模型示意圖如圖1 所示。

首先對數據進行預處理，將一維的信號轉化成二維矩陣輸入模型并經過三層2D卷積神經網絡提取淺層特征，每個2D卷積的核函數形狀相同。經過淺層的特征提取后模型分成兩個支路，一個支路通過SE-ResNet經過壓縮-激勵（Squeeze-Excitation）操作突出模型的重要特征，弱化不重要特征，并通過殘差連接減弱模型的梯度消失現象。再經過DRSN進行深度的特征再提取，并利用DRSN中的軟閾值函數提升模型的抗噪聲性能；另一個支路由Xception網絡構成，利用深度可分離卷積（Depthwise Separable Convolution，DSC）減少模型的參數數量，提高運算速度。將提取出來的頻率和時序特征進行融合，經六層三維卷積后提取模型的空間特征，為了減少計算復雜度，三維卷積均采用4×4×4的卷積核。最后，經過全連接層后，將特征送入分類器，以計算模型的識別準確率。

1.1 預處理

DEAP數據集是一個多模態分析人類情感狀態的數據集。在DEAP數據集的采集過程中，電極通道數量為40，采樣頻率為512 Hz，實驗中播放40個音樂視頻，每個音樂視頻時間長度為1 min。本文對DEAP數據集進行128Hz的降采樣，最終得到大小為40×40×8 064的生理信號矩陣。其中，8 064個采樣點是由于采取了前3 s的基線信號（即不施加刺激的腦電信號），共63 s的數據。該數據集分別記錄了32名參與者的腦電、肌電、眼電、呼吸和脈搏等生理信號。如圖2，本文對腦電信號進行4～45 Hz的帶通濾波，最后分析了32個通道的腦電信號。

通過預處理方法可以有效地提高情感識別的準確率，計算實驗信號（在刺激下）與基線信號平均值（無刺激下）之間的差值，可以減小對情緒識別的影響。

先對DEAP數據集中的每個通道63 s的后60s數據分割成L=1 000長的n段，如式（1）所示：

φc=[Sc，1·L Sc，2·L …Sc，n·L]，（1）

其中：c∈[1，C]，c表示腦電信號中的通道；n表示每個通道的數據段數；L表示為數據每段的長度。對于分割的每個數據段得到φc∈RC×L的數據矩陣，將所有通道分割成的數據矩陣組合成向量φs，

Φs=[φ1 φ2 …φc]，"""""""（2）

為了能夠提取多個通道的空間信息，一維腦電信號轉化二維矩陣示意圖如圖2所示。

圖2中，左邊是國際10-20的平面圖，圖中的深色圈代表DEAP數據集中使用的電極，將其按照圖2右邊形成h×w矩陣，h為垂直電極的最大長度，w為水平電極的最大長度，在DEAP數據集中h=9，w=9，式（1）中的通道數c即為圖2中的非零電極。

1.2 SE-ResNet

SE-ResNet由SENet和ResNet構成，SE-ResNet示意圖如圖3所示。

SENet模塊比較靈活可以鑲嵌到其他的網絡中，通過全局平均池化、全連接層、激活函數幾個操作實現。模塊主要包括壓縮和激勵兩個運算。

壓縮是對輸入uc∈RH×W進行求和平均實現，如式（4）所示：

式中，c表示通道，W表示權重向量。

模塊最后經過一個增維層還原為與原始通道相等的維度。

SENet模塊實質上是在通道維度上進行注意力操作，可以使得模型更加注重通道信息量大的通道特征，抑制通道特征信息量小的通道特征。ResNet可以使用跨恒等路徑表示，將原始的特征與SENet提取的特征融合，作為SE-ResNet模塊的輸出，并且SE-ResNet可以提升網絡的性能并且可以減少計算量和參數量。

1.3 Xception模塊

Xception模塊中以深度可分離卷積［21］為核心。DSC主要由兩步構成，第一步是逐通道卷積，第二步是逐點卷積。逐通道卷積是在一個二維平面內操作，由于通道和卷積核一一對應，因此卷積核的數量和通道的數量相同，逐通道卷積后的特征圖數量與輸入層的通道數相同，無法擴展特征圖，沒有有效利用不同通道在相同空間位置上的特征信息，因此需要逐點卷積將特征圖進行組合生成新的特征圖，克服逐通道卷積的局限性。Xception模塊示意圖如圖4所示。

Xception主要由DSC、最大池化和殘差網絡構成。深度可分離卷積通過將普通的卷積分成逐通道和逐點卷積降低了參數數量［21］，提高運算速度。最大池化層對提取出的特征進行降維、壓縮和去除冗余信息，并且最大池化的運用可以減少模型的參數數量，簡化網絡復雜度。支路的殘差模塊作為原始特征的補充通道可以對上層特征進行補充，減弱因為網絡深度過深導致的梯度消失。輸入Xception的特征為9×9×32，輸出的大小為9×9×256。

1.4 深度殘差收縮網絡

深度殘差收縮網絡是在深度殘差網絡基礎上優化，通過軟閾值函數增加網絡的抗噪聲性能。深度殘差收縮網絡由深度殘差網絡、軟閾值函數和注意力機制三部分組成，深度殘差收縮網絡示意圖如圖5所示。

深度殘差收縮網絡使用注意力機制為不重要的特征分配較小的權重系數，通過軟閾值函數將不重要的特征設置為零；與之相反，為重要的特征分配大的權重系數，再通過軟閾值函數保留重要的特征。

理論上基于深層的網絡比淺層網絡的準確率高，然而實際當網絡深度過深的情況下準確率會降低，可以在卷積層之間添加短路連接，其中短路連接可以看成恒等變換，在模型訓練過程中，假如兩個卷積層之間沒有提取出有效的特征，由于短路連接的存在，模型的效果不會相差很多。假如兩個卷積層之間提取出有效的特征，可以通過這兩個卷積層的特征提高模型的最終效果，從而可以看出深度殘差網絡的有效性。

軟閾值函數是降噪方法的核心步驟。首先設置一個正數閾值，閾值不能大于輸入數據絕對值的最大值，否則輸出全部為零，然后軟閾值函數將絕對值低于這個閾值的輸入數據設置為零，并且將絕對值大于這個閾值的輸入數據朝著零收縮，其公式如下：

軟閾值函數的導數為0或者1，利于深度學習算法訓練時梯度的反向傳播。軟閾值函數是通過一個小型網絡自動設置，避免人工設置的不準確性。深度殘差收縮網絡保證軟閾值函數的閾值是整數，避免了全部是零的情況，且每個樣本都有自己獨特的一組閾值，使得深度殘差收縮網絡適用于各個樣本的噪聲含量不同的情況。由于噪聲或者冗余信息是無處不在，因此深度殘差收縮網絡是必要的。

深度殘差收縮網絡通過通道注意力機制SENet網絡學習到一組權值系數，用來給各個特征通道加權。根據各個通道特征的重要性給各個特征通道設置合適的權重，在這種方式下每個樣本可以有適合自己的權值系數，任意兩個樣本的權重不一樣。

2 實驗結果

該模型采用Tensorflow框架實現，L2正則化損失值為0.5，批大小為200，epoch值為120，dropout率為0.5，使用Adam Optimizer將學習率設置為0.000 1。由于腦電信號數據有限數據集較小，采用十折交叉驗證擴充數據集，避免實驗結果的偶然性，防止欠學習和過度學習。

2.1 情感分類

通過喚醒度和效價來衡量情緒的狀態，效價表示人的心情愉悅程度，從消極狀態到積極狀態，對應的數字是1～9。喚醒度表示人的興奮程度，從平靜到興奮，對應數字1～9，效價-喚醒度二維平面分布示意圖如圖6所示。

通過2-3DCNN模型在DEAP數據集上的整體性能驗證模型的有效性，在DEAP數據集上進行二分類情緒識別實驗，2-3DCNN模型總體性能示意圖如圖7所示。

從圖7的實驗結果看，所有被試的準確率都在91%以上。對于喚醒分類，32例被試的平均準確率為97.59%，標準差（Standard Deviation，STD）為1.79%，有22例被試的準確率超過了平均準確率；對效價分類，32例被試的平均準確率為97.21%，STD為1.89%。綜上所述在DEAP數據集上2-3DCNN模型對于情緒識別任務是有效的。

本文還討論了DRSN在2-3DCNN模型中不同位置對整體性能的影響，所組成的模型A、B如圖8所示。

模型A是將DRSN模塊放置在Xception模塊和SE-ResNet模塊融合后，再通過六個3D卷積，最后進行分類。

模型B是將DRSN模塊放置Xception模塊后，然后融合SE-ResNet支路和Xception、DRSN支路，最后通過六層3D卷積。根據DRSN在模型不同位置得到的準確率比較如表1所示。

本文模型在喚醒度上的準確率分別比模型A、B高0.97%、0.57%，在效價上分別高1.15%、0.32%。在STD方面，本文模型在喚醒度上比模型A高0.56%，比模型B低0.04%；在效價上比模型A低0.76%，比模型B高0.12%。綜合上面的比較可以得出，本文模型比模型A、B有更高的準確率，STD在兩者的中間，在準確率和STD方面做到了均衡，在輕微提升STD的情況下增加了準確率。

據此分析，由于DRSN模塊中的注意力機制和SE-ResNet模塊的結構相似，能夠提取更加深層次的通道特征，從而提高模型在效價和喚醒度上的準確率。

2.2 與其他前沿算法的性能比較

將本文的模型與其他前沿情緒識別方法進行比較，如表2所示。

Liu等人[14]使用深度殘差網絡從原始信號提取線性頻率倒譜系數和深度語義信息作為特征，在效價和喚醒度的準確率分別為90.39%和89.06%。

Yang[15]、Shen[16]和Zhang[13]等人以信號的微分熵特征作為模型的輸入。Yang采取基礎的CNN僅提取時間特征，分類效果較差；Shen利用CNN和RNN提取時間和空間特征，在喚醒度和效價上比Yang分別高出了4.34%、4.77%；Zhang則利用3DCNN和頻率-空間注意力機制提取空間和頻率特征，在喚醒度和效價上比Shen高出0.65%、1.65%。比較三人的方法可知，隨著不同域的特征的加入，模型的識別準確率不斷提高。

Shi[11]、Qu[17]和Chen[10]等人均采用原始的EEG信號作為模型的輸入。Qu和Chen均采用CNN和LSTM網路，僅利用信號的時間域特征，準確率較低；Shi采用2DCNN和BiGRU網絡，其中2DCNN提取空間特征，BiGRU提取時間特征，利用兩個域的特征，提高了模型的分類準確率，在喚醒度和效價上比Qu和Chen分別高1.09%、0.79%和1.06%、0.02%。

2-3DCNN模型彌補了Zhang和Shi在特征提取方面的不足，利用三個維度的特征，提高了模型在喚醒度和效價兩個分類任務上的表現。2-3DCNN模型在喚醒度和效價上的準確率分別為97.59%和97.21%，高于Zhang 2.36%、1.34%，高于Shi 3.27%、3.55%。

3 討論

本文提出2-3DCNN模型，由二維卷積、三維卷積、SE-ResNet模塊和DRSN模塊和Xception模塊構成，結合了腦電信號在時間、空間和頻率三方面情緒的特征，更好反映情緒的狀態。與其他前沿情感分類算法進行比較，在喚醒度和效價兩個維度上，該方法的分類準確率分別為97.59%和97.21%。

通過與幾種神經網絡的比較，驗證了2-3DCNN網絡在情感識別方面的有效性，在精度上與其他方法比較來說是較高的。

2-3DCNN模型結合了腦電信號在空間、時間和頻率上的特征，比之前單一使用空間時間或頻率特征的方法效果要好，對情緒識別的分類精度有一定的提高。本文使用了二維卷積、三維卷積、DRSN模塊、SE-ResNet網絡和Xception網絡，通過添加以上網絡提取時間、空間和頻率上的特征。淺層網絡使用二維卷積提取空間特征，深層網絡使用三維卷積提取空間和時間上的特征，利用SENet和DRSN提取通道上的特征，并且DRSN可以減少噪聲或者冗余信息。為了防止網絡過深使分類的準確率下降，使用殘差網絡既不會增加額外的參數，也不會增加計算復雜度，也可以提高分類的準確率，并且利用Xception網絡減少計算量和節約計算機資源。

4 總結

本文提出2-3DCNN模型的輸入是原始腦電信號，與手動提取特征情感識別的方法相比，直接輸入原始腦電信號的方法簡單，無需設計復雜的算法提取特征，模型的特點為：SE-ResNet模塊提取腦電信號在通道上的特征，提高通道情緒信息量大的通道特征，抑制通道情緒信息量小的通道特征。Xception網絡減少參數，節約計算機資源。DRSN可以抑制噪聲和冗余的信息，進而提高情緒識別的準確率。模型在DEAP數據集喚醒度和效價的準確率分別為97.59%和97.21%。

在未來的工作中，將重點研究多模態融合方法，結合其他生理信號來降低模型的成本，提高情緒識別的分類精度，將深度學習的新模型和算法應用到基于腦電信號的情緒識別領域，提取情緒識別相關的腦電特征，找到更加高效的特征，提高情緒識別的分類精度，使其能夠應用于實時的情緒識別。