注意力殘差網絡結合LSTM 的EEG 情緒識別研究

摘要：基于腦電信號的情感識別已成為情感計算和人機交互領域的一個重要挑戰。由于腦電信號中具有時間、空間、頻率維度信息，采用結合注意力殘差網絡與長短時記憶網絡的混合網絡模型（ECA-ResNet-LSTM）對腦電信號進行特征提取與識別。首先，提取時域分段后腦電信號不同頻帶微分熵特征，將從不同通道中提取出的微分熵特征轉化為四維特征矩陣；然后通過注意力殘差網絡（ECA-ResNet）提取腦電信號中空間與頻率信息，并引入注意力機制重新分配更相關頻帶信息的權重，長短時記憶網絡（ LSTM）從ECA-ResNet 的輸出中提取時間相關信息。實驗結果表明： 在DEAP 數據集喚醒維和效價維二分類準確率分別達到了97.15% 和96.13%，喚醒-效價維四分類準確率達到了95.96%，SEED 數據集積極-中性-消極三分類準確率達到96.64%，相比現有主流情感識別模型取得了顯著提升。

關鍵詞：腦電信號；情感識別；微分熵；注意力機制；殘差網絡

中圖分類號：TP391 文獻標志碼：A

近年來，由于情感識別在人機交互、疾病評估、駕駛疲勞檢測和心理壓力評估等方面的廣泛應用得到了研究者們越來越多的關注。情感識別方法的研究可分為兩大類，一類是基于非生理信號的研究，例如面部表情和言語語音，另一類是基于生理信號的研究，例如腦電信號（ElectroencEphaloGram， EEG）和心電信號（ ElectrocardioGram， ECG） [1]。相比于非生理信號，腦電信號不受人為主觀控制，能真實反應人的內心情緒狀態，且采集腦電信號具有無創傷、實驗成本小、采集設備便于攜帶等特點。此外，腦電信號可以從頻帶、電極位置和時間信息等維度獲得與情緒識別相關的各種信息，因此基于腦電信號的情緒識別成為了情感計算領域的研究重點。

從傳統的手工提取腦電特征的方法到使用深度學習方法提取深度特征并進行情感識別，基于腦電信號進行情緒識別已經取得了很大的進步。然而在以往的研究中，大多數研究者只考慮提取腦電信號中的時域、頻域或者時頻域等淺層特征[2]，這些淺層特征并沒有足夠的判別信息去進行情感識別。因此，近年來越來越多的研究者開始使用深度學習算法提取腦電信號中的深層信息去進行情感識別。闞威等[3] 使用長短時記憶網絡（LSTM）提取腦電信號中時域信息進行情感識別，在DEAP 數據集效價維與喚醒維二分類識別準確率分別為73.52% 和75.10%。Yang 等[4] 考慮了腦電信號在進行情緒識別實驗中存在的時間依賴性問題，使用時間卷積網絡進行情感識別并在DEAP 數據集上進行實驗，在效價維與喚醒維的分類準確率分別為74.42% 和71.40%。梁椰舷等[5] 提出一種多通道連續卷積神經網絡方法，在DEAP 數據集上效價維與喚醒維的分類準確率分別為93.63% 和92.58%。宋振振等[6] 根據腦電信號具有時序性特點，提出了一種基于Snapshot 集成的時序卷積網絡（TCN），在DEAP 數據集二分類與四分類平均識別準確率分別達到95% 和93%。上述研究結果表明，通過使用深度學習算法提取腦電信號中深層特征有助于提高情感分類準確率。