一種基于雙模態的睡眠分期研究

中圖分類號：TP399 文獻標志碼：A 文章編號：1671-6841（2025）03-0081-07

DOI： 10. 13705/j. issn. 1671-6841. 2023257

A Study on Sleep Staging Based on Bimodal Analysis

WANG Yaqun1，23， YANG Qing1，2.3， WEN Dou123，WANG Ying1，23，WANG Xiangyu ^1，2，3 （1. Hubei Provincial Key Laboratory of Artificial Inteligence and Smart Learning，Central China Normal University， Wuhan ，China; 2. School of Computer，Central China Normal University， Wuhan 43O079，China; 3. National Language Resources Monitoring amp; Research Center for Network Media，Wuhan ，China）

Abstract： The existing research generally focused on a single signal， ignoring the sleep information provided by other model signals in a specific sleep stage.The loss of important information，as the network deepened when extracting sleep signals，could reduce the clasification ability of the model in view of the problems，a deep neural network model based on electroencephalogram（EEG）and electrooculogram （EOG）was designed to sleep stage in an end-to-end manner， which was called MCNN LSTMs model. The features extracted from EEG and EOG signals were fused by a two-layer long short term memory （LSTM）neural network after multi-scale convolutional neural network，and then input into the classifier for sleep staging. The performance of the proposed method on sleep staging was evaluated on a public sleep EDF dataset. Experiments showed that when two channels （EEG-EOG） were used，the clasification accuracy reached 92.60% on Sleep-EDF-20 dataset and 91.10% on Sleep-EDF-78 dataset，which was better than single channel signal and comparison methods. The effctiveness of multiple signals for sleep staging was verified，and an important idea for the study of sleep staging was provided.

Key words： sleep stage ; multimodal; convolutional neural network ；multi-layer network ； LSTM

0 引言

睡眠幾乎占我們生命活動的三分之一，良好的睡眠對于維持一個人的身心健康至關重要。現在越來越多的人作息不規律，導致了各種睡眠障礙的發生。但大多數睡眠障礙并不容易被檢測。多導睡眠圖（polysomnography，PSG）是測量睡眠質量和睡眠障礙的“金標準”[1]。PSG 包括腦電圖、眼電圖、肌電圖（electromyogram，EMG）和心電圖（electrocardio-gram，ECG）。從這些信號中收集數據后，使用美國睡眠醫學學會（American academy of sleep medicine，AASM）的標準將數據分割為30s的時間段（稱為epoch），并劃分不同的睡眠階段：喚醒期（W）、快速眼動期（REM）非快速眼動期（NREM）（包括N1，N2，N3期，N1期和N2期為淺睡期，N3期為深睡期）。

早期，睡眠分期這一任務由專家進行肉眼判定，然而手動劃分睡眠階段的過程對睡眠專家的專業知識要求較高，并耗費大量時間與人力，難以大規模應用[2]。因此，一個自動睡眠分期系統為睡眠技術人員提供長期睡眠監測和分期的輔助具有重要意義。機器學習的出現為睡眠分期研究提供了新的希望。但傳統的機器學習方法是基于特征工程的，需要專家依靠先驗知識手動設計特征并提取最相關的特征，然后，基于提取的特征，使用支持向量機（supportvector machine，SVM）[3]、隨機森林（random forest，RF）[4-5］、決策樹（decision tree，DT）[6]等傳統的機器學習算法對睡眠階段進行分類。雖然這些方法能達到比較高的分類性能，但是如果數據集龐大，手動設計特征將是一個巨大的工程。因此，基于自動提取特征的深度學習方法逐漸成為睡眠分期領域的主要方法，其與傳統機器學習相比，能夠減少特征依賴[7]。Supratak 等[8]提出了DeepSleepNet 睡眠分期網絡，針對原始單通道EEG數據，開創性地使用兩個CNN分支分別進行時、頻特征的提取，然后使用雙向長短時記憶網絡從EEG歷元中自動學習睡眠階段之間的轉換規則并進行訓練，該模型預測總體準確率達到 82% 。Mousavi等設計了SleepEEG-Net神經網絡模型，該模型以原始單通道EEG信號作為輸入，使用兩個CNN分支分別進行特征的提取，然后利用雙向RNN進行序列學習，最后預測準確率達到 84.26% 。Yang等[使用1D-CNN自動從原始腦電信號中提取特征，然后利用HMM糾正相鄰腦電時期的睡眠階段過渡先驗信息，該模型總體準確率達到 83.98% 。Fan等從原始EOG信號中提取特征，利于遞歸神經網絡捕獲長期順序信息，該模型預測總體準確率達到 81.20% 。Li等[2]在CNN中添加了一個注意力模塊來學習EEG信號局部序列的權重，然后使用兩層Bi-LSTM對連續時期的全局相關性進行編碼，該模型總體準確率達到80.80% 。Toma等[13]采用 Fpz-Cz 的EEG和EOG信號作為輸入，提出了一種支持多源數據融合的卷積遞歸神經網絡CRNN，該模型總體準確率達到90.30% 。Sharma 等[14]使用 EEG、EMG 和 EOG信號開發了一種新的機器學習模型，將PSG信號分割成多個 30s 時間段，使用正交濾波器組對每個時間段進行五級一維小波分解，并計算每個子帶基于Ts-allis熵的特征，在SHHS數據集上取得了 90.70% 的準確率。然而近些年的研究大多數均從單個EEG或EOG信號對睡眠分期進行研究，忽略了其他生理信號對睡眠分期結果的影響，盡管已有一些研究對多個信號進行探索，但大多數依然依賴于人工設計的特征，而針對多個信號進行端到端的研究目前較少，同時在睡眠分期領域的準確率依舊存在著很大的上升空間。采用雙分支的卷積神經網絡作為特征提取確實能夠有效地提取原始信號的時頻特征，但同時也使模型的參數量巨大，訓練時間長。

為了解決上述問題，本文設計了一種新的端到端的雙模態深度學習模型。在該模型中，分別從原始EEG和EOG信號中自動學習不同階段的判別性特征，而不是手動提取特征。為使模型更加輕量，本文使用了單分支的卷積神經網絡對原始信號進行特征提取，特征提取模塊由多個卷積層和池化層串聯組成，為了捕捉表征不同睡眠階段的EEG和EOG信號在不同頻段的變化，設計了一個單分支的多尺度卷積神經網絡融合淺層特征和深層特征。此外，為了融合EEG和EOG信號，并充分學習EEG和EOG特征之間的關系，利用雙層LSTM網絡融合學習到的特征表示并進行分類。

1基于MCNN-LSTMs模型的設計

本文使用的睡眠分期框架如圖1所示。模型由三部分組成：第一部分是特征提取模塊，由單個分支卷積層組成，利用五個堆疊的卷積層提取睡眠EEG和EOG的信號特征。第二部分是雙層LSTM特征融合模塊，使用雙層LSTM模型對EEG和EOG特征進行融合，獲得這兩種模態的聯合特征表示，并提高分類精度。第三部分是分類器分類模塊，將特征輸出到全連接層中，由Softmax輸出最終睡眠分期結果。

1. 1 預處理

本文模型的輸入是一個30s（epoch）的EEG和EOG歷元。為了驗證本文模型針對原始單通道腦電和眼電數據對睡眠階段分類的性能，不對原始數據作復雜的處理，以保證實驗的泛化性，預處理步驟如下。

1）將連續的原始單通道EEG和EOG分割為以 30s 為周期的一系列歷元，并為每個歷元（即睡眠階段）分配一個標簽。

2）對30s的EEG和EOG歷元進行 z -score標準化處理，將原始數據集歸一化為均值為0、方差為1的數據集。

1. 2 EEG和EOG特征提取

本文使用卷積神經網絡提取腦電信號和眼電信號的特征，特征提取部分采用的是單個分支的CNN，而不是兩個具有不同大小的卷積核的分支，其借鑒VGGNet[15]的模型設計思想，其中VGG16網絡相比AlexNet網絡的一個改進是采用連續的幾個 3× 3的卷積核代替AlexNet中的較大卷積核（ 11×11 ，7×7，5×5 ）。對于相同的感受野，采用堆積的小卷積核優于采用大的卷積核，因為多層非線性層可以增加網絡深度來保證學習更復雜的模式，而且代價更小（參數更少），本文采用了五個堆疊的卷積層提取睡眠EEG和EOG的特征。圖2中的Conv1d（128，8，1）是指使用具有128個濾波器的一維卷積層，其內核大小為8，步幅為1。類似地，MaxPool1d（8，8）指的是內核大小為8，步幅為8的一維Max池化層。此外，為了防止過擬合和增強模型的泛化能力，在網絡中加入了Dropout方法。

由于隨著卷積網絡的深人，提取的特征對細節的描述能力會隨之變差，而淺層特征包含更多的細節信息，所以本文設計了一個映射塊 f， 用于提取更精確的腦電和眼電特征。映射塊 f 由幾個卷積單元組成，最終的特征映射結果是由中間映射塊的輸出與最后一個卷積單元的輸出疊加得到的，然后將用于提取EEG和EOG特征的兩個分支的最終輸出特征輸入雙層LSTM層進行特征融合。通過使用多尺度卷積，本文設計的模型可以從全局中捕捉到突出的波形。例如，在N1周期內，可以在低振幅的混合頻率中捕捉到緩慢的眼球運動等細節，特征提取模塊MCNN如圖2所示。

假設單通道EEG 有 N 個 30s 的EEG 歷元 ， ，單通道EOG有 N 個 30s 的EOG歷元 ，從第 i 個EEG歷元 ±bx_i 中提取第 i 個特征 ±ba_i 的表示如公式（1），從第 j 個EOG歷元 y_j 中提取第 j 個特征 ±bb_j 的表示如公式（2），

±ba_i=CNN_θ（±bx_i），

±bb_j=CNN_θ（±by_j），

式中： CNN_θ 表示將單通道腦電歷元和眼電歷元轉化為特征向量的CNN， θ 為 CNN的可學習參數。 ±ba_i 和 ±bb_j 的大小取決于輸入EEG和EOG的采樣率。

設不經映射塊 f 的單分支CNN的輸出為 ±bZ₂ ，中間映射塊 f 的輸出為 f（±bZ₁，±bW） 。通過映射 f 得到的矢量的維數應該與 ±bZ₂ 一致。在包含了來自低層的細或粗的特征信息后，兩者求和，最終的輸出 δ_Zout 可以表示為

其中：W是要學習的權重矩陣。這樣，所得到的特征向量就被期望具有高語義相似度和高細粒度相似度的特征。

1.3 基于雙層LSTM的特征融合

多模態融合是從多種來源接收的數據中篩選、提取和組合所需特征的過程，融合的方法主要有三種：特征級融合、決策級融合和模型級融合。特征級融合[16（也稱為早期融合）直接將每個模態的所有特征合并為一個特征向量，再將其輸入分類算法中，其局限是不能對復雜的關系進行建模，且很難學習不同模態之間的相互關系。決策級融合[6]（也稱為后期融合）首先對各模態的特征進行獨立處理和分類，然后將分類結果進行融合，形成最終的決策向量。然而，決策級融合的局限是忽略了不同模態之間的相互作用。與特征級和決策級融合相比，模型級融合學習了模型內部的多模態交互，使深度神經網絡具有更大的優勢[17]，是更深層次的融合方法，它的實現主要取決于使用的融合模型。LSTM是當下比較流行的睡眠分期網絡模型，因為它能夠通過遞歸結構學習睡眠過程神經信號的動態時間性。受文獻[18]的啟發，本文選用雙層LSTM模型用于融合EEG和EOG的特征，將多層網絡與傳統的LSTM模型相結合來充分學習EEG和EOG特征之間的關系。融合思路如下：將EEG特征輸入第一層LSTM得到的是每個神經元的隱藏層狀態，然后將EOG特征與第一層得到的隱藏層狀態相拼接輸人第二層LSTM，得到第二層每個神經元的隱藏層狀態，最后將融合后的特征輸入全連接（fullyconnected，FC）層，使用Softmax分類器得到最終的睡眠分期結果。雙層LSTM融合模型（LSTMs）如圖3所示。

第一層LSTM結構中的相關公式為

式中： ±bg_ι^E 為輸入的EEG特征； C_ι¹ 為細胞單元暫時性的狀態; ±bf_t¹ 為LSTM遺忘門信號； ±bi_ι¹ 為輸入門信號；±bO_t¹ 為輸出門信號； ±bh_t¹ 為LSTM網絡最后的輸出信號； W_f¹，W_i¹，W_c¹，W_o¹ 為權重矩陣； ±bb_f¹，±bb_i¹，±bb_c¹，±bb_o¹ 為偏置項。

第二層LSTM將EOG特征和第一層LSTM的輸出融合，作為第二層LSTM的輸入。所用公式為

±bf_t²=σ（±bW_f²[±bh_t-1²，±bh_t¹，±bg_t^o]+±bb_f²），

式中： ±bg_t^o 為輸入的EOG特征； f_t² 為第二層LSTM的輸出。最后，將融合之后的特征輸人到全連接層，使用Softmax分類器輸出分類結果。

2 實驗與結果分析

2.1實驗數據和設置說明

本文使用的公共數據集是Sleep-EDF-20和Sleep-EDF- 78^[19] ，各個睡眠階段30s時期的樣本數量如表1所示。Sleep-EDF-20是包含20名受試者的數據文件，Sleep-EDF-78 是Sleep-EDF-20 的擴展版本，包含了78名受試者兩晚的PSG數據。每個PSG數據包含兩個腦電圖通道（ ，一個水平的EOG通道和一個EMG通道，所有EEG和

EOG的采樣率均為 100Hz 。睡眠專家根據Ramp;K標準[20]，將這些記錄手動分為八類（W、N1、N2、N3、N4、REM、MOVEMENT，UNKNOWN）。實驗中采用AASM標準將N3和N4階段合并為一個睡眠階段N3，同時舍棄MOVEMENT和UNKNOWN期，因為它們不屬于睡眠階段。實驗使用EEG的 Fpz-Cz 通道和EOG通道在這兩個數據集上評估本文模型，并驗證EEG和EOG聯合特征優于單一的EEG或EOG特征這一假設。數據集中每個睡眠階段的30s期的數量如表1所示。

本實驗在Sleep-EDF20和Sleep-EDF78數據集上使用十折交叉驗證方法來評估本文模型性能。另外，由于Sleep-EDF數據庫中各個睡眠分期階段樣本數差距較大。比如W和N2階段的樣本數量遠大于其他階段的樣本數。為了解決這個問題，本文采用了加權交叉熵損失函數，將N1階段和N3階段的權重大小設置為1.5，其他階段的權重大小設置為1，在一定程度上降低類不平衡問題。除此之外，對數據集進行合成少數類過采樣技術SMOTE[2]處理，通過考慮現有少數類樣本之間的相似性來生成合成數據點，讓每個類的睡眠階段樣本數趨于平衡。實驗使用Adam優化器訓練100個歷元，學習率設為 10^-4 ，Adam優化器的三個參數 β₁、β₂、ε 分別為0.9、0.999和 10^-8 ，訓練使用的minibatch大小為10，序列長度為20。

2.2 評價方法

本文采用了三個指標來評估各種模型對睡眠分期的性能，即每類 F1 值、宏觀平均 F1 值（MF1）、總體精度 （ACC） 。 F1，MF1?ACC 的定義為

式中： TP_c 為 c 類真陽性； F1_c 為 c 類的每類 F1 分數； C 為睡眠階段數； N 為訓練歷元總數。

2.3 實驗結果及分析

為了評估本文設計的模型的性能，實驗采用了十折交叉驗證，將每個數據集中的受試者分為10組。例如，在含有10名被試者的Sleep-EDF-20數據集上，每輪選取1組被試者作為測試數據，剩下的9組作為訓練數據。最后將10輪測試樣本的預測睡眠階段合并，計算各種性能指標。為了證明同時使用原始單通道EEG和EOG信號在睡眠分期中的優勢，分別對單通道EEG和單通道EOG進行對比實驗，不同的是，在對單個信號進行分析時，將雙層LSTM模型改為傳統的LSTM模型。圖4和圖5分別展示了本文模型在訓練過程中使用單通道EEG（Fpz-Cz）、使用單通道EOG與使用EEG的Fpz-Cz通道 +EOG 通道共同作用的準確率變化，從中可以看出本文模型在訓練過程中表現出穩定的性能，在兩個數據集上均表現較好，并且EEG的Fpz-Cz通道和EOG通道在MCNN-LSTMs模型上共同作用的準確率明顯高于單通道的EEG和單通道的EOG，所以驗證了EEG和EOG同時作用的效果是大于單個EEG或EOG的。

此外，本文利用三種不同的融合策略來融合提取到的EEG特征和EOG特征，分別為特征級融合、決策級融合以及本文基于LSTMs的模型級融合。實驗結果表明，通過特征級融合后，睡眠分期結果的MF1和準確率分別為0.731和0.816。通過決策級融合后，睡眠分期結果的MF1和準確率分別為0.747和0.843。而本文基于LSTMs的模型級融合后，睡眠分期結果的MF1和準確率分別為0.773和0.911。由此可見，本文設計的LSTMs融合方法獲得了更好的性能，證明本文設計的雙層LSTM融合模型的可行性。

本文方法與另外一些利用深度學習模型從單通道EEG（Fpz-cz）或EOG中提取特征的方法在 ACC，MF1 、和每類 F1 值，以及訓練時間上的對比如表2所示。

由于本文的研究是基于原始的EEG和EOG信號，所以在對比實驗上僅針對近些年使用深度學習模型從原始單通道EEG中或EOG中提取特征進行評估的方法。與在相同EEG通道或EOG通道評估的其他研究方法相比，本文方法在兩個數據集上的每類 F1 分數 、ACC 以及MF1上均表現較好，并且訓練時間更短，取得了相似或更好的性能。最新的研究Toma等[13]提出的CRNN模型在Sleep-EDF-78數據集上的ACC和MF1分別達到了 90.30% 和66.80% ，而本文設計的 MCNN-LSTMs模型在 Sleep-EDF-20數據集上總體ACC和MF1分別達到了92.60% 和 78.50% ，在Sleep-EDF-78數據集上總體ACC 和MF1分別達到了91. 10% 和 77.30% ，效果更好，證明了本文設計的雙層LSTM融合網絡的可行性，再一次驗證了EEG通道和EOG通道共同作用效果是大于單個生理信號，因此本文設計的模型在睡眠分期任務中具有較好的性能。

3結語

準確的睡眠分期是對人類睡眠質量分析的重要步驟。為了設計無須人工干預、準確率高的端到端的自動睡眠分期系統，本文設計了一種利用原始單通道EEG和EOG信號進行睡眠分期的雙模態深度神經網絡，使用設計的多尺度卷積神經網絡分別從EEG和EOG信號中提取特征，將提取到的EEG特征和EOG特征由雙層LSTM模型進行融合，然后輸入分類器進行睡眠分期。在Sleep-EDF兩個數據集上評估了一個五分類任務，即W、N1、N2、N3、REM睡眠階段，最終在兩個數據集上的總體準確率分別為 92.60%.91.10% 。最終的實驗結果證明了結合兩種不同生理信號特征的睡眠分期系統優于僅使用單一生理信號的睡眠分期系統。但是在端到端的睡眠分期的研究上仍面臨較大的挑戰，雖然本文在實驗過程中已經對數據集進行了平衡性處理，但是N1睡眠階段的 F1 分數仍舊較低。此外本文驗證了結合兩種生理信號的性能是高于單個生理信號的，所以未來的研究可以結合更多模態的數據對睡眠階段進行分類。

參考文獻：

[1] AMINOFF，MICHAEL J. Handbook of clinical neurology [M].Amsterdam：North-Hollnd Publishing Company， 1968.

[2] 陶雨潔，楊云．基于原始單通道腦電圖的高效睡眠自 動分期方法［J]．鄭州大學學報（理學版），2022，54 （3）：40-44. TAO Y J， YANG Y. Efficient automatic sleep staging method based on original single-channel electroencephalogram[J]. Journal of Zhengzhou university （natural science edition），2022，54（3）：40-44.

[3]KOLEY B，DEY D. An ensemble system for automatic sleep stage classification using single channel EEG signal [J]．Computers in biology and medicine，2012，42 （12）：1186-1195.

[4]FRAIWAN L，LWEESY K，KHASAWNEH N，et al. Automated sleep stage identification system based on time-frequency analysis of a single EEG channel and random forest classifier[J]. Computer methods and programs in biomedicine，2012，108（1）：10-19.

[5]MOGHADDAM A P，MOUSAVI S. Learning decision tree using neural network for stability and flexibility[J]. Frontiers in health informatics，2012，1（3）：39-44.

[6]GUNES S，POLAT K， YOSUNKAYA S. Efficient sleep stage recognition system based on EEG signal using kmeans clustering based feature weighting[J]. Expert systems with applications，2010，37（12）： 7922-7928.

［7］張恩銘，袁玥，滕飛，等．基于RGCN的阻塞性睡眠 呼吸暫停預測研究［J]．鄭州大學學報（理學版）， 2023，55（6）： 71-76. ZHANG EM，YUANY，TENGF，etal.Prediction of obstructive sleep apnea based on RGCN[J]. Journal of Zhengzhou university（natural science edition），2023， 55（6） ： 71-76.

[8]SUPRATAK A， DONG H，WU C， et al. DeepSleepNet ： a model for automatic sleep stage scoring based on raw single-channel EEG[J]. IEEE transactions on neural systems and rehabilitation engineering：a publication of the IEEE engineering in medicine and biology society， 2017，25（11）：1998-2008.

[9]MOUSAVI S，AFGHAHF，ACHARYA UR. SleepEEGNet： automated sleep stage scoring with sequence to sequence deep learning approach[J]. PLoS One，2019，14 （5）：e0216456.

[10] YANG B F， ZHU X L， LIU Y T，et al. A single-channel EEG based automatic sleep stage classification method leveraging deep one-dimensional convolutional neural network and hidden Markov model[J]. Biomedical signal processing and control， 2021，68：102581.

[11] FAN JH，SUN C L，LONG M，et al. EOGNET： a novel deep learning model for sleep stage classification based on single-channel EOG signal［J]. Frontiers in neuroscience，2021，15：573194.

[12] LI T T， ZHANG BF，LV H H， et al. CAtSleepNet： automatic end-to-end sleep staging using attention-based deep neural networks on single-channel EEG[J]. International journal of environmental research and public health，2022，19（9）：5199.

[13] TOMA T I，CHOI S. An end-to-end convolutional recurrent neural network with multi-source data fusion for sleep stage classification[ C]/2O23 International Conference on Artificial Intelligence in Information and Communication. Piscataway：IEEE Press，2023：564-569.

[14] SHARMA M， YADAV A，TIWARI J，et al. An automated wavelet-based sleep scoring model using EEG，EMG， and EOG signals with more than 80oO subjects[J]. International journal of environmental research and public health，2022，19（12）：7176.

[15] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. （2014-09-04）[2023-10-15]. https：//arxiv.org/pdf/ 1409. 1556v6. pdf.

[16] GANDHI A，ADHVARYU K， PORIA S， et al. Multimodal sentiment analysis： a systematic review of history， datasets，multimodal fusion methods，applications，challengesand future directions[J]. Information fusion， 2023，91：424-444.

[17]HUANG J，TAO JH，LIU B，et al． Multimodal transformer fusion for continuous emotion recognition[C]//ICASSP 2020—2020 IEEE International Conference on Acoustics， Speech and Signal Processing.Barcelona， Spain.Piscataway：IEEE Press，2020：3507-3511.

[18]NIE W Z，YAN Y，SONG D，et al. Multi-modal feature fusion based on multi-layers LSTM for video emotion recognition[J]. Multimedia tools and applications，2021， 80（11） ： 16205-16214.

[19] GOLDBERGER A L，AMARAL L A， GLASS L，et al. PhysioBank，PhysioToolkit，and PhysioNet：components of a new research resource for complex physiologic signals [J]．Circulation，2000，101（23）：E215-220.

[20] KEMP B， ZWINDERMAN A H， TUK B，et al. Analysis of a sleep-dependent neuronal feedback loop：the slowwave microcontinuity of the EEG[J]. IEEE transactions on bio-medical engineering，2000，47（9）：1185-1194.

[21]CHAWLA N V，BOWYER K W，HALLLO，et al. SMOTE：Synthetic minority over-sampling technique[J]. Journal of artificial intelligence research，20o2，16：321- 357.