基于CNN-BiLSTM的自動睡眠分期算法①

盧伊虹,吳禮祝,潘家輝

(華南師范大學 軟件學院 ,佛山 528225)

1 引言

1.1 研究背景

睡眠是人類各類生理活動進行過程中不可或缺的重要生理活動,睡眠時間大約占了人的一生中33%的時間.良好的睡眠是人們健康生活的重要保障,保證人們進行正常的學習、生活和工作等生產生活方式,維持人類基本的生理機能活動.然而在現實生活中,越來越多的人遭受到睡眠問題,這極大干擾了人的正常生活.而睡眠分期作為睡眠醫學研究過程中的一個重要步驟,可以有效監測、檢查和評估睡眠質量,為各類睡眠疾病診斷過程中提供了重要依據,是診斷睡眠問題的關鍵前提.舊時傳統的人工判別睡眠分期主要是通過醫學專家的視覺分析來完成,專家需要花費很多時間去判定,且僅靠專家肉眼觀察分析,效率非常低,容易造成錯誤判斷[1].利用深度學習和機器學習等技術現代信號處理技術對睡眠生理信號實現自動分期,分期結果更加高效、客觀,這是當代研究自動化睡眠分期的主要方向趨勢,也為未來睡眠問題分析和研究提供了很多機遇和挑戰.機器學習主要是基于輸入的自定義特征、訓練出一個合適的分類算法模型,根據睡眠各個階段凸出的明顯特征來分類實現自動睡眠分期.其存在一定的局限性.一是需要專家依靠先驗知識手動設計特征.二是設計的特征不能完全與睡眠階段貼切相符,目前還沒有找到一個最優的睡眠特征與分類器的組合,說明距離睡眠分期準確率的提高始終有“天花板”存在.而深度學習能夠從輸入的腦電數據中自動進行特征表示,可以通過睡眠腦電數據測試集中找到最優最合適的睡眠特征,再結合分類器輸出最終的睡眠分期結果.但是深度學習算法得到的抽象特征往往不能被人們理解和解釋,網絡層數越多,得到的特征越復雜,同時深度學習對于調參、網絡層數設定、最優算法選擇等方面需要花費很多時間精力,對開發人員也有一定的專業知識儲備要求.然而當今社會中深度學習依然是解決很多優化分類問題的絕佳方法,具有良好的泛化性能.

基于上述考慮,本文選取CNN 卷積神經網絡與BiLSTM 相結合,利用卷積神經網絡中提取的高維特征向量按時間作為BiLSTM的輸入,訓練出一個可以捕捉腦電數據時間依賴性的神經網絡模型,不但可以利用卷積神經網絡提取局部特征的優勢,而且能利用雙向長短時記憶網絡兼顧長時間序列全局特征的優勢,同時進行結構建模獲取更高的分類準確率.

1.2 研究現狀

(1)關于睡眠分期的研究

在睡眠分期之前,首先要確定模型分析結果所要遵守的分期標準.目前典型的睡眠分期標準有兩個,一個是《人類睡眠階段標準化術語,技術及劃分系統手冊》,由Rechtschaffen 和Kales 提出并制定,故簡稱R&K 標準[2].另一個是由美國睡眠醫學會針對R&K 標準提出的修正版本,簡稱AASM 標準.R&K 標準,將整個睡眠過程劃分為3 個具有一定明顯不同特征的分期階段,第1 個是清醒期(W),第2 個是快速眼動期(REM),最后一個是非快速眼動期(NREM).非快速眼動期可以繼續劃分為4 個時期,即睡眠1 期、睡眠2 期、睡眠3 期和睡眠4 期,一般標記為S1 期、S2 期、S3 期和S4 期,其中,S1 期和S2 期為淺睡期(light sleep,LS),S2 期和S3 期為深睡期或慢波睡眠期(slow wave sleep,SWS).AASM 標準,與R&K 標準進行比較,其主要變化的是,將非快速眼動期分為非快速眼動一期、非快速眼動二期和非快速眼動三期,一般標記為N1 期、N2 期和N3 期,其中,N1 期和N2 期為淺睡期,N3 期為深睡期(慢波睡眠期).

(2)基于腦電信號(electroencephalogram,EEG)的睡眠分期現狀

現階段,對于獲取到的睡眠腦電信號,如何從腦電信號中提取到合適的高級特征,并根據特征將睡眠狀態進行分類,是腦電信號能否在睡眠分期中得到應用的關鍵性一步.近年來,許多研究提出了基于腦電信號的睡眠分期算法,其中,Phan 等人在2016年使用CNN 神經網絡提取原始的腦電信號中的特征,但是并不是以神經網絡端到端的學習形式進行特征的提取[3].隨后,有學者對腦電信號的特征提取進行了神經網絡端到端的自動學習,但睡眠分期的效果并不是很好[4,5],考慮到腦電信號具有時序依賴性和連續性,研究人員曾使用循環神經網絡(recurrent neural network,RNN)進行睡眠分期,實驗結果表明RNN 網絡能夠有效地提高睡眠分期的準確率.然而,該模型對于一些特殊的睡眠吋期的分期準確率并不是太高[6].Supratak 等人基于原始單通道 EEG 提出了結合卷積神經網絡和雙向長短期記憶網絡的深度學習模型DeepSleepNet,用于自動睡眠階段評分,總體準確率達到 82.00%[7];Mousavi等人基于單通道 EEG 提出了由深度卷積神經網絡組成的SleepEEGNet,總體準確率達到 84.26%[8];Phan 等人提出分層遞歸神經網絡SeqSleepNet,將自動睡眠分期作為序列到序列的分類問題來解決,總體準確率達到87.10%[9].近年來,隨著CNN 技術的探索發展,其被廣泛應用于語音識別處理、圖像處理、機器視覺、自然語言等領域.2011年Cecotti 等人將CNN應用到基于腦電信號的P300 研究實驗中[10],而且也有將CNN 與LSTM 進行結合應用于時間序列的數據,例如將 CNN-LSTM 進行電影類型的分類.融合CNN 與BiLSTM的模型算法還用于心律失常心拍分類中,其識別準確率相對單獨的CNN 使用與單獨的BiLSTM 使用分別提高了13.97%和7.14%[11].利用CNN 與BiLSTM 網絡特征結合進行文本情感分析,也能有效地提高分類的準確率[12].在進行短文本相似度計算中,CNN 與BiLSTM 相結合的網絡結構模型優于其他方法,其準確率達到84.58%[13].針對上述研究,可以發現CNN 與BiLSTM相結合的混合神經網絡在分類問題研究中具有明顯的優點.而睡眠數據作為一種具有時序信息的信號,顯然地,實現睡眠自動分期如果要達到更佳的效果,我們需要考慮到腦電信號前后數據信息之間的時序依賴性和聯系性,而CNN-BiLSTM 神經網絡可以更好地探究睡眠數據前后序列時間信息的關聯和依賴,所以本文中采用CNN-BiLSTM神經網絡模型對睡眠腦電數據進行分期研究.

2 基于腦電信號的睡眠分期

2.1 預處理

本文模型使用的睡眠數據是MIT-BIH 生理信息庫中Sleep-EDF 的多通道腦電信號的真實數據,數據記錄了正常人的睡眠狀態數據.對腦電信號數據的預處理方法步驟如下.

(1)首先提取公開數據集中兩個EEG 信號(Fpz-Cz 通道和Pz-Oz 通道)與醫學專家人工判別的睡眠分期標簽,將其解析存儲為pkl 文件.

(2)把連續30 s 的睡眠數據劃分為一個睡眠片段,按照專家的判定將每個睡眠片段劃分為WAKE、NERM和REM 期,根據對應的睡眠分期標簽“W,1,2,3,4,R”轉化為“0,1,1,1,1,2”,即分別對應著3 分類睡眠階段.

(3)每次加載5 個連續30 s 的睡眠數據和判別標簽,對數據使用Mel 帶通濾波器處理,可以得出相應的頻譜Mel Spectrogram.濾波后,將其中每5 段連續30 s的腦電信號數據歸為一個組別,構造成為特征矩陣.

2.2 CNN 特征學習

卷積神經網絡(CNN)的核心思想是:局部感知野、權值共享和下采樣pooling 層,這3 種核心思想共同作用,減少了網絡使用的內存量,簡單化網絡參數,提高了精度準確率和網絡運算速度,緩解了過擬合的網絡問題[14].從功能結構劃分來看,卷積神經網絡可以分為6 個部分:信息輸入層、卷積運算層、歸一化層、ReLU 激活層、池化層和全連接層.本文模型用到的CNN 深度神經網絡結構如圖1所示.

圖1 CNN 網絡結構圖

卷積運算層主要進行兩個關鍵步驟操作:數據局部關聯和窗口滑動.卷積運算層公式如下:

式中,fcov為激活函數,Hi代表卷積網絡的第i層的特征輸出,運算符“ ?”代表卷積運算,bi是偏置項,Wi表示第i層使用的卷積核的權重值,卷積操作的輸出與偏置項的結果進行相加,再將數據通過激活函數進行處理,CNN 網絡的卷積操作能夠提取輸入數據信號的各種不一樣的特征[6].在CNN 網絡中的數據輸入層將幅度歸一化到同樣的范圍,其輸出數據再作為激活層的輸入值,以調整激活函數的偏導.目前,ReLU函數作為比較常用的激活函數,在本文中我們采用ReLU 函數:

這里使用max 最大值函數對輸入值和0 進行比較取最大值.激活函數可以加入非線性因素,解決線性模型不能解決的問題,同時提高模型魯棒性和充分組合特征,將特征圖投射到新的一個特征空間,有利于訓練睡眠數據.激活層后面緊接著的是池化層,本文網絡模型采用最大化池化方法,池化層主要作用有特征降維、特征不變性和避免過擬合.全連接層一般出現在池化層的后面,用于分類,對提取的特征進行整合處理[15].最后輸出層采用Softmax 函數作為激活函數,輸出EEG 信號睡眠分期三分類結果.

2.3 LSTM 特征學習

LSTM 長短期記憶神經網絡本質上屬于一種特殊的RNN 神經網絡.與傳統普通的RNN 進行比較,LSTM能夠學習長序列信息前后的依賴和關聯關系,記錄間隔或延遲較長的歷史信息和重要事件.從結構來看,LSTM的結構中添加了一個細胞神經狀態單元,由門控制去選擇性地讓信息通過,添加或者刪除信息.LSTM神經網絡具有3 大特殊功能門,即遺忘門、輸入門和輸出門[16].LSTM 詳細結構架構圖如圖2所示.

圖2 LSTM 模型結構圖

相關計算公式如下:

2.4 建立 CNN-BiLSTM 網絡模型

考慮到腦電EEG 數據是非平穩、非線性數據,傳統的方法進行睡眠自動分期遇到了諸多困難.目前來說,CNN 適合處理網絡結構數據如計算機視覺的圖片二維數據.LSTM 深度學習神經網絡改善了RNN 梯度消失和爆炸的問題,與之相比更適合處理長時序序列前后類型如腦電信號的數據,尤其在預估和處理長序列數據中間隔或延遲相對時間比較長的事件方面有極大的優勢.但是就目前來看,CNN 和LSTM 相結合形成的神經網絡模型應用于一維生物信號(如EEG、EOG、EMG 等)的分類相對較少.

本文深度學習神經網絡模型主要是由卷積神經網絡和雙向長短時記憶神經網絡兩部分組成.CNN 是深度學習神經網絡的一個重要部分,它的權值共享網絡結構,使神經網絡模型的復雜度下降,且圖像數據輸入到CNN 網絡中,從而減少復雜的數據提取特征過程和重新建構數據過程,上一層的局部數據區域通過窗口滑動和權值共享的卷積核運算操作可以得到下一層的特征,這個特性使得CNN 比其他神經網絡模型對圖像特征的提取、研究、表示與分析更加準確和高效.在本文中,CNN 用來提取腦電數據的特征,基于EEG 信號的時頻分析可以得出三維特征矩陣,之后用來構建自動睡眠分期網絡模型.由于人的睡眠數據中包含著大量時間序列數據信息,而且其在時域上也包含一定的各個不同的睡眠期的隱含特征信息,本文考慮到每個睡眠周期前后是有關聯的和有聯系的,所以采用的模型為卷積神經網絡與雙向長短時記憶神經網絡(BiLSTM)的結合.前向LSTM 和后向LSTM的結合構成了雙向長短時記憶網絡 BiLSTM,BiLSTM 從兩個不同方向處理長序列的睡眠腦電數據信息,可以更好地挖掘探索雙向時序信息和捕捉前后時序數據信息關聯和依賴性.

該網絡可以自動提取腦電信號EEG 的長時間序列信息.該神經網絡最后一層是Softmax 分類器輸出層,用于輸出各類睡眠分期結果的概率.圖3 是本文的CNN-BiLSTM 網絡模型架構概括圖.

圖3 本文模型結構圖

首先將原始信號經過預處理,計算每段30 s 的時間序列EEG 數據的Mel 頻譜圖,再將兩個腦電通道的數據分別按照5 組連續的30 s 睡眠片段作為5 組連續的時間關聯數據輸入到模型中.輸入層大小為(64,47).模型使用兩個二維卷積層(Conv2d),第一個卷積層的卷積核個數為8,卷積核大小為(3,3),第二個卷積層的卷積核個數為16,卷積核大小為(3,3);在兩個卷積層之后進行批標準化(batch normalization);通過ReLU激活函數;再通過二維最大池化層(MaxPooling2d),大小均為(4,4);為了避免訓練過程中的過擬合問題[17],dropout 層(ratio=0.2)需要連接到每個池化層后面;再連接Flatten 層,將多維數據轉化為一維數據,實現數據從卷積層過渡到全連接層;經過標準的Dense 一維全連接層,輸出維度為30,進行歸一化和ReLU 激活函數,實現從卷積層到長短時記憶神經網絡的過渡;每5 組連續的時間關聯數據的睡眠信號經過卷積神經網絡提取特征后,得到(5,60)輸出維度;模型使用一個雙向的長短時記憶時間網絡,其中LSTM 輸出維度unit=15,經過前后向LSTM的結合得到的數據維度為(5,30);最后將BiLSTM 輸出的特征經過Softmax 層進行三分類任務,將睡眠狀態分為WAKE,NREM,REM 三個時期.

我們使用多分類的對數損失函數(categorica_crossentropy),該損失函數與Softmax 分類器相對應;通過Adam 優化損失函數,能夠動態地調整每個參數的學習率.為了避免過擬合現象,模型在訓練過程中使用了早停機制,若連續迭代3 次損失率不下降,則停止訓練.

3 實驗結果

3.1 實驗數據及說明

實驗數據為MIT-BIH 生理信息庫Sleep-EDF 多參數睡眠數據集,包含197 個整夜的多導睡眠圖(polysomno graphic,PSG)睡眠記錄,其中包含EEG,EOG 等生理數據,每條數據均有明確的人工睡眠分期標簽,該數據集由睡眠盒式磁帶對年齡在25-101 歲的健康白人記錄了大約20 小時的PSG 和利用射頻發射的記錄儀對22 名白人男性和女性服用藥物后在醫院記錄了大約9 個小時的PSG 組成.

根據 R&K 標準,根據睡眠信息數據各階段的不同特征,我們可以將睡眠階段分為3 期,即人體睡眠清醒期、快速眼動期和非快速眼動期.本實驗采用兩個通道(EEG Fpz-Cz 和EEG Pz-Oz)的數據組合,記錄頻率為100 Hz,劃分連續30 s 的睡眠腦電數據作為睡眠樣本單元,最后顯示一個總的參考性的睡眠狀態.

在本文實驗中,我們選擇數據集中80%的數據作為數據訓練集來訓練網絡模型,10%的數據作為驗證集驗證模型的能力從而進行模型迭代訓練,10%的數據作為測試集評估模最終模型的泛化能力.

3.2 評價方法

這里采用測試集的睡眠分期結果的準確率P來評價各階段睡眠分期分類結果.

其中,各睡眠分期(WAKE,NREM,REM)都用NP表示預測出正確睡眠分期分類結果的樣本數量,N代表對應睡眠分期階段在模型實驗過程中使用的腦電數據樣本數量.

采取子類平均準確AVG評價睡眠分期方法.

式中,Pi,i=1,2,3 分別表示 WAKE,NREM,REM 3 期的子類睡眠分期準確率.

3.3 實驗結果與分析

本文采用Sleep-EDF 數據集的CNN-BiLSTM 神經網絡模型實現自動睡眠分期,使用23 個實驗對象的腦電數據作為測試集對訓練完成的模型進行精度檢測,最終預測結果的混淆矩陣如表1所示.

表1 分期混淆矩陣表

混淆矩陣能夠很好地檢測分類的準確性,其每一列代表預測的睡眠階段數,每一行代表的是實際的睡眠階段數.本文睡眠分期為三分類任務,即得到的混淆矩陣為3×3 矩陣,其中,對角線上的數值代表正確的分類數,非對角線上的數據代表錯誤的分類數.從表1可得,測試集中實際為WAKE 期睡眠狀態的數據共有37 244 個,模型將其中676 個數據分類為NREM 期,105 個數據分類為REM 期;測試集中實際為NREM期睡眠狀態的數據共有15 643 個,模型將其中391 個數據分類為WAKE 期,817 個數據分類為REM 期;測試集中實際為REM 期睡眠狀態的數據共有4 228 個,模型將其中85 個數據分類為WAKE 期,902 個數據分類為NREM 期.

從表中的混淆矩陣可以計算得出,模型在WAKE期的準確率P可以達到97.9%,在NREM 期P可以達到92.3%,都具有較高的準確率,在REM 期的準確率P為76.7%,目前還有待提升.圖4 給出了每個睡眠階段時期的分期準確率數據顯示.

圖4 分期準確率

根據式(10)可以求得模型的平均準確率ACC=89.0%.從圖4 中可以看出,3 個睡眠時期都取得了較高的分期準確率.進一步結合表1 的分期結果混淆矩陣分析可得,本文提出的睡眠分期算法能夠較精確地識別出WAKE 期和NREM 期,準確率分別達到97.9%和92.3%.除此之外,REM 期的準確率也達到了76.7%以上.在對腦電信號進行自動睡眠分期的過程中,本文所提出的分期算法的總體準確率可以達到89.0%,這表明本文提出的算法模型在自動睡眠分期應用中具有良好的分期效果.

目前己經有很多的學者致力于對睡眠腦電EEG的自動分期研究,為了能夠更加全面地分析本文模型算法的分期結果,本文將近年來有代表性的基于Sleep-EDF 公共數據集的睡眠分期模型與本文的模型進行了對比分析,如表2所示.

表2 中,Tsinalis 等人[18,19]使用機器學習算法Complex Morlet Wavelets+L-BFGS 對Fpz-Cz 和Pz-Oz 兩個通道進行五分類睡眠分期,得到78.9%的準確率,隨后,又使用 CNN 神經網絡模型進行單通道睡眠信號五分類分期,并從公開數據集選取20 位實驗對象的數據進行分析,最終得到74.8%的準確率,這與本文選取23 位實驗對象進行準確率評估較為接近;除此之外,Hassan等人[20]使用Spectral features+K-W test+AdaBoost.M2的模型對Pz-Oz 單個腦電通道進行四分類睡眠分期,得到82.8%的準確率;Andreotti 等人[21]使用ResNet模型對Fpz-Cz+EOG 的腦電信號和眼電信號進行五分類睡眠分期,得到86.1%的準確率;Phan 等人[3]使用Image representation + MTCNN 模型對Fpz-Cz+EOG的腦電信號和眼電信號進行五分類睡眠分期,得到82.3%的準確率;Chen 等人[22]使用Wavelet+SVM 模型對單個Fpz-Cz 腦電通道進行四分類睡眠分期,得到86.8%的準確率.對比表2 中的結果,單純從算法的準確率上比較,本文提出的算法在同一個數據集上的準確率達到一個較高的水平.

表2 基于Sleep-EDF 公共數據集的其它文獻比較

可以看出,本文提出的算法在睡眠分期的準確度上有了一定的突破.與其它文獻中的分期方法相比,本文模型具有以下不同:①本文創新性地采用Mel 濾波器進行睡眠腦電信號的預處理,對每一個睡眠周期計算Mel 頻譜圖,通過Mel 頻譜對信號進行時頻轉換具有不錯的效果;②本文采用了融合CNN 和BiLSTM的神經網絡模型,充分挖掘了雙向時間結構的信息,實現更精確的特征提取;③本文實現的是三分類算法,在一定程度上也提高了模型的準確率.

為了更清楚地展示本文所提出的模型對于睡眠時期自動分類的結果,本文將公開數據集的其中一名實驗者數據,也就是文件名為SC4001E0-PSG.edf 的專家給定標簽以及本文模型預測的結果進行分別繪制了睡眠時相圖,其中橫軸為時間,即持續了23 小時的睡眠數據,縱軸為3 個睡眠期分類.

圖5 中給出了專家對這個持續23 小時的實驗睡眠數據進行了人工判定,實驗被試在不同的時間段分別處于不同的睡眠階段,根據人工判斷結果,在12:35-20:35 時間段與03:35 之后的時間內,該名被試者一直處于WAKE 期,在20:35-03:35 時間段內,被試者進入睡眠狀態,其睡眠狀態隨著時間的改變在WAKE、NREM、REM 三種睡眠狀態下不斷進行變化.而圖6中則是使用本文提出的模型對該睡眠數據進行分期的結果.從模型進行分期的結果中可以看到,模型對這個持續23 小時的睡眠數據都進行了分期,且在12:35-20:35 時間段和03:35 之后的時間內,模型得到的分期結果也為WAKE 期,與圖5 基本接近;在20:35-03:35時間段內,模型得出的分期結果也在WAKE、NREM、REM 三種睡眠狀態下進行變化,但與圖5 還存在一些差異.

圖5 專家分期結果時相圖

圖6 預測結果時相圖

通過對比圖5 和圖6,可以看出本文自動睡眠分期模型與專家人工判別結果具有較大的重合性,進一步驗證了本文模型的準確性較高.但在不同睡眠時期的過渡階段,模型判定的結果和專家分期結果有些不同,考慮到處于過渡時期的睡眠可能具有不同時期的特征,所以這一誤差具有一定的合理性,同時也為本文進一步研究發展指明了方向.

4 結語

經過實驗證明,本文提出的基于算法對睡眠信號具有較好的分期性能.算法選取Sleep-EDF 數據集中雙通道腦電數據Fpz-Cz 和Pz-Oz 進行分析,使用Mel 頻譜對信號睡眠信號進行預處理,結合卷積神經網絡和雙向長短時記憶神經網絡進行時頻域特征的提取,目前在睡眠分期領域取得了比較好的性能.實驗結果表明,本文模型在公開的睡眠數據集上取得了89.0%的整體準確率,其中WAKE 期的準確率達到97.9%,NREM 期的準確率達到92.3%,REM 期的準確率達到76.7%,證明該模型具有良好的睡眠分期能力.再通過將本文的工作與其他算法進行比較,進一步驗證了本文算法的有效性.

同時,在對比其他不需要手動提取特征的模型時,本文需要用到的生理信號更少,只需要兩個通道的腦電信號.除此之外,本文模型的網絡結構更加簡單,訓練速度也更快.這對于不穩定、有起伏變化、非線性的腦電信號數據分析處理提供了新的研究思路想法和參考價值.

然而,本文提出的算法還存在一定的缺點,在不同睡眠時期的過渡階段,算法的判定結果與專家分期結果還存在一定的差異,這表明了該算法的分期準確率還有一定上升的空間,為本文進一步研究與發展指明了方向.