基于心率變異性分析的睡眠音樂推薦系統

彭 程，常相茂，仇 媛

（南京航空航天大學計算機科學與技術學院，南京211106）

（?通信作者電子郵箱pengchenggold@163.com）

0 引言

隨著生活節奏的加快，越來越多的人被睡眠問題所困擾。傳統的睡眠監測通過用戶身體連接至多導睡眠監測儀進行評估，隨著傳感器技術的發展，移動設備麥克風、加速度計以及光敏傳感器被用來進行睡眠信息的采集，一些機器學習的方法也被用于信號的分析［1-6］，例如文獻［6］使用序列連通度分析提取信號特征，利用最小二乘支持向量機進行睡眠分期。心率變異性分析在分析人的精神狀況以及睡眠分期取得了不錯的效果。然而，當前的研究大多依靠專業醫療設備，并且方向主要停留在信息的獲取上，例如對精神狀況以及睡眠階段分期的評估，缺乏對信息的實時利用即改善睡眠或緩解壓力的具體措施，因此，使用舒適、簡便的傳感器進行睡眠監測以及通過具體措施對信息實時利用具有很重要的研究意義。

現代醫學認為，心率信號作為重要的生理指標之一，包含了人的精神狀況以及生理狀態等重要信息。研究者通過對心率變異性（Heart Rate Variability，HRV）信號進行分析，提取包括時域以及頻域多種特征，對用戶在不同環境以及任務下的情感、精神壓力狀況以及生理狀況進行評估。例如孫微［7］通過心率變異性分析構建支持向量機對睡眠階段進行分期；Widasarie等［8］提取心率變異性不同頻帶標準化后能量，使用決策樹-支持向量機對睡眠階段進行分期；Okamura等［9］通過吸附在人體身體上傳感器采集的信號，分析人的入睡以及醒來時的時間；Hernando等［10］同時采集光電掃描計信號（PhotoPlethysmoGraphy， PPG） 以 及 心 電 圖 信 號（ElectroCardioGram，ECG），評估了在精神高壓環境下的心率變異性變化情況。雖然以上研究都取得了較好的分析效果，但都需要用戶佩戴專業的ECG設備進行信號采集，同時也僅停留在實驗后對信息的分析，缺乏實時性以及對信息的利用，例如睡眠質量的評估以及精神狀況的調整。

Phasukkit等［11］通過比較人正常睡眠時以及聆聽音樂放松時的腦電圖（ElectroEncephaloGram，EEG）信號，判斷音樂推薦對人睡眠質量的改善作用；France等［12］則統計了非傳統方法對兒童以及年輕人睡眠的影響，結果表明音樂推薦在大多數人群的睡眠中起到了積極的作用。然而以上研究都是基于群體的睡眠表現，并沒有針對個體的睡眠和精神狀況作出專門的音樂推薦。

為了克服以上缺陷，本文將基于心率變異性分析的精神狀況分析以及睡眠分期相結合，提出了一種實時調整精神狀況以及改善睡眠質量的睡眠音樂推薦系統。首先，相對于其他心率變異性研究需要使用專業設備進行采集的ECG信號，使用更加易于獲取的PPG信號進行心率變異性分析，并且在公開數據集上驗證了睡眠分期以及精神狀況分析方法的準確性；然后，針對當前心率變異性分析只停留在信息獲取的問題上，使用滑動窗口的方法將使用不同時程的睡眠分期和精神狀況分析相聯系，根據實時的信息變化進行睡眠音樂的推薦以及調整，達到緩解精神壓力以及改善睡眠質量的目的；最后，通過實驗評估系統性能。結果證明，本文方法在使用移動平臺下更易獲取的PPG信號代替ECG信號的情況下，能夠準確進行睡眠分期以及精神狀況分析，同時利用這兩種信息，使用音樂緩解精神壓力以及改善睡眠質量。

1 系統概述

本文提出了一種基于心率變異性分析的音樂推薦系統，如圖1所示，用戶通過佩戴智能手表采集PPG信號，手表通過藍牙將采集到的信號傳輸到手機。手機對心率進行實時計算，同時提取時域以及頻域特征，每30 s對用戶進行睡眠分期以及精神狀況分析。根據用戶的睡眠以及精神狀況，進行音樂的播放以及實時調整。最終根據用戶整晚的睡眠分期時長分布，進行睡眠質量分析，評估音樂與用戶個體的適應程度，進行音樂推薦。

圖1 睡眠音樂推薦系統流程Fig.1 Flowchart of sleep music recommendation system

2 PPG信號

在本章中，主要介紹如何使用PPG信號進行HRV分析，同時將PPG信號與ECG信號在HRV計算上進行對比。PPG是一種光學測量技術，可用于檢測組織微血管中的血容量變化，并被廣泛認為可提供有關心血管系統的有價值信息。PPG波形由脈搏生理波形組成，主要包括由每次心跳造成心臟血容量的變化的交流信號，以及由于呼吸、交感神經系統活動和體溫調節的各種較低頻率分量緩慢變化的直流信號［13］。本文通過對信號做頻譜分析，對信號進行帶通濾波后保留包含心率信息部分的信號。

2.1 信號預處理

本部分實驗數據來源于MESA（Multi-Ethnic Study of Atherosclerosis）數據庫［14-15］。使用了共計50個夜晚的實驗數據，使用多導睡眠圖（PolySomnoGraphy，PSG）中的ECG信號（采樣率為256 Hz）以及PPG信號（采樣率為256 Hz），以及睡眠階段標注為使用信號。數據集由醫學專家進行標注，用作實驗分析的真值。

2.1.1 帶通濾波

PPG信號是非穩態的微弱信號，為進行心率以及心跳間隔的計算，需要對原始信號進行濾波。圖2所示為原始信號時域圖以及快速傅里葉變換后的頻譜分布，信號存在高頻部分（如電源）以及低頻部分（如毛細血管密度和靜脈血容量的變化、溫度變化等）噪聲。為消除噪聲干擾，使用帶通濾波器進行濾波。正常人群安靜狀況下心率范圍在每分鐘40～160次，為此濾波器通阻帶設置為4 Hz，階數為4。

圖2 原始信號時域波形以及頻譜Fig.2 Original signal’s time domain waveform and spectrum

圖3所示為濾波后信號時域圖以及頻譜分布，信號濾波后，高頻部分的噪聲得到消除。

圖3 濾波后信號時域波形以及頻譜Fig.3 Filtered signal’s timedomain waveform and spectrum

2.1.2 移動平均

目標信號為從原始PPG信號中計算心率以及心跳間隔，為了方便峰值檢測以及測量峰值之間間隔，對信號進行移動平均處理，即原始信號減去K個采樣點均值，如式（1）所示：

圖4 移動平均后信號波形Fig.4 Signal waveform after moving average

2.2 心率變異性計算以及性能對比

2.2.1 基于PPG的心率變異性計算

心率變異性又稱為心率波動性，指的是逐次心跳周期差異的變化情況或者說是指心跳快慢的變化情況，由兩個相鄰的R-R間期時間長短決定，即從第一次心動周期至下一次心動周期間的微小差異。通過測試個體的心率變異性各種指標，能夠提供有關睡眠分期、精神狀況等方面的信息，本文使用局部最大值法找出0.5 s的滑動窗口內波峰，用于計算每次心跳之間的間隔。標記出的波峰如圖5所示。

圖5 標記波峰Fig.5 Marked peaks

2.2.2 性能對比

現有研究的HRV計算主要使用ECG，用戶在使用心電圖機時，需要在人體不同的部位放置電極，在佩戴舒適度上以及使用方便程度上表現較差。而PPG信號可以通過智能手表采集，使用簡單且佩戴舒適，二者使用對比如圖6所示。

圖6 采集方式對比Fig.6 Comparison of acquisition methods

通過ECG信號進行HRV計算的方法與使用PPG信號相似，對信號進行濾波處理后，通過人工或者機器識別的方式標記R峰，通過計算R峰間隔來計算心跳間隔。本文使用MESA數據庫進行驗證，比較使用ECG信號以及PPG信號計算HRV的性能。其中30 s的計算結果如圖7所示，與使用ECG進行HRV計算相比，使用PPG計算結果相差極小，證明在HRV計算上，PPG是一種有效的方式，并且在佩戴舒適度以及使用方便性上有很大優勢。

圖7 HRV計算結果對比Fig.7 Comparison of HRV calculation results

2.3 時域特征分析

HRV的時域特征是通過分析心跳間隔（R wave intervals，RR）序列的一些指標來完成的。根據RR間期的持續時間長短，HRV時域分析分為短時程指標和長時程指標。為實時分析音樂對精神狀況的影響，使用短時程指標，間期大小為30 s，與睡眠階段的劃分窗口大小相同。時域分析大體通過以下兩個方向進行分析：一方面直接從RR間隔以及瞬時心率得出；另一方面從相鄰RR間隔差值得出。

時域分析統計指標如下：1）心率時間序列平均數（mean of RR intervals，meanRR）；2）心跳間隔平均數（mean of Normalto-Normal intervals，meanNN）；3）心跳間隔標準差（Standard Deviation of Normal-to-Normal intervals，SDNN）；4）統計間期內正常竇性心搏（Normal to Normal intervals，NN）間期差值的均方根（root mean Square Successive Difference，rmSSD）。

2.4 頻域特征分析

HRV的頻域分析有快速傅里葉變換（Fast Fourier Transform，FFT）和自回歸模型譜分析法（AutoRegressive model spectrum estimation，AR）兩類方法。通過對一定時間內連續RR間期進行FFT或AR，得出到以頻率為橫坐標、功率譜能量為縱坐標的心率功率譜，它提供了能量隨頻率變化分布的基本信息。醫學上將功率譜頻帶劃分為3個頻段，各頻段下的面積可作為功率譜能量的測定值，其大小與HRV成正比，可用于評估波形所對應的各個頻率頻段的相對功率。

頻域分析在短時程和長時程上分析的結果意義差異很大，短時程5 min頻域分析應使用戶在平臥休息狀態下，控制用戶以及環境條件，避免其他因素對用戶精神狀況以及神經活動的干擾。長時程24 h頻域分析則是針對用戶全天的心率變化狀況進行分析，因此無法做到對其余干擾因素的消除，是對全天整體的大致分析。因此本文選擇對用戶進行短時程頻域分析評估音樂對睡眠的影響。

頻域分析統計指標如下：1）總功率（Total Power，TP），頻段0～0.4 Hz；2）極低頻功率（Very Low Frequency，VLF），頻段0.003～0.04 Hz；3）低頻功率（Low Frequency，LF），頻段0.04～0.15 Hz；4） 標 準 化 低 頻 功 率（normalized Low Frequency，LFnorm），計算方法如式（2）所示；5）高頻功率（High Frequency，HF），頻段 0.15～0.4 Hz；6）標準化高頻功率（normalized High Frequency，HFnorm），計算方法如式（3）所示；7）低高頻功率比（Low Frequency/High Frequency，LF/HF）。

3 睡眠分期

睡眠作為一個非勻質過程，由快速眼動階段（Rapid-Eye-Move，REM）以及3個非快速眼動階段（Non-Rapid-Eye-Move，NREM）交替循環組成。睡眠研究的標準儀器是多導睡眠圖（PSG），它要求患者在睡眠實驗室中睡覺，其中有一系列傳感器連接至身體的不同部位，由專業醫療人員根據監測參數對處于哪個睡眠階段進行劃分。研究者將研究重點放在使用盡可能少的傳感器信號進行睡眠階段診斷，而睡眠階段劃分基本上均涉及EEG頻譜分析，因此大部分研究都使用單通道EEG信號進行睡眠階段診斷。現有HRV分析大多使用ECG信號進行睡眠階段診斷，提取HRV相關時域頻域特征，使用神經網絡對每30 s的數據進行睡眠階段分類。

本文使用支持向量機分類器，一種可用于分類的監督機器學習算法來對睡眠階段進行分類。它使用內核方法分析多維數據，在有限的樣本數據中，支持向量機具有較好的表現。對于50個夜晚數據，在去除損失信號后，共有27468個30 s波形，提取2.3節以及2.4節中所述時域和頻域特征后，原始數據以及特征被隨機分為50%的訓練集數據用于分類器訓練，50%的測試集數據用于評估測試集表現。睡眠階段共劃分為醒著、輕度睡眠（N1、N2）、深度睡眠（N3）以及REM。最終分類準確率如表1所示。

表1 睡眠階段分類準確率 單位：%Tab.1 Classification accuraciesof sleep stages unit：%

從表1可以看出，分類器在數據集上的深度睡眠以及快速眼動階段具有較高的分類準確率，對于醒著以及輕度睡眠的劃分，分類的準確率在可接受范圍類，對于睡眠音樂推薦，較高的睡眠階段識別準確率具有很大幫助。睡眠音樂推薦系統使用在數據集上訓練后的支持向量機分類器對用戶的睡眠狀況進行實時分析。智能手表采集PPG信號，經藍牙傳輸至手機，每30 s計算2.3節以及2.4節所述時域以及頻域特征，將原始信號以及特征輸入支持向量機中對當前睡眠階段進行識別。若用戶處于入睡狀態（N1、N2、N3、REM），則停止當前音樂播放，若用戶處于醒著狀態，則進入用戶精神狀況評估。

4 精神狀況分析

自主神經系統控制著大多數器官的功能，并與應激反應相關。如果人處于緊張狀態，自主神經系統就會被觸發，引發一系列反應，例如心率增加、血管收縮、瞳孔及肺部細支血管擴張和汗液分泌等。在人的精神壓力狀況發生變化時，交感神經系統以及副交感神經系統的興奮以及放松會導致許多HRV特征的顯著變化，因此，通過對HRV的短時程特征進行分析，能夠反映用戶的實時精神壓力。

精神緊張會導致人心臟負擔加重，大腦處于興奮狀態，為滿足人體所需能量肝臟負荷加重，從而導致肝功能下降，且由于長時間緊張對人體各部分機能消耗大，影響人體入眠并使睡眠質量下降。SDNN值代表全體NN間期的標準偏差，SDNN的值越大，說明心率信號變化的復雜程度越高，若SDNN的值下降，則代表人體自主神經系統調節能力低下，精神處于焦慮緊張狀態；同樣RMSSD值代表鄰近NN間期之差的均方根，是評估副交感神經系統活性的較常用參數，SDNN的下降，常伴隨RMSDD值下降。本文對數據庫中50個夜晚，監測者入眠前（進入睡眠階段）5 min以及入眠后5 min HRV進行分析，如圖8、9所示。

圖8 入睡后5 min的SDNN散點圖Fig.8 SDNN scatter diagram at 5 min after goingtosleep

圖9 入睡后5 min的RMSSD散點圖Fig.9 RMSSDscatter diagramat 5 min after goingtosleep

圖8，9中每個點縱坐標代表該用戶入睡前5 min SDNN，RMSSD的值，橫坐標代表該用戶入睡后5 min SDNN，RMSSD的值。入睡前后5 min的SDNN以及RMMSD散點基本都落在方程Y=X上方，代表入睡后5 min SDNN以及RMMSD值均有上升，精神處于更加放松的狀態。

在HRV的頻域分析中，LF屬于相對的低頻成分，可用來代表人體副交感神經系統的活性，但大部分情況是作為交感神經系統活性指標來利用；HF作為相對高頻的成分，是與呼吸運動相關的成分，是評估副交感神經系統活性的指標。二者比值LF/HF，代表交感神經系統與副交感神經系統之間，即整個自主神經系統的平衡性。當交感神經系統處于強勢時，機體往往處于焦慮、恐怖、易怒、注意力散漫、過度警覺的狀態。同樣對監測者入眠前后5 min LF/HF進行分析，如圖10所示。

圖10 入睡后5 min的LF/HF散點圖Fig.10 LF/HFscatter diagramat 5 min after goingtosleep

圖10中每個點橫坐標代表用戶入睡后5 min LF/HF值，縱坐標代表該用戶入睡前5 min LF/HF的值。入睡前后5 min LF/HF散點基本都落在方程Y=X下方，這代表入睡后LF/HF值處于下降狀態，精神狀況更加放松。對于本實驗的樣本來說，統計之后共有9個點不符合下降趨勢，92%的樣本在入眠后LF/HF都呈下降趨勢。

根據數據庫樣本的HRV分析，用戶在進入睡眠后，精神趨于放松狀態，即SDNN以及RMSSD值上升，LF/HF值下降。因此在本音樂推薦系統中，采集的PPG信號經藍牙傳輸至手機后，進行HRV分析，在大小為5 min的滑動窗口每30 s計算SDNN、RMSSD以及LF/HF值，若SDNN、RMSSD值呈上升趨勢，LF/HF值呈下降趨勢，則代表推薦音樂對用戶精神起到促進放松作用，反之則代表該音樂對用戶精神未起到促進放松作用，需要對音樂進行音量下調或切換音樂。

5 睡眠音樂推薦

聽音樂會影響腦電波甚至增加α波的能量，而α波能量增加則代表更好的精神狀況以及更加放松的身體。而當為了休息閉上眼睛時也會出現相同的情況，α波能量增加，身體因休息而放松。可以看出，聽音樂是為了緩解緊張情緒，放松，甚至與休息具有相同的功能。本文提出了一種基于HRV分析的睡眠音樂推薦框架，通過HRV分析用戶的實時睡眠狀態以及精神狀況來對音樂進行實時調整，最后根據整晚的睡眠質量評估音樂對個體的適應性，系統框架如圖11所示。

圖11 睡眠音樂推薦系統Fig.11 Sleep music recommendation system

如圖11所示，用戶智能手表采集PPG信號，傳輸至手機計算心率以及HRV分析。每30 s對用戶當前睡眠階段進行分析（S1，S2，…，S11），若用戶已入睡，則關閉音樂播放，繼續記錄心率以及HRV分析，結束睡眠后根據總睡眠時長以及各睡眠階段時長對音樂與該用戶適性進行分析；若用戶未入睡，則手機播放音樂，在5 min的滑動窗口內每30 s對用戶精神狀況進行評估，若窗口2中用戶精神與窗口1相比更加緊張，則需要對音樂進行音量調低或音樂切換；若用戶精神放松，則繼續對用戶入睡狀態進行監測，直至用戶入睡。

6 系統性能實驗

為了評估系統功效，選取7名在校大學生進行實驗，實驗個體均無相關睡眠疾病，實驗期間保持相同作息以及避免使用任何影響睡眠類藥品，佩戴華為Watch2采集相關信號，使用經哈佛醫學院CDB中心測試認證的華為TruSleep技術作為睡眠質量真值。每位實驗個體進行連續5個夜晚的睡眠監測，實驗個體在實驗前3天中，僅佩戴智能手表進行睡眠監測，每晚記錄淺度睡眠、深度睡眠以及快速眼動階段時長。在實驗后兩天中，用戶佩戴智能手表進行睡眠監測，采集PPG信號傳輸至手機，手機的睡眠音樂推薦系統分析睡眠階段以及精神狀況，同時進行音樂播放以及調整，記錄每晚淺度睡眠，深度睡眠以及快速眼動階段時長。

圖12為用戶某晚整體睡眠時長以及具體睡眠階段時長分布，用戶在上午12：28分入睡，8：30分醒來。總睡眠時長7 h 19 min，其中深度睡眠2 h 10 min，淺度睡眠3 h 47 min，快速眼動階段1 h 22 min。

圖12 用戶整晚睡眠階段分布Fig.12 Distribution of user’s sleep stages through the night

圖13所示為7位用戶實驗期間的平均睡眠總時長變化情況。在無音樂的前3天，睡眠時長在7 h左右，且時長分布穩定。使用音樂推薦系統后，第4天的睡眠時長明顯高于前3天，且保持穩定，睡眠時長穩定增長，約7.5 h。

圖13 用戶實驗期間平均睡眠總時長變化Fig.13 Average change of user’stotal sleep timeduring experiment

如圖14所示為用戶有無音樂推薦下各睡眠階段平均時長對比，音樂推薦系統主要使用戶的淺度睡眠以及快速眼動時長增加，對深度睡眠影響較小。用戶使用睡眠音樂推薦系統前，平均快速眼動、淺度睡眠以及深度睡眠時長分別為86 min、220 min和117 min。在使用音樂推薦系統后，平均快速眼動、淺度睡眠、深度睡眠時長對比使用系統前分別增長16 min、22 min、3 min，總體睡眠時長對比使用系統前增長11.0%。

圖14 用戶有無音樂下各睡眠階段平均時長變化Fig.14 Averageduration changesof user’seach sleep stagewith and without music

圖15所示為用戶實驗期間，各睡眠階段平均時長的變化情況。其中，在使用音樂推薦系統后，用戶的淺度睡眠時長以及快速眼動時長明顯增長，且使用后時長持續增長，而深度睡眠時長則基本保持不變。實驗結果證明系統主要使用戶的淺度睡眠以及快速眼動階段時長增加，而對深度睡眠的時長影響較小。

圖15 用戶實驗期間內各睡眠階段平均時長變化Fig.15 Averageduration changesof user’s each sleep stage during experiment

7 結語

本文提出了一種使用PPG信號代替ECG信號進行HRV分析，并根據分析得出的精神狀況以及睡眠階段，使用音樂緩解精神壓力以及輔助睡眠，同時對音樂進行動態調整的系統。在現有數據集上的實驗結果表明，PPG信號在HRV計算上的結果與ECG信號相近，并且獲取方法簡單，舒適度高。此外，音樂推薦系統能夠有效改善實驗個體睡眠質量，使用系統后，睡眠總時長對比使用系統前增長11%。在未來的工作中，計劃將本系統在不同年齡用戶群體使用以及擴大實驗樣本數量，目標是在能改善各年齡層次的多數用戶的睡眠質量；同時，優化特征提取以及特征選擇，提高PPG信號在睡眠分期以及精神狀況的準確性，使用多種傳感器驗證結果。