基于視頻的人體睡眠狀態下心率及呼吸率的檢測

劉鴻程，王笑梅，陳桂安

?

基于視頻的人體睡眠狀態下心率及呼吸率的檢測

劉鴻程，王笑梅，陳桂安

（上海師范大學，上海 200000）

心率和呼吸率是人體的基本生理特征之一，兩者都是反應人體生理健康的一個重要參數。嬰幼兒在睡眠時的檢測異常困難，既要不影響病人休息，又要隨時檢測呼吸異常的情況。大多數呼吸檢測都采用接觸式檢測，如果對患者進行實時監控，則需要患者一直穿戴檢測設備，這樣會給患者帶來不便，尤其會影響患者的休息。提出了一種非接觸式的檢測方法，利用歐拉視頻放大技術，實時監控病人睡眠時的人體生理特征，而且成本較低，操作簡單，不僅可以用在臨床醫療，也便于患者在家自我檢測，防止意外發生。

心率檢測；呼吸檢測；視頻放大；非接觸式檢測

1 引言

隨著科技的進步和技術的發展，視頻監控在現代生活中越來越普及。如何智能提取視頻中所需信息，并做出相關判斷越來越受到人們的重視。在醫學領域，心率和呼吸率是反映人體健康狀況的重要指標。對長期癲癇患者、被燒傷的患者、睡眠中患者等特殊情況進行檢測，傳統的接觸式測量都會引起諸多不便。遠距離、非接觸式的生理測量方法不僅不會造成患者身體的不適，還可以應用在以上列舉的特殊情況下的監測和治療。

光電容積描記技術（PPG）是一種低花費的、通過傳輸反射光變化來測量人體血壓及心率的方法[1-2]，文獻[3]在傳統PPG的基礎上提出了一種新的方法，這種方法用紅外光照射皮膚表面，通過接收反射光，并通過計算每一幀圖像上的感興趣區域的灰度均值變化波形，可以得到反映測量皮膚區域血流變化的PPG信號。

非接觸式的人體生理特征檢測在國內外已經有許多研究，正在逐漸成為熱點課題。比如文獻[4]和[5]提出的用普通攝像頭，遠距離的心率測量。文獻[6]提出用熱感圖像，檢測人體局部的血液流動、心率以及呼吸率。文獻[7]中需要用紅外圖像來檢測紅外視頻，成本太高。文獻[8]提出用多普勒雷達光譜來進行遠距離、非接觸式的心率、呼吸率的測量。文獻[9-11]提出一種基于歐拉視頻放大算法和人臉識別的算法測量人體心率，這種方法可以在自然光下使用普通攝像頭進行心率測量。文獻[12]提出一種基于視頻分析的呼吸檢測算法。本文主要介紹一種以數字圖像處理為基礎，基于歐拉放大算法，主要測量人體睡眠時的心率和呼吸率的算法。

2 基于普通攝像頭的心率呼吸率檢測系統的實現

2.1 歐拉視頻放大算法

歐拉視頻放大算法（EVM）是由麻省理工學院計算機科學與人工智能實驗室Hao-Yu提出的，歐拉視頻放大算法可以放大視頻中細微的運動和顏色改變。歐拉顏色放大是在所有像素點上考慮時域中的顏色值并且放大在感興趣的頻域序列上的顏色變化。歐拉視頻放大不僅可以放大顏色的變化也可以放大低振幅的運動[13-14]。本文呼吸檢測主要使用歐拉運動放大，用來放大人體呼吸時胸腹部較低振幅的運動。心率檢測則使用歐拉顏色變化，通過放大血液流過毛細血管時的面部顏色變化來判斷心率。

歐拉視頻放大假定整幅圖像都在變，只是變化的頻率和振幅不同，只需放大我們感興趣的運動頻率和振幅再和原視頻合成即可。歐拉視頻放大主要有空間濾波；時域濾波；放大濾波結果；視頻合成四個步驟。

2.1.1 空間濾波

歐拉視頻放大算法可以用拉普拉斯金字塔和高斯金字塔進行濾波，如果放大動作變化應使用拉普拉斯金字塔，如果放大顏色變化，應使用高斯金字塔。在本論文中，我們既要放大動作變化，又要放大顏色變化。傳統的拉普拉斯金字塔圖像融合的核心思想是通過構建分辨率逐層遞減的金字塔，對各層金字塔按照一定的規則進行信息提取，并利用上層信息逐層重構最終得到融合的圖像[15]。

2.1.2 時域濾波

歐拉視頻放大算法需要在每個空間帶上進行時域濾波，在頻域上考慮時間序列的相關性，并且通過頻域濾波來獲取感興趣的頻帶和頻率特征，即為感興趣信號，感興趣信號將會在第三步中進行放大。而我們所需的呼吸信號則是其中視頻的某一段頻段，所以采用二階IIR帶通濾波器。二階IIR濾波器的輸出形式為：

（）=0n+1n-1+2n-2－（1n+2n-2）. （1）

式（1）中：（）為輸出圖像；0，1，2，1，2為二階IIR濾波器的系數；n，n-1，n-2為輸入圖像。

2.1.3 放大和合成

經過前面的步驟，我們已經找出了視頻中所需要變化的部分，接下來是如何放大這個變化。這里以放大一維信號為例，假定現在有個信號，（，），在任意時間，得出公式：

（，）=[+（）]，>0. （2）

（，0）=（），=0. （3）

式（3）中：（）為變化信號，我們希望這個變化放大倍以后的結果。即：

（，）=[+（1+）（）]. （4）

我們用一階泰勒級數展開來逼近公式（2）和（3）表示的信號：

最后再把放大后的圖像與原圖進行疊加，就可以得到我們需要的放大視頻。

2.2 幀差法

幀差法是一種常見的視頻分析技術，其優點是原理簡單，速度快，可實現實時分析。由于人體平靜狀態下的呼吸阻力主要為彈性阻力[16]，所以在呼吸運動呼吸交替時胸腹腔運動變化較小，而在呼和吸過程中胸腔運動變化較大。正常成年人的單次呼吸時長為3～6 s。因此在每秒30幀的視頻上，每兩次呼吸之間會有一段相對較長的靜止期，此時沒有像素點運動，所以我們使用幀差法檢測呼吸間隔，也就是使用幀差法以后所得到的移動像素連續為0的幀，并根據不同的患者設定不同的呼吸間隔閾值，當檢測出的呼吸間隔過大或過小均視為呼吸異常，將采取緊急措施。

2.3 心率檢測方法介紹

2.3.1 心率檢測主要實現步驟

本文中的心率檢測主要使用歐拉顏色放大來實現。主要步驟如下：①利用Adaboost算法鎖定目標視頻中的人面部圖像；②利用歐拉顏色放大算法放大步驟①中人面部視頻圖像作為后續處理心率信號的提取區域；③將在被歐拉視頻處理后的圖像從RGB顏色空間轉換為Lab顏色空間；④對提取出的信號進行歸一化和帶通濾波處理，以消除噪聲的影響；⑤在b通道信號進行FFT變換，計算對應的功率譜密度，選取最大功率對應的頻率作為預測頻率。測試者1睡眠時心率的功率譜密度如圖1所示。

2.3.2 人臉檢測技術

攝像頭拍攝一段視頻后，需要用人臉檢測來確定人臉位置，我們采用現在常見的AdaBoost人臉檢測技術來做人臉定位[17-18]。

AdaBoost人臉檢測方法是一種基于積分圖，具有魯棒性強、檢測率高、實時性等特點。利用幀差法獲得的呼吸時胸腹運動的像素點如圖2所示。

圖1 測試者1睡眠時心率的功率譜密度

圖2 利用幀差法獲得的呼吸時胸腹運動的像素點

3 實驗與數據

實驗利用matlab2015b編程軟件來實現。成人心率和呼吸率測試視頻都選用時長約20 s，每秒30幀的視頻。我們做三組實驗，第一組實驗光照采用自然光，測量5個成年人的心率及呼吸率。另有兩組對比實驗。第二組實驗光照為日光燈（弱光源），第三組實驗拍攝實驗者的側面，第二、三組實驗測量5名成年人的心率值，其中第一組數據分別對RGB顏色空間G通道實驗和Lab顏色空間的b通道實驗進行對比。實驗視頻通過普通手機拍攝，拍攝時盡量保證手機穩定，以減少不必要的干擾。呼吸率參考值的測量我們采用計數的方式，心率參考值我們通過手環來測量。并對本文所述心率及呼吸率檢測結果和傳統的測量方法的檢測結果進行Bland-Altman一致性評估，以評估本文提出的基于人臉視頻圖像心率檢測方法的有效性。

3.1 實驗數據

3.1.1 自然光照下的正面視頻

參考值指用傳統方法測得的心率、呼吸率的值，測量值指的是用本文給出的方法測量的值。自然光下正面視頻心率值如表1所示。自然光下的呼吸值測量如表2所示。

由定義可知，在心率檢測中兩種方法差值的均值1=﹣0.33，標準差1=2.39，因此95%的置信區間為﹣5.01～4.35.由公式（1）所得每次實驗結果一致性分析如圖3所示。

表1 自然光下正面視頻心率值

實驗者編號心率參考平均值心率測量平均值心率平均誤差/（%）心率誤差標準差 188.487.51.011.99 263.263.80.952.49 36868.220.322.26 485.486.421.192.93 576.477.10.922.78

表2 自然光下的呼吸值測量

實驗者編號呼吸參考平均值呼吸測量平均值呼吸率平均誤差/（%）呼吸率誤差標準差 120.219.24.950.76 216.215.91.850.57 317.416.83.450.42 420.820.41.920.65 519.419.82.060.65

圖3 歐拉視頻放大和傳統手環檢測結果的Bland-Altman圖

而在呼吸檢測中兩種方法的差值的均值2=﹣0.38，方差2=0.681，因此95%的置信區間為﹣1.74～0.98.歐拉視頻放大和傳統呼吸率檢測結果對比如圖4所示。

圖4 歐拉視頻放大和傳統計數方法檢測呼吸率的Bland-Altman圖

由于呼吸率的特殊性，有部分實驗數據點重復，在誤差所允許的范圍內。由Bland-Altman圖可以看出大部分實驗結果都處于95%的置信區間內，所以實驗證明，本文所述方法可以達到日常檢測呼吸率的要求。

3.1.2 弱光源下的正面視頻心率值

弱光源下正面視頻心率值如表3所示。

表3 弱光源下正面視頻心率值

實驗者編號心率參考平均值心率測量平均值心率平均誤差/（%）心率誤差標準差 168.870.82.914.01 287.6880.463.11 363.464.51.741.71 472.070.42.222.64 578.879.40.763.26

由表3可以看出，雖然弱光源下的檢測結果較之自然光下的檢測結果誤差較大，但仍在可接受的范圍內。

3.1.3 自然光下側臉視頻心率值

自然光下側面視頻心率值如表4所示。

表4 自然光下側面視頻心率值

實驗者編號心率參考平均值心率測量平均值心率平均誤差/（%）心率誤差標準差 168.670.42.593.33 263.264.11.423.36 388.889.50.792.94 471.672.51.262.20 579.079.91.391.27

由于不能用AdaBoost人臉檢測技術預先截取人體的側臉視頻，所以在這組實驗中，我們對全部視頻畫面進行處理。通過對這組數據的比對我們可以看出，使用側臉視頻進行心率提取，雖然較之第一組實驗有較大誤差，但仍在可接受的范圍內。

3.2 顏色空間域的改進

傳統的檢測方法中采用的是RGB顏色空間中的G通道。由于Lab空間域主要表示與設備無關的彩色模型，其中b通道表示從黃色到藍色的范圍，其值對BVP信號較為敏感，檢測精確度更高。我們復原了傳統的RGB空間域的G通道來作為對比。自然光下正面視頻的心率值RGB空間如表5所示。由對比實驗可以看出Lab顏色空間下的b通道測量得出的心率值比RGB顏色空間下的G通道測量值得出的更為準確。

表5 自然光下正面視頻的心率值RGB空間

實驗者編號心率參考平均值心率測量平均值心率平均誤差/（%）心率誤差標準差 188.486.22.52.35 263.265.84.12.69 36869.82.652.66 485.488.53.621.69 576.477.41.302.52

4 結論

本文以歐拉影像放大技術為基礎，利用圖像金字塔，可以實時進行呼吸及心率的檢測，其原理簡單，滿足實時性要求，對硬件的要求較低，可應用于人體睡眠時的呼吸率和心率檢測。改進了接觸式的心率、呼吸率檢測方法，在精度要求不是很高的情況下，可以實現隨時監控患者的呼吸及心率，并在患者出現身體特征異常的時候及時報警，避免意外情況發生。但是，此方法并沒有很好的排除干擾，比如當人體在睡眠中翻身、無意識抽動等，面部或胸腹部的遮擋都會一定程度上影響我們的檢測，具體解決辦法還需要進一步的研究和實驗。

［1］Allen J.Photoplethysmography and its application in clinical physiological measurement［J］.Physiological Measurement，2007，28（3）.

［2］Takano C，Ohta Y.Heart rate measurement based on a time-lapse image［J］.Medical Engineering & Physics，2007，29（8）：853-857.

［3］Hu S，Zheng J，Chouliaras V，et al.Feasibility of Imaging Photoplethysmography［M］.出版社不詳，2008.

［4］Poh M Z，Mcduff D J，Picard R W.Non-contact，automated cardiac pulse measurements using video imaging and blind source separation［J］.Optics Express，2010，18（10）.

［5］Poh M Z，Mcduff D J，Picard R W.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE transactions on bio-medical engineering，2011，58（1）：7-11.

［6］Garbey M，Sun N， Merla A，et al.ontact-free measurement of cardiac pulse based on the analysis of thermal imagery［J］.IEEE transactions on bio-medical engineering，2007，54（8）：1418.

［7］陳永康，侯振杰，陳宸，等.基于深度圖像的非接觸式呼吸檢測算法研究［J］.計算機測量與控制，2017，25（7）：213-217.

［8］Kazemi S，Ghorbani A，Amindavar H，et al.Cyclostationary approach to Doppler radar heart and respiration rates monitoring with body motion cancelation using Radar Doppler System［J］.Biomedical Signal Processing & Control，2014，13（11）：79-88.

［9］萬錚結.基于人臉視頻圖像的心率檢測研究［D］.杭州：浙江工業大學，2014.

［10］劉祎，歐陽健飛，閆勇剛.基于普通攝像頭的心率測量方法研究［J］.計算機工程與應用，2016，52（7）：210-214.

［11］馬良，劉琚.自然光條件下使用普通攝像頭實現心率測量［J］.信號處理，2017（Suppl 1）：73-78.

［12］潘今一，李杰，申瑜.基于視頻分析的呼吸檢測算法［J］.浙江工業大學學報，2017，45（2）：163-167.

［13］Wu H Y，Shih E，Shih E，et al.Eulerian video magnification for revealing subtle changes in the world［J］.Acm Transactions on Graphics，2012，31（4）：65.

［14］LIU C，TOORRALBA A，FREEMAN W T，et al.Motion magnification［J］.ACM transactions on graphics，2005，24（24）：519-526.

［15］余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究［J］.長江大學學報（自科版），2016，13（34）：21-26.

［16］陳華艷，劉最茂，黃溢華，等.人體呼吸系統物理建模與仿真［J］.醫學信息，2010，23（1）：27-29.

［17］Viola P，Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features［C］//Computer Vision and Pattern Recognition，2001.

［18］Lienhart R，Maydt J.An extended set of Haar-like features for rapid object detection［C］//International Conference on Image Processing，2002.

［19］史周華.醫學統計學［M］.北京：人民衛生出版社，2012.

［20］Altman D G，Bland J M.Measurement in Medicine：The Analysis of Method Comparison Studies［J］.Journal of the Royal Statistical Society，1983，32（3）：307-317.

［21］Bland，Martin J，Altman，et al.Statistical methods for assessing agreement between two methods of clinical measurement［J］.Lancet，1986，327（8476）：307-310.

2095－6835（2019）05－0001－04

TP391.41

A

10.15913/j.cnki.kjycx.2019.05.001

〔編輯：嚴麗琴〕