非接觸式心率測(cè)量研究初步

馮 軍 湯文明 曹劍劍 余 瑛#?

（江西中醫(yī)藥大學(xué)計(jì)算機(jī)學(xué)院，南昌 330004）

非接觸式心率測(cè)量研究初步

馮 軍1湯文明2曹劍劍3余 瑛1#?

（江西中醫(yī)藥大學(xué)計(jì)算機(jī)學(xué)院，南昌 330004）

基于Matlab軟件平臺(tái)，通過圖像光電容積脈搏波描記法（iPPG），提取心率波信號(hào)。結(jié)合人臉檢測(cè)與跟蹤技術(shù)，選取臉部三角區(qū)域作為感興趣區(qū)域（ROI），從中分析提取iPPG信號(hào)，然后采用快速傅里葉變換計(jì)算出心率。通過對(duì)20名志愿者的實(shí)驗(yàn)，結(jié)果顯示在不同顏色通道（R、G、B）提取出的心率信號(hào)的信噪比不同，其中G通道的心率信號(hào)最強(qiáng)。分析數(shù)據(jù)顯示，與醫(yī)用心電測(cè)量?jī)x相比，該方法測(cè)量的平均誤差為1.73 beat/min。采用光容積成像技術(shù)檢測(cè)方法，可進(jìn)一步實(shí)現(xiàn)血液灌注三維可視化，能檢測(cè)動(dòng)脈血氧飽和度、呼吸率、神經(jīng)系統(tǒng)的生理活動(dòng)和新生兒監(jiān)護(hù)，甚至能應(yīng)用于家庭移動(dòng)醫(yī)療、運(yùn)動(dòng)檢測(cè)等大眾場(chǎng)合，提高便捷性，降低醫(yī)療成本。

圖像光電容積脈搏波描記法（iPPG）；非接觸；心率；人臉檢測(cè)；跟蹤

引言

心率是人體最重要的生理參數(shù)之一，在臨床診斷與病人的健康監(jiān)護(hù)上起很大作用。心率異常是多種心血管疾病的高危因素，通過監(jiān)測(cè)心率，可以提前預(yù)防很多心血管疾病的發(fā)生［1］。同時(shí)，心率也是指導(dǎo)體育鍛煉的重要指標(biāo)，運(yùn)動(dòng)科學(xué)研究表明，心率是生理變化較為靈敏的參數(shù)之一［2］。在刑偵手段（如測(cè)謊）中，心率也有重要應(yīng)用。傳統(tǒng)的心率測(cè)量設(shè)備大部分都需要直接接觸人體才能運(yùn)行，對(duì)被測(cè)量者有很大的束縛性，并且有些設(shè)備價(jià)格昂貴，遠(yuǎn)遠(yuǎn)無法滿足大眾對(duì)健康監(jiān)測(cè)的需求。基于此，本研究提出了一種非接觸式、輕量化的心率監(jiān)測(cè)方法，使健康的檢測(cè)更為方便。

目前，基于視覺設(shè)備的非接觸感知在許多領(lǐng)域的應(yīng)用越來越廣泛，如機(jī)器視覺、視頻監(jiān)控、車輛或人臉的識(shí)別與跟蹤、體感游戲等［3］。圖像光電容積脈搏波描記法（imaging photoplethysmograph，iPPG）技術(shù)，通過采集人體皮膚顏色的細(xì)微變化，實(shí)現(xiàn)心率測(cè)量［4］。皮膚的光學(xué)屬性主要是由皮下水分、血紅蛋白、黑色素等對(duì)光的吸收所引起，相比之下，血液對(duì)光的吸收高于其他吸收因子［5］。當(dāng)光線進(jìn)入皮下組織時(shí)，血液的周期性灌注會(huì)影響光線反射的強(qiáng)度，其中血液灌注形成光信號(hào)的交流成分，周圍組織、血管反射的光線形成直流成分［6］。通過成像設(shè)備對(duì)光線的捕捉，可觀察到毛細(xì)血管網(wǎng)反射的光信號(hào)變化［7］；分析其中的交流成分，可獲取人體相關(guān)的生理參數(shù)，如心率、血壓等［8］。

在iPPG領(lǐng)域的早期研究中，Wu、Blazek和Schmitt［8］使用 660、810 和 940nm 的窄頻段光波對(duì)前臂皮膚照射，解析出了反射光信號(hào)的心率成分，在頻譜上與手指的PPG信號(hào)相似，同時(shí)伴有低頻的呼吸率［9］。Wieringa、Mastik、和 Van der Steen 等首次在時(shí)域和頻域上同時(shí)對(duì)比了ECG、手指的iPPG與PPG信號(hào)的差異，結(jié)果表明iPPG在臨床上的應(yīng)用還有待突破［10］。幾乎同時(shí)，Humphreys、Ward 和Markham用760和880nm波長(zhǎng)的激光對(duì)手臂皮膚進(jìn)行照射，提出使用Bland-Altman的分析方法，使iPPG信號(hào)與手指的PPG信號(hào)有很高的吻合度［11］。Poh、Mc Duff和Picard做了更多復(fù)雜的研究，通過對(duì)圖像的R、G、B三顏色通道進(jìn)行獨(dú)立成分分析，提高了iPPG信號(hào)的質(zhì)量［12-13］。目前對(duì)iPPG的研究主要集中在解決一些實(shí)際問題上，如圖像質(zhì)量［14］、幀率［15］、ROI的選取［16］、運(yùn)動(dòng)偽差［17］和在臨床的試驗(yàn)與應(yīng)用［18-20］。由于iPPG信號(hào)來源于皮膚毛細(xì)血管對(duì)光的反射，所以不可避免地會(huì)受到運(yùn)動(dòng)所造成的偽差影響，以及光源不穩(wěn)定造成的信噪比低。在以往的研究中，并無明顯降低此類偽差的相關(guān)研究。

1 材料和方法

1.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)操作流程如圖1所示。邀請(qǐng)20位志愿者，平均分為2組，分晝夜兩個(gè)時(shí)期進(jìn)行實(shí)驗(yàn)，包括3個(gè)步驟。

圖1 實(shí)驗(yàn)流程概要（包括等待與測(cè)量2個(gè)階段）Fig.1 Thesummaryofexperimentalprocess，including 2 parts between waiting and measurement

步驟1：詳細(xì)地向志愿者介紹實(shí)驗(yàn)流程，按規(guī)范連接心電測(cè)量?jī)x的電極片，引導(dǎo)志愿者靜坐于攝像頭前1 m處，平靜呼吸。實(shí)驗(yàn)場(chǎng)景如圖2所示。

圖2 實(shí)驗(yàn)場(chǎng)景Fig.2 The scene of the experiment

步驟2：?jiǎn)?dòng)心電測(cè)量?jī)x與Matlab測(cè)量程序，等待至顯示結(jié)果同步并且穩(wěn)定。

步驟3：間隔5 s同時(shí)記錄1次志愿者的iPPG數(shù)據(jù)與心電圖數(shù)據(jù)，每人記錄10組數(shù)據(jù)。

繼續(xù)對(duì)其他的志愿者進(jìn)行上述實(shí)驗(yàn)，直到所有志愿者都測(cè)試完畢，并在白天與晚上對(duì)兩組志愿者進(jìn)行相同的測(cè)試。

1.2 材料

iPPG是借助皮膚反射光檢測(cè)人體組織中血液容積變化的一種無創(chuàng)檢測(cè)方法。本研究采用羅技公司生產(chǎn)的CMOS相機(jī)（Logitech HD 720p）作為捕光設(shè)備，設(shè)置相機(jī)采樣幀率為10 fps，分辨率為640像素×480像素，返回RGB顏色空間，顏色深度為12位，各參數(shù)恒定，并使用自然光作為入射光源。

心率信號(hào)的采集采用BLOCK IMAGING公司的心電采集設(shè)備Cardiac Trigger Monitor 3100，按參考圖連接人體，用于檢測(cè)人體的心電圖。

采集的iPPG信號(hào)通過USB數(shù)據(jù)線輸入電腦（Window10，64 位系統(tǒng)），使用 MathWorks公司的Matlab軟件進(jìn)行在線處理。

1.3 預(yù)處理操作

預(yù)處理操作是將原始視頻圖像轉(zhuǎn)化為一維離散的iPPG信號(hào)，該信號(hào)包含了皮膚血液灌注的特征信號(hào)。通過人臉檢測(cè)與跟蹤算法，準(zhǔn)確定位圖像中人臉的位置；按照人體面部“三庭五眼”的比例關(guān)系，設(shè)置算法自動(dòng)選取含豐富毛細(xì)血管的三角區(qū)域作為ROI（是一種自適應(yīng)選取）；將ROI的G顏色分量分解，并做空間均值處理，獲得iPPG信號(hào)。由于使用人臉檢測(cè)與跟蹤技術(shù)，從而使信號(hào)具有更高的信噪比。預(yù)處理操作流程如圖3所示。

圖3 預(yù)處理的詳細(xì)算法流程Fig.3 A detailed algorithmic flow chart for preprocessing

1.4 心率信號(hào)提取

通過采集裝置，對(duì)志愿者進(jìn)行iPPG信號(hào)與心率信號(hào)的同步采集，獲得實(shí)驗(yàn)數(shù)據(jù)。采樣模式一般設(shè)置為連續(xù)不斷采集，并從中截取10 s的數(shù)據(jù)用于數(shù)據(jù)分析。采用歸一化函數(shù)premnmx，對(duì)iPPG信號(hào)進(jìn)行歸一化，去除信號(hào)中的高斯噪聲和直流分量。同時(shí)，針對(duì)信號(hào)的低頻與高頻干擾現(xiàn)象，采用目前較為普遍的巴特沃斯濾波器進(jìn)行帶通濾波處理，獲得0.7～4 Hz的通帶信號(hào)。對(duì)截取的iPPG信號(hào)進(jìn)行頻譜分析，并在頻域中尋找信號(hào)峰值，表示為

式中，xac（t）為歸一化后的信號(hào)，F(xiàn)（ω）為iPPG的頻域顯示，cord為模擬頻率，value為坐標(biāo)值，HR為心率。

采集到的iPPG信號(hào)如圖4所示，心率提取的詳細(xì)算法流程如圖5所示。

圖4 原始iPPG信號(hào)處理。（a）加矩形窗；（b）時(shí)域xac（t）；（c）頻域 F（ω）Fig.4 The process of the original IPPG signal.（a）Adding the window of rectangle.（b）The time-domin xac（t）.（c）The frequency-domin F（ω）.

圖5 心率提取的詳細(xì)算法流程Fig.5 A detailed algorithmic flow chart for heart rate extraction

2 結(jié)果

如圖6所示，無論是從G通道構(gòu)造出的iPPG信號(hào)，還是從R、B通道構(gòu)造出的iPPG信號(hào)，在波形上都有一定的相似性，但從中可以初步判定，從G通道構(gòu)造出的iPPG信號(hào)具有更高的信噪比，更有利于心率的估算及相關(guān)的信號(hào)分析。

圖6 R、G、B三通道分離Fig.6 The separation of channels of R，G，B

將采集得到的心率與計(jì)算得到的心率進(jìn)行對(duì)比，得到分析結(jié)果見表1。可以看出，從心電測(cè)量?jī)x采集的心率與從iPPG信號(hào)中計(jì)算的心率具有良好的一致性，其絕對(duì)誤差在允許范圍之內(nèi)，且平均絕對(duì)誤差僅為1.73 beat/min。

3 討論

目前，臨床上采用的心電圖法成本較高，操作繁瑣。若從iPPG信號(hào)中提取出心率信號(hào)，將會(huì)使心率監(jiān)護(hù)更加便捷。近年來，利用iPPG信號(hào)提取出心率的相關(guān)信息，進(jìn)行了大量的研究。由于iPPG信號(hào)受光線與運(yùn)動(dòng)的影響較大，欲從中獲得穩(wěn)定強(qiáng)健的心率信號(hào)一直是目前研究的難點(diǎn)。因此，本研究加入了新的技術(shù)——人臉檢測(cè)與跟蹤算法，提高了iPPG信號(hào)的魯棒性和信噪比。對(duì)第一幀視頻圖像進(jìn)行人臉檢測(cè)，并以此為參考追蹤后續(xù)視頻中的人臉，從中提取臉部三角區(qū)作為ROI，選擇G通道構(gòu)造出iPPG信號(hào)，使用快速傅里葉變化計(jì)算出心率，然后對(duì)計(jì)算獲得的心率與采集獲得的心率進(jìn)行對(duì)比。實(shí)驗(yàn)數(shù)據(jù)表明，該方法對(duì)心率信號(hào)有良好的提取效果，并且與心電測(cè)量?jī)x采集的心率信號(hào)有較高的一致性。在實(shí)驗(yàn)數(shù)據(jù)中，計(jì)算的白天第4組與第9組的誤差較大，這是由于志愿者在測(cè)量過程中面部不自主運(yùn)動(dòng)所導(dǎo)致的。研究證明，該方法能適當(dāng)提高心率信號(hào)的信噪比，并且由于人臉圖像的像素變化能直接反映iPPG信號(hào)的變化，如果能對(duì)圖像像素變化進(jìn)行追蹤，將極大改善iPPG信號(hào)的信噪比。下一步的研究重點(diǎn)是：如何追蹤人臉圖像像素的變化，如何對(duì)不均勻的光線進(jìn)行補(bǔ)償，并考慮各種場(chǎng)合下不同通道iPPG信號(hào)的信噪比。

表1 iPPG與ECG采集結(jié)果Tab.1 The result of iPPG and ECG

4 結(jié)論

本研究試圖從iPPG信號(hào)中提取出心率，并采用人臉檢測(cè)與跟蹤技術(shù)來提高iPPG信號(hào)的信噪比，然后采用快速傅里葉變換計(jì)算出心率。實(shí)驗(yàn)數(shù)據(jù)分析的結(jié)果表明，該方法能有效地從iPPG信號(hào)中提取出心率，且計(jì)算出來的心率與原始的心率有很高的一致性，其平均誤差為1.73 beat/min。同時(shí)，由于皮膚圖像的像素變化能直接反映iPPG信號(hào)的變化，使提高iPPG信號(hào)信噪比的研究有了新的突破口，這對(duì)于臨床中非接觸式生理信號(hào)測(cè)量具有指導(dǎo)意義。

［1］ Kannel WB，Kannel C.Heart rate and cardiovascular mortality［J］.American Heart Journal，1987，113（6）：1489-1494.

［2］ Fjortoft I，Kristoffersen B，Sageie J.Children in schoolyards：tracking movement patterns and physical activity in schoolyards using global positioning system and heart rate monitoring.［J］.Landscape ＆ Urban Planning，2009，93（3-4）：210-217.

［3］ 李鵬飛，陳朝武，李曉峰.智能視頻算法評(píng)估綜述［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（2）：352-360.

［4］ Zheng J，Hu S，Chouliaras V，et al.Feasibility of imaging photoplethysmography ［C］ //International Conference on Biomedical Engineering＆ Informatics.Sanya：IEEE，2008，2：72-75.

［5］ Allen J.Photoplethysmography and its application in clinical physiological measurement. ［J］.Physiological Measurement，2007，28（3）：R1-R39.

［6］ Wukitsch MW，Petterson MT，Tobler DR，et al.Pulse oximetry：analysis of theory，technology，and practice.［J］.Journal of Clinical Monitoring and Computing，1988，4（4）：290-301.

［7］ Wu T，Blazek V，Schmitt HJ. Imaging：A new photoplethysmography noninvasive and noncontact method for mapping of the dermal perfusion changes［J］.Proc Spie，2000，4163：62-70.

［8］ Zhu H，Zhao Y，Dong L.Non-contact detection of cardiac rate based on visible light imaging device［J］.Proc Spie，2012，8498：06.

［9］ Wieringa FP，Mastik F，AfVDS. Contactless multiple wavelength photoplethysmographic imaging：a first step toward“SpO2 camera＂ technology［J］. Annals ofBiomedical Engineering，2005，33（8）：1034-1041.

［10］ Takano C，Ohta Y.Heart rate measurement based on a timelapse image ［J］.Medical Engineering ＆ Physics，2007，29（8）：853-857.

［11］ Humphreys K，Ward T，Markham C.Noncontact simultaneous dual wavelength photoplethysmography：A further step toward noncontact pulse oximetry［J］.Review of Scientific Instruments，2007，78（4）：44304.

［12］ Poh MZ，Mcduff DJ，Picard RW.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE Transactions on Biomedical Engineering，2011，58（1）：7-11.

［13］ Cardoso JF，Souloumiac A.Blind Beamforming for non Gaussian Signals［J］.Radar＆ Signal Processing Iee Proceedings F，1993，140（6）：362-370.

［14］ Sun Y，Papin C，Azorin-Peris V，et al.Use of ambient light in remote photoplethysmographic systems：comparison between a high-performance camera and a low-cost webcam.［J］.Journal of Biomedical Optics，2012，17（3）：37005.

［15］ Sun Y，Hu S，Azorin-Peris V，et al.Noncontact imaging photoplethysmography to effectively access pulse rate variability［J］.Journal of Biomedical Optics，2013，18（6）：61205.

［16］ Lempe G，Zaunseder S，Wirthgen T，et al.ROI Selection for Remote Photoplethysmography ［M］//Berlin：Springer Berlin Heidelberg，2013：99-103.

［17］ Wang W，Stuijk S，De HG.Exploiting spatial redundancy of image sensor for motion robust rPPG［J］.IEEE transactions on Biomedical Engineering，2015，62（2）：415-25.

［18］ De Haan G，Jeanne V.Robust pulse rate from chrominance-Based rPPG［J］.IEEE Transactions on Biomedical Engineering，2013，60（10）：2878-2886.

［19］ Aarts LA，Jeanne V，Cleary JP，et al.Non-contact heart rate monitoring utilizing camera photoplethys-mography in the neonatal intensive care unit-A pilot study. ［J］.Early Human Development，2013，89（12）：943-948.

［20］ Tarassenko L，Villarroel M，Guazzi A，et al.Non-contact videobased vital sign monitoring using ambient light and autoregressive models. ［J］.Physiological Measurement，2014，35（5）：807-831.

A Preliminary Study on Non-Contact Heart Rate Measurement

Feng Jun1Tang Wengming2Cao Jianjian3Yu Ying1#?
Jiangxi University of Traditional Medicine，Nanchang330004，China）

imaging photoplethysmograph（iPPG）；non-contact；heart rate；face detection；tracking

R318 文獻(xiàn)標(biāo)志碼：D 文章編號(hào)：0258-8021（2017）05-0627-05

10.3969 /j.issn.0258-8021.2017.05.017

2017-04-01，錄用日期：2017-09-03

江西中醫(yī)藥大學(xué)校級(jí)課題（2014jzzdxk021，2014jzyb-3，2016jzgy-06）

?通信作者（Corresponding author），E-mail：59920079@qq.com

（致謝：誠(chéng)摯感謝參加實(shí)驗(yàn)的20位志愿者提供的幫助）