基于面部視頻的自適應(yīng)非接觸式心率檢測(cè)方法

趙玲娜

(安徽水利水電職業(yè)技術(shù)學(xué)院，安徽 合肥 231603)

心率是診斷心血管疾病和反映人體健康狀態(tài)的重要指標(biāo)。在臨床醫(yī)療中，心電圖一直以來(lái)都是心率檢測(cè)的國(guó)際標(biāo)準(zhǔn)，但是作心電圖的過(guò)程繁瑣復(fù)雜，檢測(cè)成本昂貴，很難普及到人們的日常生活中去[1]。為了避免指甲式心率檢測(cè)儀與人體接觸，而引起不適，研究者提出了一種基于圖像的光學(xué)體積描記圖法(image Photoplethysmography, iPPG)的非接觸式心率檢測(cè)方法[2]。

心臟的跳動(dòng)會(huì)引起血管里血液流量的改變，臉部皮膚血管分布密集，而且表皮較薄，臉部血管里血液流量的變化會(huì)引起臉部皮膚的顏色產(chǎn)生變化。這種變化用肉眼難以發(fā)現(xiàn)，但是可以被光學(xué)攝像機(jī)識(shí)別。攝像機(jī)捕捉到的臉部顏色變化可以用于構(gòu)造血液容積脈搏(Blood Volumn Pulse, BVP)信號(hào)。利用信號(hào)處理的相關(guān)理論對(duì)BVP信號(hào)進(jìn)行去噪優(yōu)化處理后，其變化的趨勢(shì)就可以間接地反應(yīng)心跳規(guī)律。但是，通過(guò)iPPG獲取的BVP信號(hào)容易受到頭部晃動(dòng)、面部表情以及環(huán)境光照的影響，導(dǎo)致心率測(cè)量誤差增大，不能準(zhǔn)確反映被試者當(dāng)前的心臟搏動(dòng)情況。

為了解決上述問(wèn)題，本文提出了一種名叫基于統(tǒng)計(jì)學(xué)框架的自適應(yīng)濾波法，這是一種將ROI區(qū)域的選擇和瞬時(shí)心率都融入到統(tǒng)計(jì)學(xué)框架中，并通過(guò)自適應(yīng)濾波器對(duì)有用信號(hào)和噪聲信號(hào)進(jìn)行分離的方法。

2 方法

本文的方法是從臉部視頻中提取BVP信號(hào)，再通過(guò)BVP信號(hào)進(jìn)行心率估計(jì)。為了提高BVP信號(hào)的質(zhì)量，本文在ROI區(qū)域的選取、BVP信號(hào)去噪、心率結(jié)果篩選等方面進(jìn)行詳細(xì)的敘述。本文方法的主要步驟，如圖1所示，包括：①人臉區(qū)域檢測(cè)和跟蹤；②基于概率的ROI選擇；③LMS自適應(yīng)濾波；④時(shí)頻域閾值處理。

圖1 方法流程框架

2.1 人臉區(qū)域檢測(cè)與跟蹤

為了排除無(wú)關(guān)區(qū)域的干擾，以及減輕臉部晃動(dòng)的影響，人臉區(qū)域的檢測(cè)和跟蹤是不可或缺的一步。我們采用了Viola-Jones人臉檢測(cè)器檢測(cè)出人臉區(qū)域，并用判別響應(yīng)圖擬合(DRMF)方法[3]識(shí)別人臉中的66個(gè)特征點(diǎn)。之后使用KLT跟蹤技術(shù)[4]對(duì)人臉的運(yùn)動(dòng)進(jìn)行跟蹤。

2.2 基于概率的ROI選擇

首先將每一幀的人臉區(qū)域分割為N個(gè)子區(qū)域，隨后分別計(jì)算每個(gè)子區(qū)域的綠色通道的像素灰度均值，共構(gòu)建N條隨時(shí)間變化的綠色光強(qiáng)信號(hào)I (n,i )。其中n表示幀序列，i表示子區(qū)域序列。由于不同的子區(qū)域包含有不同的心跳相關(guān)信息量，所以只要對(duì)I(n,i ) 賦予權(quán)值H(i)，將包含心跳相關(guān)信息量較大的區(qū)域設(shè)定高權(quán)值，將信息量小的區(qū)域設(shè)定低權(quán)值，就可以把滿足期望的子區(qū)域從人臉中篩選出來(lái)，從而排除不相關(guān)區(qū)域的干擾。接下來(lái)只要設(shè)計(jì)一套自動(dòng)的權(quán)值制定系統(tǒng)，并將每個(gè)子區(qū)域的灰度均值PPGI(n,i)按權(quán)重累加，就可以構(gòu)建出期望的BVP信號(hào)。

(1)

信噪比表示信號(hào)的可用信號(hào)功率和噪聲信號(hào)功率的比值，是評(píng)價(jià)信號(hào)質(zhì)量的常用標(biāo)準(zhǔn)。所以I(n,i)的信噪比可以作為該子區(qū)域權(quán)值H(i)制定的依據(jù)。但是，由于I(n,i)的有用信號(hào)和噪聲信號(hào)事先無(wú)法得知，我們只能根據(jù)先驗(yàn)知識(shí)將滿足我們期望的信號(hào)設(shè)置為有用信號(hào)。

理想的I(n,i)具有準(zhǔn)周期性，其功率譜密度函數(shù)F(f,i)在心跳頻率附近會(huì)出現(xiàn)一個(gè)譜峰，而在其他頻率區(qū)域函數(shù)值則相對(duì)較低。功率譜密度函數(shù)的面積可以表示信號(hào)的功率，所以本文將F(f,i)中“尖峰”的面積作為有用信號(hào)的功率，將其余部分的面積作為噪聲信號(hào)的功率。因此，H(i)和F(f,i)之間的關(guān)系可以通過(guò)如下公式建立：

(2)

其中,a表示F(f,i)譜峰對(duì)應(yīng)的頻率，b表示譜峰寬度的1/2，[a-b,a+b]表示有用信號(hào)的頻段。T表示iPPG(n,i)的采樣點(diǎn)數(shù)，即視頻的總幀數(shù)。α表示拉伸參數(shù)，主要用于權(quán)重的非線性拉伸，從而增加高權(quán)值的比重。

2.3 LMS自適應(yīng)濾波

雖然對(duì)臉部區(qū)域分塊處理可以排除不相關(guān)區(qū)域的干擾，但是由于子區(qū)域包含的像素點(diǎn)較少，構(gòu)建的I(n,i)往往容易受到運(yùn)動(dòng)偽影、光照變化、表情變化等一系列外界因素所引起的干擾。這會(huì)導(dǎo)致功率譜密度函數(shù)F(f,i)出現(xiàn)多個(gè)譜峰，進(jìn)而在譜峰選擇時(shí)可能會(huì)出錯(cuò)，得到的H(i)無(wú)法準(zhǔn)確地反映該區(qū)域包含的心跳信息量。

未作任何處理的子區(qū)域iPPG信號(hào)Iraw(n,i)可以表示為兩種信號(hào)的組合：

Iraw(n,i)=Xp(n,i)+Xn(n,i)

(3)

其中，Xp(n,i)表示由血管中血液流量變化所引起的顏色變化信號(hào)，Xn(n,i)表示噪聲信號(hào)。

由于人的心跳在短時(shí)間內(nèi)不會(huì)發(fā)生劇烈的變化，可以認(rèn)為心率信號(hào)Xp(n,i)具有近周期性的特質(zhì)；而在現(xiàn)實(shí)情況中，噪聲信號(hào)Xn(n,i)往往是非周期的寬帶信號(hào)。利用Xp(n,i)和Xn(n,i)在周期上的差異性，有限長(zhǎng)最小均方誤差(LMS)自適應(yīng)濾波器可以對(duì)兩種信號(hào)進(jìn)行有效地分離處理，LMS自適應(yīng)濾波器結(jié)構(gòu)圖如圖2所示。

圖2 LMS自適應(yīng)濾波器結(jié)構(gòu)圖

如圖2所示，本文把Iraw(n,i)作為輸入信號(hào)送入自適應(yīng)濾波器，把Iraw(n,i)的時(shí)延信號(hào)Iraw(n-D,i)作為期望信號(hào)，其中D為時(shí)延長(zhǎng)度。經(jīng)過(guò)濾波處理后，我們將輸出信號(hào)定義為Iy(n,i)，將誤差信號(hào)定義為iPPGe(n,i)。上述信號(hào)用公式分別可以表示為：

Iraw(n-D,i)=Xp(n-D,i)+Xn(n-D,i)

(4)

Iy(n,i)=w(n,i)HXp(n,i)+wH(n,i)Xn(n,i)

(5)

Ie(n,i)=Iraw(n-D,i)-Iy(n,i)

(6)

只要D選擇為一個(gè)合適的值，Xn(n,i)與其延時(shí)信號(hào)Xn(n-D,i)就不具有相關(guān)性。這種情況下，不論怎樣調(diào)整濾波器的權(quán)重，wH(n,i)Xn(n,i)都無(wú)法逼近Xn(n-D,i)。相反，Xp(n,i)由于具有準(zhǔn)周期性，它與其延時(shí)信號(hào)Xp(n-D,i)總是相關(guān)的，因此，利用自適應(yīng)濾波器可以使wH(n,i)Xp(n,i)和Xp(n-D,i)最大程度地逼近。

LMS算法的基本原理是根據(jù)誤差反饋信號(hào)Ie(n,i)當(dāng)前時(shí)刻的統(tǒng)計(jì)規(guī)律不斷調(diào)整濾波器抽頭系數(shù)wH(n,i)，使Ie(n,i)的均方值J(n,i)最小。當(dāng)Ie(n,i)的統(tǒng)計(jì)規(guī)律發(fā)生變化時(shí)，抽頭系數(shù)wH(n,i)也會(huì)隨之發(fā)生變化，所以輸入信號(hào)Iraw(n,i)可以是隨機(jī)信號(hào)，其統(tǒng)計(jì)規(guī)律不需要事先得到確定。

w(n,i)=argmin[J(n,i) ]

(7)

J(n,i)=E[|Ie(n,i) |2]

(8)

J(n,i)存在一個(gè)最小值，即這是一個(gè)優(yōu)化問(wèn)題，所以只要沿著J(n,i)的瞬時(shí)梯度就找到其最優(yōu)點(diǎn)。J(n,i)的瞬時(shí)梯度可以表示為：

J(n,i)=-Iraw(n,i)Ie(n,i)

(9)

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文的視頻采集單元為一臺(tái)CMOS網(wǎng)絡(luò)攝像頭(羅技HD 1080p)，采集速率為30fps，視頻幀圖片的分辨率為640*480像素，采用avi格式保存。視頻采集時(shí)長(zhǎng)為30s。視頻數(shù)據(jù)處理單元為消費(fèi)水平的計(jì)算機(jī)。測(cè)試者的頭部要求與攝像頭保持在同一水平線上，并且兩者的水平距離大約在0.5米左右。視頻的拍攝環(huán)境為實(shí)驗(yàn)室內(nèi)，光源為日光燈，采集的數(shù)據(jù)都在MATLAB平臺(tái)上進(jìn)行處理。

一共有10個(gè)志愿者參與到了本次實(shí)驗(yàn)數(shù)據(jù)的采集，其中包括5名男性和5名女性，年齡是18歲到30歲之間。實(shí)驗(yàn)一共拍攝了N組視頻，包括80組靜態(tài)視頻，即測(cè)試者臉部保持靜止的狀態(tài)，以及80組動(dòng)態(tài)視頻，即測(cè)試者臉部有輕微晃動(dòng)，或者存在表情變化。根據(jù)多次實(shí)驗(yàn)結(jié)果，本文的臉部子區(qū)域邊長(zhǎng)n選定為20像素點(diǎn)，譜峰半寬b選為0.2Hz，LMS自適應(yīng)濾波器的步長(zhǎng)μ選定為0.1，期望信號(hào)的時(shí)延D選定為20幀，拉升系數(shù)α選定為10。

3.2 實(shí)驗(yàn)1：靜態(tài)情況下的誤差分析

表1 靜態(tài)場(chǎng)景中主流方法對(duì)比

從表1可知，在測(cè)試者配合的情況下，四種方法的絕對(duì)誤差均值都在1.5bpm以內(nèi)，標(biāo)準(zhǔn)差都在2bpm以內(nèi)，RMSE都在2bmp內(nèi)，心率誤判率都沒(méi)有超過(guò)2%，而且相關(guān)系數(shù)都高于0.9。這些數(shù)據(jù)反映了靜態(tài)情況下5種方法都可以準(zhǔn)確地檢測(cè)出心率。通過(guò)對(duì)四種方法數(shù)據(jù)的縱向進(jìn)行對(duì)比，本文的方法的誤差均值、標(biāo)準(zhǔn)差、RMSE、誤判率都要略低于其他方法，相關(guān)系數(shù)都要略高于其他方法。這可能由于CVPR2014和CVRP2016方法夾雜了與心率無(wú)關(guān)的信號(hào)，導(dǎo)致心率檢測(cè)對(duì)程受到了一定的干擾，而BOE2015則因沒(méi)有排除通頻帶內(nèi)噪聲的干擾，以至于影響了權(quán)值的制定。此外，由于傅里葉變換沒(méi)有綜合考慮時(shí)域和頻域的信息，求得的心率值不能覆蓋整段視頻的時(shí)間。因此，在測(cè)試者保持靜態(tài)情況下，本文的方法具有相對(duì)較高的準(zhǔn)確率。

3.3 實(shí)驗(yàn)2：動(dòng)態(tài)情況下的誤差分析

現(xiàn)實(shí)環(huán)境中難免會(huì)存在一些影響檢測(cè)結(jié)果的干擾因素，比如測(cè)試者頭部的輕微晃動(dòng)、臉部表情的變化等等。測(cè)試者不配合情況下的幾種方法的誤差統(tǒng)計(jì)如表2所列。從整體上看，四種方法的相關(guān)系數(shù)相比配合情況下都有較為明顯的下降。

表2 動(dòng)態(tài)場(chǎng)景中主流方法對(duì)比

數(shù)據(jù)的縱向?qū)Ρ缺砻鳎簞?dòng)態(tài)情況下CVPR2014的誤判率最大，相關(guān)系數(shù)最低，算法性能最不穩(wěn)定。快速心率檢測(cè)的平均誤差上限為5bpm，CVPR2014[5]的平均誤差為5.273bpm已經(jīng)超出了規(guī)定的上限，因此對(duì)運(yùn)動(dòng)的魯棒性并不達(dá)標(biāo)。BOE2015[6]算法的性能也受到了嚴(yán)重的影響，這是由于當(dāng)臉部存在運(yùn)動(dòng)干擾時(shí)，其子區(qū)域的iPPG信號(hào)的頻譜將會(huì)不再呈現(xiàn)尖峰狀，或者會(huì)出現(xiàn)多個(gè)譜峰，造成權(quán)值選取的失真。 CVPR2016[7]和TBE2020[8]相比前兩種方法準(zhǔn)確率略占優(yōu)勢(shì)，但是依然沒(méi)有本文方法對(duì)抗動(dòng)態(tài)干擾的效果好。

4 結(jié) 論

本文首先利用人臉檢測(cè)與跟蹤技術(shù)對(duì)測(cè)試者臉部進(jìn)行跟蹤,隨后通過(guò)基于概率的ROI選擇框架選擇臉部的檢測(cè)區(qū)域，排除不相關(guān)區(qū)域的干擾。在概率權(quán)值的制定過(guò)程中，LMS自適應(yīng)濾波器起到了分量有用信號(hào)和噪聲信號(hào)的作用，進(jìn)一步確保ROI區(qū)域選擇的準(zhǔn)確性。最后對(duì)BVP信號(hào)做連續(xù)小波變換并得到瞬時(shí)心率。通過(guò)對(duì)瞬時(shí)心率值的篩選，受到嚴(yán)重污染的檢測(cè)值會(huì)被徹底濾除，對(duì)瞬時(shí)心率求均值，則可以得到涵蓋整段視頻的平均心率值。但是本文的方法仍然存在一些缺陷，比如在測(cè)試者的臉部頻繁旋轉(zhuǎn)、光照變化強(qiáng)度過(guò)大的情況下，測(cè)得的心率會(huì)出現(xiàn)嚴(yán)重的失真，這是我們后續(xù)有待解決的問(wèn)題。