基于圖像光電容積描記法的心率測量

李炳霖，葛輝瓊，劉振瑤，張爽，嵇曉強

（長春理工大學 生命科學技術學院，長春 130022）

長期進行心率監測可以對心血管疾病進行有效的防治［1-2］。心率是疾病和死亡率的有力預測因子，心率的相對穩定對于預防相關心臟疾病有重要意義［3-4］。

心率的測量方法包括心電描記法（electrocardiography，ECG）、光電容積描記法（photoplethysmograph，PPG），這兩種方法均屬于接觸測量方法，需要與人體皮膚接觸，這對敏感皮膚的受試者（如新生兒）和大面積燒傷患者不適用，最重要的是無法實現遠程測量［5］。由光電容積描記技術（PPG）衍生而來的圖像光電容積描記（Imaging photoplethysmography，IPPG）成為近年來深入研究的熱點。視頻非接觸生理信號采集起源于2008年，Verkruysse等人［6］提出在正常光照條件下，環境光可以獲得描記信號，為圖像光電容積描記法提供了研究基礎。這一研究領域真正發展于2010年，由哈佛大學Poh等人［7-8］通過設定感興趣區域（ROI），采用了獨立成分分析（ICA）實現心率評估。為了這項研究更加地適用于日常生活，東北大學趙海等人［9］采用手機攝像頭完成了非接觸測量心率與血壓，基于手機的設計更加適用于生活，提高使用的便捷程度。在視頻非接觸測量技術的發展中，由于非接觸測量會存在較大的噪聲干擾，因此國內外的研究人員針對這一問題在信號增強、通道選擇、ROI區域選取進行了研究與改進［10-12］。由于日常生活中，自然光線往往包含燈光頻閃與光線不均的問題，這會使得實驗條件發生變化進而影響實驗結果。由于血液對不同光的吸收不同，因此不同的通道選擇也會對實驗結果產生影響，然而對于通道選擇、光線變化對心率計算的具體影響程度依舊沒有明確的說明。需要實驗對比以得到準確結論。

針對上述問題，通過采集環境光與均勻打光條件下的人臉面部視頻，對比不同光線和不同顏色通道的心率計算值，并與指夾式脈搏測量儀的心率進行對比，探討光線和顏色通道對于心率檢測精度的影響。

1 IPPG技術原理

皮膚組織中的黑色素與血液中血紅蛋白是光的主要的吸收成分［13］，根據人體皮膚特性，位于皮膚最外側化0.05～0.15 mm的表皮層只能吸收光線，而不能散射光線；表皮層下0.4～4 mm是真皮層，光波長越長在皮膚中可以達到相對更深的深度［14］。真皮層中有著豐富的毛細血管，皮膚組織中光吸收和散射主要發生在真皮層。真皮層內血液中的血紅蛋白是吸收可見光的主要成分。

由于血液與骨骼對于光線吸收的不同，經皮膚散射后的光被傳感器探測，將其轉化為電信號時得到了直流與交流信號，選擇交流信號得到血液流動的特點。這種方法被稱為光電容積脈搏波描記法（PPG）。圖像光電容積描記法是在PPG的基礎上，將難以察覺的皮膚光線變化以光學傳感器接收［5］。與PPG不同，IPPG不需要與皮膚接觸進行采集，可以實現完全無接觸測量，原理圖如圖1所示。

圖1 圖像光電容積描記（IPPG）原理圖

2 視頻非接觸心率檢測算法

算法首先采集人臉面部視頻，進行視頻轉幀圖片、人臉識別、對人臉圖像進行面部皮膚提取，獲取感興趣區域（ROI），對ROI分成三個R、G、B通道，通過空間像素平均獲得特定時間內的時間序列即IPPG原始信號，對原始信號進行信號處理，通過帶通濾波與小波變換去除噪聲，得到純凈IPPG信號，通過快速傅里葉變換（FFT）獲得功率譜最大波峰，計算心率值。具體流程如圖2所示。

圖2 非接觸心率檢測方法流程圖

將采集到的人臉視頻使用人臉檢測器實現視頻人臉識別。通過循環讀取全部視頻幀，調取測試文件與實際圖層的權重，通過置信度是否大于0.5進行過濾，若大于默認值，則獲取位置信息并保存。

2.1 膚色檢測

由于人的面部包括眉毛、眼睛、嘴巴等五官，包含頭發遮擋等多個因素，使得提取到的信號噪聲變大。因此在人臉檢測之后需要提取面部感興趣區域。膚色檢測是ROI提取的熱門方法，其中選取的顏色空間包括YCrCb、HSV等。通過研究對比了兩種顏色空間（YCrCb、HSV）在面部膚色檢測中的實際性能，最終選擇基于HSV顏色空間H、S、V范圍篩選法。

HSV模型是一種直觀的顏色模型，其顏色參數分別是色調（H）、飽和度（S）和明度（V）。RGB與HSV之間的計算如式（1）所示。正常黃種人的H分量大約在7～20之間，S分量大約在28～256之間，V分量大約在50～256之間。根據上述范圍設置閾值，遍歷圖像，判斷HSV通道的數值，將符合閾值范圍的像素點置為255白色，其余點置為0黑色，由此得到皮膚的黑白二值圖像。皮膚檢測結果如圖3所示。

圖3 膚色檢測圖

通過對比可以發現，基于HSV顏色空間的H、S、V分量范圍篩選效果較YCrCb顏色空間在五官去除方面效果更好，因此使用HSV建立算法模型對人臉目標區域進行膚色檢測。

通過將人臉檢測圖片與膚色提取的結果進行“與”運算，得到了去除五官及頭發遮擋后的純凈人臉皮膚區域的RGB圖片，并以此作為最終研究選定的人臉感興趣區域。

2.2 顏色通道分離

將上述感興趣區域圖片進行顏色通道分離，將其分離為R、G、B三個單通道圖像，如圖4所示。通過計算單通道內ROI區域的像素均值，以時間為橫坐標，像素均值為縱坐標，繪制信號原始曲線。原始曲線如圖5所示。

圖4 顏色通道分離圖

圖5 原始曲線圖

2.3 信號去噪處理

由于原始信號往往包含了呼吸以及骨骼肌收縮的人體不自主運動等干擾，這使得信號中含有一定的低頻噪聲，與此同時環境中燈光的閃頻也會造成一定的噪聲，會導致周期分析無法得到所希望的結果。為了提高信號的信噪比，需要對原始信號進行去噪處理，通過小波變換與帶通濾波相結合進行去噪處理。

本文采用二進制小波去噪分別對三通道原始信號進行多尺度分析，得到了重構的IPPG信號。由于本文采用手機攝像頭拍攝，采集頻率為30 fps，因此可采集到的頻率為0～15 Hz。采用db8小波基進行5層小波分解，分解過程如圖6所示，由于本文需要計算心率，心率信號主要在第三、第四層中，因此將第三層與第四層相加得到重構IPPG信號。

圖6 小波變換重構IPPG信號圖

本文通過巴特沃斯帶通濾波器處理R、G、B三個通道的原始IPPG信號。帶通濾波器的作用是衰減高頻和低頻頻帶信息，保留感興趣頻域范圍的信息。根據人體的心率范圍是42～180次/分鐘（bpm），將感興趣頻帶范圍設置為［0.7，3］Hz，以覆蓋正常的心率范圍。

通過數字帶通濾波器濾除［0.7，3］Hz范圍外的絕大部分噪聲信號。信號去噪處理后波形圖如圖7所示。

圖7 去噪后結果圖

2.4 心率值提取

傅里葉原理表明任何連續測量的時序信號，都可以表示為不同頻率的正弦波信號的無限疊加。FFT是離散傅里葉變換的快速算法，可以將信號從時域變換到頻域。本實驗中采集的人臉視頻持續時長平均在30 s左右，每幀人臉圖片的像素均值作為一個采樣點，且采樣頻率與原始IPPG信號頻率基本同步。

由于IPPG信號反映了人體心率的周期變化趨勢，因此，對去噪后的IPPG信號進行FFT后，IPPG信號包含了與心率頻率相近的基礎振蕩頻率，根據頻域中能量的最大處對應的頻率即為心率對應的頻率。心率（Heart Rate，HR）計算公式如下：

fHR是頻域中能量最大處對應的頻率。如圖8所示，以G通道為例，給出FFT變換后的頻譜圖。

圖8 G通道FFT變換頻譜圖

3 實驗與結果分析

3.1 實驗裝置與過程

實驗采集使用手機自帶的攝像頭，采集的視頻持續時長為30 s左右，采樣頻率均為30 fps。自然光場景下存在光照不均勻與燈光頻閃的情況，因此實驗設置在不均勻的自然光場景下和均勻打光場景下分別對10名參與者面部進行視頻采集，要求被試者靜坐閉眼，受試者面部正對攝像頭并與之水平相距60 cm左右，同時使用透射式手指脈搏血氧儀采集心率作為本文的實際參考心率值，均勻光采集過程如圖9所示。

圖9 均勻打光采集示意圖

3.2 評價指標

為了得到較為準確的實驗結果，需要對人臉視頻中預測得到的心率值與通過心率傳感器測量的心率結果進行分析。同時還將使用在心率測量中的重要標準評估指標來評估測量方法的準確性，分別是皮爾森相關系數、平均絕對誤差、誤差的標準差、均方根誤差和平均誤差率。

（1）皮爾森相關系數

皮爾森相關系數用來評價非接觸測試心率與實際心率的線性相關程度，計算如下：

其中，r為皮爾森相關系數，系數越大，即兩變量的相關性越大；n為樣本數量；Xi、Yi為數據集中的第i個樣本；、表示樣本均值；σX、σY為樣本標準差。

（2）平均絕對誤差

平均絕對誤差的計算公式如式（5）所示。其中N是進行心率檢測的樣本總個數；i為所計算的樣本序號。心率測量值（HRm）和心率實際值（HRg）的誤差如式（4）所示：

（3）標準差

誤差的標準差（Standard Deviation，SD），即心率檢測算法測量誤差值的標準差，表示心率誤差值之間的離散程度，計算公式如下所示。

（4）均方根誤差

誤差的均方根誤差（Root Mean Squared Error），記做RMSE，即心率檢測算法測量誤差值的平方和與進行心率檢測視頻的樣本個數N比值的平方根，RMSE的數值反映了心率檢測算法的精確度。計算公式如下：

（5）平均誤差率

平均誤差率的計算公式如下：

3.3 實驗結果與討論

為了探究顏色通道對于心率測量的實際影響，此項研究分析在不考慮光照的前提下進行。將整體20名受試者的指尖脈搏心率實際值與算法評估得到的三通道心率測量值整體分析，并使用皮爾森相關系數來分別評價R、G、B三通道對檢測到的心率值和實際心率測量值之間的線性相關程度。計算得到的不同顏色通道對心率測量的實驗分析結果如表1所示。

表1 不同顏色通道對心率檢測精度的影響結果（不考慮環境光線）

由上表可以看出，G通道對心率測量值的相關系數最大，即線性相關程度最高，因此G通道與R通道和B通道相比是作為心率參數檢測的最佳通道。這也與多數研究者提出的采用G通道測量相符合。由此給出了通道選擇對于心率計算的具體差異。

為了探究環境光線對于心率測量的實際影響，實驗分別在自然光環境與均勻打光場景下進行。根據上一實驗結論，此處選擇G通道進行光線比較。繪制了自然光環境下G通道心率測量值和均勻光環境下G通道心率測量值與真實值的線性相關比較圖，如圖10和圖11所示。

圖10 自然光下G通道心率測量效果擬合圖

圖11 均勻光下G通道心率測量效果擬合圖

不同光線條件下，G通道心率測量值分析如表2所示。在均勻光光線條件下，均方誤差與平均誤差率都要好于非均勻光條件。

表2 光線對心率檢測精度的影響結果

因此，可以得出實驗環境中的光線對測量的準確度有較大的影響，這也證明在心率測試過程中應保證采光充足且均勻。

由此可以得到光線與通道均在一定程度上影響心率的測量，通過改善光線均勻程度并選取G通道計算心率，可以得到最為有效的測量效果。

為了進一步驗證算法的性能，將所得結果與當前領域研究的其他文獻進行了比較，通過皮爾森相關系數、誤差的標準差、均方根誤差的比較，衡量所提心率計算的有效性。基于上文得到的結果，由于均勻光線下綠色通道是最好的計算方法，因此將均勻光條件下的綠色通道計算心率方法與其他文獻計算結果進行對比。相關結果如表3所示。

表3 心率檢測算法的比較結果

根據與文獻方法的結果對比，可以判斷視頻非接觸測量心率算法具有一定的測量精確度，通過散點圖比較了非接觸測量心率與手指脈搏血氧儀測量心率的結果，并通過散點繪制了最佳擬合線。如圖12展示了非接觸心率測量與手指脈搏血氧儀心率測量的相關性。通過Bland-Altman圖對計算心率與實際心率之間進行一致性評估，如圖13所示。橫坐標為實際心率與測量心率的平均值，縱坐標為兩者差值，一致性區間為[m-1.96SD,m+1.96SD]，m為誤差均值，95%以上的數據差值落入區間表示具有良好的一致性。

圖12 均勻光下結果圖

圖13 均勻光下Bland-Altman一致性分析圖

4 結論

IPPG技術是一種可以遠程非接觸測量人體生理參數指標的方法，可以應用于嬰兒的監護、遠程醫療以及居家護理，真正實現無接觸測量，對于醫療發展有著重要的研究意義。本文通過比較皮膚提取的方法獲取更好的全臉皮膚區域，給出了三個顏色通道對于非接觸心率計算的具體影響程度，這也與綠色光更容易被人體血液吸收的生理學知識相吻合。并給出了實際外在環境的光線對非接觸心率測量的影響程度。通過實驗驗證表明：均勻光條件下均方根誤差為1.14，平均誤差率為1.38%，心率測量精度滿足臨床測量要求。在未來的工作中將進一步研究改善光照突變對于實驗的影響，并將視頻非接觸測量生理信號應用于更多指標與更多領域的研究。