基于FaceBoxes和ResNet34的人臉視頻心率測量

收稿日期：2023-07-19

DOI：10.19850/j.cnki.2096-4706.2024.03.030

摘" 要：基于人臉視頻的非接觸式心率檢測存在運動偽影和噪聲干擾等問題，為克服運動偽影對心率檢測的影響，文中提出一種基于FaceBoxes和改進ResNet34的人臉視頻心率檢測方法。對人臉視頻幀進行人臉檢測和特征點檢測，能夠準確定位每一幀的ROI區域，克服微小運動影響，提取ROI區域內RGB三通道信號，進行空間平均預處理、信號降噪，獲得脈搏波信號，計算出心率。實驗結果表明，基于改進ResNet34的特征點檢測在人臉視頻心率檢測中發揮了良好的性能，在一定程度上克服了運動偽影的影響，并且提高了原有人臉視頻心率檢測方法的推理速度。

關鍵詞：人臉視頻心率檢測；特征檢測；FaceBoxes；ResNet34

中圖分類號：TP391.4；TP183" 文獻標識碼：A" 文章編號：2096-4706（2024）03-0139-04

Facial Video Heart Rate Detection Based on FaceBoxes and ResNet34

LI Shanshan

（North China University of Water Resources and Electric Power， Zhengzhou" 450045， China）

Abstract： The non-contact heart rate detection based on facial videos has problems such as motion artifacts and noise interference. To overcome the impact of motion artifacts on heart rate detection， a facial video heart rate detection method based on FaceBoxes and improved ResNet34 is proposed in this paper. Performing face detection and feature point detection on facial video frames can accurately locate the ROI region of each frame， overcome the influence of small movements， extract RGB three channel signals within the ROI region， perform spatial averaging preprocessing and signal denoising， obtain pulse wave signals， and calculate heart rate. The experimental results show that the feature point detection based on improved ResNet34 performs well in facial video heart rate detection， overcomes the influence of motion artifacts to a certain extent， and improves the inference speed of the original facial video heart rate detection method.

Keywords： facial video heart rate detection; feature detection; FaceBoxes; ResNet34

0" 引" 言

根據《中國心血管健康與疾病報告（2020年）》[1]

顯示結果，我國心血管疾病患病率處于持續上升的態勢。心率是監測和評價心血管相關疾病的一項重要指標。在基于人臉視頻的非接觸式心率檢測方面，自2008年Verkruysse等人[2]首次發現面部視頻中包含心率信號以來，大部分的研究致力于將從面部視頻中獲取的心率信號進行過濾、降噪處理，以提高心率測量的準確度。近年來，深度學習的快速發展也對非接觸式心率測量產生了深刻的影響。2014年，Mcduff等人[3]提出一種基于深度學習的人臉心率測量方法，采用深度卷積神經網絡自動檢測人臉，并利用多種光學信號來提取心率信號，具有較好的準確性和魯棒性，并且在實驗室和實際場景中都取得了不錯的效果。2017年，美國麻省理工學院的Wang等人[4]采用卷積神經網絡（CNN）來檢測人臉，利用光學信號提取心率信號，檢測的準確性和魯棒性都得到了顯著的提升。

國內外研究者利用深度學習的方法使得非接觸式心率檢測在克服運動偽影的干擾上有了很大的進步，但是由于深度卷積神經網絡存在計算量巨大、推理速度較慢等情況，目前還沒有得到廣泛的使用。因此，研究者們致力于開發更輕量級的深度學習模型，或者是采用模型優化技術減輕計算負擔。另外，針對特定應用場景，還可以設計專門優化的硬件加速器，以加快推理速度。同時，結合傳統信號處理方法和深度學習技術，可以進一步提高心率信號的質量和穩定性。

1" 材料與方法

文中提出一種基于FaceBoxes [5]和改進ResNet [6]相結合的方法，用于面部視頻中的人臉檢測和關鍵點回歸檢測，從中提取出皮膚顏色變化信號，通過對信號的空間平均處理以及濾波等操作，提取出脈搏波信號，計算得出心率。整體實驗流程如圖1所示。

圖1" 心率檢測流程

1.1" 人臉區域檢測

成像式光電容積脈搏波描記法原理表明，人體心臟的周期性收縮和舒張會引起血容量的變化，這種變化會影響光的吸收和反射強度，進而導致皮膚顏色發生周期性的變化。為提取到這種皮膚顏色的周期性變化，使用基于FaceBoxes的人臉區域檢測算法，自動識別視頻中的人臉，確定其位置和邊界框，幫助排除背景干擾和其他非人臉區域，確保光電信號的采集和分析集中在面部皮膚區域內。

1.2" 人臉特征點檢測

由于本實驗中的人臉視頻圖像均來自實驗室，光源穩定，對人臉特征點檢測算法復雜度的要求相對來說并不高。因此選用ResNet34淺層網絡模型作為主干網絡模型，對其進行改進，在滿足心率測量準確度的同時提高了現有算法的推理速度。

ResNet（Residual Neural Network）模型是深度學習中一種重要的架構，其核心思想是通過引入捷徑連接（Shortcut Connections）結構來解決深層網絡中出現的梯度消失和梯度爆炸問題。在ResNet的捷徑連接中，輸入值x首先通過一個普通的卷積層或全連接層得到一個殘差映射F（x）。然后，這個殘差映射F（x）會經過一個非線性激活函數（通常是ReLU激活函數），進入網絡中的下一權重層。與此同時，輸入值x的恒等映射（即沒有經過任何處理的x本身）也會與F（x）相加，得到理想映射F（x） + x。這個理想映射F（x） + x就是最終的輸出值。殘差結構的優勢在于增強了淺層輸入值x與F（x） + x之間的信息傳遞，使得模型更加敏感。殘差結構示意圖如圖2所示。

圖2" 殘差塊示意圖

本實驗中對ResNet34網絡模型進行了調整。首先，對全連接層的節點數量進行更改，將節點數量設置為需要檢測的特征點個數（68個）。將網絡的輸出與需要檢測的特征點數量相匹配，使得模型能夠直接輸出這些特征點的位置信息。

在全連接層的輸出中，使用ReLU函數進行非線性變換，增強網絡的非線性表達能力，提高特征提取的效果，幫助網絡更好地擬合復雜的特征。

另外，對原有的損失函數進行替換，將Softmax替換為wingloss，即：

（1）

根據文獻[7]中的對比結果，取ω = 10、ε = 2，ω限制非線性部分參數范圍，ε限制非線性區域的曲率， 。通過反向傳播算法優化網絡參數，準確預測面部68個特征點坐標。如圖3所示為改進的ResNet34模型網絡結構。

本實驗訓練數據集選用Helen數據集[8]，該數據集包含2 300張人臉圖像（從中選出600張符合心率檢測時人臉方位和光源的圖像用于測試，剩余1 700張圖像用于訓練），每一張圖像都標注好人臉的68個特征點。輸入網絡的圖片大小為經過FaceBoxes人臉檢測后截取出的112×112像素人臉圖片。通過PyTorch框架構建網絡，反向傳播算法優化網絡參數，訓練過程中動態調整學習速率。該模型訓練結果的評價指標選用歸一化平均誤差（NME）和正確率（AR）并與現有的特征點檢測算法進行對比實驗，即：

（2）

（3）

其中，歸一化的系數d使用外眼角距離，n為數據集中標注的特征點數量，Ti為關鍵點位置矩陣， 為預測關鍵點位置矩陣模型。測試集效果如表1所示。

表1" 模型測試集效果

模型 歸一化平均誤差（NME） 正確率（AC）/ %

DenseNet [9] 0.075 4 92.98

本文方法 0.068 2 95.46

這些調整使ResNet34網絡模型能夠更好地適應特定的特征點檢測任務，并提高了檢測結果的精度和穩定性。通過對全連接層節點數量、激活函數和損失函數的調整，構造適合特征點檢測的網絡結構。

1.3" ROI選取

在基于面部視頻的非接觸式心率檢測過程中，我們通常會選用額頭中間區域、鼻梁、雙臉頰復合區域等作為感興趣區域進行脈搏波信號的提取。本實驗通過對比額頭、鼻梁、兩頰以及兩頰復合區域四個ROI，得出鼻梁位置能夠獲得更好的效果。故后續將采用鼻梁部位作為ROI（68特征點坐標中29，31坐標的距離作為ROI的寬度，寬度的1.5倍作為長度）。

1.4" RGB通道分離及預處理

對采集到的包含心率信息的原始視頻圖像進行空間預處理是提高BVP信號信噪比的有效方法。對獲取到的每一幀感興趣區域進行RGB三通道分離，并進行空間平均處理。從表2中展示的三通道對比實驗結果可知，G通道含有更高的心率信息，故選擇G通道作為計算心率的信道。

表2" 不同通道下的波峰數量誤差

通道 波峰數量誤差（無噪聲） 波峰數量誤差（有噪聲）

R 2.10 2.68

G 0.25 0.99

B 3.45 4.33

RGB 2.44 3.26

1.5" 信號降噪處理

分離出的G通道可能仍然包含與心率信息無關的高頻噪聲和低頻趨勢，若要提取更加準確的心率信號，需要進行降噪處理。本實驗中采用移動平均濾波器[10]和去趨勢法[11]對信號進行降噪處理，以去除高頻噪聲和低頻趨勢。移動平均濾波器采用滾動窗口對給定數量的值進行平均，從而實現了等效的低通濾波。通過計算并采用信號在滑動窗口內的平均值，高頻噪聲部分會被削弱，從而減少了信號中的突變和波動，使得心率信號更加平滑和穩定。去趨勢法基于平滑度先驗方法從信號中去除長期趨勢。這種方法可以看作是一個高通濾波器，通過消除信號中的低頻趨勢，使得心率信號的長期漂移被抵消，從而更好地保留了BVP信號的短期變化特征。

本實驗綜合使用移動平均濾波器和去趨勢法，有效去除G通道中的噪聲和趨勢成分，提取出更純凈、更準確的心率信號。

1.6" 心率計算

從血容量脈搏波形中提取心率是一項重要的生物醫學技術。具體操作包括使用快速傅里葉變換將血液容積脈搏波信號轉換為頻域信號，這樣可以更好地分析信號的頻率特征。在頻域信號中，功率譜密度最大峰值所對應的頻率即為心率信號。若要準確提取心率，需要選取心跳頻帶內的頻率成分，這些成分對應著真實的脈搏波。通常，血液流動引起的脈搏波信號會集中在特定的頻率范圍內，這個范圍通常稱為心跳頻帶。因此，篩選出心跳頻帶內的成分，就可以得到估計的脈搏波信號。

在頻域信號中，心跳頻帶的能量峰值所對應的頻率即為心跳頻率（ fh）。最后，通過簡單的計算公式HR = 60× fh，就能得到心率值（HR）。

2" 實驗結果

本實驗是在室內自然光條件下進行的，不使用額外光源。采集人臉視頻時使用實驗電腦自帶攝像頭（30FPS），人臉距離攝像頭50～70 cm左右，采集30 s的視頻。作為對照試驗，在采集人臉視頻的同時，使用指夾式血氧儀對受試者進行心率測量。受試者共7人，4名成年男性和3名成年女性。為評估基于改進ResNet34的人臉特征監測在非接觸式心率測量中的應用效果，本實驗復現了基于DenseNet的人臉特征檢測作為對比。將兩種方法所測量出的心率分別與血氧儀所測得的數據進行對比，計算出平均誤差和均方根誤差，如表3所示?？梢钥闯?，基于改進ResNet34的人臉特征檢測在非接觸式心率測量中的效果更好，說明該項應用是實用且有效的。

表3" 實驗數據及結果" " 單位：次/分鐘

測試者 血氧儀結果 本文方法 FaceBoxes+

DenseNet

1 78.0 80.0 81.5

2 65.0 68.5 67.0

3 69.0 66.0 65.0

4 66.0 69.5 68.0

5 72.0 74.0 75.0

6 91.0 89.5 89.0

7 82.0 84.0 84.5

平均誤差（ME） 2.500 2.714

均方根誤差（RMSE） 2.970 2.973

3" 結" 論

為提高非接觸式心率測量的準確性，本實驗側重于人臉視頻采集階段的優化，提出一種基于改進ResNet34的人臉特征檢測算法并將其應用于非接觸式心率測量，能夠提高人臉檢測的準確度，ROI區域的定位更加精準，從而在源頭上減少不必要的噪聲干擾。同時解決了傳統基于深度學習卷積網絡的人臉特征檢測方法存在的問題，優化了特征檢測的效率，提高了非接觸式心率測量的準確性。然而，本實驗仍存在一定的不足，后期將著重于脈搏波信號的降噪算法研究，在目前成果的基礎上進一步提高人臉視頻心率檢測的準確性。

參考文獻：

[1] 中國心血管病風險評估和管理指南編寫聯合委員會.中國心血管病風險評估和管理指南 [J].中國循環雜志，2019，34（1）：4-28.

[2] VERKRUYSSE W，SVAASAND L O，NELSON J S. Remote plethysmographic imaging using ambient light [J].Optics Express，2008，16（26）：21434-21445.

[3] MCDUFF D，GONTAREK S，PICARD R W. Improvements in remote cardiopulmonary measurement using a five band digital camera [J].IEEE transactions on bio-medical engineering，2014，61（10）：2593-2601.

[4] WANG W J，BRINKER A C D，STUIJK S，et al. Algorithmic Principles of Remote PPG [J].IEEE transactions on bio-medical engineering，2017，64（7）：1479-1491.

[5] ZHANG S F，WANG X B，LEI Z，et al. Faceboxes： A CPU real-time and accurate unconstrained face detector [J].Neurocomputing，2019，364：297-309.

[6] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

[7] 朱望純，張博.超輕量人臉關鍵點檢測算法 [J].電子測量技術，2023，46（5）：98-104.

[8] 石高輝，陳曉榮，劉亞茹，等.基于卷積神經網絡的人臉關鍵點檢測算法設計 [J].電子測量技術，2019，42（24）：125-130．

[9] SUN K，ZHAO Y，JIANG B R，et al. High-resolution representations for labeling pixels and regions [J/OL].arXiv：1904.04514 [cs.CV].[2023-05-26].https：//arxiv.org/abs/1904.04514v1.

[10] 萬鵬，朱潔，陳貽范.移動平均法的數字濾波特性分析 [J].海洋技術，1997（3）：31-33.

[11] 丁明寬，石志勇，韓蘭懿，等.基于EMD-DFA-小波閾值的MEMS陀螺信號去噪方法 [J].火炮發射與控制學報，2021，42（2）：50-56.

作者簡介：李姍姍（1998.07—），女，漢族，河南南陽人，碩士研究生在讀，研究方向：圖像處理。