基于熱成像技術的非接觸式生命體征測量方法

李 牧，吳 彤，田哲嘉

（西安理工大學 自動化與信息工程學院，陜西 西安 710048）

0 引言

心率、呼吸能夠實時反映人體的生命狀態及健康信息。而現代快速的生活節奏與不健康的生活習慣導致心血管疾病逐漸趨于低齡化和高發性，而一些潛在的心臟疾病無法及時被發現從而耽誤了治療的最佳時期；現在臨床上通過觀測患者的生命體征信息也可以為醫生診斷疾病和術后監測患者身體情況提供依據。

目前市面上較為常用檢測心率的設備有心率帶、運動手環、手指夾等，臨床上對于生命體征的獲取是“電極片、袖帶、指脈氧夾”與人體特定部位皮膚直接接觸，這類接觸式檢測方法雖然可靠，但是對于有大面積皮膚損傷、過敏、術后人群、有傳染病以及無法控制自己行為的嬰幼兒、精神病患者等特殊人群來說無法實現，且佩戴期間只有在患者保持靜止的狀態下才可以獲取數據，不適用于人體生命體征的長時間監測。因此實現一種非接觸式的生命體征檢測方式是非常有必要和迫切的。目前非接觸測量生命體征的方法有基于雷達、成像式光電容積描記法以及紅外熱成像技術等方法，表1顯示了3 種常見的非接觸式檢測方法的優缺點。通過對比可知紅外熱成像技術是一種被動式的非接觸式檢測方法，其優勢為不傷害人體，不受背景環境中電磁波、強弱光以及雨雪、霧霾等天氣的干擾，真正做到全天時、全天候的檢測。

表1 檢測生命體征的非接觸式方法對比Table 1 Comparison of non-contact methods for vital signs detection

目前使用熱成像技術測量生命體征的研究正在快速發展。S.Y.Chekmeneve 等人早在2006年通過檢測面部及頸部獲取脈搏波，但是其在測量過程中需要用下巴托穩定受試者并手動確定感興趣區域會造成較大的誤差，且需要直接查看原始的熱像圖沒有進行圖像增強[1]。M.Garbey 采用自適應濾波測量生命體征，該方法的精度達88.52%～90.33%，但在測量過程中要求受試者保持完全的靜止，不滿足實際檢測環境的需求[2]。Travis R.Gault 使用血管映射和多分辨率分析的方法通過熱成像技術對人體面部血管系統測量生命體征信息，但是文中使用了手動選擇感興趣的血管并實現基本跟蹤，易因人為因素導致測量誤差[3]。國內的學者們對此也有很多研究，其中梁智敏選用的感興趣區域為面部下半部分，包含鼻孔與嘴巴在內會因人體呼吸等生命活動造成較大誤差[4]；首都醫科大學的景斌等人選用太陽穴位置，文中濾除噪聲僅選用了低通濾波[5]；北京師范大學的王建明團隊則是計算了一段視頻序列的平均心率，易丟失瞬時心率異常[6]。

熱像儀獲取的圖片具有分辨率差、細節模糊等問題，對于血管邊緣分割與提取造成了難題；如何精準獲取感興趣區域并提取灰度值是最重要的一步，因人體在測量過程中的頭部晃動以及面部姿勢改變會丟失或變更區域信息的采集。對此本文提出了一種基于前景目標提取與面部特征點檢測與人臉對齊的方法實現感興趣區域的自動檢測與追蹤，同時將感興趣區域中相對血管區域的背景像素點剔除以提高系統的準確性。通過對比實驗發現提高了心率、呼吸檢測的準確度的同時，實時性與魯棒性也相對較強，取得了較好的實驗成果。

1 工作原理

在人體心臟周期性的跳動過程中會不斷推動血液流過全身的血管，這種周期性變化會導致血管內壓、血流速度等也跟著周期變化。這種血流體現在體表皮膚上會出現溫度差異，在熱成像視頻中可通過灰度值的周期性變化顯示。中國中醫研究院的張棟等學者的研究成果中指出，人體面部中含有大量的毛細血管，而臉部雙側的內眥、嘴角、鼻唇溝、額及其口唇等部位毛細血管密集[7]，而選用血管較為密集的部位作為感興趣區域進行心率分析的結果會更加的準確。綜上所述充分證明了皮膚溫度變化和血流之間存在對應關系。同時，人體呼吸的氣流和反應心率的脈搏一樣攜帶了與溫度關聯的信息特征，通過對鼻孔溫度信息的計算分析可獲得呼吸信息。

2 研究方法

2.1 算法整體設計

本實驗通過對獲取到的熱紅外視頻進行預處理提取出前景目標，再對目標物進行快速人臉檢測，根據對面部血管密集程度的分析在熱像圖中確定出與心率相關性較高的區域為初始的感興趣區域（Region Of Interest，ROI），然后對熱紅外成像視頻感興趣區域進行追蹤，進而使用形態學處理舍棄該區域背景部分灰度值，保留溫度較高的動脈血管區域作為最終ROI為最新研究對象，再對這部分區域灰度均值形成時間序列作為原始心率信號。通過巴特沃斯帶通濾波器以及小波閾值去噪濾除結合中值濾波多余的噪聲，最終對濾波后的心率信號分解及重構，以快速傅里葉變換得到最終的心率、呼吸估值以及心率波形圖。

2.2 視頻預處理

本系統主要研究對象為視頻幀序列中的人體面部區域，如果在序列幀的整幅圖像中尋找人體面部區域會大大增加算法的搜索范圍和時間，從而降低計算心率的效率，所以我們需要在預處理中進行前景人物目標提取以便進行后續步驟的處理。

目前常用的目標前景區域提取方法主要分為基于特征和基于灰度值。基于特征的方法是依據圖像的特征檢測運動目標，多用于目標較大、特征明顯的目標。基于灰度的方法利用視頻幀時域信息，主要包括幀間差分法[8]、背景減法[9]和光流法[10]，幀間差分法在目標運動過慢時會造成比較多的空洞和誤判，不滿足要求；背景減法計算簡單，能提取出完整的目標，但是在實際應用中很難建立一個理想的背景模型；光流場法則計算復雜，不適合實時處理。

通過熱紅外成像儀測量心率需要保證信息獲取的實時性，且鏡頭前測量的人體目標較大會出現輕微晃動，對此本文選用了基于特征提取前景目標。首先需要對視頻幀序列圖片進行灰度處理、Ostu 二值化以及腐蝕膨脹、提取輪廓處理等過程提取出二值化的前景目標，再與原圖進行掩膜位運算獲得人臉前景目標，結果如圖1所示。

圖1 提取前景目標Fig.1 Extraction of prospect target

2.3 選取感興趣區域

根據文獻[4]中的人臉的毛細血管分布圖，我們在提取到的人物目標上選取毛細血管較為豐富的額頭作為感興趣區域進行研究。ROI 區域的自動追蹤首先需要進行人臉檢測，目前人臉檢測主要的算法有：基于人臉特征點的檢測算法、基于整幅人臉圖像的檢測算法、基于模板匹配的檢測算法以及基于神經網絡識別的算法。本文選擇的方法是基于特征點的人臉檢測方法，且在前額區域中，只需選取60%的血管段作為研究對象，就可以獲取85%或者更高的測量精度的心率結果[3]，因此，選取前額作為感興趣區域可獲取更加精準的測量結果。

2.4 目標檢測與追蹤

在熱紅外成像儀采集面部視頻過程中，測試者很難保持完全的靜止使選定的ROI 區域在固定的位置，這樣獲取到的數據具有很多的誤差和噪聲甚至含有較多的無效數據，因此實現視頻幀序列中目標區域的動態追蹤顯得尤為重要。文獻[6]中采用的方法是直接選取一個正方形區域作為ROI 區域，并通過重心法獲取每一幀圖片的重心，然后計算重心到參考點的距離，從而組成時間序列信號；文獻[4]中采用的模板匹配方法，使用歸一化互相關函數比較各個候選區域與ROI模版的匹配情況決定該幀熱像圖是否可用，若無效幀數過多則需要重新提取敏感區域甚至需要重新選取視頻；文獻[5]使用的是基于經典的CamShift 算法追蹤人臉。這3 種方法中前兩種魯棒性較差；第三種方法是在人臉跟蹤過程中可根據目標的尺寸調節搜索窗口的大小，對有尺寸變化的目標可準確定位，這種算法在目標附近有與目標色調相近的行人時會導致跟蹤窗口擴大，甚至有時擴大到整個視頻框架。

本實驗使用的是訓練好的人臉檢測模型進行人臉區域檢測，使用基于臉部特征坐標點定位其面部，并在此基礎上使用坐標添加上ROI 區域。這種方法易于實現且精準率高，能夠滿足對感興趣區域實時追蹤的需求，因此選用此方法作為本次試驗目標跟蹤的方法。圖2是檢測的人臉特征點和追蹤的感興趣區域。

圖2 追蹤的感興趣區域Fig.2 The area of interest to track

2.5 血管特征提取

因為在人體面部原圖像中選取的初始ROI 不僅含有血管特征，還會有相對的背景區域，而文獻[11]中指出直接在血管上面的皮膚溫度比與血管相鄰位置的皮膚溫度高。因此我們可以從額頭背景圖中提取出純粹的血管特征作為最終的感興趣區域。因為血管中的血流會使其局部溫度高，這種變化被高靈敏度的熱紅外成像儀捕捉到即表現為高光部分，我們可利用圖像中需要提取出來的血管與背景之間的灰度值差異性，將圖像分割為目標區域與背景區域。本文選用各向異性擴散濾波器和高帽分割相結合的方法提取出人臉血管[12]，圖3顯示了經過迭代20 次后的擴散濾波效果。

圖3 各項擴散濾波前后效果圖Fig.3 Effects of Anisotropic diffusion filtering before and after

再通過形態學處理中的高帽分割即可得到血管模型，高帽分割的數學定義式為：

式中：I為原圖像；Iopen為原圖像開運算后的圖像。

為了更好地獲得ROI 內的血管模型，僅截取該區域進行分析。圖4的圖(b)為二值化的血管圖形與高帽分割后的圖像(d)形成對比。

圖4 獲取ROI 區域血管模型Fig.4 Obtain vascular models in the ROI region

對所得感興趣區域的灰度做以上處理即可獲得血管區域所在區域的灰度均值變化的時間序列信號，波形如圖5所示。

圖5 灰度均值變化的初始時間序列圖Fig.5 Initial time series of gray level mean variation

2.6 趨勢消除法

所得的初始心率時間序列中包含趨勢成分和周期波動成分，HP 濾波器（hodrick prescott filter）是一種有效的提取原始序列趨勢項的方法，從而將初始心率時間序列中具有一定趨勢變化的平滑序列分離出來[13]。假設一個時間序列Y＝{y1,y2,…,yT},G＝{g1,g2,…,gT}表示該時間序列中趨勢項，C＝{c1,c2,…,cT}則為該時間序列中的周期項，HP 濾波可以將Y分解為：Y＝G＋C，記損失函數為M，則G為M最小化時的解。

式中：B(L)為延遲算子多項式，即：

將(3)式代入(2)式可得：

式中：λ為平滑參數；對波動成分度量，解釋了主要趨勢成分gt對原序列yt的跟蹤程度；而刻畫了趨勢的光滑程度。

對式(4)一階求導，并令導數為0，可得：

式中：F為一個T×T的系數矩陣。

因此可知最小化問題取值受到了λ取值的影響。其最優取值則為：

根據實驗對比，λ＝10 具有較好的濾波效果。通過設置參數后的HP 濾波可得到如圖6的原始信號和HP 濾波的時間序列，最后可得殘差信號（周期信號）c作為初級濾波的信號，即：

圖6 原始心率信號及HP 濾波Fig.6 Original heart rate signal and HP filter

根據式(7)可得如圖7所示的殘差信號波形。

圖7 殘差時間序列Fig.7 Residual time series

為了判斷所得殘差信號的時間序列是否已經趨于平穩，可采用 ADF 單位根檢驗法（augmented dickey-fuller test）進行平穩性檢驗。其檢驗的原理是判斷被檢驗數據生成的特征方程是否存在特征根，如存在特征根則表示時間序列非平穩[14]。表2展示了對獲得的圖7所示某一時刻的殘差時間序列信號進行ADF 單位根檢驗的結果。

表2 殘差序列ADF 檢驗Table 2 Residual sequence ADF test

根據所得結果可知P-value 的值均非常接近0，且t-statistic 的值均小于1%置信度值，所以有99%的把握度可拒絕原假設，可以證明所得殘差時間序列是平穩的。

2.7 噪聲濾除

在采集視頻過程中仍不可避免地會受到各種噪聲的影響，例如：設備噪聲、背景噪聲以及周圍熱場的影響等，從而造成一些視頻幀序列中的灰度均值偏離實際值導致測量結果不穩定，所以我們需要對此進行一系列的去噪處理。一個正常成人平靜狀態下的心率范圍在60～100 次/min，我們可選取上下截止頻率分別為40 次/min 和200 次/min 的帶通濾波器濾除掉不可能出現的隨機數據。

使用小波閾值收縮法可進一步提取需要的信號，有用信息信號的幅度相關性強，而噪聲卻是隨機且相關性較弱，反映在小波域中則是近似系數攜帶了有用信號的主要信息，相應的近似系數的模也會較大，細節系數為有用信號的高頻部分以及噪聲的主要特征，而噪聲引起的細節系數模會較小。可選取合適的閾值濾除掉細節系數中絕對值較小的部分，達到去除噪聲的目的。該方法對于熱像圖的去噪效果非常好[15]。其實現過程如圖8所示。

圖8 小波閾值去噪過程Fig.8 Wavelet threshold denoising process

閾值函數和閾值是小波閾值收縮法的重點，閾值λ由實際信號的噪聲方差σ獲得，假設對實際信號進行M層的小波分解得各層近似系數{cam(i)}和細節系數{cdm(i)}，對每層cdm(i),m＝1,2,…,M，i＝1,2,…。按照模的大小排序，求出每一層的中值{cdm,mid}，并得到各層的噪聲方差σm：

則可得出通用閾值λm：

目前傳統的閾值函數有硬閾值、軟閾值函數。硬閾值函數具有良好的逼近性，能夠最大程度抑制噪聲，但是這種“一刀切”會使信號在小波域產生突變，導致最終結果產生局部抖動。而軟閾值函數使其小波系數整體連續性好，但是會產生一定的偏差[16]，直接影響了重構后的信號與真實信號的逼近程度。為了獲得更好的去噪效果，本文采用了一種軟硬閾值折衷的方法，其表達式如下：

式中：α滿足0＜α＜1；m滿足m＝1,2,…,M。

最后再使用各層近似系數{cam(i)}與閾值抑噪后細節系數的{cdm,mid(i)}進行重構得到抑噪后的時域序列[17]。

2.8 心率、呼吸信號提取

降噪后的心率、呼吸信號本文使用了以時間窗口形式處理視頻每一幀信息以獲得測量人體心率、呼吸[18]，本文通過對心率信號y、呼吸信號g進行快速傅里葉變換并獲取最大幅值所對應的頻率繪制動態頻率變換圖，如圖9所示，獲得最大頻率可轉換為心率、呼吸值，心率計算方法如式(11)、式(12)所示，呼吸計算方法如式(13)、式(14)所示：

圖9 心率頻域分析圖Fig.9 Heart rate frequency domain analysis diagram

3 實驗結果與分析

本文研究對象為10 名年齡段在20～25 歲之間的健康人群在自然狀態下采集面部熱紅外視頻，其中包括5 名男性、5 名女性。在恒溫條件下的實驗室中，10 名測試者分別正坐在距離視頻采集設備1 m 的位置處進行不少于60 s 時長的面部數據采集，在電腦終端得到AVI 格式的視頻文件。

圖10為其中一個測試者測量的顯示界面，下左側部分實時顯示該測試者的心率波形變化。右側“69”為當下時刻的心率值（beats per minute，bpm），“12”為呼吸頻率（breathing rate，br）。

圖10 測試界面Fig.10 GUI Testing

在學校校醫院老師的幫助下對測試者連接心電圖機AUTOCARDINE RFCP-2155（如圖11所示）與熱紅外成像儀，分別對序號為1～5 的5 名男性和序號為6～10 的5 名女性在相同環境下采集時長為1 min 的視頻，并每隔5 s 記錄兩種測量設備測量出的心率，最后作比較。表3、表4分別為5 名男性受試者、女性受試者的1 分鐘心率檢測結果對比，其中，M為通過本方法測量的心率值，R為使用ECG 測量的參考值。

表3 男性測試者動態心率結果對比Table 3 Comparison of dynamic heart rate results in male

表4 女性測試者動態心率結果對比Table 4 Comparison of dynamic heart rate results in female

圖11 心電圖機Fig.11 Electrocardiogram

表5中為本文方法測量到的1 min 心率均值，為ECG 測得的真實均值，d滿足式(15)，則平均兩組數據均值差＝0.718 次/min。。

表5 對10 個測試者心率均值偏差分析Table 5 Deviation analysis of the mean heart rate of 10 testers

表6分別為10 個受試者1 min 的呼吸均值實現結果對比并對其進行誤差分析，其中MBR為根據本方法測得的呼吸值由實驗結果，MBR＇是對根據本方法測得的呼吸值取整，RBR為參考呼吸值。結果可知基于熱像圖的呼吸測量方法與真實呼吸值最大誤差為1 次/min，滿足實際的需求。

表6 測試者呼吸平均值結果對比Table 6 Comparison of the average results of the tester's breath

上述實驗結果表明，本文提出的方法能夠精確地反映測試者的心率、呼吸信息以及心率波形圖，心率估值與參考值的誤差能夠保持在3%～4%以內，滿足實際的需求。相比于之前研究人員的結果誤差5%～10%有了一定的降低，且穩定性得到了提高，能夠基本滿足復雜環境下的心率、呼吸測量要求。該實驗過程充分證明了本文提出的算法可進一步減小心率估計誤差，提高估計精度。同時通過對比男女兩組心率數據可以發現在安靜情況下女性的心率整體上比同齡男性快，而不常運動的人會比經常運動的人整體上心率快，呼吸信息因呼吸溫差較大趨于穩定。

對于復雜環境下人體呼吸、心率等生命體征的檢測是很有必要的，本文利用熱像序列圖像實現了對心率、呼吸的非接觸式測量。與接觸式測量方法相比，該方法不但減少了受試者在測量過程中的不適感和不方便、擴展了使用人群，而且在實際應用中也具有較高的準確性和穩定性；與普通的可見光攝像頭相比，熱紅外成像儀包含了豐富的溫度信息并不受光線的影響，所以能夠實時監測感興趣區域的溫度狀態，具有相當大的優勢；與前人對于熱紅外成像儀測心率的方法相比提出了一種更好的解決方案。限于本人研究水平有限，本文方法還有很多的改善之處，接下來的工作將繼續調整閾值的選擇以及尋找更好的提高心率準確性方法，還可以解決體溫及其血壓方面的難題。

4 結語

采用熱紅外成像儀作為探測設備測量心率、呼吸的方法可應用于疫情等特殊情況以及特殊人群的生命參數檢測，及用于術后人群長時間生命體征監測，能很好地模糊臉部及身體特征，保證了被檢測人的隱私。其次使用紅外成像儀測生命體征信息不僅可以使用錄制好的視頻片段，也可以直接連接監控顯示儀器實時查看，這樣的方法極大程度地擴展了該系統的使用范圍，為遠程醫療事業提供支持性。

在提取前景目標時使用的是較為簡單的邊界特征識別方法，該方法適用于背景較為簡單的環境，當背景人流量較大或者背景的溫度高于人體時會造成識別混亂及熱像圖灰度值反轉的情況，引起較大的誤差。針對這類問題可以根據具體的情況選擇合適的方法，使用深度學習的方法分割前景、背景；針對靜態背景視頻可使用二幀差法提取；針對動態的背景視頻可建立高斯混合模型，通過選擇合適的閾值分割前景人物目標[19]。

由于疫情的影響，人們出行都帶著口罩遮擋了人體面部重要特征點導致無法直接進行人臉檢測，后期工作的方向則可以集中于訓練口罩識別數據集的模型訓練完成口罩下的人臉檢測獲取心率、呼吸信息；同時還可以利用熱紅外成像儀獲得的信號獲取更加豐富的生命參數，例如血脈氧、血流速度、標準體溫等。通過這些生命參數不僅可以分析人體的健康情況，也可以為身份識別、移動支付等提供更有力的支持。