邱杰凡 徐一帆 徐瑞吉 周棟利 池凱凱
(浙江工業大學計算機科學與技術學院 杭州 310023)
(qiujiefan@zjut.edu.cn)
近年來,越多越多的人選擇在家中運動,客廳運動的潮流越來越流行. 而在運動過程中實時監測呼吸率和心率等體征信息對于評估運動效果、保障運動期間運動者,尤其是新冠已康復人群的安全有著重要的作用[1].
人體常見的體征監測指標包括呼吸速率、呼吸成分、心率、血壓、血氧以及體溫等內容[2],在人體運動的過程中,血壓和體溫會不可避免地波動,對于評估運動者健康和運動水平意義不大. 而血氧和呼吸成分的監測,往往依賴較為笨重的分析儀器,且對佩戴敏感者不太友好. 因此在過往的研究中,往往將呼吸速率和心率作為主要研究指標. 尤其是心率,能夠很好地反應運動情況和健康情況,例如在心跳過速時應及時停止運動,以免造成危險.
當前研究表明,雷達技術在體征監測方面有著較大的優勢,例如可以實現無接觸監測,對于穿戴不便或皮膚敏感的人群較為友好;對環境光亮度沒有要求,即便是在較暗的條件下也能很好地完成監測;相對于基于視覺的體征監測,由于雷達信號需要進行特殊處理,很難獲取除體征信息以外的敏感信息,因此隱私保護性較好[3]. 另一方面,在近年來體征監測領域的應用研究中,基于調頻連續波(frequency modulated continuous wave,FMCW)的體征雷達由于其對距離/速度的高敏感性,得到了越來越多研究者的關注.FMCW 雷達的工作原理是通過發射經過調制且頻率不斷變化的連續波(continuous wave, CW),接收回波后通過混頻獲取中頻信號,由于中頻信號的頻率和相位對距離和速度變化較為敏感,可以實時估計當前被測目標的運動狀態,這也是傳統基于CW 的雷達所不具備的. 尤其在近幾年,得益于毫米波射頻技術的快速發展,基于GHz 帶寬的FMCW 雷達,大大提高了雷達在體征監測領域的識別精度和抗干擾性[4].
目前已有的體征監測的方法,通常要求人體處于穩態的場景中. 例如被測對象完全靜止[5-8]或僅伴隨周期性的小幅晃動[9-12]. 在這些方法中,需要先提取特征信號,再對特征信號進行短時傅里葉變換(short time Fourier transform, STFT)或者經驗模態分解(empirical mode decomposition, EMD)等處理,最后提取出呼吸和心率信息.
然而在人體處于大幅度運動等非穩態場景時,會產生肢體移動、胸腔被遮蓋、身體重心整體移動等問題,將會對雷達波產生極大干擾,這些干擾甚至將完全淹沒體征信號,從而大大提高體征信號的提取難度[13]. 另一方面,根據我們對人們居家鍛煉實際場景的調查,在鍛煉過程中一般存在間歇期,在間歇期內運動者的肢體運動幅度將大幅度下降,而間歇期的體征監測結果幾乎能夠完全反映當前運動者的身體狀態,因此我們提出一種面向非穩態場景的生命體征監測優化方法,通過特征頻譜圖[14]來區分運動期以及運動間歇期,并在間歇期以最大努力(besteffort)的方式從信號中提取出人體體征信息,從而實現對非穩態場景中運動者的體征監測.
而要判斷運動者是否處于運動間歇期的關鍵在于對運動狀態的高精度識別,傳統運動狀態識別通常包括姿勢識別[15-16]和軌跡跟蹤[17-18]2 大類. 前者往往只對單個動作進行數據采集和識別,對連續動作下的識別精度不高;后者只關注人體的位置以及速度等連續移動信息的測量,缺少對不同類型運動的識別. 然而在日常鍛煉的場景中,如瑜伽或keep 運動等,運動過程往往持續時間較長,并且動作類型也比較多變,若使用傳統的方法構造數據集,一方面代價過高,另一方面識別效果不佳. 而使用滑動窗口采樣的方法可以規避這些缺點,通過窗口值和步長值的設置,選擇合適的樣本長度,既能提高模型對于運動者狀態變化的敏感度,又能提高對動作類型的分類精度,而且降低了數據集的構建成本. 同時,我們還利用雷達數據對運動的類型進行識別,并將雷達數據與相應的體征數據綁定后,可以為進一步評估運動效果提供依據.
綜上,本文的主要貢獻有3 點:
1) 提出基于特征頻譜圖的運動識別方法,該方法通過計算并提取運動狀態下的距離-主導速度特征信息,按照時間排列形成特征頻譜圖,并基于該譜圖完成運動狀態識別.
2) 提出一種滑動窗口采樣方法,通過實驗確定針對運動間歇期體征監測的最佳滑動窗口值和步長值,能夠有效減少網絡訓練成本,提高識別精度以及降低識別時延.
3) 在非穩態場景下,基于商用雷達設備,實現了對運動者進行運動狀態識別以及體征監測的體征雷達系統,實驗表明該系統能夠有效識別運動類型并能夠以較高的精度完成體征監測.
傳統的針對運動者的體征監測方法可以粗分為基于可穿戴設備的體征監測方法[19]和基于WiFi 信號的體征監測方法[20-22]. 可穿戴設備包括心率胸帶、呼吸胸帶、智能手表等,盡管這些設備的測量結果相對準確,但是在監測過程中,被監測對象需要長時間佩戴設備,對于不習慣在運動過程中佩戴額外設備的運動者來說并不友好;并且在一些大幅度肢體運動的過程中,可穿戴設備可能與皮膚發生相對位移,影響監測精度. 基于WiFi 信號的體征監測方法的優勢在于可以利用現有無線設備完成監測,但受限于其無法自發自收的特點,實際探測過程中仍然需要通過至少2 臺設備才能實現數據的采集;此外,由于WiFi 信號的波長為厘米級,很難實現對心跳引起的胸腔變化的監測. 基于毫米波雷達的體征監測方法與WiFi 相似,均可實現非接觸測量,同時由于其具有自發自收能力,設備更加簡化,且其波長在1~10 mm之間,可以探測到更微小的心跳引起的胸腔振動.
而在專用雷達領域,Shi 等人[5]曾采用2.4 GHz的CW 雷達,提出一類基于正交余弦變換技術的體征監測算法,取得了較好的效果,然而CW 雷達無法反映距離上的信息,因此當場景中有較大干擾時效果較差.Khan 等人[6]則采用IR-UWB 雷達監測呼吸速率和心率,應用卡爾曼濾波器去除噪聲,并提出一種將心跳信號與呼吸諧波分離的算法. 近年來,WiFi 等非專用設備也能用于體征監測,Wang 等人[20]利用信道狀態信息(channel state information,CSI),尤其是相位差信息,實現了對人體呼吸率和心率的監測. Liu 等人[21]利用時域和頻域中細粒度的通道狀態信息來捕捉呼吸和心跳引起的微小運動,實現了睡眠期間的體征監測.
基于FMCW 的毫米波雷達,得益于其較大的可調制帶寬(通常超過1 GHz),對較為微小的物體移動也有較高的靈敏度和分辨率. 進而隨著采用毫米波段的6 GHz 通信不斷推進,基于FMCW 的毫米波專用雷達越來越受到研究者的關注. 如Alizadeh 等人[7]改進相位展開的方法,利用77 GHz 的毫米波雷達提取臥床患者的呼吸和心跳速率,但沒有考慮運動的干擾,當有翻身的動作時監測效果較差. 另外,如Ahmad 等人[8]采用FMCW 毫米波雷達,利用波束成形技術,將人體體征信號與其他信號分開,從而高精度地提取體征信號,但對一些隨機動作的干擾沒有作進一步的處理. 此外,部分研究工作對干擾有一定的抑制,但是僅限于一些小幅度、有規律的干擾. 如Chen 等人[11]提出的MoVi-Fi 系統,利用體征信號的自相關性,采用對比學習的方法從源信號中提取出心率信號,達到較好的效果. 但是其實驗場景僅包括原地步行,或者靜坐等干擾有限的場景,沒有涉及不同運動類型和運動幅度較大的非穩態場景下的監測.
因此,我們從運動狀態識別著手,嘗試設計并實現一個可以識別運動/間歇時期以及運動類型的模型,最大限度地提取準確的體征信號. 目前對于人體活動識別的研究有很多,例如Singh 等人[23]提出的RadHAR 模型以及Wang 等人[24]提出的m-Activity 模型均通過人體表面信號散射方向來提取3D 點云,并進行后續處理來獲取人體活動類型. 其中m-Activity能夠識別多種運動動作,但是準確度較低,僅為90%.
由于人們在日常鍛煉中持續時間較長,且動作多樣化,因此我們需要設計能夠同時滿足運動狀態識別和運動類型識別的模型,同時模型在運動狀態切換時有較高的靈敏度. 利用運動過程中人體對雷達的距離和速度信息,設計特征頻譜圖,可以實現這一目的.
體征監測優化方法的實現流程如圖1 所示. 首先,毫米波雷達模塊發射線性調頻脈沖信號(chirp),信號經過目標反射后被雷達的接收天線所接收. 發射信號和接收信號經過混頻器、低通濾波器后得到中頻信號.

Fig. 1 System structure and process圖1 系統結構與流程
在運動狀態識別模塊,我們對原始中頻信號作1維傅里葉變換,得到目標距離信息;然后在每個距離上繼續作傅里葉變換,得到每個距離的速度信息,并將所有幀的距離-主導速度信息排列在一起,得到特征頻譜圖;之后為提高識別精度與靈敏度,我們應用滑動窗口法采集樣本,構造數據集;最后使用采集到的樣本數據集訓練ResNet-18 分類網絡,并使用該網絡預測動作狀態結果. 分類網絡的識別結果有2 種情況:1)識別為運動期,此時記錄下運動類型并繼續識別;2)識別為運動間歇期,也就是非運動狀態,此時中頻信號進入體征信息計算模塊.
在體征信息計算模塊,由于呼吸率、心率等體征信息往往包含在相位信息中,所以我們首先計算原始信號的相位信息;之后根據呼吸和心跳的不同頻率范圍,對相位信號進行帶通濾波;最后利用變分模態分解算法(variational mode decomposition,VMD)提取呼吸和心率信息,并與運動類型識別相匹配.
本節主要介紹運動狀態識別模塊的內容,其包括FMCW 雷達基礎、特征頻譜圖的計算、滑動窗口采樣方法以及基于ResNet-18 的運動分類模型等內容.
本文采用基于連續調頻波的毫米波雷達,其發射的信號為頻率隨時間呈線性變化的線性調頻脈沖信號. 毫米波雷達模塊發射信號,經目標反射后由天線接收回波信號,經過混頻器和低通濾波器后得到中頻信號. 毫米波雷達的發射信號可以表示為:
其中AT表示發射信號幅值,f0表示信號初始頻率,k表示信號頻率上升斜率. 由于我們采用的是FMCW信號,頻率隨著時刻t的增大而增大,因此我們將信號表示為t的函數. 雷達發射信號后,經過時延τ,得到回波信號,表示為:
假設運動者的胸腔表面到雷達天線的距離為R,同時胸腔表面因呼吸和心跳而產生的波動會導致胸腔表面以速度v(t)移動. 這時,瞬時的信號時延τ由R以及v(t)決定,可表示為:
但由于單個chirp 波的往返時間Δt很短,v(t)在Δt內可視為定值.
將發射信號ST(t)與接收信號SR(t)經過混頻,得到高頻和低頻2 個信號,再通過低通濾波器,得到實驗所需的中頻信號,表示為:
獲取到中頻信號后,對SIF(t)作1 維快速傅里葉變換,得到中頻信號的頻率fIF,據此我們可以計算目標距離d,計算方法為:
在實際處理中,對單個chirp 信號作1 維傅里葉變換得到的頻率圖,根據式(5)計算目標距離信息.雷達模塊與被測人體的距離約為1.5 m,在單個chirp的頻譜圖中,曲線在1.5 m 附近有較大波峰,如圖2所示. 這表明目標距離雷達1.5 m 左右,也反映出雷達對距離估計有較高的精度.

Fig. 2 Spectrogram of a single chirp圖2 單個chirp 的頻譜圖
由于單個chirp 脈沖只包含距離信息,如果要分析目標的速度,需要綜合分析一段時間內多個chirp的信息,以獲取目標的速度. 而每個chirp 之間的間隔非常短,由人體運動產生的位移也比較小,一般小于毫米波的距離分辨率,通常無法通過中頻信號的頻率信息來計算速度. 然而較小的振動對于信號相位的影響比較大,我們可以通過不同chirp 之間的相位關系來計算速度:
其中λ為信號波長,ω為不同chirp 之間的相位差,Tc為chirp 間隔.
對于1 幀內的數據,將所有的chirp 數據縱向排列形成矩陣,即矩陣的每一列代表1 個chirp 數據,對每個chirp 進行快速傅里葉變換得到距離譜圖. 之后在每個距離上,對該幀內所有數據進行2 次快速傅里葉變換,得到速度的譜圖,變換過程如圖3 所示.

Table 1 The Main Parameters of the Radar表1 雷達主要參數

Fig. 3 Velocity calculation chart for each distance圖3 每個距離上的速度計算圖
通過對運動場景的分析我們發現,人體在不同的運動狀態以及進行不同類型的運動時,軀干以及四肢的運動幅度都不一致,因此我們將每一時刻中每個距離上信號強度最大的速度作為主導速度,并且統計所有時刻每個距離的主導速度,匯總成特征頻譜圖用于下一步分析.
3.1節中提到,每個chirp 之間的間隔Tc以及每一幀之間的間隔Tf分別為微秒級和毫秒級,相對于人體完成1 個動作的時間而言其數值都非常小. 因此僅僅分析1 幀內的距離和速度信息是無法判斷人體的運動或者靜止情況,我們需要一段時間內目標的距離和速度信息,以此分析具體的運動情況.
首先需要對所有的chirp 信號實施去趨勢處理,以消除直流分量. 對信號y(t)的去趨勢處理過程為:
其中n為所選擇的信號數量. 之后根據3.1 節中的內容,計算出該幀數據的距離-速度信息,形成頻譜圖,如圖4(a)所示. 我們發現,不同的距離有不同的速度,表示人在運動時身體不同部位的速度存在差異. 據此提取出每一幀內每個距離上的主導速度值,并且將連續的多個幀的距離-主導速度信息依次排列起來,得到目標的特征頻譜圖,如圖4(b)所示.

Fig. 4 Distance-velocity spectrogram圖4 距離-速度頻譜圖
計算出運動的特征頻譜圖后,選擇合適的樣本長度對提高運動狀態識別精度和效率都十分重要.以往對于人體動作的識別一般利用單個動作樣本完成識別,即用于分類訓練的樣本通常包含了一個動作的全部內容. 而在人們日常鍛煉時,運動的持續時間較久,動作的重復次數不定,動作類型多樣,此時若使用包含單個動作全部內容的樣本會存在2 方面的缺點:1)持續采樣監測不能保證每一個樣本都能包含全部動作內容,因此會影響模型的識別精度;2)由于運動的類型較多,如果樣本包含全部動作會導致數據采集和處理的成本較高.
為了解決這2 方面的缺點,提出了滑動窗口采樣的方法,即不間斷地監測人體在鍛煉時的距離-主導速度信息,獲得較長時間的樣本后,對樣本加窗,并將窗口內的特征頻譜信息作為一個樣本保存. 同時,按照特定步長移動窗口,持續進行采樣,并形成數據集輸出. 具體的算法見算法1.
算法1.滑動窗口采樣算法.
輸入:原始數據Raw_data,采樣窗口W,滑動步長S,采樣量N;
輸出:采集的數據集DataSet.

由3.2 節的內容可知,運動中特征頻譜圖的特征較為明顯,并且圖譜背景較為干凈,干擾較少,因此我們可以采用卷積神經網絡(convolutional neural network,CNN)對構造好的數據集進行分類. 常見的用于圖像分類的卷積神經網絡有AlexNet[25],GoogleNet[26],ResNet[27]等. 其中,ResNet 的核心思想是引入了殘差塊,在ResNet 中,輸入圖像首先經過卷積層、池化層進行維度轉換,之后通過多個殘差塊,再經過全連接層,最后使用softmax 函數進行分類. 具體見圖5(a)所示. 其中,一個殘差塊包含直接映射和殘差2 部分,如圖5(b)所示,其結構函數可以表示為:

Fig. 5 The structure of the classification network圖5 分類網絡結構
其中h(xl)表示直接映射部分,f(xl,Wl)表示殘差部分,兩者同時接收上一級的輸出xl,在直接映射部分中xl直接向下傳遞,在殘差部分中xl經過卷積層、批量歸一化層、ReLu 激活層、卷積層、批量歸一化層后與直接映射部分傳遞過來的數據進行加操作,構成下一級殘差塊的輸入.
相較于AlexNet 和GoogleNet,ResNet 能夠有效解決隨著網絡深度增加所引起的網絡退化問題,在圖像分類問題上有良好的應用效果;同時考慮到系統對于實時性的要求,我們嘗試選擇層數相對較少、復雜度相對較低的ResNet-18 作為特征頻譜圖的分類器,并在實驗部分與其他網絡進行性能對比.
本節主要介紹當系統監測到人體處于非運動狀態時,從中頻信號中提取人體呼吸速率以及心率等體征信號的過程. 該過程主要由相位提取方法和變分模態分解算法構成.
由3.1 節獲取目標速度的計算可知,當目標的位移較小時,無法通過中頻信號的頻率信息計算位移.但是小位移卻能夠對信號的相位產生較大的影響.通常人體由呼吸引起的胸腔位移范圍為1~12 mm,由心跳引起的胸腔位移為0.1~0.5 mm[28],因此可以利用信號中提取出的相位變化信息,獲得呼吸信號和心跳信號.
首先,信號的相位可以由式(9)計算:
其中I(y(t))表示信號的虛部部分,R(y(t))表示信號的實部部分. 其次,根據式(5)計算得到的目標距離圖確定目標的位置. 選擇頻譜圖中幅值最大的頻率點對應的相位作為該幀的信號相位,并計算出觀測時間內每一幀的原始相位.
但是通過上述方法得到的原始相位存在一定程度的纏繞,導致相位圖十分雜亂,很難通過原始相位直接獲取呼吸信號和心跳信號,如圖6(a)所示. 這是由于在計算相位的時候,相位會在π(?π)處發生跳變,跳變幅度為2π. 為了解決這個問題,我們對原始的信號相位進行解纏繞處理,即每當連續相位角之間的跳躍大于或等于 π 弧度時,就通過增加 ±2π 的整數倍實現相位角平移,直到跳躍小于 π. 實際處理中,我們使用函數unwrap[29]完成相位的解纏繞. 解纏繞后的相位信息如圖6(b)所示.

Fig. 6 Effect of phase unwrapping圖6 相位解纏繞效果
通過圖6(b)我們發現,解纏繞后的相位信號能夠反應呼吸信號的大致情況,這是由于呼吸產生的胸腔移動主要體現在相位信號中. 同時,我們在解纏繞后的相位波形中,還發現了一些細小的波動,如圖6(b)中的標記框所示. 經過分析,這些波動是由心跳引起的胸腔運動所致. 由于心跳引起的胸腔波動比較微小,因此會被淹沒在呼吸信號中. 當呼吸達到波峰或者波谷時,胸腔會有較為短暫的相對靜止時間,此時心跳產生的波動較為明顯.
由于體征信號中呼吸和心跳的頻率不同,所以我們首先對原始相位信號進行濾波,考慮到運動狀態下人體的呼吸速率和心率都高于日常情況,呼吸速率可以由12~18 次/min 增加到30~60 次/min;心跳速率則可以達到80~160 次/min.我們采用巴特沃斯濾波器,將帶通頻率范圍分別設置為0.2~1.2 Hz,1.0~3.0 Hz,實現對呼吸信號和心率信號的同步獲取.
為了進一步提高呼吸信號和心率信號的精度,我們在濾波的基礎上進行多信號分離. 常用的方法有短時傅里葉變換[30]以及經驗模態分解法[31]. 短時傅里葉變換通常在觀測數據比較長時效果較好. 然而,在運動間歇時間較短的情況中,如按照Keep 運動軟件的要求,運動間歇時間不應超過1 min.此時直接使用短時傅里葉變換分離出的體征信號誤差較大,我們將在5.3 節實驗部分進行討論. 而經驗模態分解法由于對IMF 的數量不能預先定義,當信號出現欠包絡或者過包絡時,容易出現模態混疊的現象,使得分離效果不佳.
與經驗模態分解中的遞歸分解模式不同,變分模態分解法[32]將信號的分解轉換為自適應分解模式,并且將本征模態分量看成具有中心頻率和有限帶寬的本征模態信號uk(t),不斷迭代更新信號,得到最終的IMF 分量.
為了得到一個模態信號uk(t)的帶寬,可以建立約束變分模型,如式(10)所示:
其中{uk(t)}表示變分模態分解的模態函數集合,{ωk}表示所有中心頻率的集合.
為了解決約束變分模型,建立增廣拉格朗日函數模型,引入二次懲罰因子和拉格朗日算子,如式(11)所示:
之后,我們通過算法2 中描述的交替方向乘子算法尋找增廣拉格朗日模型的鞍點,計算約束變分模型的最優解,從而得到分解后的IMF 分量.
獲得IMF 分量后,求各個分量與原始信號的相關系數,這里我們利用皮爾遜相關系數來計算,計算的如式(12)所示:
其中ρsign,im f代表原信號與IMF 分量信號的相關系數,Cov(sign,imf)代表原信號與IMF 分量信號之間的協方差,σsign,σimf分別代表原始信號與IMF 分量的標準差. 我們將相關系數最大的分量作為結果輸出.
利用變分模態分解算法能夠有效避免模態混疊現象,并且能夠獲得更加精細的結果. 具體步驟如算法2 所示.
算法2.基于變分模態分解的算法.

本節將介紹運動狀態識別和體征信息計算的具體實驗設置以及實驗效果評估.
本文的雷達硬件采用Texas Instruments 公司的商用毫米波雷達平臺. 該平臺主要由IWR6843ISK 毫米波雷達模塊、DCA1000EVM 數據采集模塊以及原始信號處理軟件模塊3 部分組成. 其中,IWR6843ISK 雷達組件包含3 根發射天線和4 根接收天線,發射信號的中心頻率為60 GHz,最高帶寬為4 GHz,采用鋸齒波調制;DCA1000EVM 數據采集模塊中數據通過LVDS 技術傳輸,并將數據以IQ 分量的形式儲存下來. 本次實驗中使用到的雷達參數如表1 所示.
將表1 中的參數代入式(5)(6),得到系統可探測到目標的最大距離約為5.6 m,距離分辨率為0.037 5 m;可以探測到的目標最大速度約為10 m/s,速度分辨率為0.077 m/s,基本能夠覆蓋人們日常居家鍛煉的各種場景.
實驗過程中,雷達模塊放置在距離地面約80 cm的桌面上,并且保證雷達模組中的天線垂直于地面,測試者距雷達的水平距離為1~2 m,并且正面朝向雷達進行各種運動,如圖7(a)所示. 雷達模組、DCA1000數據采集卡以及與計算機程序的連接情況如圖7(b)所示:雷達天線模組與DCA1000 數據采集卡通過60 pin串口相連,數據通過采集卡上的RJ45 網絡接口傳輸到計算機中的程序進行處理.

Fig. 7 Experimental scene and equipment introduction圖7 實驗場景與設備介紹
同時,為了獲取真實的呼吸速率數據和心率數據,在實驗過程中,被試者需要佩戴Polar H7 心率帶以及Vernier 呼吸測量胸帶,以采集標準體征數據.
在構建運動動作數據集時,首先我們根據Keep軟件中常見的居家客廳鍛煉課程[33],選取了具有代表性的6 個動作,分別是深蹲、開合跳、拳擊、波比、高抬腿、前后走. 每個動作的特征頻譜圖如圖8(a)~(f)所示,其中圖8(g)是非運動狀態下的頻譜圖. 同時,我們招募了身高區間在155~183 cm 的6 名志愿者,對每個運動動作以及非運動狀態分別采集5 次,每次30 s,共采集了6 300 s 的數據. 根據實驗結果,我們選擇滑動窗口值為3 s,滑動步長值為2 s,這樣,我們共采集到有效樣本2 940 個用于訓練,其中,70%的樣本用作訓練集,30%的樣本用作測試集.

Fig. 8 Feature spectrograms of various actions圖8 各類動作的特征頻譜圖
首先,為了確定滑動窗口值與步長值,我們設置了不同的組別,每個組由滑動窗口值與步長值通過連字符組合,分別為(2 s-1 s),(3 s-1 s), (3 s-2 s), (4 s-2 s),(4 s-3 s),(5 s-3 s)共6 組,并分別進行實驗;同時,為了確定分類網絡的選擇,我們也對幾種經典的CNN 圖像分類網絡進行了對比實驗,包括AlexNet,GoogleNet,ResNet-18 等網絡結構. 實驗結果如圖9所示.

Fig. 9 Accuracy results of different window-step values in CNN networks圖9 CNN 網絡不同窗口-步長值的準確率結果
結果顯示,當窗口-步長值設置為(3 s-2 s), (4 s-2 s)時,各網絡的綜合準確率都較高,最高值接近97%. 而窗口-步長值過小時,由于單個樣本包含的運動信息變少,因此使用這些數據訓練分類網絡時,分類準確率稍差一些. 然而當窗口-步長值增大至(5 s-3 s)時,準確率也會下降,主要是因為隨著窗口-步長值的增大,樣本數量會有所減少. 此外,當窗口-步長值設置為(3 s-2 s)時,其能夠包含大多數運動的信息,并且系統的監測時延會比(4 s-2 s)的小1 s 左右,這對于休息時間持續不長的運動場景來說尤為重要,因此我們最終選擇滑動窗口時間為3 s,滑動步長為2 s.
在網絡模型選擇方面,實驗表明,針對運動分類而言,ResNet-18 的準確率最高,達到96%以上,其次為GoogleNet,而AlexNet 的表現較差. 因此我們最終選擇ResNet-18 作為實驗分類器網絡.
之后,我們基于ResNet-18 以及(3 s-2 s)的滑動窗口-步長值,對運動狀態分類性能進行研究,得到混淆矩陣,如圖10 所示. 我們發現,模型能夠很好地區分運動狀態和非運動狀態,準確率達到100%. 在對不同類型的運動進行分類時,深蹲、開合跳、波比、前后走等動作均能夠達到100%的準確率,然而拳擊動作的分類效果較差,準確率僅為77.5%,主要是因為拳擊動作中全身移動較小,僅有雙臂的位移,因此在特征頻譜圖中不明顯,導致分類效果較差.

Fig. 10 Confusion matrix for motion type recognition圖10 運動類型識別的混淆矩陣
最后,通過比較相同條件下RadHAR 模型和m-Activity 模型的表現來研究本文方法的性能. 我們將相同的原始數據處理成點云圖,并且分別放入RadHAR 和m-Activity,通過離線分析得到這2 種方法的綜合準確率,如表2 所示. 不難發現,在大部分類型的動作識別中,本文方法均超過其他2 種基準算法,驗證了本文方法的準確性.

Table 2 Effect Comparison of Our Method, RadHAR and m-Activity表2 本文方法與RadHAR,m-Activity 的效果比較 %
綜上,本文模型能夠很好地完成運動狀態的識別,并且能夠較好地完成運動類型的分類識別,同時在分類表現上明顯優于基準算法.
當運動狀態識別模型判定人體處于非運動狀態時,體征監測模塊將從雷達信號中提取生命體征信息. 實驗中測試者站于雷達正前方,測試者允許有輕微的晃動和肢體動作,以模擬人們休息時的實際情況.
在信號的長度選擇上,考慮到運動過程中非運動狀態持續時間較短,因此算法的輸入序列應該盡可能短,但是需要包含整數倍呼吸速率和心律. 經過實驗,我們選擇時間點前后的時間間隔為5 s,共10 s的數據作為輸入序列,同時,由于人體呼吸速率和心率在10 s 內變化的幅度不大,因此我們將序列以5 s的間隔遞增,基本滿足日常運動中呼吸和心率監測的要求.
此外,為了進一步分離體征信號,消除諧波干擾,需要采用變分模態分解算法處理獲取到的信號,VMD 算法的具體參數選擇如表3 所示.

Table 3 Partial Parameters of VMD Algorithm表3 VMD 算法部分參數
設置好VMD 算法的參數后,我們以呼吸信號為例,將經過濾波處理的呼吸信號輸入經過變分模態分解算法的迭代分解,得到如表4 所示的結果.

Table 4 IMF Diagram Decomposed from VMD of Respiratory Signal表4 呼吸信號的VMD 分解后的IMF 圖
由于我們設置的分解模態數為3,因此經過VMD 算法處理后得到2 個模態分量以及1 個殘差,我們分別計算了呼吸信號和心跳信號經過VMD 算法后的各分量與原始信號的皮爾遜相關系數,如表5 所示. 我們發現,在該數據片段中,呼吸信號和心跳信號分離出的模態分量中均為IMF1 的相關系數最高,對應的呼吸頻率為0.4 Hz,即24 bmp; 心率為1.71 Hz,即102 bmp.這與我們采用標準設備測得的結果極為接近.

Table 5 Correlation Coefficient of Each IMF表5 各IMF 的相關系數
同時,我們模擬了在實際運動場景中的休息情況,在運動后采集了40 s 的非運動數據,并使用VMD算法進行呼吸速率和心率的計算,得到如圖11 所示的結果,也顯示出本文方法較高的準確率.

Fig. 11 Experimental results of respiration rate and heart rate detections based on VMD圖11 基于VMD 的呼吸速率和心率監測的實驗結果
同時,我們比較了VMD 算法、STFT 算法和EMD算法的分離效果,如表6 所示. 從表6 不難發現,在呼吸信號分離方面,這3 種算法的表現差不多,VMD 與EMD 略好一些;但是在心率信號分離方面,VMD 明顯優于其余2 個算法.

Table 6 MAD of Each Separation Algorithm表6 各分離算法的MAD
最后,將本文方法與傳統基于可穿戴設備以及基于WiFi 信號的體征監測方法ExRadio[31]進行了比較. 可穿戴設備包括心率胸帶和呼吸胸帶. ExRadio采用的設備包括IMX6Q 數據板以及Intel 5 300 網卡,該方法通過合并信道可以將環境中的絕大多數環境動態噪聲干擾消除,并且構建有線直連(wire direct connection, WDC)信道消除硬件噪聲,可以進一步提高呼吸速率的準確率.
我們在同一場景中分別使用2 種傳統方法以及本文的方法進行呼吸速率和心率的監測,被測對象分別在圖8 的6 種運動類型中進行運動,分別計算不同運動類型下的體征數據,結果以“心率|呼吸速率”的形式展示在表7 中. 以可穿戴設備的測量數據作為基準數據,結果顯示,使用毫米波雷達執行體征監測,結果明顯優于WiFi 設備,并且毫米波雷達可以監測WiFi 所無法監測的心率.

Table 7 Effect Comparison of Wearable Devices, WiFi and Millimeter Wave Radar表7 可穿戴設備、WiFi 與毫米波雷達效果比較 次/min
綜上,我們所采用的基于VMD 算法的體征信息監測模塊能夠較好地從原始信號中計算出呼吸速率和心率.
最后我們將在實際運動場景中檢驗系統整體的效果. 場景設置如下:人體站于雷達前方,每運動20 s后休息20 s 作為一組,分別使用6 種不同類型的運動連續進行6 組實驗. 與此同時,被試者依舊佩戴Polar H7 心率帶與Vernier 呼吸胸帶,并使用其測得的數據作為標準數據. 具體實驗設置如表8 所示.

Table 8 System Comprehensive Experiment Scenario Settings表8 系統綜合實驗場景設置
首先對獲取的數據進行處理,以2 s 的間隔共得到120 個時間點的數據,其中,運動類型識別正確的時間點個數為114,準確率高達95%. 在識別錯誤的6個時間點中,運動/非運動狀態識別錯誤的有2 個,運動狀態下運動類型識別錯誤的時間點有4 個. 總體而言,系統在監測運動狀態切換時的準確率和靈敏度都較高,對運動類型的識別準確率也較高. 而呼吸速率的監測值以及心率監測值如表9 所示.

Table 9 Real Values and Detection Values of Vital Sign with Each Motion Status表9 各運動狀態的體征信息真實值與監測值 bpm
首先,心率監測與呼吸監測的均方誤差(MSE)分別為16.5 與3.3,基本達到了5.4 節中描述的準確率. 另外,我們對不同類型的運動進行分析,發現開合跳以及波比跳這類重心移動較大的動作對心率的刺激較大,相對訓練效果較好;其次是深蹲、高抬腿、拳擊等動作;而前后走相對較輕松,對于心臟的刺激也較小. 不同類型的動作對呼吸方面的影響都不大.
本文通過理論分析以及大量實驗數據分析,驗證了利用運動狀態監測模塊對運動狀態下的人體進行體征信號監測的有效性及準確性. 根據運動場景下的特點,提出使用滑動窗口采樣法完成數據采樣,保證了運動狀態識別的高準確性以及低時延,并選取了ResNet-18 網絡作為分類器的網絡結構,實現了較高的動作分類準確率. 此外,采用VMD 算法對非運動狀態下的相位信號進行分析,有效提取出呼吸速率和心率,并將之與真實值之間的均方誤差計算,驗證了本文方法的準確性. 最后,將ResNet-18 網絡和VMD 算法這2 個模塊相結合,可以用于進一步實現不同類型運動效果的評價. 通過實驗,我們從運動狀態識別以及體征信號提取這2 方面驗證了本文方法的有效性. 因此,本文方法對于基于體征雷達設備實現非接觸非穩態場景中的生命體征信號具有較強的應用價值.
目前的研究主要針對單人運動場景展開. 在未來的工作中,我們將繼續針對多人運動場景展開研究,并嘗試利用毫米波雷達實現具有身份信息的體征監測,以進一步提高數據的有效性.
作者貢獻聲明:邱杰凡提出了論文的思路并修改和審核論文;徐一帆負責設計實驗方案、完成實驗并撰寫論文;徐瑞吉協助完成部分實驗;周棟利負責前期的調研工作;池凱凱提出方法的指導意見.