基于FMCW雷達的人體復雜動作識別

丁晨旭,張遠輝,孫哲濤,劉 康

(中國計量大學,浙江杭州 310018)

0 引言

近些年來，隨著無人駕駛領域的興起，毫米波雷達相關技術也隨之飛速發展，其中77 GHz FMCW雷達更是成為了業界的主流。由于毫米波雷達具有高探測精度等特點，使得其在除輔助駕駛之外，還能應用于人體動作識別領域。相比于利用攝像機來進行人體動作識別，毫米波雷達不僅具有不受視距和光線影響等特點，還能在很大程度上保護用戶的個人隱私[1]。

利用毫米波雷達來進行人體動作檢測的關鍵在于從雷達采樣數據中處理得到微多普勒特征。針對利用微多普勒特征來進行動作識別，國內外相關研究者作了許多研究。已有研究者[2]將人體動作雷達采樣數據通過短時傅里葉變換后，直觀地從微多普勒譜圖中提取相關標量指標來作為特征，但其提取的特征主觀性太強，不適合部分復雜動作檢測。文獻[3]將頻譜質心、帶寬、頻譜圖的熵、SVD分解后所求得的統計量作為特征來進行動作識別，但其經分類器分類后的識別準確率不高。也有研究者[4]從微多普勒譜圖的3D圖形著手，使用點描述算法來得到一些譜圖三維形狀的標量屬性，以此作為特征。其算法較為復雜，且提取的特征不夠直觀。將深度學習和人體動作微多普勒譜圖相聯系來進行研究[5]也是當前比較流行的一種方式，盡管其分類準確率高，但對大量訓練數據集的要求及對計算機的性能需求也不容小覷。

針對上述問題，提出一種基于77 GHz FMCW雷達的人體復雜動作識別方案。首先，基于FMCW信號模型采用一種以RDM(Range Doppler Map)向速度維投影的方式，逐幀構建微多普勒譜圖。再結合雷達實測數據深入分析，并從各類動作產生的微多普勒譜圖中提取用于表征整個動作頻譜相關信息的特征矢量。最后，利用經貝葉斯超參數優化后的支持向量機來進行分類驗證，并篩選得到最優的特征矢量組合。實驗結果表明，從動作譜圖中所提取的各個特征矢量對人體動作的正確分類有很大的貢獻，經篩選得到的最優特征矢量組合能在最大程度上提高分類準確率。

1 FMCW信號模型及建立微多普勒譜圖

1.1 FMCW信號模型

FMCW雷達采用連續波體制，擁有較大的帶寬、幾乎不存在測距盲區、高距離分辨率以及低發射功率等特點，完全可應用于近距離檢測人體動作實驗。假設其發射鋸齒形線性調頻連續波，其發射信號[6]可表示為

(1)

式中，AT表示發射功率，fc表示Chirp的起始頻率，B表示Chirp的帶寬，Tc表示Chirp的持續時間，φ(t)表示相位噪音。

相應地，雷達將接收到該延時的，且經縮放后的發射信號，即回波信號，其公式為

(2)

式中，td=2R(t)/c，用以表示信號在與距離雷達R(t)處的目標之間的往返時間，α則與回波損耗有關。將如上xT(t)及xR(t)混頻后再結合I/Q信號分析，其差拍信號可近似表示為

y(t)=ARej(2πfbt+φb(t)+Δφ(t))

(3)

此處差頻fb=2BR(t)/(cTc)，AR表示接收功率，相位φb(t)=2πfctd+πBtd2/Tc。在近距離檢測人體動作的實驗中，上述的殘留相位噪音 Δφ(t)可近似忽略。相應地，φb中的πBtd2/Tc項由于在實際狀況下很小，亦可將其忽略。

綜上，最后可將該差拍信號描述為雷達采樣數據矩陣的形式:

(4)

式中，n表示快時間采樣軸上對應的標號，m表示慢時間采樣軸上對應的標號，Tf表示快時間采樣軸上的ADC采樣時間間隔，Ts表示慢時間采樣軸上的采樣時間間隔。

1.2 構建微多普勒譜圖

針對上文所描述的雷達采樣數據矩陣Y，包含該FMCW雷達于單幀狀況下的所有采樣數據?，F對其于快時間維上的所有列數據加上漢寧窗，執行Range FFT[7]，繼而在慢時間維上的所有行數據加上漢寧窗后執行Doppler FFT并將零頻分量搬至頻譜中心，從而得到相應的RDM(Range Doppler Map)，該RDM可直觀地描述對應幀下所有人體散射點的距離、速度相關信息。此處用RD(i,j,t)來表示在t幀下位于RDM中第ith距離門、jth速度門下的信號功率值。

本文僅針對單個人體目標進行研究，將所得每幀下的RDM向距離維投影并按列逐幀積累，可得到單目標運動軌跡圖，如圖1所示。橫軸表示對應的幀標號，縱軸表示其距離門標號對應的目標距離雷達的徑向距離。其計算公式為

(5)

從單目標運動軌跡圖中可得到其目標在運動中距離雷達的最小/最大徑向距離所對應的距離門標號，此處記為imin及imax。據此提取目標運動范圍內的RDM，并進一步將提取的RDM向速度維投影并按列逐幀積累，則可得到目標運動產生的微多普勒譜圖,如圖2所示。橫軸代表對應的幀號，縱軸表示其速度門標號對應的速度值，正值表示遠離雷達，負值表示接近雷達。其具體公式為

(6)

圖1 單目標運動軌跡示意圖

圖2 微多普勒譜圖示意圖

從FMCW雷達收發信號到微多普勒譜圖的構建的整個流程圖如圖3所示。

圖3 微多普勒譜圖構建流程

2 微多普勒特征矢量提取

引入公式v=λ/(2MTc)×j，其中v表示速度門標號j對應的實際速度值，λ表示雷達工作頻率對應的波長，M表示單幀下的Chirp總數，Tc表示發送的相鄰Chirp間的時間差。由此可將公式(6)中的DP(t,j)轉變為DP(t,v)，以便于后續描述。

2.1 軀干微多普勒特征矢量

從圖2中的微多普勒譜圖示意圖中觀測可得，零速度層附近顏色較深的曲線，可表征為軀干微多普勒曲線。本文用速度質心[8]序列來近似描述該軀干微多普勒曲線vtorso(t)，將該序列作為從譜圖中所提取的軀干微多普勒特征矢量，其公式為

(7)

2.2 肢體微多普勒特征矢量

相應地，可觀察到譜圖中，許多速度分量基于軀干微多普勒曲線向四周延伸，可表征為肢體微多普勒曲線。本文提出如下公式來近似描述該肢體微多普勒曲線vlimb(t)，將該序列作為從譜圖中所提取的肢體微多普勒特征矢量:

t=1,2,…,T

(8)

2.3 微多普勒譜圖SVD分解

對微多普勒譜圖運用SVD分解[9]，可將其譜圖中包含的人體動作頻率相關信息、時間相關信息解耦并投影到左右奇異矢量上，使對應的左奇異矢量表示頻率相關抽象信息，而右奇異矢量表示時間相關抽象信息。其分解公式為

DP=USVT

(9)

式中，U代表左奇異矩陣，S代表奇異值對角矩陣，V代表右奇異矩陣。

本文選取U矩陣和V矩陣中的前三個奇異矢量來作為從微多普勒譜圖中所提取的用于表述時間、頻率相關抽象信息的特征矢量，將這些特征矢量分別記為U1，U2，U3，V1，V2，V3。

3 實驗結果與分析

3.1 信號采集與處理

實驗中用于進行人體動作信號采集的設備為Texas Instruments公司所研發的AWR1642BOOST雷達傳感器模塊以及DCA1000EVM數據采集適配器模塊。設定該雷達傳感器的工作起始頻率為77 GHz、帶寬為4 GHz，單位Chirp下的采樣數為256，單位幀下的Chirp數為128，幀周期為30 ms，每個動作下捕獲150幀數據。于該配置下，速度分辨率為0.071 m/s，最大無模糊速度可達±4.564 m/s，每次固定采集數據時長為4.5 s。

本次實驗于室內進行，在雷達的扇形掃射面內除測試者外無其他運動目標。將雷達置于距離地面0.8 m的桌面上，且測試者在雷達正前方1.5～4.0 m范圍內執行動作。共有12名志愿者參與本次數據采集，測試者中身高跨度為1.53～1.85 m，體重跨度為41～83 kg，年齡均在23歲左右。實驗過程中共采集了9類動作，測試者將每類動作各重復執行8次，則一共測得864組數據。將所采集的數據通過圖3所示過程構建微多普勒譜圖，此處為了消除信號在幅值上的敏感性，將微多普勒譜圖中所有點的幅值都映射至[1,100]，且最終得到的所有數據樣本大小均為101×150。如圖4所示，為實驗中的9種動作描述。對所采集的數據進行處理后，各動作對應的微多普勒譜圖如圖5所示。

3.2 特征矢量提取

圖5所示的人體動作微多普勒譜圖形態會由于測試者的性別、身高、健康狀態等因素而存在少許差異，但這并不會改變其整體的走向，故所提取的微多普勒特征矢量將能很好地表述一個動作的發生。

圖4 9種實測人體動作描述

圖5 9種實測人體動作微多普勒譜圖

此處取圖5(a)所示的來回行走微多普勒譜圖作為示例來闡述從中提取的特征矢量，結果如圖6所示。

圖6 人體動作微多普勒特征矢量描述示意圖

圖6(a)表示所示例的來回行走微多普勒譜圖，根據公式(7)從該微多普勒譜圖中提取軀干微多普勒特征矢量，其表述的曲線如圖6(b)所示。同理，根據公式(8)從譜圖中提取肢體微多普勒特征矢量，其表述的曲線如圖6(c)所示。將微多普勒譜圖經公式(9)所表述方式分解為U、S、V矩陣，取U、V矩陣前三個奇異矢量及S矩陣前三個奇異值來重構微多普勒譜圖，所得到的重構譜圖如圖6(d)所示，不難看出，U、V矩陣前三個奇異矢量實則包含了大量譜圖中的時間、頻率相關信息，已基本上可以用來表征原始的微多普勒譜圖。

綜上，結合實驗中所配置的雷達參數，可以得到各特征矢量的長度，如表1所述。

表1 所提取的特征矢量長度描述

3.3 利用支持向量機進行分類

3.3.1 數據集劃分及分類策略擬定

將實驗所測得的所有動作數據樣本通過處理得到微多普勒譜圖，并在此基礎上提取特征矢量后，按如下兩種方式劃分為訓練集和測試集：

1) 方案1：描述對已知個體的預測性能。將各個測試者所執行的每類動作中的隨機6組數據樣本作為訓練集，剩余2組數據樣本作為測試集。

2) 方案2：描述對未知個體的預測性能。將隨機9個測試者所執行的所有動作數據樣本作為訓練集，剩余3個測試者所執行的所有動作數據樣本作為測試集。

支持向量機(SVM)是建立在統計學習理論基礎上一種機器學習方法，在訓練集樣本較少的情況下也能進行良好的統計和預測學習。其中，針對核函數的選取不同，其分類的性能也會發生較大的差異。

針對利用SVM進行如上9類動作的分類問題，采用高斯徑向基核函數，構建9個二分類器，將各個分類器所對應的動作類別設置為正類，而其他8種動作類別則設置為負類，最終將置信度最大的類別判決為最終分類結果。為了進一步提升SVM分類性能，本文采用貝葉斯超參數調整[10]來選擇最優框約束參數和核尺度參數。貝葉斯超參數調整基于目標函數的歷史評估結果來建立新的概率模型，用以將目標函數值最小化，此處的目標函數即為所構建的SVM模型在調用當前調試的超參數下的五折交叉驗證損失。

3.3.2 特征矢量篩選

從微多普勒譜圖中所提取的8種特征矢量，均能從各個方面來表述譜圖相關信息，對動作分類都能發揮一定的作用。然而，直接將每個樣本所提取的8種特征矢量進行組合作為輸入來訓練SVM，則會產生以下結果：1) 8種特征矢量組合最終產生的向量維數過高，降低運算效率。2) 8種特征矢量中必定存在冗余特征矢量，這將產生過擬合現象，降低模型的泛化性能。

綜上，分別研究將單個特征矢量作為分類器輸入時以及將各特征矢量進行組合來作為分類器輸入時對總體分類準確率的影響。如圖7(a)所示，描述了數據集在如上兩種不同劃分方案下各單特征矢量與總體樣本分類準確率之間的關系。圖7(b)描述了8種特征矢量的247種組合與總體樣本分類準確率之間的關系。輸出結果表明，特征矢量vtorso、U1、U2對各動作的正確分類具有較大的貢獻，而剩余5個特征矢量所作出的貢獻相對較低，特別是V2、V3特征矢量可能對動作正確分類所起到的作用不大。分析圖7(b)所示的特征矢量組合結果可得，不論是以方案1還是方案2方式對數據集進行劃分，均在第29個組合位置處產生最高總體準確率，該組合下的特征矢量分別為軀干微多普勒特征矢量vtorso、肢體微多普勒特征矢量vlimb、U1特征矢量。值得一提的是，從該圖中可以看到總體分類準確率隨組合標號呈現類似周期性的波動，其產生的原因是：組合中包含U1特征矢量時將處于峰值位置，組合中包含V3特征矢量時將處于谷值位置。此處結合圖7(a)綜合分析可得，單特征矢量分類狀況下相對較差的特征矢量在與其他特征矢量進行組合時，可提高總體分類準確率。

(a) 單特征矢量與總體分類準確率關系直方圖

(b) 各特征矢量組合與總體分類準確率關系圖 圖7 單特征矢量及各特征矢量組合總體分類 準確率相關圖

3.3.3 人體動作識別結果

基于上述的特征矢量篩選，已取得優異的特征矢量組合，即軀干微多普勒特征矢量vtorso、肢體微多普勒特征矢量vlimb、U1特征矢量組合。現針對上述的數據集劃分方案1及方案2，利用該優異特征矢量組合，來進行對測試集中的各數據樣本進行識別測試。圖8(a)表示根據方案1的數據集劃分方式所得到的各動作混淆矩陣圖。圖8(b)則是根據方案2的數據集劃分方式得到的結果。各混淆矩陣縱軸表示如圖4所描述的各類動作的真實歸屬類別，橫軸表示各動作的預測類別，矩陣中的值表示將真實類別判定為對應預測類別的百分比，例如0.96則代表96%。結果表明，對已知個體的各動作識別總體準確率高達99.07%，對未知個體的各動作識別總體準確率為96.76%。且除向前跳躍和鞠躬動作外，其他動作的分類準確率均為100%，說明本文方法不管對已知個體還是未知個體的動作都能有較好的識別準確性。

(a) 對已知個體的各動作識別混淆矩陣

(b) 對未知個體的各動作識別混淆矩陣圖8 兩種數據集劃分方案下的混淆矩陣圖

3.3.4 算法比對

為了檢驗本文所提出的基于譜圖特征矢量的動作分類方法是否優于其他方案，則與英國格拉斯哥大學最新提出的用于檢測動作發生的雷達微多普勒標量特征組合方案[11]進行比對。具體對比方式為：在本文實測數據集處理得到的微多普勒譜圖中復現并提取該文獻所提出的20個微多普勒標量特征，分類策略同本文一致。所得的對比結果如表2所述。

表2 基于本文算法與文獻算法的各動作準確率比對表

對實驗結果進行對比分析，可知不管是方案1還是方案2的數據集劃分方式，本文算法在對各種動作進行分類上準確率更高，能更好地從人體動作微多普勒譜圖中提取出本質特征。

4 結束語

本文提出一種基于77 GHz FMCW雷達的人體復雜動作識別方案。該方案從各個動作產生的微多普勒譜圖中提取相應的軀干微多普勒特征矢量、肢體微多普勒特征矢量，以及經SVD分解后的用于表征譜圖時間、頻率相關信息的6個特征矢量，繼而通過比對各種特征矢量組合經SVM分類后所得的準確率，甄選出最好的一組特征矢量組合。實驗結果表明，從譜圖中所提取的特征矢量都能較好地表述一個動作的發生，且最后所篩選出來的特征矢量組合(vtorso、vlimb、U1)能最大程度上對各類動作進行正確分類，其中對已知個體的各動作識別總體準確率高達99.07%，對未知個體的各動作識別總體準確率為96.76%，并將其與其他文獻方案進行了對比分析，證明了本文方案的有效性。