基于雙流特征融合的FMCW雷達(dá)人體連續(xù)動(dòng)作識(shí)別

屈樂(lè)樂(lè)， 張丁元， 楊天虹， 張麗麗， 孫延鵬

(沈陽(yáng)航空航天大學(xué)電子信息工程學(xué)院， 遼寧沈陽(yáng) 110136)

0 引言

目前人體動(dòng)作識(shí)別技術(shù)應(yīng)用范圍日漸廣泛，在醫(yī)療探測(cè)、安保防護(hù)、智能家居等方面都有廣泛的應(yīng)用空間，但目前識(shí)別技術(shù)大多數(shù)依賴(lài)于接觸式傳感器或光學(xué)傳感器實(shí)現(xiàn)。其中接觸式傳感器因需要被監(jiān)測(cè)者佩戴所以對(duì)其活動(dòng)空間產(chǎn)生一定的束縛，而光學(xué)傳感器因?qū)χ車(chē)h(huán)境光線(xiàn)條件有較高要求通常難以實(shí)現(xiàn)全天候工作，同時(shí)由于需要在終端采集用戶(hù)與生活環(huán)境的圖像或視頻，這對(duì)被檢測(cè)者隱私容易造成泄露。雷達(dá)因其自身特性可避免以上缺點(diǎn)，近年來(lái)被廣泛應(yīng)用于人體動(dòng)作識(shí)別領(lǐng)域的研究工作。基于雷達(dá)的人體動(dòng)作識(shí)別方法主要采用連續(xù)波多普勒雷達(dá)、超寬帶脈沖雷達(dá)與調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave, FMCW)雷達(dá)三種雷達(dá)體制。相比于其他兩種，F(xiàn)MCW雷達(dá)具有成本低、距離分辨率與速度分辨率更高、抗干擾能力強(qiáng)等優(yōu)勢(shì)。

目前在基于FMCW雷達(dá)的人體動(dòng)作識(shí)別工作中，微多普勒特征因其對(duì)不同目標(biāo)動(dòng)作的高區(qū)分度特性被應(yīng)用于人體動(dòng)作識(shí)別。在文獻(xiàn)[7]中研究者對(duì)微多普勒時(shí)頻譜圖進(jìn)行分解得到對(duì)應(yīng)軀干和肢體的等8種特征矢量并采用支持向量機(jī)對(duì)不同動(dòng)作進(jìn)行識(shí)別。文獻(xiàn)[8]通過(guò)提取FMCW雷達(dá)回波信號(hào)中的微多普勒信息并與其他接觸式傳感器信號(hào)進(jìn)行融合實(shí)現(xiàn)對(duì)人體活動(dòng)進(jìn)行分類(lèi)。也有研究者通過(guò)利用雷達(dá)的多個(gè)維度特征進(jìn)行人體動(dòng)作識(shí)別，文獻(xiàn)[9]將時(shí)頻譜圖有效面積的頻率上下限、功率密度及能量上下包絡(luò)和距離多普勒軌跡作為聯(lián)合特征對(duì)危險(xiǎn)駕駛行為進(jìn)行監(jiān)測(cè)。文獻(xiàn)[10]提出分別從微多普勒時(shí)頻譜圖中選取頻率間隙和從距離多普勒?qǐng)D中選取高功率區(qū)域的橫縱寬度比值組成聯(lián)合特征作為人體不同步態(tài)的識(shí)別依據(jù)。文獻(xiàn)[11]基于卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)提取固定幀時(shí)間長(zhǎng)度拼接的距離-多普勒-時(shí)間圖特征進(jìn)行手勢(shì)動(dòng)作識(shí)別。

以上的動(dòng)作識(shí)別工作都是針對(duì)離散化人體動(dòng)作進(jìn)行，而現(xiàn)實(shí)中人體動(dòng)作往往為連續(xù)式產(chǎn)生，因此單一的離散化人體動(dòng)作識(shí)別方法難以用到實(shí)際應(yīng)用中，對(duì)此有研究者提出了連續(xù)人體動(dòng)作識(shí)別方法。文獻(xiàn)[12]對(duì)回波信號(hào)進(jìn)行預(yù)處理后提取其微多普勒特征，并采用支持向量機(jī)進(jìn)行分類(lèi)，但機(jī)器學(xué)習(xí)分類(lèi)器普遍無(wú)法利用一組連續(xù)動(dòng)作中不同動(dòng)作的前后相關(guān)性進(jìn)行類(lèi)別判斷，因此識(shí)別準(zhǔn)確率不高。文獻(xiàn)[13-16]引入長(zhǎng)短期記憶網(wǎng)絡(luò)作為分類(lèi)器對(duì)連續(xù)人體動(dòng)作進(jìn)行識(shí)別，其中文獻(xiàn)[13]提出分別采用微多普勒特征與距離時(shí)間特征作為識(shí)別依據(jù)并對(duì)識(shí)別結(jié)果進(jìn)行對(duì)比，文獻(xiàn)[14]將雷達(dá)數(shù)據(jù)與接觸式傳感器數(shù)據(jù)進(jìn)行特征融合得到最后識(shí)別結(jié)果，文獻(xiàn)[15-16]采用連續(xù)動(dòng)作的微多普勒特征作為識(shí)別依據(jù)，分別搭建雙層長(zhǎng)短期記憶網(wǎng)絡(luò)與雙層門(mén)控循環(huán)單元作為分類(lèi)器進(jìn)行識(shí)別，但文獻(xiàn)[15-16]將不同的離散化動(dòng)作回波信號(hào)直接拼接得到模擬的連續(xù)動(dòng)作回波信號(hào)，這種模擬的連續(xù)動(dòng)作數(shù)據(jù)并不能體現(xiàn)人體在不同動(dòng)作之間的轉(zhuǎn)換過(guò)程，因此與真實(shí)的人體連續(xù)動(dòng)作數(shù)據(jù)還存在一定差異，并且只根據(jù)微多普勒時(shí)頻譜圖提取動(dòng)作對(duì)應(yīng)特征作為網(wǎng)絡(luò)輸入特征維度較為單一，動(dòng)作識(shí)別準(zhǔn)確率不高。

針對(duì)上述問(wèn)題，本文提出一種基于雙流特征融合的人體連續(xù)動(dòng)作識(shí)別方法。首先對(duì)采集的回波信號(hào)進(jìn)行預(yù)處理得到距離時(shí)間圖與微多普勒時(shí)頻譜圖。之后采用主成分分析法(Principal Component Analysis, PCA)對(duì)各個(gè)時(shí)間段的距離時(shí)間圖與微多普勒時(shí)頻譜圖進(jìn)行特征提取得到兩組特征向量再將兩組特征向量進(jìn)行并聯(lián)融合。最后將融合后得到的雙流融合特征輸入到雙向長(zhǎng)短期記憶(Bidirectional Long Short-Term Memory，Bi-LSTM) 網(wǎng)絡(luò)中訓(xùn)練并得到識(shí)別結(jié)果。

1 連續(xù)人體動(dòng)作識(shí)別

本文提出的連續(xù)人體動(dòng)作識(shí)別方法主要流程包含回波信號(hào)預(yù)處理，特征提取與特征融合，Bi-LSTM網(wǎng)絡(luò)訓(xùn)練與測(cè)試。所提人體動(dòng)作識(shí)別方法的整體流程圖如圖1所示。

圖1 連續(xù)人體動(dòng)作識(shí)別方法整體流程圖

1.1 回波信號(hào)預(yù)處理

在回波信號(hào)預(yù)處理階段，需要將調(diào)頻連續(xù)波雷達(dá)回波信號(hào)表示為二維矩陣(,)，其中=0,1,…,-1，=0,1,…,-1，和分別是雷達(dá)在一個(gè)調(diào)頻周期內(nèi)的采樣點(diǎn)數(shù)和總的調(diào)頻周期個(gè)數(shù)。對(duì)矩陣(,)的每一列進(jìn)行離散傅里葉變換(Discrete Fourier Transform, DFT)得到

(1)

式中變量=0,1,…,-1包含探測(cè)目標(biāo)距離雷達(dá)天線(xiàn)的距離信息。FMCW雷達(dá)距離分辨率Δ為

(2)

式中，為FMCW雷達(dá)的信號(hào)帶寬，為電磁波在空氣中的傳播速度。根據(jù)式(1)得到的距離時(shí)間圖對(duì)感興趣的距離單元信號(hào)進(jìn)行相干疊加得到

(3)

式中與為目標(biāo)所在距離單元的最小值與最大值。實(shí)驗(yàn)時(shí)人體目標(biāo)距離雷達(dá)的距離范圍為1.5～4.5 m, K波段雷達(dá)回波信號(hào)距離分辨率為0.075 m，因此與取值分別為20與60。之后對(duì)()進(jìn)行短時(shí)傅里葉變換(Short-Time Fourier Transform, STFT)得到

(4)

式中()為漢明窗函數(shù)，為窗函數(shù)移動(dòng)的索引值，窗函數(shù)每次移動(dòng)時(shí)的重疊率為95%。最后根據(jù)(,)可以得到每個(gè)時(shí)間段內(nèi)對(duì)應(yīng)動(dòng)作的微多普勒時(shí)頻譜圖。

1.2 主成分分析

通過(guò)回波預(yù)處理得到連續(xù)人體動(dòng)作回波的距離時(shí)間圖與微多普勒時(shí)頻譜圖后，采用PCA進(jìn)行降維提取特征，具體計(jì)算過(guò)程如下：

3) 對(duì)協(xié)方差矩陣進(jìn)行特征分解，得到特征值與投影特征向量；

4) 對(duì)特征值從大到小排序，選取其中累計(jì)貢獻(xiàn)率達(dá)到95%的前個(gè)特征值將其所對(duì)應(yīng)的投影特征向量以列向量形式排列到一個(gè)矩陣中；

需指出的是在降維過(guò)程中需要保證對(duì)所用動(dòng)作的同一維度圖同時(shí)進(jìn)行PCA，即保證所有動(dòng)作的特征投影到的主成分維度必須一樣。將動(dòng)作的距離時(shí)間圖與微多普勒特征譜圖分別進(jìn)行PCA后選取前800個(gè)主成分作為主成分分析結(jié)果，之后將同一時(shí)刻動(dòng)作的距離時(shí)間特征與微多普勒特征主成分分析結(jié)果并聯(lián)融合得到該時(shí)刻的雙流融合特征。

1.3 Bi-LSTM網(wǎng)絡(luò)

本文搭建了兩個(gè)Bi-LSTM網(wǎng)絡(luò)框架，結(jié)構(gòu)圖分別如圖2(a)與(b)所示，網(wǎng)絡(luò)中各層尺寸大小見(jiàn)表1。圖2(a)為單層Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖，網(wǎng)絡(luò)包含一個(gè)輸入層、一個(gè)Bi-LSTM層、一個(gè)全連接層與一個(gè)softmax輸出層，其中輸入層大小因需與主成分分析結(jié)果一致設(shè)置為800，Bi-LSTM層尺寸設(shè)置為2 400，表示該層含有2 400個(gè)循環(huán)單元，全連接層輸出大小為6，可以實(shí)現(xiàn)6分類(lèi)。圖2(b)所表示的雙層Bi-LSTM網(wǎng)絡(luò)在單層Bi-LSTM網(wǎng)絡(luò)基礎(chǔ)上添加了一個(gè)相同尺寸的Bi-LSTM層。首先將每個(gè)時(shí)刻動(dòng)作對(duì)應(yīng)的雙流融合特征按時(shí)間順序通過(guò)輸入層輸入到網(wǎng)絡(luò)中，而后經(jīng)過(guò)Bi-LSTM網(wǎng)絡(luò)層得到時(shí)序特征，之后連接全連接與softmax分類(lèi)器對(duì)輸入特征進(jìn)行類(lèi)別判斷，并在最后輸出結(jié)果。網(wǎng)絡(luò)所用損失函數(shù)為交叉熵?fù)p失函數(shù)，在梯度優(yōu)化方面采用Adam算法。Bi-LSTM網(wǎng)絡(luò)內(nèi)部層結(jié)構(gòu)圖如圖3(a)所示，在Bi-LSTM網(wǎng)絡(luò)層中包含兩個(gè)雙向的LSTM層，每個(gè)輸入單元對(duì)應(yīng)兩個(gè)隱藏狀態(tài)信息，分別為()與()。其中()為從左向右的隱藏層結(jié)構(gòu)，()為從右向左的隱藏層結(jié)構(gòu)。因此Bi-LSTM網(wǎng)絡(luò)可以捕獲對(duì)于當(dāng)前特定身體動(dòng)作的前向與后向特征。當(dāng)人類(lèi)在連續(xù)活動(dòng)狀態(tài)時(shí)，前后動(dòng)作在順序上的相關(guān)性有著緊密的聯(lián)系，例如當(dāng)人坐下之后就不會(huì)發(fā)生行走或跳躍等在站立條件下才能進(jìn)行的動(dòng)作，但可能會(huì)發(fā)生喝水、起立等動(dòng)作或靜止無(wú)動(dòng)作。一般的機(jī)器學(xué)習(xí)用作分類(lèi)器只會(huì)局限于利用當(dāng)前動(dòng)作本身的特征而無(wú)法利用人體動(dòng)作的順序相關(guān)性進(jìn)行識(shí)別，而長(zhǎng)短期記憶網(wǎng)絡(luò)因其自身特性可以有效地利用當(dāng)前動(dòng)作的前向特征作為識(shí)別依據(jù)，在此基礎(chǔ)上采用Bi-LSTM網(wǎng)絡(luò)作為分類(lèi)器可以更好地捕捉動(dòng)作前向與后向特征對(duì)連續(xù)動(dòng)作進(jìn)行識(shí)別。

(a) 單層Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

(a) Bi-LSTM網(wǎng)絡(luò)層結(jié)構(gòu)圖 (b) LSTM單元模型圖圖3 Bi-LSTM內(nèi)部結(jié)構(gòu)圖

表1 網(wǎng)絡(luò)各層尺寸大小

通過(guò)圖3(a)可以看出,Bi-LSTM網(wǎng)絡(luò)每個(gè)層的基本框架是LSTM單元，其內(nèi)部結(jié)構(gòu)如圖3(b)所示。在一個(gè)LSTM單元內(nèi)包含3個(gè)門(mén)，分別是遺忘門(mén)、輸入門(mén)與輸出門(mén)。其中遺忘門(mén)為數(shù)據(jù)進(jìn)入LSTM 單元的第一步，決定該LSTM單元內(nèi)丟棄什么信息，當(dāng)前單元的輸入序列與上一個(gè)單元的隱藏狀態(tài)(-1)作為它的輸入，通過(guò)激活函數(shù)得到遺忘門(mén)輸出，數(shù)學(xué)表達(dá)式如下：

=((-1)++)

(5)

式中()=(1+e-)，和為遺忘門(mén)加權(quán)系數(shù)，為遺忘門(mén)偏置。之后的輸入門(mén)決定該LSTM單元記住的信息。數(shù)學(xué)表達(dá)式如下：

=((-1)++)

(6)

=tanh((-1)++)

(7)

式中，，和為加權(quán)系數(shù)，和為偏置，和分別是輸入門(mén)兩個(gè)輸出。下一步對(duì)LSTM的細(xì)胞狀態(tài)()更新：

()=(-1)?+?

(8)

式中(-1)為上一個(gè)單元的細(xì)胞狀態(tài)，，與分別為上述計(jì)算的遺忘門(mén)與輸入門(mén)的結(jié)果。單元內(nèi)的輸出門(mén)負(fù)責(zé)決定該單元需要輸出給下一個(gè)單元的隱藏狀態(tài)信息()，計(jì)算公式如下所示：

=((-1)++)

(9)

()=tanh(())?

(10)

因此可得()公式表示如下：

退休安置指符合退休條件的煤礦職工依法辦理退休手續(xù)。內(nèi)部退養(yǎng)是指截至2017年12月31日，距法定退休年齡（含特殊工種退休年齡）5年以?xún)?nèi)且養(yǎng)老保險(xiǎn)繳費(fèi)年限滿(mǎn)15年的（含退養(yǎng)結(jié)束時(shí)滿(mǎn)15年）職工自愿申請(qǐng)，企業(yè)同意，雙方簽訂內(nèi)部退養(yǎng)協(xié)議。分流安置是指總公司下屬子公司或分支機(jī)構(gòu)，根據(jù)需求提供工作崗位，員工自愿申請(qǐng)選擇競(jìng)崗，被用工單位錄用的員工，其工作年限連續(xù)計(jì)算，不給予經(jīng)濟(jì)補(bǔ)償。解除（終止）勞動(dòng)合同是指公司根據(jù)相關(guān)法律、法規(guī)的規(guī)定，與職工解除勞動(dòng)關(guān)系，企業(yè)依法支付經(jīng)濟(jì)補(bǔ)償③。

()=((-1)++)

(11)

同理亦可得()公式為

()=((-1)++)

(12)

根據(jù)()與()可得當(dāng)前時(shí)刻的隱藏狀態(tài)信息也是下一層網(wǎng)絡(luò)的輸入。

=()+()+

(13)

2 實(shí)測(cè)數(shù)據(jù)結(jié)果分析

2.1 實(shí)驗(yàn)場(chǎng)景

實(shí)驗(yàn)采用K波段FMCW雷達(dá)對(duì)人體所作不同動(dòng)作回波信號(hào)進(jìn)行采集，雷達(dá)具體參數(shù)如表2所示，基帶采樣數(shù)據(jù)傳輸?shù)接?jì)算機(jī)中采用MATLAB 2020a進(jìn)行數(shù)據(jù)處理和Bi-LSTM網(wǎng)絡(luò)訓(xùn)練及測(cè)試。實(shí)驗(yàn)選定在實(shí)驗(yàn)室環(huán)境中對(duì)3男1女共4人進(jìn)行數(shù)據(jù)采集,實(shí)驗(yàn)場(chǎng)景如圖4所示，每次采集過(guò)程中探測(cè)目標(biāo)為一人。觀(guān)測(cè)目標(biāo)對(duì)象從距離雷達(dá)3 m處開(kāi)始活動(dòng)，當(dāng)雷達(dá)開(kāi)始工作時(shí)，目標(biāo)對(duì)象會(huì)按照隨機(jī)順序一次性做完彎腰拾東西、坐下、站起、跳躍與舉杯喝水這五種動(dòng)作，每個(gè)對(duì)象的采集次數(shù)為10次，每次采集時(shí)間設(shè)定為20 s，記錄連續(xù)動(dòng)作樣本總數(shù)共為40組。

表2 K波段FMCW雷達(dá)參數(shù)

圖4 實(shí)驗(yàn)場(chǎng)景

2.2 實(shí)驗(yàn)結(jié)果分析

(a) 距離時(shí)間圖

為了檢驗(yàn)本文所提方法對(duì)連續(xù)人體動(dòng)作的識(shí)別性能，分別將回波信號(hào)的距離時(shí)間特征、微多普勒特征和雙流融合特征向量輸入到本文所搭建的兩種Bi-LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練與測(cè)試，考慮到網(wǎng)絡(luò)一次只能輸出一個(gè)動(dòng)作識(shí)別結(jié)果，因此不可以將一組連續(xù)動(dòng)作的距離時(shí)間特征與距離多普勒特征直接進(jìn)行PCA后并聯(lián)融合輸入網(wǎng)絡(luò)，而是需要對(duì)每組連續(xù)動(dòng)作先進(jìn)行分割操作。本文對(duì)每一組連續(xù)動(dòng)作的距離時(shí)間圖分割成191個(gè)時(shí)長(zhǎng)為1 s，間隔為0.1 s的距離時(shí)間圖，并對(duì)這些距離時(shí)間圖分別進(jìn)行時(shí)頻分析，每組連續(xù)動(dòng)作經(jīng)過(guò)如上操作會(huì)產(chǎn)生191個(gè)距離時(shí)間圖與微多普勒時(shí)頻譜圖，這些圖所包含的特征信息對(duì)應(yīng)的是該組連續(xù)動(dòng)作的191個(gè)時(shí)段內(nèi)的動(dòng)作，而每一時(shí)段目標(biāo)所作動(dòng)作就是當(dāng)前時(shí)段對(duì)應(yīng)特征信息的動(dòng)作標(biāo)簽類(lèi)別。在劃分訓(xùn)練與測(cè)試樣本集時(shí)首先從收集到的數(shù)據(jù)樣本集中隨機(jī)抽取一人的所有樣本數(shù)據(jù)作為A組測(cè)試樣本集，其次將剩余3人的樣本數(shù)據(jù)按照1∶1的比例隨機(jī)劃分為訓(xùn)練樣本集與B組測(cè)試樣本集，共計(jì)15組連續(xù)動(dòng)作樣本用于訓(xùn)練與25組連續(xù)動(dòng)作樣本用于測(cè)試。采用連續(xù)動(dòng)作訓(xùn)練樣本集經(jīng)過(guò)上述分割操作并標(biāo)記動(dòng)作標(biāo)簽類(lèi)別后對(duì)Bi-LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用B組測(cè)試樣本經(jīng)過(guò)上述分割操作后進(jìn)行隨機(jī)抽樣實(shí)驗(yàn)測(cè)試，采用A組測(cè)試樣本經(jīng)過(guò)上述分割操作后進(jìn)行留一法實(shí)驗(yàn)測(cè)試，網(wǎng)絡(luò)每0.1 s會(huì)對(duì)測(cè)試樣本進(jìn)行一次動(dòng)作判定。網(wǎng)絡(luò)訓(xùn)練過(guò)程中學(xué)習(xí)率設(shè)定為0.001，訓(xùn)練迭代次數(shù)為100次，梯度下降方式采用小批量隨機(jī)下降法，批量大小設(shè)定為64，實(shí)驗(yàn)結(jié)果如表3和表4所示。

表3 單層Bi-LSTM網(wǎng)絡(luò)不同動(dòng)作識(shí)別準(zhǔn)確率 %

表4 雙層Bi-LSTM網(wǎng)絡(luò)不同動(dòng)作識(shí)別準(zhǔn)確率 %

對(duì)比表3與表4結(jié)果可以看出，采用雙層Bi-LSTM的網(wǎng)絡(luò)對(duì)比只采用一層Bi-LSTM層可以有效地提高識(shí)別準(zhǔn)確率，同時(shí)觀(guān)察兩種網(wǎng)絡(luò)模型在3種不同特征情況下對(duì)各個(gè)不同動(dòng)作的識(shí)別準(zhǔn)確率可以看出采用雙層Bi-LSTM網(wǎng)絡(luò)進(jìn)行留一法實(shí)驗(yàn)的平均識(shí)別準(zhǔn)確率與隨機(jī)抽樣測(cè)試的平均識(shí)別準(zhǔn)確率并無(wú)太大差別，在個(gè)別動(dòng)作上的識(shí)別準(zhǔn)確率互有高低，采用單層Bi-LSTM網(wǎng)絡(luò)進(jìn)行的留一法實(shí)驗(yàn)結(jié)果對(duì)比隨機(jī)抽樣實(shí)驗(yàn)結(jié)果差距較大。因此雙層Bi-LSTM網(wǎng)絡(luò)具有更好的泛化能力，對(duì)未知目標(biāo)樣本具有一定的識(shí)別能力。

為進(jìn)一步驗(yàn)證本文所提Bi-LSTM網(wǎng)絡(luò)對(duì)于連續(xù)人體動(dòng)作的識(shí)別能力，本文將兩種Bi-LSTM網(wǎng)絡(luò)的雙流融合特征識(shí)別結(jié)果與文獻(xiàn)[15]和文獻(xiàn)[16]所用方法的識(shí)別結(jié)果進(jìn)行對(duì)比，對(duì)比結(jié)果如表5所示。可以看出在隨機(jī)抽樣時(shí)間與留一法實(shí)驗(yàn)兩種不同實(shí)驗(yàn)類(lèi)別情況下，采用雙層Bi-LSTM網(wǎng)絡(luò)對(duì)各個(gè)不同動(dòng)作的識(shí)別準(zhǔn)確率普遍高于其余3種網(wǎng)絡(luò)結(jié)構(gòu)。

表5 不同方法識(shí)別準(zhǔn)確率對(duì)比 %

為進(jìn)一步研究所提基于雙流融合特征的識(shí)別效果，本文對(duì)隨機(jī)抽樣實(shí)驗(yàn)中若干樣本數(shù)據(jù)的識(shí)別結(jié)果進(jìn)行對(duì)比，結(jié)果如圖6所示，圖6(a)與圖6(b)分別展示了在隨機(jī)抽樣實(shí)驗(yàn)與同環(huán)境留一法實(shí)驗(yàn)下采用3種不同特征對(duì)共計(jì)25個(gè)測(cè)試樣本每個(gè)具體的識(shí)別準(zhǔn)確率情況。從圖中可以看出當(dāng)將融合特征作為網(wǎng)絡(luò)輸入時(shí)識(shí)別準(zhǔn)確率普遍較高，但也有個(gè)別數(shù)據(jù)會(huì)出現(xiàn)采用微多普勒特征識(shí)別率較高的情況。如圖6(a)中的7號(hào)、15號(hào)樣本和圖6(b)中的2號(hào)、9號(hào)樣本。

(a) 隨機(jī)抽樣實(shí)驗(yàn) (b) 留一法實(shí)驗(yàn)圖6 測(cè)試樣本識(shí)別準(zhǔn)確率

為進(jìn)一步深入研究基于雙流融合特征的識(shí)別效果，對(duì)基于距離時(shí)間特征、微多普勒特征與雙流融合特征的Bi-LSTM網(wǎng)絡(luò)判別結(jié)果與人體真實(shí)動(dòng)作進(jìn)行對(duì)比，對(duì)比結(jié)果如圖7所示。

圖7 識(shí)別結(jié)果與真實(shí)動(dòng)作比較圖

圖7中縱軸為動(dòng)作類(lèi)型，數(shù)字0～5分別表示無(wú)動(dòng)作、坐下、站立、舉杯喝水、彎腰撿東西與跳躍動(dòng)作，橫軸為一組動(dòng)作的持續(xù)時(shí)間，動(dòng)作總時(shí)長(zhǎng)為20 s。可以看出當(dāng)采用雙流融合特征作為網(wǎng)絡(luò)輸入時(shí)識(shí)別結(jié)果與真實(shí)值總體一致，突變較少，在個(gè)別動(dòng)作判別上有少許的延后或提前。當(dāng)采用單一特征時(shí)離散性的突變出現(xiàn)較多，且當(dāng)采用距離時(shí)間特征作為Bi-LSTM網(wǎng)絡(luò)輸入時(shí)網(wǎng)絡(luò)判別值與真實(shí)動(dòng)作差異更加明顯。此外在動(dòng)作變化時(shí)特征譜圖也會(huì)產(chǎn)生急劇的變化，此時(shí)這種變化沒(méi)有對(duì)應(yīng)的動(dòng)作結(jié)果，Bi-LSTM只能根據(jù)來(lái)自先前時(shí)間的實(shí)際識(shí)別結(jié)果或延后時(shí)間的實(shí)際識(shí)別結(jié)果來(lái)決定此時(shí)的動(dòng)作類(lèi)型，因此可以發(fā)現(xiàn)Bi-LSTM根據(jù)融合特征得到的識(shí)別結(jié)果與真實(shí)發(fā)生的動(dòng)作在動(dòng)作變化時(shí)刻存在短暫提前或延遲情況，但這種情況并不會(huì)在整體上產(chǎn)生錯(cuò)誤的分類(lèi)。

3 結(jié)束語(yǔ)

本文提出了一種基于雙流特征融合的FMCW雷達(dá)連續(xù)人體動(dòng)作識(shí)別方法。基于實(shí)測(cè)雷達(dá)數(shù)據(jù)處理的結(jié)果表明，采用該方法對(duì)連續(xù)人體動(dòng)作的平均識(shí)別準(zhǔn)確率可達(dá)到92.1%，對(duì)比采用單一維度特征進(jìn)行識(shí)別效果有所提高，且通過(guò)留一法實(shí)驗(yàn)得出本文所提方法具有一定泛化能力，對(duì)未知目標(biāo)樣本具備一定的識(shí)別能力。但同時(shí)對(duì)個(gè)別動(dòng)作識(shí)別準(zhǔn)確率偏低，在下一階段工作中將重點(diǎn)提升識(shí)別準(zhǔn)確率，使得該方法擁有更為廣闊的應(yīng)用前景。