基于77G毫米波雷達(dá)的手勢(shì)識(shí)別

劉子銘 李軍 張法桐 陳濤

（1.哈爾濱工程大學(xué)信息與通信工程學(xué)院 黑龍江省哈爾濱市 150001 2.中國(guó)人民解放軍91977 部隊(duì) 北京市 102249）

手勢(shì)識(shí)別目前廣泛運(yùn)用于人機(jī)交互中，在智能駕駛、VR、手語(yǔ)識(shí)別、遠(yuǎn)程控制等項(xiàng)目中有著廣泛應(yīng)用。手勢(shì)因?yàn)榫哂猩鷦?dòng)、形象、直觀(guān)等特點(diǎn)，具有較強(qiáng)的視覺(jué)特點(diǎn)，最初常應(yīng)用于基于視覺(jué)的識(shí)別技術(shù)，但是視覺(jué)識(shí)別技術(shù)受光線(xiàn)、天氣、應(yīng)用場(chǎng)地背景等因素影響較大，且以視頻或圖像等形式進(jìn)行識(shí)別可能會(huì)導(dǎo)致用戶(hù)隱私泄露；此外還有基于穿戴式數(shù)據(jù)傳感器、基于超聲波、基于Wi‐Fi 等非寬帶無(wú)線(xiàn)通信信號(hào)與基于雷達(dá)的幾種手勢(shì)識(shí)別方案，其中穿戴式數(shù)據(jù)傳感器需要與人體接觸，且操作復(fù)雜、穿戴不易，不適用于狹小空間與日常生活；超聲波方法受傳播速度和衍射影響明顯，而非寬帶無(wú)線(xiàn)通信信號(hào)在進(jìn)行手勢(shì)識(shí)別時(shí)背景噪聲難以去除，分辨率低，與上述方法相比，使用雷達(dá)進(jìn)行手勢(shì)識(shí)別具有非接觸，不受光照、天氣、場(chǎng)地等因素影響，可以保護(hù)使用者個(gè)人隱私，可全時(shí)段使用，且具有一定的穿透性，分辨率通過(guò)參數(shù)設(shè)計(jì)可調(diào)整，可適用于多種場(chǎng)合。

在基于雷達(dá)的手勢(shì)識(shí)別方法中，目前最常應(yīng)用的是調(diào)頻連續(xù)波（Frequency modulated continuous wave，F(xiàn)MCW）雷達(dá)，相較于其他可用于進(jìn)行手勢(shì)識(shí)別的雷達(dá)，如脈沖超寬帶雷達(dá)等，F(xiàn)MCW 雷達(dá)具有帶寬較大，距離分辨率大，易處理干擾等優(yōu)點(diǎn)。

隨著硬件技術(shù)近些年的提升，F(xiàn)MCW 雷達(dá)的成本降低，在商業(yè)中得到大規(guī)模應(yīng)用。FMCW 雷達(dá)因?yàn)槠淇垢蓴_能力強(qiáng)，且有著優(yōu)秀的距離速度分辨率等特點(diǎn)，被廣泛應(yīng)用于車(chē)載手勢(shì)識(shí)別系統(tǒng)中。2019年Soli 團(tuán)隊(duì)開(kāi)發(fā)出基于57‐64GHz 的毫米波級(jí)別雷達(dá)實(shí)現(xiàn)的手勢(shì)識(shí)別系統(tǒng)，所需要的發(fā)射功率僅為15dBmW。近年，WEY 品牌發(fā)售的車(chē)型摩卡，將毫米波雷達(dá)與攝像頭、固態(tài)激光雷達(dá)結(jié)合，可通過(guò)手勢(shì)召喚的方式就能直接操控摩卡，可實(shí)現(xiàn)喚醒、前進(jìn)和制動(dòng)功能。2018年王俊等人提出了一種基于距離‐多普勒(Range‐Doppler，RD)域的特征的基礎(chǔ)手勢(shì)識(shí)別；2019年王勇等人提出了一種多特征多通道神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別方法；2020年夏朝陽(yáng)等人在多通道神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上對(duì)微動(dòng)手勢(shì)進(jìn)行探究，提出了一種手勢(shì)識(shí)別方法。

目前基于FMCW 毫米波雷達(dá)的手勢(shì)識(shí)別方法研究側(cè)重于對(duì)手勢(shì)信號(hào)的分類(lèi)識(shí)別技術(shù)的深化，且數(shù)據(jù)采集多在暗室中進(jìn)行，實(shí)驗(yàn)環(huán)境比較理想。此外，對(duì)于雷達(dá)信號(hào)參數(shù)設(shè)計(jì)、信號(hào)預(yù)處理、雷達(dá)信號(hào)特征提取等方面尚未深入開(kāi)發(fā)。本文提出一種基于77GHz 毫米波雷達(dá)的手勢(shì)識(shí)別方法，通過(guò)對(duì)雷達(dá)參數(shù)設(shè)置的優(yōu)化提升信號(hào)分辨率，在復(fù)雜環(huán)境下通過(guò)去除靜態(tài)雜波處理與恒虛警率(Constant false alarm rate, CFAR)檢測(cè)對(duì)目標(biāo)信號(hào)進(jìn)行提取，從距離‐時(shí)間特征、速度‐時(shí)間特征、距離‐速度特征方面進(jìn)行手勢(shì)信號(hào)特征提取，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別。

1 雷達(dá)參數(shù)設(shè)計(jì)方法

1.1 雷達(dá)參數(shù)設(shè)計(jì)方法

本文基于德州儀器公司推出的IWR1642 BOOST 毫米波雷達(dá)芯片與DCA1000EVM 高速數(shù)據(jù)采集卡進(jìn)行數(shù)據(jù)采集。IWR1642 毫米波雷達(dá)芯片的發(fā)射信號(hào)為調(diào)頻連續(xù)波，覆蓋頻段為77‐81 GHz，最大帶寬為4 GHz，包括兩個(gè)發(fā)射天線(xiàn)與四個(gè)接收天線(xiàn)。本文提出的方案采用一個(gè)發(fā)射天線(xiàn)與一個(gè)接收天線(xiàn)。

雷達(dá)單個(gè)線(xiàn)性調(diào)頻(Chirp)信號(hào)調(diào)頻周期表示為圖1。

圖1：Chirp 信號(hào)調(diào)頻方式

圖1 是對(duì)IWR 1642 雷達(dá)線(xiàn)性調(diào)頻方式的表示，可以得到對(duì)于單個(gè)回波關(guān)鍵參數(shù)，如調(diào)頻起始頻率f0，調(diào)頻斜率K，發(fā)射天線(xiàn)開(kāi)始時(shí)間TTX‐start，空閑時(shí)間Tidle，調(diào)頻時(shí)間Tramp，整體線(xiàn)性調(diào)頻周期Tc，ADC 有效開(kāi)始時(shí)間TADC‐start。

在測(cè)量手勢(shì)運(yùn)動(dòng)時(shí)，我們需要實(shí)現(xiàn)多個(gè)Chirp 信號(hào)的累計(jì)采樣才可以計(jì)算得到目標(biāo)的特征，所以還有一些采樣參數(shù)需要設(shè)計(jì)，如ADC 采樣點(diǎn)數(shù)NADC，ADC 采樣率FADC，幀周期Tf，一幀內(nèi)發(fā)射回波信號(hào)數(shù)NChirp等。

此外，還有一些手勢(shì)特征提取時(shí)需要注意的重要參數(shù)，距離分辨率dres，最大可測(cè)量速度vmax，速度分辨率vres等指標(biāo)，這幾種指標(biāo)可由雷達(dá)信號(hào)參數(shù)表示為：

其中，c 為光速，λ 為調(diào)頻中心對(duì)應(yīng)波長(zhǎng)，B 為有效調(diào)頻帶寬，即采樣時(shí)間內(nèi)的帶寬，可表示為：

在設(shè)置參數(shù)前，首先應(yīng)對(duì)識(shí)別手勢(shì)運(yùn)動(dòng)所需要的距離、速度分辨率等物理量進(jìn)行預(yù)估，但是這些參數(shù)之間往往相互矛盾，最大可測(cè)量速度若過(guò)大則會(huì)導(dǎo)致速度分辨率下降，而對(duì)于手勢(shì)信號(hào)的特征提取，重點(diǎn)在于距離分辨率與速度分辨率。通過(guò)分析公式，若要實(shí)現(xiàn)距離分辨率足夠優(yōu)秀則要取信號(hào)帶寬盡量大，速度分辨率的主要性能取決于幀周期，應(yīng)滿(mǎn)足能夠采集到的微小的手勢(shì)動(dòng)作。除兩種分辨率外，采樣時(shí)間也是重要參數(shù)之一，若采樣時(shí)間過(guò)短，手勢(shì)信號(hào)特征捕捉不全，若采樣時(shí)間過(guò)長(zhǎng)，會(huì)采集到目標(biāo)信號(hào)之外的冗余信息。

理想情況下，我們需要發(fā)射FMCW 信號(hào)，且兩個(gè)Chirp 直接無(wú)間歇時(shí)間，ADC 采樣可以覆蓋雷達(dá)工作全頻段，但是在實(shí)際測(cè)量時(shí)，我們應(yīng)考慮到硬件的處理能力，在信號(hào)調(diào)頻時(shí)，ADC 需要有啟動(dòng)時(shí)間與結(jié)束時(shí)間，不能覆蓋全頻段，為了接近理想條件，Chirp 參數(shù)設(shè)置見(jiàn)表1，采樣參數(shù)設(shè)置見(jiàn)表2。

表1：Chirp 參數(shù)設(shè)置

表2：采樣參數(shù)設(shè)置

雷達(dá)發(fā)射信號(hào)有效帶寬為3411.25 MHz，距離分辨率為4.40 cm、最大可測(cè)量速度為6.09 m/s、速度分辨率分別為0.095 m/s。考慮到雷達(dá)接收到的回波能量與目標(biāo)物體距離的四次方成反比，手勢(shì)運(yùn)動(dòng)的RCS 相對(duì)較小，為了保證手勢(shì)運(yùn)動(dòng)的回波能量足夠大，可以檢測(cè)到，結(jié)合計(jì)算得到的參數(shù)，在采集手勢(shì)時(shí)，運(yùn)動(dòng)的手勢(shì)位置盡量在雷達(dá)附近，手勢(shì)運(yùn)動(dòng)速度在最大可測(cè)量速度與速度分辨率之間。

1.2 雷達(dá)信號(hào)預(yù)處理方法

FMCW 毫米波雷達(dá)的信號(hào)發(fā)射與接收回波的工作原理框圖如圖2所示。

圖2：FMCW 雷達(dá)工作原理框圖

FMCW 雷達(dá)的信號(hào)由頻率綜合器生成，線(xiàn)性調(diào)頻（Chirp）信號(hào)為正弦信號(hào)，且頻率隨著時(shí)間線(xiàn)性增加，發(fā)射天線(xiàn)發(fā)射生成的Chirp 信號(hào)，則在一個(gè)Chirp 信號(hào)中，信號(hào)可表示為：

發(fā)射信號(hào)接觸目標(biāo)并反射后的回波被接收天線(xiàn)接收，雷達(dá)的接收信號(hào)可表示為：

其中，τ 為信號(hào)時(shí)延，受探測(cè)目標(biāo)初始距離d0與目標(biāo)徑向速度vr影響，可表示為：

雷達(dá)接收信號(hào)經(jīng)過(guò)混頻器，在經(jīng)過(guò)低通濾波器濾去低頻信號(hào)得到的中頻信號(hào)可表示為：

中頻信號(hào)的頻率中包含速度信息與距離信息兩種變量，當(dāng)手勢(shì)運(yùn)動(dòng)速度過(guò)大時(shí)，會(huì)影響對(duì)距離特征的計(jì)算，且無(wú)法通過(guò)單次快速傅里葉變換(Fast Fourier Transform, FFT)進(jìn)行求解。結(jié)合上小節(jié)中設(shè)置的信號(hào)參數(shù)ADC 采樣時(shí)間為T(mén)，單Chirp 信號(hào)內(nèi)采樣點(diǎn)數(shù)即ADC 采樣點(diǎn)數(shù)NADC，發(fā)射的Chirp 數(shù)量NChirp，連續(xù)時(shí)間t 可以由兩種采樣時(shí)間離散化，表示為一幀內(nèi)的第n2個(gè)Chirp 信號(hào)中的第n1個(gè)采樣點(diǎn)，即為：

可將式（9）變換為：

其中n1=0,1,2,...,NADC‐1，表示單Chirp 信號(hào)內(nèi)的采樣點(diǎn)序列，n2=0,1,2,...,NChirp‐1，表示Chirp 序列。

式（11）中的頻率部分與相位部分依舊包含兩個(gè)變量，但是，對(duì)其進(jìn)行一維FFT 處理，相位部分可呈現(xiàn)為復(fù)包絡(luò)的形式，故對(duì)其進(jìn)行二維FFT，即可得到目標(biāo)的多普勒頻率，即，從而求得速度，提取速度‐時(shí)間特征。

2 數(shù)據(jù)集構(gòu)建方法

雷達(dá)采集到的二進(jìn)制數(shù)據(jù)進(jìn)行處理，如對(duì)數(shù)據(jù)進(jìn)行重新排列，首先根據(jù)不同接收天線(xiàn)的進(jìn)行排列，再根據(jù)對(duì)不同幀中的數(shù)據(jù)進(jìn)行篩選，將同一幀中的數(shù)據(jù)按照Chirp 信號(hào)進(jìn)行排列，得到若干矩陣，在對(duì)矩陣的行列數(shù)據(jù)進(jìn)行處理，圖3 為一幀雷達(dá)數(shù)據(jù)示意圖。

圖3：雷達(dá)數(shù)據(jù)矩陣

本文中雷達(dá)采用“一發(fā)一收”的工作模式，故所得到的數(shù)據(jù)矩陣中第一列為首個(gè)Chirp 信號(hào)的回波數(shù)據(jù)，數(shù)據(jù)個(gè)數(shù)為ADC 采樣點(diǎn)數(shù)，所以數(shù)據(jù)矩陣共NADC行，矩陣的列數(shù)與每幀中發(fā)射的Chirp數(shù)量相同。

在處理數(shù)據(jù)時(shí)，進(jìn)行逐幀處理，對(duì)同一Chirp 內(nèi)的256 個(gè)數(shù)據(jù)進(jìn)行加窗處理與FFT 處理，也稱(chēng)作距離維FFT。手勢(shì)識(shí)別過(guò)程中噪聲主要來(lái)源為靜止物體，如房屋內(nèi)的家具、車(chē)內(nèi)飾、周?chē)鷶[放的物件等，故進(jìn)行靜態(tài)雜波濾除，方法為對(duì)數(shù)據(jù)矩陣中的一列數(shù)據(jù)進(jìn)行累加，取均值，再將該列數(shù)據(jù)減去這個(gè)均值。若檢測(cè)物體為靜止物體，其相位信息相同，累加求取平均值后依舊很大，減去均值后則會(huì)變??；而運(yùn)動(dòng)目標(biāo)則會(huì)因?yàn)槎嗥绽招?yīng)而不同，相位累計(jì)過(guò)程中會(huì)出現(xiàn)正負(fù)抵消的情況下，累計(jì)值后求取的均值較小，減取均值后不影響原數(shù)值大小。

濾除后得到的矩陣對(duì)針對(duì)一幀內(nèi)的128 個(gè)Chirp 進(jìn)行FFT 處理，也稱(chēng)為速度維FFT，求取幅值后進(jìn)行速度維與距離維的CFAR 檢測(cè)，均采用CA‐CFAR，對(duì)目標(biāo)物體進(jìn)行檢測(cè)識(shí)別。得到一幀內(nèi)的距離與速度特征。逐幀處理，將每一幀得到的數(shù)據(jù)進(jìn)行拼接，形成距離‐時(shí)間特征，速度‐時(shí)間特征與速度‐距離特征。

3 實(shí)驗(yàn)與結(jié)果分析

本次實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境為普通教室，并在周?chē)鷶[放了一些靜態(tài)物品作為干擾，采集到的數(shù)據(jù)通過(guò)以太網(wǎng)傳輸?shù)缴衔粰C(jī)中，進(jìn)行數(shù)據(jù)處理分析，特征提取，針對(duì)特征進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練，實(shí)現(xiàn)手勢(shì)識(shí)別。

3.1 手勢(shì)設(shè)計(jì)與構(gòu)建數(shù)據(jù)集

試驗(yàn)選用雷達(dá)水平方向視場(chǎng)角為±60°，但是俯仰角度極小，所以手勢(shì)主要選擇在水平范圍內(nèi)運(yùn)動(dòng)的，經(jīng)過(guò)篩選，選擇了6 種運(yùn)動(dòng)手勢(shì)，推、拉、揮手、轉(zhuǎn)圈、打叉、對(duì)號(hào)，為了判別是否存在運(yùn)動(dòng)手勢(shì)，又加入靜止手勢(shì)，共計(jì)7 種手勢(shì)進(jìn)行判別。實(shí)驗(yàn)選用5 名工作人員，位于距離雷達(dá)70cm 的位置，手勢(shì)運(yùn)動(dòng)距離雷達(dá)在0‐70cm內(nèi)，在軀干不發(fā)生明顯移動(dòng)的情況下，進(jìn)行手勢(shì)動(dòng)作，每人每個(gè)動(dòng)作采集40 組數(shù)據(jù)。經(jīng)過(guò)數(shù)據(jù)處理形成距離‐時(shí)間特征圖、速度‐時(shí)間特征圖、距離‐速度圖三種手勢(shì)特征圖，如圖4所示，距離‐時(shí)間特征表現(xiàn)為相對(duì)雷達(dá)運(yùn)動(dòng)趨勢(shì)，隨著圖像的上升或下降表現(xiàn)接近或遠(yuǎn)離雷達(dá)；速度‐時(shí)間圖中線(xiàn)位置對(duì)應(yīng)速度為0，上方表示目標(biāo)相對(duì)雷達(dá)徑向速度為正，即靠近雷達(dá)，下方則相反；距離‐速度圖縱軸對(duì)應(yīng)距離，橫軸對(duì)應(yīng)速度，反映了速度在不同距離上的分布，中線(xiàn)左側(cè)表示速度為負(fù)，右側(cè)為正。

圖4：手勢(shì)特征圖

3.2 多手勢(shì)不同特征對(duì)比

將數(shù)據(jù)集按照不同特征進(jìn)行分類(lèi)，每種特征圖1000 張圖片，取80%作為訓(xùn)練集，20%作為測(cè)試集，使用獨(dú)立搭建的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)包括2 個(gè)卷積層、2 個(gè)池化層、1 個(gè)全連接層與一個(gè)輸出層，網(wǎng)絡(luò)整體簡(jiǎn)單清晰，訓(xùn)練時(shí)間短，單個(gè)特征圖像進(jìn)行訓(xùn)練時(shí)間約為5 分鐘。3 種特征的識(shí)別率可見(jiàn)表3，圖5 為3 種特征識(shí)別的損失率。

表3：三種特征識(shí)別率

圖5：三種特征的損失函數(shù)

比較三種手勢(shì)特征的識(shí)別率，速度‐時(shí)間特征的識(shí)別率最高、距離‐速度特征的識(shí)別率其次，距離‐時(shí)間的識(shí)別率最差。三種特征的識(shí)別率均大于95%，可高效準(zhǔn)確的進(jìn)行手勢(shì)識(shí)別，且通過(guò)三種特征的損失函數(shù)可以證明此模型并未出現(xiàn)過(guò)擬合情況，對(duì)于未經(jīng)訓(xùn)練的測(cè)試集也有很好的泛化性。

4 結(jié)論

本文提出了一種基于FMCW 毫米波雷達(dá)的手勢(shì)識(shí)別技術(shù)，說(shuō)明了雷達(dá)主要參數(shù)設(shè)計(jì)、雷達(dá)信號(hào)預(yù)處理以及手勢(shì)特征表示的方法，并通過(guò)采集7 中手勢(shì)的數(shù)據(jù)集進(jìn)行驗(yàn)證，對(duì)于測(cè)試集識(shí)別率分別為95.15%、99.38%、98.65%；對(duì)于未訓(xùn)練的測(cè)試對(duì)象識(shí)別率分別為96.25%、100%、97.50%，此方法在識(shí)別手勢(shì)準(zhǔn)確同時(shí)，具有較強(qiáng)泛化性。