基于毫米波感知的手勢識別技術(shù)研究進展*

羅朗娟，王勇，何維

（1.重慶郵電大學校醫(yī)院，重慶 400065；2.重慶郵電大學通信與信息工程學院，重慶 400065）

0 引言

傳統(tǒng)的人機交互（HCI,Human Computer Interaction）技術(shù)主要利用鼠標、鍵盤、觸摸屏傳感器控制等接觸式設(shè)備實現(xiàn)。隨著科學技術(shù)的發(fā)展，人們追求更加自然、方便的人機交互方式，使得傳統(tǒng)的接觸式人機交互技術(shù)發(fā)展受到了制約。事實上，手勢代替鍵盤、鼠標等設(shè)備作為信號輸入源，可以幫助人們更直觀地與計算機交流。因此，非接觸式手勢識別技術(shù)在智慧醫(yī)療[1]、智能家居[2]和智能駕駛[3]等領(lǐng)域受到了廣泛關(guān)注。目前，手勢識別方式主要包括基于運動傳感器、基于計算機視覺和基于無線信號的手勢識別技術(shù)。

基于運動傳感器的手勢識別技術(shù)通常使用的傳感器包括加速度計、慣性傳感器等設(shè)備，通過這些設(shè)備采集人體手勢運動信息，進一步對手勢運動數(shù)據(jù)進行處理，從而實現(xiàn)手勢識別。文獻[4]提出了一種基于微機電系統(tǒng)（MEMS,Micro-Electro-Mechanical System）慣性傳感器的手勢識別方法，得到了較高的手勢識別性能，但由于該方法數(shù)據(jù)處理過程中沒有去除重力影響，使得MEMS 設(shè)備的使用姿態(tài)受到限制。文獻[5]設(shè)計了一種低成本、最小監(jiān)督的手勢識別系統(tǒng)，在數(shù)據(jù)互操作方面可直接與物聯(lián)網(wǎng)平臺兼容。然而，由于文獻[4]和[5]中用戶需要在手勢識別過程中一直佩戴傳感器，使得用戶體驗感較差。基于機器視覺的手勢識別技術(shù)往往需要先使用攝像頭（包括普通攝像頭、深度攝像頭等）采集用戶的手勢動作數(shù)據(jù)，然后對手勢數(shù)據(jù)進行檢測和處理，最后利用特征提取方法對手勢動作特征進行提取，再將特征提取后的手勢特征映射到空間中的點或軌跡，并將手勢特征轉(zhuǎn)化為手勢類別。盡管基于機器視覺的手勢識別方法往往具有很高的識別精度，但因其數(shù)據(jù)量大，使得該技術(shù)對處理器性能要求較高。

隨著Wi-Fi、藍牙等無線信號的廣泛使用，基于無線信號的手勢識別技術(shù)也受到了越來越多的關(guān)注。與接觸式傳感器和基于視覺的手勢識別技術(shù)相比，無線信號無需使用者佩戴專用設(shè)備，且不會暴露使用者隱私，能夠給用戶帶來良好的使用體驗。然而，環(huán)境中豐富的多徑信號給手勢動作的參數(shù)估計和識別都帶來了巨大的挑戰(zhàn)。近年來，隨著單片集成電路技術(shù)的快速發(fā)展，毫米波雷達系統(tǒng)己經(jīng)從傳統(tǒng)軍事領(lǐng)域逐漸轉(zhuǎn)移至民用領(lǐng)域，并且已經(jīng)成為人機交互技術(shù)領(lǐng)域的一個重要分支。由于毫米波雷達具有帶寬大、全時段工作且不受光線、雨雪等惡劣天氣的影響，同時在隱私保護方面優(yōu)勢顯著，因此利用毫米波雷達實現(xiàn)手勢識別是解決移動式人機交互難題最有前景的技術(shù)之一。

基于此，本文在對比現(xiàn)有幾種手勢識別技術(shù)的基礎(chǔ)上，總結(jié)了近年來毫米波雷達手勢識別技術(shù)的研究進展，并對未來的發(fā)展方向進行了展望。

1 毫米波雷達手勢識別技術(shù)研究進展

1.1 2016年至2018年

毫米波雷達手勢識別技術(shù)是先通過雷達傳感器采集手勢動作的信號，再進行數(shù)據(jù)處理、特征提取和識別，實現(xiàn)手勢識別。2016 年，文獻[6] 提出了一種基于毫米波雷達的新型的高分辨率、低功耗、微型人機交互手勢傳感技術(shù)Soli，該方法對高時間分辨率手勢跟蹤、交互模型和手勢詞匯表，并進行了優(yōu)化，可以實現(xiàn)亞毫米級的手勢跟蹤精度。文獻[7] 介紹了一種基于調(diào)頻連續(xù)波（FMCW,Frequency Modulated Continuous Wave）技術(shù)的手勢識別系統(tǒng)，通過感知動態(tài)手勢，保證了手勢識別系統(tǒng)的可靠性和健壯性。文獻[8] 給出了利用77 GHz FMCW 雷達并結(jié)合隱馬爾可夫模型進行手勢分類，其手勢識別效果比之前工作中使用的SVM 分類器更好，證明了短距離手勢識別的可行性。

2018 年，文獻[9] 提出了使用FMCW 雷達設(shè)計具有噪聲去除和距離選通方法，并利用距離、速度和角度信息識別雷達視野中移動手勢的可行性。文獻[10] 研究了雙通道多普勒雷達傳感器的人體手勢識別，實現(xiàn)計算機輸入設(shè)備遠程鼠標功能的可行性。文獻[11] 提出了一種利用短程緊湊型60 GHz 毫米波雷達傳感器，并結(jié)合長循環(huán)全卷積神經(jīng)網(wǎng)絡(luò)提取和處理一系列距離-多普勒圖像，從而實現(xiàn)實時動態(tài)手勢識別。文獻[12] 介紹了一種使用60 GHz 毫米波雷達傳感器進行車載信息娛樂控制的手勢識別技術(shù)，通過檢測精細運動并提取特定的手勢特征，構(gòu)建能夠執(zhí)行實時手勢識別的機器學習引擎。

1.2 2019年至2020年

文獻[13]設(shè)計了一種基于24 GHz FMCW 雷達片上系統(tǒng)（SoC,System-on-Chip）的手勢空中書寫跟蹤系統(tǒng)，并利用長短期記憶（LSTM,Long Short-Term Memory）網(wǎng)絡(luò)區(qū)分順時針手勢、逆時針手勢、前后手勢、左右手勢，達到了97.6%的手勢識別準確率。為了獲得更高的手勢識別精度，文獻[14]提出了一種基于RD-T 網(wǎng)絡(luò)的手勢識別方法，通過將感知圖像分類為距離-時間圖、多普勒-時間圖和距離-多普勒圖，實現(xiàn)了高保真的特征提取和分類，達到了97.8%的平均識別準確率。文獻[15]介紹了多輸入多輸出（MIMO,Multiple-Input Multiple-Output）毫米波雷達，通過設(shè)計最大掃描帶寬為5 GHz 的77 GHz 2×2 MIMO 雷達系統(tǒng)，能夠成功捕獲亞毫米級的手勢移動軌跡。文獻[16]提出了一種基于端到端時間序列卷積神經(jīng)網(wǎng)絡(luò)（TS-CNN,Time Series Convolutional Neural Network）的FMCW 雷達手勢識別方法。該方法利用二維快速傅里葉變換提取中頻信號的頻譜，再將手勢映射到一組多幀距離多普勒圖，最后設(shè)計TS-CNN 進行特征提取和分類。實驗結(jié)果表明，TS-CNN 方法的平均手勢識別準確率達到了93%，驗證了該方法的準確性和FMCW雷達對復雜手勢識別的可靠性。

在上述研究中，大多數(shù)都采用了單通道毫米波雷達的徑向和微多普勒特征，忽略了微多普勒特征背景或目標區(qū)域中包含的信息的重要性。文獻[17] 提出了一種聯(lián)合使用多通道標志的手勢識別算法，融合了微多普勒特征和瞬時角度的信息，使用卷積神經(jīng)網(wǎng)絡(luò)進行手勢識別，達到了96.61%的分類準確率。針對連續(xù)手勢識別的問題，一些學者對手勢分割技術(shù)進行了深入研究，然而嵌入在數(shù)據(jù)流中的一系列手勢的檢測、分類和分割仍然難以處理。為了解決該問題，文獻[18] 設(shè)計了一種基于毫米波雷達和深度學習的手勢識別系統(tǒng)，借助高分辨率的手勢距離和多普勒特征，通過采用滑動窗口將這些數(shù)據(jù)流分割成適當?shù)臄?shù)據(jù)單元，再利用卷積神經(jīng)網(wǎng)絡(luò)完成手勢的識別。

在文獻[19] 中，采用77 GHz FMCW MIMO 雷達實現(xiàn)了三分支CNN 手勢識別。首先利用FMCW MIMO 雷達捕獲手勢數(shù)據(jù)，然后再利用離散傅里葉變換和多信號分類（MUSIC,Multiple Signal Classification）分別對快時間域、慢時間域進行多幀累加，提取出多維特征，得到了超過96%的平均手勢識別準確率。文獻[20]介紹了一種79 GHz、六端口架構(gòu)的毫米波雙基地雷達傳感器，可以檢測對象的精確運動并估計距離和相對速度。前述大多數(shù)毫米波FMCW 雷達手勢識別的研究都通過原始數(shù)據(jù)估計手勢動作的距離和速度譜，而文獻[21]通過使用距離-角度圖（RAM,Range-Angle Map）作為輸入，訓練了一個由CNN 和LSTM 組成的特征提取模型，提高了手勢識別率。

1.3 2021年至今

文獻[22]設(shè)計了一種毫米波雷達實時手勢識別系統(tǒng)，利用雷達傳感器進行經(jīng)驗特征提取，并部署一個多層感知器來推斷手勢的類型，得到了94.3%的手勢識別準確率。文獻[23] 提出了一種基于毫米波雷達小樣本數(shù)據(jù)庫進行手勢識別的方法，通過對雷達回波進行二維傅里葉變換，提取手勢動作的多普勒信息，構(gòu)建出手勢動作時間-多普勒數(shù)據(jù)集，與不采用遷移學習方法相比，使用遷移學習神經(jīng)網(wǎng)絡(luò)手勢識別準確率提高了20%。

2021 年5 月，文獻[24] 提出了一種利用FMCW 毫米波雷達對雷達回波進行分析處理，再經(jīng)過濾除靜態(tài)雜波和恒虛警率檢測，使用卷積神經(jīng)網(wǎng)絡(luò)對7 種手勢進行識別分類，實驗結(jié)果證明所提方法可以快速有效地識別出不同類別的手勢，且對于未訓練的測試集有很好的泛化性。文獻[25] 提出了一種基于雷達脈沖神經(jīng)網(wǎng)絡(luò)的手勢識別方法，在對距離多普勒或微多普勒雷達信號進行預處理后，將雷達多普勒圖編碼轉(zhuǎn)換為脈沖串，再將雷達脈沖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)作為不同分類器的輸入，該方法在兩個公開數(shù)據(jù)集上的交叉驗證中達到了98% 以上的手勢識別準確率。文獻[26] 提出了一種基于串聯(lián)式一維神經(jīng)網(wǎng)絡(luò)的毫米波雷達動態(tài)手勢識別方法，通過獲取動態(tài)手勢的原始回波，再利用維卷積和池化操作對手勢特征進行提取，最后利用長短期記憶網(wǎng)絡(luò)充分挖掘動態(tài)手勢的幀間相關(guān)性，提高了手勢識別準確率和訓練收斂速度，從而達到96% 以上的手勢識別準確率。文獻[27] 提出了一種基于FMCW 雷達的新型手勢識別系統(tǒng)，通過簡化雷達預處理，再結(jié)合利用深度可分離卷積訓練深度神經(jīng)網(wǎng)絡(luò)分類器，將分類器經(jīng)過優(yōu)化并部署在Coral Edge TPU 板上。實驗結(jié)果表明，在低功耗和資源受限的環(huán)境下運行時，對五位用戶執(zhí)行的8 種不同手勢分類準確率為98.13%。

2 下一步研究方向

毫米波雷達手勢識別技術(shù)的提出使得人機交互不再依賴于穿戴式的設(shè)備，能夠使人機交互變得更加靈活和自然。為了便于應用和推廣，毫米波雷達手勢識別系統(tǒng)智能化研究是未來重要的發(fā)展方向，實現(xiàn)智能化手勢識別面臨的挑戰(zhàn)如下：

（1）在手勢識別過程中，手勢動作往往是連續(xù)的。因此，未來需要進一步研究毫米波雷達連續(xù)手勢動作檢測技術(shù)，通過對實時采集的手勢動作信號進行分割，實現(xiàn)對連續(xù)手勢動作的動態(tài)識別。

（2）在實際應用中，由于環(huán)境的不確定性，手勢動作易受環(huán)境中靜態(tài)和動態(tài)目標的干擾，因此未來研究過程中需要實際應用場景，研究不同應用場景下具有較高的魯棒性及識別準確率的手勢識別系統(tǒng)。

（3）在實時手勢動作識別中，雷達參數(shù)估計算法和識別算法往往影響手勢識別速度。因此，如何降低手勢參數(shù)估計及識別的運算開銷，實現(xiàn)在采集數(shù)據(jù)的同時完成對更多手勢動作的識別是設(shè)計實時手勢識別系統(tǒng)的主要目標。

3 結(jié)束語

本文基于毫米波雷達手勢識別技術(shù)的相關(guān)研究進行了分析和論述。首先對基于運動傳感器、基于計算機視覺和基于無線信號的手勢識別進行了介紹；然后按時間順序分析了國內(nèi)外毫米波雷達手勢識別技術(shù)取得的研究進展；最后針對毫米波雷達手勢識別研究中識別準確率、系統(tǒng)魯棒性以及實時性等方面的問題提出了下一步研究計劃。