基于深度學習方法的4D毫米波雷達點云人體關鍵點檢測

摘""要：人體關鍵點檢測是在行為識別、動作捕捉等領域有著重要作用。基于視覺的方法會受光線環境影響，還可能會在室內環境中引發隱私問題，可穿戴設備的方法則不適用于非合作目標。基于此，提出了一種基于4D毫米波雷達點云的人體關鍵點檢測方法，分析了使用毫米波點云進行關鍵點檢測存在的問題。為了解決這些問題，提出了毫米波人體關鍵點檢測（Millimeter"Wave"Human"Pose"Detection，mmWPose）系統，為了便于提取點云特征，設計了一種二維化方法用于處理點云數據，可以顯著減少模型在特征提取階段的參數量。為了進行數據標注，運用跨模態監督來訓練目標模型，為了增強目標模型的泛化能力，設計了一個域適應模塊協助目標模型分辨點云數據中屬于環境的特征。實驗證明，研究提出的mmWPose系統能夠解決毫米波點云存在的問題，實現高精度的人體關鍵點檢測。

關鍵詞：毫米波雷達"人體關鍵點檢測"域適應"跨模態學習"深度學習

中圖分類號：TN957.52

Human"Key"Point"Detection"Based"on"the"Deep"Learning"Method"and"the"4D"Millimeter-Wave"Radar"Point"Cloud

ZHANG"Yuan*""YANG"Dalin""CHE"Xianghao""WANG"Shiyang""HE"Ziheng

School"of"Information，"North"China"University"of"Technology，"Beijing，"100144"China

Abstract："Human"key"point"detection"plays"an"important"role"in"fields"such"as"behavior"recognition"and"motion"capture."Vision-based"methods"are"subject"to"the"light"environment"and"may"also"cause"privacy"issues"in"the"indoor"environment，"and"the"methods"based"on"wearable"devices"are"not"suitable"for"non-cooperative"targets."Based"on"this，"this"article"proposes"a"method"of"human"key"point"detection"based"on"the"4D"millimeter-wave"radar"point"cloud，"and"analyzes"the"problems"of"using"the"millimeter-wave"point"cloud"for"key"point"detection."In"order"to"address"these"issues，"this"study"proposes"a"Millimeter-Wave"Human"Pose"Detection"（mmWPose）"system，"and"in"order"to"facilitate"the"extraction"of"point"cloud"features，"it"designs"a"two-dimensional"method"for"processing"point"cloud"data，"which"can"significantly"reduce"the"number"of"parameters"in"the"model"in"the"feature"extraction"stage."In"order"to"make"data"annotation，"it"uses"cross-modal"supervision"to"train"the"target"model，"and"in"order"to"enhance"the"generalization"ability"of"the"target"model，"it"designs"a"domain"adaptation"module"to"assist"the"target"model"in"distinguishing"the"features"belonging"to"the"environment"in"point"cloud"data."Experiments"have"shown"that"the"mmWPose"system"proposed"in"this"study"can"solve"the"problems"of"millimeter-wave"point"clouds"and"achieve"high-precision"human"key"point"detection.

Key"Words："Millimeter-wave"radar;"Human"key"point"detection;"Domain"adaptation;"Cross-modal"learning;"Deep"learning

人體姿態檢測技術在行為識別、跌倒檢測等實際應用中發揮著至關重要的作用[1]。基于視覺的人體關鍵點識別方法通過提取圖像中的人體相關特征來生成人體關鍵點信息，在私密場景下可能會觸及個人隱私問題。幸運的是，依靠電磁波媒介的探測技術或許能有所作為[2]。為了提取毫米波點云的特征，Sengupta"A等人[3]提出的mm-Pose，該算法使用將毫米波點云映射在XY，XZ兩個平面上，但會導致參數量冗余的問題。由于毫米波點云的稀疏性，人工進行標注困難。由于毫米波雷達會受到環境的干擾，點云中可能存在環境噪聲，導致訓練的模型泛化性差"[4]。

針對以上問題，提出了毫米波人體關鍵點檢測（mmWPose）系統。為了解決點云稀疏而導致的標注困難問題，采用了跨模態學習方法。為了提取點云特征，設計了一種點云二維化方法，有效地減少了特征提取模塊的參數量。為了增強模型的泛化性，設計了一個域適應模塊用于抑制模型對環境特征的提取，使模型在不同環境中具有適應能力。

1技術原理

1.1""毫米波雷達數據采集

毫米波雷達可以通過發射天線發射頻率為30～300"GHz的毫米波，其通過發射天線Tx發射調頻連續波信號，接收天線Rx接收物體反射的信號來獲取數據。發射信號和接收信號在接收器處混合形成中頻（IF）信號，具體公式如下。

式（1）中：為發射信號的瞬時頻率；為接收信號的瞬時頻率；為發射信號的初始相位；為接收信號的初始相位。

通過獲取中頻信號，可以得到發射信號和接收信號之間的頻率差fIF，如式（2）所示。物體和雷達的距離由式（3）計算得出，d為物體到天線的距離，τ為啁啾信號的持續時間，B為啁啾信號的帶寬，c為光速。

通過使用2根接收天線接收相同的反射信號，可以得到兩個初始相位不同的信號，"如式（4）所示，其中λ為調頻連續波的初始波長；為兩個接收天線的接收信號之間的相位差；l為2根接收天線之間的距離；θ為到達角。

如圖1所示，通過測量物體到天線的距離和角度，可以得到被測物體的三維空間坐標，具體公式如下。

式（5）、式（6）、式（7）中："x、y、z為檢測物體在三維空間中的坐標；為仰角；為方位角。

2"實驗方法

2.1點云數據標準化

為了對毫米波點云進行特征提取，我們將毫米波雷達采集的點云數據映射為圖像。具體公式如下。

式（8）中：u為圖像像素的橫坐標；v為縱坐標；K為相機的內參。

本文使用基于視覺的人體關鍵點檢測算法OpenPose[5]作為例子講述。該算法通過特征提取模塊提取特征F來預測部分親和場和部分預測關鍵點熱圖。每個部分都由若干個階段相同的結構順序堆疊而成，結構如圖2的關鍵點檢測模塊，用式（9）、式（10）表示"[6]。

式（9）、式（10）中：?t為在階段t的部分親和場預測函數；為在階段t的關鍵點熱圖預測函數；L為部分親和場；S為關鍵點熱圖

2.2跨模態學習

在模型訓練階段，把包含知識的基于視覺的人體關鍵點檢測模型稱為源模型，把需要獲取的模型稱為目標模型。如圖3所示，使用源模型對彩色圖像上的關鍵點進行預測，將預測結果作為目標模型上相應二維圖像的標簽。損失函數公式如下。

式（11）中：fop為跨模態學習的各階段的損失相加的總體損失

2.3域適應模塊

域適應部分由3個卷積層、4個全連接層和一個Softmax層組成，具體公式如下。

式（12）中：J為輸出向量的長度；D為輸出向量；D*為真實向量；i為向量的第i個元素。

為了抑制特征提取模塊提取屬于環境的特征，將fa作為全局損失函數的負因子對抗模型[7]訓練，具體公式如下。

式（13）中：μ用于調節域自適應部分對整個模型參數的影響。

3""實驗與分析

使用SKY32B750毫米波雷達作為點云數據采集設備，使用海康威視攝像機作為視覺圖像采集設備。如圖4所示，左側是雷達數據采集板，右側是攝像頭。使用筆記本電腦驅動雷達板和攝像頭進行數據采集，讓人在采集區域內隨機移動，并隨機做出各種姿勢，如舉手、抬腿、行走等。

如圖5所示，mmWPose目標模型能夠較準確地預測人體關鍵點。本文將mm-Pose的二維化方式與我們的方式進行對比，如表1所示，在參數量只有其一半的情況下，本文的方法實現了相當的檢測性能。為了展示域適應模塊的性能，本文將其與未添加域適應模塊的模型進行比較，如圖6所示，mmWPose*表示添加域適應模塊的目標模型性能，由此可以看出，加入域適應模塊后，模型對各個關節的預測精度都有所提高。

4""結論

為了解決現有的毫米波點云人體關鍵點檢測存在的問題，本文提出一種二維化點云的方法，使點云特征提取能夠使用基于視覺的特征提取方法。使用跨模態學習的方式訓練目標模型，實現了較高的人類關鍵點預測精度。本研究模型中加入了域適應模塊用于抑制環境特征，提高了模型的魯棒性，能夠進一步增強現有的毫米波點云人體關鍵點檢測方案的性能。

參考文獻

• ZHAO"M，"LI""T，"ALSHEIKH""M"A，"et"al."Through-Wall"Human"Pose"Estimation"Using"Radio"Signals[C]//Proceedings"of"the"IEEE"Conference"on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Salt"Lake"City，"UT，"USA，"2018："7356-7365.
• LI"Z，"GAO"Y，"HONG"Q，"et"al."Keypoint3D："Keypoint-Based"and"Anchor-Free"3D"Object"Detection"for"Autonomous"Driving"with"Monocular"Vision[J]."Remote"Sensing，"2023，"15（5）："1210.
• Sengupta""A"，"Jin"F"，"Zhang"R."mm-Pose："Real-Time"Human"Skeletal"Posture"Estimation"Using"mmWave"Radars"and"CNNs[J]."IEEE"Sensors"Journal，"2020："10032-10044.
• Gochoo"M，"Akhter"I，"Jalal"A，"et"al."Stochastic"Remote"Sensing"Event"Classification"over"Adaptive"Posture"Estimation"via"Multifused"Data"and"Deep"Belief"Network[J]."Remote"Sensing，"2021，"13（5）："912.
• CAO"Z，"SIMON"T，"WEI"S-E，"et"al."Realtime"Multi-Person"2D"Pose"Estimation"Using"Part"Affinity"Fields[C]//Proceedings"of"the"IEEE"Conferencenbsp;on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Honolulu，"HI，"USA，"2017："7291-7299.
• TIAN"C，"YU"R，"ZHAO"X，"et"al."Posedet："Fast"Multi-Person"Pose"Estimation"Using"Pose"Embedding[C]//Proceedings"of"the"2021"16th"IEEE"International"Conference"on"Automatic"Face"and"Gesture"Recognition"（FG"2021）."Jodhpur，"India，"2021："1-8.
• CAO"Z，"LONG"M，"WANG"J，"et"al."Partial"Transfer"Learning"with"Selective"Adversarial"Networks[C]//Proceedings"of"the"IEEE"Conference"on"Computer"Vision"and"Pattern"Recognition"（CVPR）."Salt"Lake"City，"UT，"USA，"2017："2724-2732.