基于深度學習的毫米波雷達人體摔倒檢測系統研究

鄔蘇秦，王府圣，周川鴻，朱衛綱，曲衛

（航天工程大學電子與光學工程系，北京 101416）

據世界衛生組織報告，全世界每年因摔倒造成死亡的有64.6 萬人，跌倒是老年人受傷死亡的重要原因[1]。因此，開發準確有效的摔倒檢測系統有重要的現實意義。

通過研究文獻發現，現有的摔倒檢測方法主要有三種：基于可穿戴設備的方法[2]、基于視頻分析的方法[3]和基于環境傳感器的方法。可穿戴檢測設備影響穿戴者的舒適度，且忘記佩戴時無法檢測[4]。基于視頻分析的方法受限于光照條件，難以全天時全天候檢測，同時需要對檢測區域進行錄像，存在泄露隱私的風險。基于紅外、震動等環境傳感器的方法布置成本高、容易受環境影響，準確性較低[5]。

針對以上問題，該文設計了一種基于深度學習的毫米波雷達摔倒檢測系統，能夠實現全天時全天候檢測，且保護用戶的隱私。

1 系統組成

2 系統設計與實現

系統包括信號采集、訓練數據生成、智能檢測和顯示與告警四個部分，摔倒檢測系統構成如圖1所示。

圖1 摔倒檢測系統構成

2.1 信號采集

該文設計的摔倒檢測系統采用1 642 毫米波雷達。雷達天線發射線性調頻信號，遇障礙物后發生散射，雷達接收機接收散射回波信號。回波接收信號為：

其中，f0為起始頻率；k為線性調頻率，表示線性調頻信號頻率隨時間的增長率；T為回波信號相對于發射信號的時延[6]。

發射信號與回波信號經過混頻器進行解線性調頻處理后，得到基帶信號。基帶信號經ADC 采樣后，在快時間維進行短時傅里葉變換，即可得到頻率-時間多普勒熱圖。

2.2 數據集構建

系統采用短時傅里葉變換對回波數據進行時頻聯合分析，能夠獲得數據的時域和頻域二維信息，提取到更為豐富的數據特征。傳統的傅里葉變換可以從時域信號中提取出不同的頻率分量，但只能反映出信號在頻域的特性，無法得知頻率隨時間的變化，提取到的數據信息十分有限。

由于卷積神經網絡可以挖掘圖像數據更深層次的信息，因此，該系統構建時頻圖像數據集能夠提高動作的檢測精度。

2.2.1 短時傅里葉變換

雷達的回波信號采用短時傅里葉變換進行分析。信號x(t)的短時傅里葉變換表達式為：

在實際應用中，需要對采樣量化后的數字信號進行處理。因此，將時域和頻域離散化后的短時傅里葉變換表示為：

其中，m、n分別為時間和頻率的采樣點。

目前，基于雷達的摔倒檢測研究主要是針對單人場景，該系統通過對數據進行短時傅里葉變換處理，對時頻圖像進行分析識別，能夠實現對于多人場景下的摔倒檢測，擴展系統適用范圍、增強真實性。系統構建數據集時包含了一人行走一人摔倒的多人場景，具體時頻圖像如圖2 所示。

圖2 多人場景時頻圖

2.2.2 訓練數據生成

由于彎腰和下蹲動作與摔倒動作相似，為減少誤判情況，實驗采集摔倒、彎腰、下蹲三種不同動作的時頻圖像各1 000 張。為貼近日常生活中真實的摔倒情況以及摔倒的環境，實驗采集了前摔、后摔、側摔、一人行走的同時一人摔倒四種摔倒動作的時頻圖像，如圖3 所示。

圖3 不同動作的時頻圖像

為提高模型的擬合度，該文采用圖像數據增強的方法，對已采集到的時頻圖像進行旋轉、翻轉以及隨機加入少量的椒鹽噪聲、高斯噪聲或隨機噪聲[8]，如圖4 所示。在實際數據有限的情況下，數據增強能夠有效地增加網絡的訓練集數據量，從而使模型整體的泛化能力提高，增強了模型的穩定性和魯棒性。

圖4 數據增強后的時頻圖像

實驗設置的數據集如表1 所示。

表1 實驗數據集

2.3 智能檢測

2.3.1 ResNet101網絡結構

針對常規網絡層數增加到一定數目后梯度逐漸消失，檢測精度大幅下降的問題，該文構建了ResNet101網絡。ResNet101 網絡增加恒等映射層，將所需要學習的函數H(x)轉化成F(x)+x，通過學習殘差F(x)提高圖像信息的傳播效率，從而實現對模型的優化。借助恒等映射層和殘差網絡結構兩個部分，ResNet101模型能夠實現加深網絡層數的同時，有效解決常規網絡梯度退化的問題，提升模型的檢測精度[9]。

基于ResNet101 網絡的動作識別模型利用卷積層提取不同動作時頻圖像的特征，經全連接層整合后，Softmax 分類器依據所提取的特征進行圖像分類，最終實現摔倒動作的檢測[10]。

基于ResNet101 網絡的摔倒動作識別原理如圖5所示（選取101 層網絡架構）。

圖5 基于ResNet101網絡的動作識別模型

2.3.2 時頻圖像特征提取

基于ResNet101 網絡進行卷積操作，公式如下：

利用卷積核能夠提取到更深層次的圖像特征信息，卷積核的不同能夠提取到的時頻圖像特征也不同，因此能更好地反應時頻圖像的本質，最終達到動作檢測的目的[11]。

ResNet101 網絡卷積輸出可視化如圖6 所示[12]。

圖6 部分卷積輸出可視化

2.3.3 Softmax分類器

第i張時頻圖像識別為第m類動作的概率用softmax 函數表示為：

其中，xi是第i張時頻圖像經過ResNet101 網絡的卷積層后，全連接層輸入到Softmax 分類器的特征向量；yi是網絡對第i張時頻圖像識別的動作類別；θ是ResNet101 的模型參數。訓練集由k個已有標簽的樣本構成：{(x1,y1),…,(xk,yk)}；k是需要識別的動作的類別數。

Softmax 函數的輸出是一維向量，向量的每個元素代表輸入的圖像對應各個類別的概率，其中對應概率值最大的類別就是輸入圖像屬于的類別。Softmax 分類器使用交叉熵損失作為損失函數,計算公式如下：

其中，Li表示單個訓練樣本經過網絡的預測輸出與真實標簽之間的差異。輸出為正確類別的概率盡可能增大，才能使損失函數減小，使網絡對于動作的識別精度更高，逐步對網絡進行優化[13-14]。

2.4 顯示與告警

時頻圖經構建的ResNet101 網絡模型檢測后，借助網絡返回的檢測參數，系統設計的tkinter 界面將實時顯示檢測結果和精度，如圖7 所示。同時，系統對檢測結果進行判斷，若檢測結果非摔倒動作，則系統繼續采集數據進行檢測；若檢測結果為摔倒動作，則向遠程接收端發送報警信息，提醒監護人采取救護措施。

3 實驗結果與分析

3.1 實驗環境

實驗場景的搭建如圖8 所示。

圖8 實驗場景展示

實驗的硬件平臺：CPU：Intel(R)Core(TM)i7-8565 CPU@1.8 GHz，GPU:TITAN V，操作系統：Window10；軟件方面：基于深度學習架構Pytorch 和Python 開發環境Pycharm。

3.2 實驗評價指標

該文采用按類別求平均準確率作為模型的評價指標[15]，如式（7）所示：

其中，Pi為第i類動作的檢測準確率；TPi為第i類動作被模型正確識別的個數；P+N表示樣本總量。

3.3 實驗結果分析

該文使用Adam 對模型進行優化，網絡模型的訓練次數為200 次。

為了驗證該文方法的有效性，將時頻圖像與基準數據庫進行特征度量，對不同動作時頻圖像進行識別。記錄模型的預測結果與待檢測動作時頻圖像的真實動作類別，得到混淆矩陣如圖9 所示[16]。

圖9 混淆矩陣

由模型識別的混淆矩陣可知，不同動作時頻圖像的識別效果有所差異。如表2 所示，該文提出的方法平均準確率達到了94.3%。

表2 不同動作時頻圖像的識別結果

4 結論

針對現有摔倒檢測系統環境依賴性強和泄露個人隱私的問題，該文設計了一種基于深度學習的毫米波雷達人體摔倒檢測系統，在實現全天時全天候摔倒檢測的同時，能夠避免對檢測環境進行錄像，有效地保護了被監護人的隱私。實驗結果表明，該文方法檢測準確率可達到94.3%。

但是，該系統所用毫米波雷達功率較小，無法穿透較厚的障礙物進行檢測。因此，針對穿墻后信號微弱的問題，如何提高信噪比是下一步研究的主要方向。此外，為了提高系統的穩定性，該系統將在智能檢測過程中增加閾值判斷，使系統的數據集動態可變，具有拓展性，能夠根據實際情況改進數據集。這是系統將要進一步完善的地方。