基于深度學習的跌倒檢測技術對比與分析

李小立

摘要：基于意外跌倒是造成老年人受傷、失能及死亡的主要原因，對近年來關于深度學習的跌倒檢測研究進行了介紹。根據跌倒檢測工作流程，從數據采集、數據處理、模型訓練及狀態識別幾個方面進行了詳細介紹，并對已有的基于深度學習的跌倒檢測方法進行分析與比較，為將來的應用研究提供參考，并對將來的發展方向提出一些思考。

關鍵詞：深度學習；跌倒檢測；卷積神經網絡；長短期記憶網絡

*基金項目：

湖南省教育廳科學研究項目“基于深度學習的智能無人機目標檢測算法研究”（20C0105）；

長沙民政職業技術學院2021年度校級培育項目“基于深度學習的應用研究”（21mypy97）

0引言

據中國疾病監測系統的數據顯示，跌倒是我國65歲以上老年人因傷致死的首要原因[1]，及時準確地檢測老人跌倒事件，對有效降低跌倒對老人帶來的傷害極為重要。隨著研究的深入，基于傳統機器學習和淺層神經網絡的跌倒檢測方法等具有檢測精度相對低、事件響應速度慢等缺點，而基于深度學習的跌倒檢測方法因其檢測精度高等優點，得到越來越多研究者的重視，本文對近年來基于深度學習的跌倒檢測方法進行對比、分析和總結，并對未來的發展方向提出一些思考。

1深度學習模型

通過深度學習技術進行跌倒識別最常用的模型是卷積神經網絡（ CNN ）[2]模型和長短期記憶網絡（ LSTM ）[3-4]模型。CNN 模型主要包含輸入層、卷積層、池化層、全連接層和輸出層，結構如圖1所示。利用 CNN 模型可以實現對人體狀態的快速識別，且泛化能力較強，因此采用基于 CNN 技術進行跌倒識別的研究文獻相對較多。LSTM 是改進的循環神經網絡（ RNN ）[5]技術。LSTM 著重于處理圖片中的時頻數據。由于傳感器獲取到的人體活動數據是帶有時間特性的，利用 LSTM 技術可以對跌倒事件做出及時響應。為了優化跌倒檢測結果，在有些研究中會將 LSTM 與 CNN 二者結合使用。

2基于深度學習的跌倒檢測分析

跌倒檢測的基本工作流程包括數據采集、數據處理、模型訓練和狀態識別。在實際應用中，當檢測到跌倒行為發生時，系統發出警報信息，從而達到及時救治的目的。本節將從數據采集、數據處理、模型選擇和參數優化及結果分析4個方面進行介紹。

2.1數據采集

數據采集階段可使用可穿戴傳感器設備、環境傳感設備和視頻捕捉設備獲取跌倒數據和日常行為數據[6-7]，本文主要考慮可穿戴傳感器設備和視頻捕捉設備。可穿戴傳感器設備主要包括加速度計、陀螺儀、智能手機、智能手表等。傳感器的設備選型和佩戴位置均會影響跌倒檢測結果的精確度，常見的佩戴位置有腰部、腕部、胸部、腳部等，其中將傳感器放置在腰部的研究較多，其跌倒識別的準確率也相對較高[8]。腰部為人體重心所在，采集到的數據相對穩定，且對日常生活不會造成太大影響，是比較容易被接受的一個佩戴位置。單一傳感器設備在跌倒識別精度上比多傳感器設備低，因此許多研究將多傳感器融合使用，以求達到提高檢測精確度的目的。

跌倒測試數據可使用自建數據集或公開數據集。目前，已有多種公開數據集可供跌倒檢測研究，其中使用可穿戴傳感器設備捕捉的數據集有SisFall、MobiAct、SmartWatch、Notch 等；使用視頻捕捉設備獲取的數據集有 Le2i、CASIA、URFD 等[9]。

2.2數據處理

數據處理階段包括數據預處理、圖像分割、特征提取。經處理的數據用于模型訓練與結果測試，數據處理結果將對最終的跌倒檢測結果產生很大影響，因此數據處理階段非常重要。

2.2.1數據預處理

由于深度學習中處理的圖像相鄰像素之間具有強相關性，所以輸入的數據會出現冗余，且輸入數據塊不一致時，會降低網絡收斂速度和延長訓練時間，因此輸入的數據一般要經過預處理操作。常用的預處理方法有0均值（去中心化）、縮放和歸一化，如表1所示。

根據使用的采集設備的不同，采集到的數據分為基于可穿戴傳感器設備的數據和基于視頻捕捉設備的數據。

可穿戴傳感器設備分為多種，不同的設備采集到的數據會有所不同。目前大多數研究采用的傳感器為三軸傳感器。對于這類傳感器采集的數據的預處理主要包括濾波降噪和數據降維操作，常見的濾波算法有低通濾波[10]、滑動平均濾波[11]、卡爾曼濾波和中值濾波等[12-13]，優點是算法簡單，處理速度快，但抗噪聲等干擾能力弱。呂艷等提出了一種平滑無限沖擊響應（ IIR ）濾波器對全部數據進行處理后再用 Z-SCORE 標準化方法對數據進行預處理的方法[14]。數據降維操作是將傳感器獲取到的大量多維數據降維為一維、二維或三維數據，以用于卷積網絡模型或其他機器學習網絡模型。使用較多的降維操作是軸合成方法，如均方根（矢量和）、水平垂直方向加速度、身體傾斜角等。其次是滑動時間窗方法對數據進行降維和序列化分割處理[15-16]。陳波等[17]提出了一種改進的矢量和軸合成方法對傳感器數據進行降維操作。李雷等[18]提出了一種改進的核成分分析方法進行數據降維操作。盧忱等[19]提出了一種對合成加速度進行小波變換的方法對傳感器數據進行降維和特征提取。

通過視頻捕捉設備獲取的數據一般為視頻或圖像數據，對于這類數據的預處理一般包括視頻的抽幀、標簽化、灰度化等操作，同時還應考慮現實場景對數據的影響，如光照、抖動、噪聲污染等。

2.2.2圖像分割

采集的數據一般需通過歸一化處理為二維或三維圖像數據，其中三維圖像數據一般指包含時序特性的二維圖像。通過可穿戴傳感器設備獲取的數據沒有具體的人體姿態信息，因此對于這類數據只需在其預處理后采用滑動時間窗的方式對數據進行分層讀取即可。而通過視頻捕捉設備采集的數據需要進行前、背景分離，從而獲取待識別目標。曹建榮等[20]提出了一種使用改進的 YOLOv3網絡進行前、背景分離，可快速準確地實現人體特征提取，使用21層卷積層順序連接的網絡實現人體目標識別。通過分析目標圖像寬高比、人體質心高度、軀干傾斜角度和運動特征向量來進行圖像分割。馬露等[21]提出了一種改進的 FSSD 算法進行目標檢測。楊光耀[22]使用OpenPose姿態識別算法提取視頻中的動作特征，以此創建跌倒檢測所需的數據集。OpenPose算法是基于骨架進行人體姿態識別，文中通過對人體關節進行分組分析，為不同組的數據不同的權重系數，以此來減少數據的冗余[23]。

2.2.3特征提取

對預處理后的數據進行提取特征，通過特征比對來判別跌倒行為。跌倒一般包括3個階段：失重階段、撞擊階段和靜止階段，在人體撞擊地面的瞬間，加速度達到峰值。因此基于可穿戴式傳感器數據的跌倒識別主要通過加速度變化進行判斷。在基于計算機視覺的跌倒識別中，可通過人體姿態或質心位置變化進行判斷。特征提取階段主要對上述特征值進行提取。常用的特征值有均值、標準差、方差、均方根、絕對值、最大值和最小值等。在深度學習模型中，主要通過卷積神經網絡中的卷積操作提取特征，卷積層數越多，提取的特征值越豐富，但也會造成系統負擔，影響檢測結果。文獻[12]中使用了平均值替換的方法進行特征提取。文獻[16]中使用 I-RELIFE 算法進行特征選擇。文獻[18]使用改進的 YOLOv3網絡進數據處理，使用該模型提取目標圖像寬高比、人體質心高度、軀干傾斜角度和運動特征向量等運動特征。文獻[17]通過對合成加速度信號進行小波分解，提取第三四層低頻系數的小波能量、波峰均值及波峰個數作為特征。

2.3模型選擇與參數優化

模型訓練是將處理好的數據輸入至模型中，通過搭建好的模型進行訓練，直至網絡收斂或滿足精確度要求。模型訓練階段的關鍵在于模型的選擇和模型參數的優化。

2.3.1模型選擇

用于跌倒檢測的深度學習模型主要有 CNN 模型和 LSTM 模型。CNN 模型擅于處理數據的空間特性，而 LSTM 一般用于處理數據的時間特性。目前使用 CNN 模型的研究相對較多，在有些研究中將 LSTM 與 CNN 二者結合使用來提高跌倒事件中的響應速度。

2.3.2參數優化

以 CNN 模型為例，其核心思想在于引入局部感知、權值共享和下采樣這3種技術來彌補傳統神經網絡的不足。影響模型最終檢測結果的因素包括輸入數據的有效性、卷積層數、激活函數、卷積核大小、卷積步長、填充值、池化方式等。在神經網絡中，衡量網絡預測結果與真實值之間差別的指標稱為損失函數。而模型訓練就是通過調整權重 W 和偏置 b 使損失函數的值盡可能小，從而使模型的測試結果更接近真實值。損失函數包括分類損失函數和回歸損失函數，常用的分類損失函數有負對數似然損失函數和交叉熵損失函數。權重 W 和 b 的值可通過梯度下降、隨機梯度下降、動量、加速梯度、均方根及自適應矩估計等算法[24]進行優化。訓練時，若提取特征值過多可能會出現過擬合，可使用數據增強、權重衰減及 Dropout 等方法[25]防止過擬合。

2.4結果分析

將測試數據輸入至訓練好的模型中，通過分類函數進行分類識別，再由輸出層將分類結果輸出。對于跌倒檢測的結果，分析跌倒和非跌倒行為的識別精度，表2為部分文獻關于識別結果的說明，其中 It 代表跌倒識別精度，If 代表非跌倒識別精度。

3結束語

本文對近年來關于深度學習的跌倒檢測研究進行了分析。根據跌倒檢測的過程，分別從數據采集、數據處理、模型選擇與優化及識別結果等方面進行了分析。通過分析可知，目前有大量關于深度學習的跌倒檢測研究，且也取得了較好的研究成果，但仍然存在一些問題：

1）數據集

從大量文獻研究發現，實驗采用的數據集大多是在預設環境或背景單一環境下采集，且采集的數據來源大多是青年志愿者。而真實環境遠比實驗環境更復雜多變，且對于跌倒檢測的真實對象是老年人，因此采集的數據在實際應用中可能會存在一定的偏差。

2）訓練模型

在引用的文獻中關于卷積網絡模型的選用比較單一，大多是選擇二維或三維卷積網絡模型。未來也許可以嘗試其他的卷積網絡模型。

3）安全問題

本文引用的文獻中幾乎均未提及關于系統的安全問題，而在萬物互聯的今天，跌倒檢測所使用的設備幾乎全部聯網，并通過互聯網進行數據通信和處理，這些設備極易受到網絡入侵和黑客攻擊，因此其網絡安全問題也變得尤為重要。

參考文獻：

[1]國家統計局：中華人民共和國2021年國民經濟和社會發展統計公報[EB/OL].2022，3.

[2] Y. LECUN， Y BENGIO， et al. Deep leaning[J]. Nature， 2015：436-444.

[3] CHANG Y C， LAIY H， et al. Inferential motion reconstruction of fall accident based on LSTM neural network[ J]. Med. Biol. Eng，2019，39（3）：315-328.

[4]厙向陽，蘇學威.基于CNN和LSTM混合模型的人體跌倒行為研究[J].計算機應用研究，2019，36（12）：3857-3868.

[5]沈旭東.基于深度學習的時間序列算法綜述[J].信息技術與信息化，2019（1）：71-76.

[6]朱連杰，陳正宇，田晨林.基于可穿戴設備的跌倒檢測方法綜述[J].計算機工程與應用，2019，55（18）：8-14.

[7]忽麗莎，王素貞，陳益強，等.基于可穿戴設備的跌倒檢測算法綜述[J].浙江大學學報（工學版），2018，52（9）：1717-1728.

[8] ?ZDEMIR A. An analysis on sensor locations of the human body for wearable fall detection devices： principles and practice[J].Sensors，2016，16（8）：1161.

[9] KRAFT D， SRINIVASAN K， BIEBER G. Deep learning based fall detection algorithms for embedded systems， smart watches， and IoT devices using accelerometers[J]. Technologies，2020，8（4）：72.

[10] SUCERQUIA A， LOPEZ J， et al. Real-life/real-time elderly fall detection with a triaxial accelerometer[J].Sensors， 2018，18（4）：1101.

[11]孫子文，孫曉雯.基于加速度傳感器的人體跌倒檢測方法[J].計算機工程與科學，2017，39（2）：330-335.

[12]何堅，周明.基于卡爾曼濾波與k-NN算法的可穿戴跌倒檢測技術研究[J].電子與信息學報，2017，39（11）：2627-2634.

[13]鞏玉奇，陶晉宜，楊剛.基于改進中值濾波的手機玻璃瑕疵圖像增強方法[J].電子技術應用，2022，48（7）：91-95.

[14]呂艷.采用卷積神經網絡的老年人跌倒檢測系統設計[J].浙江大學學報，2019，53（6）：1130-1138.

[15]劉青玉.基于淺層學習和深度學習的傳感器活動識別對比研究[D].秦皇島：燕山大學，2017.

[16]胡雙杰.基于特征自動提取的跌倒檢測算法[J].傳感器技術， 2018，31（12）：1842-1847.

[17]陳波，等.基于傳感器人體行為識別深度學習模型的研究[J].浙江工業大學學報，2018，46（4）：375-381.

[18]李雷.穿戴式跌倒檢測中特征向量的提取和降維研究[J].計算機應用研究，2019，36（1）：103-114.

[19]盧忱.一種基于小波特征的跌倒行為檢測方法[J].西安郵電大學學報，2016，21（5）：43-49.

[20]曹建榮.融合運動特征和深度學習的跌倒檢測算法[J].計算機應用，2021，41（2）：583-589.

[21]馬露.基于深度學習的跌倒行為識別[J].計算機科學，2019， 46（9）：106-112.

[22]楊光耀.基于深度學習的人體姿態識別系統設計與實現[J].中國新技術新產品，2022（7）：22-24.

[23]范鵬生，吳貴軍，陳浩辰.基于輕量化Openpose的跌倒算法識別研究[J].無線互聯科技，2022，19（08）：128-129.

[24]高隨祥，文新.深度學習導論與應用實踐[M].北京：清華大學出版社，2019：89-92.

[25]解天舒.基于卷積神經網絡的Dropout方法研究[D].成都：電子科技大學，2021.