基于KinectV2的跌倒行為檢測與分析

李文陽 馬行 穆春陽

關鍵詞： Kinect V2; RGB?D; 骨骼圖像; 閾值分析; 意外跌倒; 實時檢測

中圖分類號： TN911.23?34 ? ? ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）06?0142?04

Abstract： The Kinect V2 somatosensory equipment is used to detect and identify the fall behavior of the elderly， so as to reduce the casualties caused by falls of the elderly as much as possible. The human body skeleton image and position information are obtained by processing the RGB?D images acquired by the Kinect camera. The skeleton tracking technology is used to select skeleton points such as the center point of the human body， center point of two hips， and right foot sole， so as to calculate the parameters such as the center point spatial position of the human body， body movement speed， position of the center point of two hips， and height of the center point of two hips from the ground in real time. The speed threshold and height threshold during the falling are emphatically analyzed in this paper. A large number of verification experiments were carried out. The results show that the algorithm proposed in this paper has a high real?time performance in the indoor environment， can overcome the problems of low detection rate and poor real?time performance of the traditional video detection technology， effectively protect the privacy of the elderly during the detection process， and perform real?time detection continuously， which can provide security assurance for accidental falls of the elderly.

Keywords： Kinect V2; RGB?D; skeleton image; threshold analysis; accidental fall; real?time detection

0 ?引 ?言

隨著我國人口老齡化進程的加速，根據數據顯示預計到2050年，中國老齡化人口將達到4.5億人，約占總人口[1]的[13]。然而跌倒已成為我國傷害死亡的第四位原因，在65歲以上的老年人中占首位，并且死亡率隨著年齡增加而急劇上升，此外還可能導致大量殘疾，影響身心健康。根據Noury等人的研究[2]，如果老年人在跌倒后能得到有效的救助，可以有效降低老年人死亡的風險，因此在室內對老年人跌倒檢測是一項具有實際意義的事情。傳統的對老人跌倒檢測方法有以下3種方法：

1） 利用穿戴式傳感器來檢測人體跌倒[3];

2） 視頻圖像分析法[4];

3） 基于Android手機內置傳感器檢測法[5]。

本文將Kinect V2用于室內人體檢測，利用骨骼跟蹤技術和RGB?D相結合的方法可以進行24 h實時檢測，可以克服外界光照條件的變化帶來的影響，提高跌倒檢測的準確度，能夠對跌倒行為進行及時處理，保證老年人的安全。

1 ?骨骼數據獲取

Kinect V2提供了人體骨架中的25個關節點，所有關節點依靠深度圖像技術[6]都可以通過空間三維坐標（x，y，z）表示。其中RGB攝像頭提供x和y的坐標值，紅外攝像頭提供z向深度值。本文跌倒檢測算法主要選用了25個關節點中的3個關節點用于算法的判別，分別為人體中心點、兩髖中心點、右腳掌。

Kinect V2獲取的關節點坐標與深度圖像空間坐標不同，獲取的骨骼點數據的單位是m。從Kinect V2感應器的視角來看，它的空間坐標系如圖1所示。

2 ?跌倒行為的檢測

Kinect V2獲取人體在環境中的骨骼數據信息和深度數據信息，本文采取的算法主要是利用所獲取的骨骼數據來判定人體是否發生跌倒行為。由于人體骨骼之間存在的一些關系，采用兩種判定方式：一是人體中心點運動的速度v;二是兩髖中心點的空間位置d。當同時滿足這兩種判定方式，就認為跌倒事件發生，跌倒檢測算法流程如圖2所示。

2.1 ?判定條件一（人體中心點運動的速度）

當人體做出不同的動作時，人體動作與骨骼關節點的空間位置，相對位置位移有著極大的關系，所以當做不同動作時，可以根據對骨骼點數據的處理來判別所做的動作。本文的跌倒檢測就是根據人體站立的姿態到跌倒的空間位移變化來判斷的，由于從站立姿態到跌倒姿態是一個非常短暫的過程，所用時間非常短，因此本文實驗中每相鄰10幀檢測1次。以當前幀和之前的10幀之間的位置信息進行比較，Kinect V2通常以30 f/s的速度進行更新，時間間隔為每10幀0.33 s。假設在空間坐標系中人體中心點在測試環境中的坐標第fx的坐標為（x1，y1，z1），此時的時間戳為t1，第fx+10幀的坐標為（x2，y2，z2），此時的時間戳為t2，所選兩幀圖像的人體中心點下降的位移由空間歐氏距離d決定。

從圖3中能發現當人正常行走時，人體中心點的位移幾乎沒有發生變化，因此0～70幀、90～140幀、180～220幀、250～300幀，這些時間內，位移變化不顯著，人體下降的速度非常小。當跌倒事件發生時，人體中心點的位移發生急劇的變化，下降的速度就會有一個比較大的峰值，在圖中，第80幀、150幀、240幀的時刻，就是人體跌倒發生的時刻。通過圖3可以發現，跌倒時刻的速度峰值速度都集中在1.2 m/s以上。為了進一步地研究峰值速度的取值范圍，對實驗數據進行了處理，只獲取跌倒時刻的速度，然后研究vL的取值范圍，如圖4所示。

3位實驗者采取快速向前跌倒、快速向后跌倒、快速側倒、緩慢向前跌倒、緩慢向后跌倒、緩慢側倒等姿勢，對獲取的數據進行處理后，只對各種場景下跌倒時刻的速度進行展示，得到如圖5所示的柱狀圖。在圖中不難發現，跌倒時刻的峰值取值范圍為1.2～1.8 m/s。為了降低老人跌倒帶來的損失，選擇較小的vL合理，因此vL設定為1.2 m/s。

當老人摔倒在地時，兩髖中心點和右腳掌之間的垂直距離會發生急劇的變化。在Kinect的空間坐標系中，假設跌倒瞬間兩髖中心點的坐標為（x3，y3，z3），右腳掌的坐標為（x4，y4，z4）。考慮到右腳掌和兩髖中心點之間的位移會受到跌倒在地姿勢的影響[8?9]，本文選擇兩髖中心點和右腳掌之間的垂直距離作為參考就可以避免姿勢造成的影響，即在調用坐標數據時，dL=y3-y4。

為了研究dL的取值范圍，實驗選取3個不同身高的實驗者模擬老年人摔倒的場景。經過大量的實驗，得到如圖5所示的兩髖中心點和右腳掌之間的垂直高度差與獲取幀數之間的關系。

圖中：線條1代表身高175 cm的實驗者;線條2代表身高170 cm的實驗者;線條3代表165 cm的實驗者。當實驗者在正常行走時，兩髖中心和右腳掌之間的距離幾乎沒有變化，保持在一個相對穩定的值，如圖5所示。線條1的折線中從開始到110幀時，高度差基本沒有發生改變，當突然跌倒時，這個值就會從0.8 m降到0.3 m以下;線條2的折線同樣在120幀之前還基本穩定，當突然跌倒時數值就急劇下降，直到降到0.3 m以下;線條3的折線在90幀之前高度差變化不怎么明顯，當發生跌倒時高度差就發生變化，直到最后小于0.3 m。從實驗數據分析可以得到，當老年人跌倒在地時，兩髖中心點和右腳掌之間的距離都會小于0.3 m，因此高度差閾值就可以設定為0.3 m，即當d<0.3 m時，認為滿足跌倒事件發生的第二個條件。

3 ?實驗結果與分析

為了驗證檢測系統的有效性，實驗設置了6個實驗場景，分別為快速向前跌倒、快速向后跌倒、快速側面跌倒、緩慢向前跌倒、緩慢向后跌倒、緩慢側面跌倒，實驗者為3位。每個人在不同的場景中做了20次跌倒實驗，在不同場景中的識別率如表1所示。

通過對總共的360次試驗分析，可以從表1的識別率發現快速向前和緩慢向后的識別率高于其他4種跌倒方式。其中尤其是緩慢側面跌倒的識別率的誤差率高，通過研究發現可能是由于緩慢側面跌倒時，人體的兩髖中心和右腳掌之間的垂直距離在跌倒瞬間不能嚴格達到本文的閾值，還有可能是人體在跌倒過程借助了輔助物品（比如桌子、椅子等）。為了研究緩慢側面跌倒識別率低的情況，文章下一步研究的方向可能是在老年人身邊有支撐物時的跌到行為。

本文采取的算法與前面所講述的相比較。文獻[3]利用穿戴式傳感器來檢測人體跌倒，這種方法用戶需要佩戴加速度傳感器、角傳感器或者壓力傳感器等裝置，對運動具有阻礙性，極其不方便，且誤報率為12%。文獻[4]采用視頻圖像分析法，這種方法通過攝像機的連續監控，借助圖像處理技術，實時地分析目標圖像的信息，檢測跌倒事件的發生，不會妨礙使用者的正常生活。但是普通的攝像頭容易受外界環境的影響，識別率為90%，尤其是不能在夜間進行實時監控，并且容易泄漏老年人的隱私。文獻[5]基于Android手機內置傳感器檢測法，這種方法比其他幾種檢測方法的識別率要高，識別率為95%，但使用者必須每時每刻攜帶者手機，對運動具有阻礙性且不適用于老年人。

4 ?結 ?語

本文采取跌倒速度與高度差相結合的方法，能夠很大程度上減少因跌倒而造成的損失，算法識別率為92.7%。所使用的設備為微軟第二代Kinect，避免了穿戴式設備所造成的困擾，能夠全天24 h監測老年人，用骨架信息和RGB?D圖進行實時監測，能夠最大程度地保護老年人的隱私和安全。實驗存在的不足在于，Kinect V2 的視角并不能完全覆蓋整個區域，以及老人在行走過程當中可能或存在身體部分的遮擋，使實驗結果不夠精確。文章下一步的研究在于能否使用多個Kinect V2進行監測，分為不同區域進行交叉監測。

注：本文通訊作者為馬行。

參考文獻

[1] 彭希哲，胡湛.公共政策視角下的中國人口老齡化[J].中國社會科學，2011（3）：121?138.

PENG Xizhe， HU Zhan. Aging population in China from the perspective of public policy [J]. Chinese social science， 2011（3）： 121?138.

[2] NOURY N， FLEURY A， RUMEAU P， et al. Fall detection： principles and methods [C]// Proceedings of 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Lyon： IEEE， 2007： 1663?1668.

[3] 蔡靖，樊毅堯，董子健，等.基于穿戴式平臺的老人摔倒監測系統設計[J].傳感器與微系統，2017，36（7）：130?133.

CAI Jing， FAN Yiyao， DONG Zijian， et al. Design of elderly tumble monitoring system based on wearable platform [J]. Transducer and microsystem technologies， 2017， 36（7）： 130?133.

[4] SHI X， XIONG Q Y， LEI L N. Research on fall detection system based on pressure sensor [J]. Chinese journal of scientific instrument， 2010（3）： 237?242.

[5] 程一風，李達，張翔晨.基于Android手機多傳感器的老人跌倒檢測技術研究與實現[J].電子設計工程，2016，24（14）：181?183.

CHENG Yifeng， LI Da， ZHANG Xiangchen. Research and implementation of fall detection based on Android phone [J]. Electronic design engineering， 2016， 24（14）： 181?183.

[6] 藍箭，孫娟，楊裕炳，等.基于Kinect骨骼追蹤的控制方法的研究[J].儀表技術，2014（8）：20?22.

LAN Jian， SUN Juan， YANG Yubing， et al. Research on control method based on Kinect skeletal tracking [J]. Instrumentation technology， 2014（8）： 20?22.

[7] XIA L， CHEN C C， AGGARWAL J K. Human detection using depth information by Kinect [C]// Proceedings of Computer Vision and Pattern Recognition Workshops. Colorado Springs： IEEE， 2011： 15?22.

[8] HENRY P， KRAININ M， HERBST E， et al. RGB?D mapping： using Kinect?style depth cameras for dense 3D modeling of indoor environments [J]. International journal of robotics research， 2012， 31（5）： 647?663.

[9] 朱國剛，曹林.基于Kinect傳感器骨骼信息的人體動作識別[J].計算機仿真，2014，31（12）：329?333.

ZHU Guogang， CAO Lin. Human motion recognition based on skeletal information of Kinect sensor [J]. Computer simulation， 2014， 31（12）： 329?333.

[10] 黃文靜，馬力.基于Kinect手勢識別的研究與應用[J].電子設計工程，2017，25（24）：166?169.

HUANG Wenjing， MA Li. A gesture recognition research and application based on Kinect [J]. Electric design engineering， 2017， 25（24）： 166?169.