一種基于Kinect的人體摔倒檢測方法

李旋旋+張仁杰

摘 要：為了實時監測老人的跌倒信息，提出一種基于Kinect體感傳感器的自動檢測摔倒方法。人在摔倒時，身體重心、速度會快速改變，身體的中心點會從比較高的位置下降到地面。基于此，通過對人體頭部、腰部、膝蓋等幾個關鍵的骨骼點進行高度和速度的監測，兩者結合判斷，如果超出所設定的閾值，則判定為跌倒事件發生。

關鍵詞：Kinect；自動檢測；跌倒事件

DOIDOI：10.11907/rjdk.171257

中圖分類號：TP319

文獻標識碼：A 文章編號：1672-7800（2017）007-0125-03

0 引言

隨著經濟和社會的快速發展，中國已開始進入老齡化社會，每年都有大量老人因為沒有得到及時救助而錯過了最佳求救時間，從而導致生命安全事故頻發。當他們獨自外出或者待在家里時，一些意外事件經常發生。為了讓他們的生命安全得到保障，通過人機交互的方式實時監測人體活動信息。通過這種方式，可以在老人或者孩子發生跌倒意外時通過報警求助信息及時加以求助。本文采用Kinect體感傳感器設備，提取人體骨骼信息，然后對身體的中心點在摔倒時下降的高度和速度進行判斷，兩者綜合比較判斷人體是否真的跌倒。Kinect提供了豐富的能夠識別人體特征的信息源，通過這些信息源對提取到的人體圖像進行處理和骨骼追蹤變得十分方便。此外，Kinect還具有語音識別功能，不受環境光線的干擾，即使在全黑暗的環境中也可以正常使用。

1 跌倒檢測分析與設計方法

1.1 人體特征提取及動作識別

Kinect在使用時，得到的原始深度圖有噪聲和一些毛刺，這些噪聲有很大的不穩定性，從而導致提取出來的人體圖像不正確，也不具備穩定性。因此，在提取人體姿勢信息之前，需要對原始深度圖進行預處理，用算法消除圖像的噪聲。

采用Kinect得到的原始圖像的分辨率并不是很高，這也是一大不足。本文通過使用泊松方程及一系列算法使得原始深度圖的圖片質量得以提高。泊松算法可判斷人體表面的特征點是否為噪聲。其具體原理為：首先，提取物體表面特征點的朝向及角度，并判斷該點存在于空間的可能位置，同時，根據朝向的判斷，借助泊松方程在特征點周圍形成一個虛擬的距離場，然后，根據判斷出的采樣特征點的位置平均估計出它對周圍的影響及周圍表面距離場的具體情況[1]。每個特征點都是由周圍很多點共同決定的最終狀態。因此，如果圖像的觀察點位置有凸起的特征，而且周圍的點沒有表現出此類特征，則該點就是噪聲并消除。Kinect自帶的采樣精度低的缺陷導致很多小的特征點被誤判為噪聲。

中值濾波是常用的噪聲去除方法，它是一種基于排序統計理論的非線性信號處理技術，其依據的原理是在數字圖像或數字序列中，設定一個尺寸模板，在目標點附近取該尺寸模板能覆蓋到的值，再對這些值進行排序，并選取最中間的值作為該點濾波后的值，同時讓目標點附近像素點的像素值趨近真實值，從而使噪聲點孤立并濾除[2]。具體方法為利用特定結構的二維滑動模板，按像素值的大小對模板內的像素進行排序，進而生成了單調的二維數據序列。二維中值濾波的輸出公式為：

式（1）中g（x，y）為濾波后圖像，f（x，y）為原始圖像，一般為3×3或5×5的區域。

濾波會對圖像的清晰度造成下降，且本文中Kinect傳感器的分辨率較低，為了獲取清晰的濾波圖像，需謹慎地選擇濾波的模板。由于Kinect的深度圖像的噪聲點是沒有值的，因而選用濾波模板為5像素大小。圖像濾波前后對比如圖1所示，本算法明顯消除了噪聲點。

人與背景的分割原理，是指對當前的視頻幀圖像與背景圖像做減法，去除當前圖像中的復雜背景，從而提取出人體目標。對于深度圖像，能有效去除背景，即可準確保留所需的人體信息[3]。本文將采用背景差分法進行深度圖像中人與背景的分割。

使用背景差分法分離出前景目標后，需對圖像進行二值化處理，以便去除噪聲。圖3（a）為復雜背景中的深度圖，（b）為背景差分法提取出人體區域并經二值化處理之后的效果。

在所有的預處理步驟完成后，對人體進行特征分析。為了確定是否有跌倒事件發生，對人的中心點進行分析，從速度和高度這兩個特征著手，程序流程如圖4所示。

人在正常的直立狀態下，身體的頭部、腰部及兩髖等中心點的連接線與地面呈現垂直關系，當有摔倒情況出現時，身體的質心在高度和速度等方面會突然發生變化，本文主要以這兩個為主要研究點。相對于其它研究方法，這種方式更為簡潔、準確。對中心點，如腰部設定一個閾值，此閾值是經過大量的實驗選取的最佳判斷點，如果中心點高度在一定的時間范圍內小于所設置的值，表明有跌倒事件發生，此外再檢測速度，綜合得出跌倒時間的判定。

1.2 系統方案選擇

Kinect體感器具有實時跟蹤骨骼的技術，如圖5所示，選取頭部、腰髖部、膝蓋等部位，實時計算人體中心點的空間位置、運動速度，以及兩髖中心點的空間位置、離地面的高度以及在較低高度下停留的時間等參數。通過連續的視頻幀，來計算身體質心或者骨骼點的速度，如果該速度超過給定閾值V，同時兩髖中心點離地面高度低于H且停留時間大于T，則判定跌倒事件發生，系統會自動發出警報并切換到RGB畫面，以及自動保存當前時刻的具體時間、深度圖、骨骼圖和所有骨骼坐標，并自動將現場重要信息通過郵件通知到監護人。

2 實驗結果及分析

Kinect骨骼跟蹤不受周圍光照的影響，主要是因為紅外信息，產生3D深度圖像，所以本系統優先選用Kinect獲取人體特征信息[4]。如圖6所示，通過Kinect獲取的數據分析和判斷目標人體的運動狀態，主要檢測特征是目標人體的中心點的下降速度和腰部中心點離地面的高度。

2.1 中心點速度檢測

通過對目標人體進行監測，對返回的骨骼數據加以實時處理，每相鄰10幀求一次人體中心點的下降速度V。當V>VT（臨界值），則認為檢測到了跌倒特征。根據實驗結果，VT一般在1.21m/s～2.05m/s，結合實驗測試結果，本文選取1.46m/s作為人體中心點下降速度的閾值。一旦超過該閾值，則預估為檢測到跌倒，因為有可能只是人體做出健身、下蹲姿勢，要進一步確定是否真的跌倒，則需要根據腰部離地面的高度來判斷，如果腰部的高度檢測出小于設定的閾值，綜合判斷，才使得結果更準確。endprint

2.2 高度檢測

檢測目標人體中心點的下降速度是其中一個檢測特征，如果檢測到了速度特征在跌倒范圍內，將進一步檢測腰部離地面的高度。地面檢測的難度比較大，在Kinect中，每個類型的數據都有3個類與之對應：Source、Reader和Frame。如果要讀取骨架，就有IBodyFrameSource、IBodyFrameReader、IBodyFrame這3個類[5]，而要讀取深度數據，就有IDepthFrameSource、IDepthFrameReader、IDepthFrame這3個類。可以發現，在IBodyFrame類中有get_FloorClipPlane方法，函數的參數是vector4*floorClipPlane，返回值是HRESULT類型vector4結構體中有4個float類型的數據成員，是地面方程的參數，但實際試驗中得知這幾個參數并不能準確獲得，極大影響了實驗結果。因此，最終選擇計算腰部到腳掌的高度差來判斷是否摔倒。把雙腳作為相對于地面的基線，由于地面方程不易檢測，將此方案轉變，把腳部看作地面，如果腰部中心點到腳部的高度小于設定的固定值，則檢測到有摔倒的特征[6]。

在摔倒時，姿勢大多都是俯臥式，這時人體離地面的距離會很小，包括頭部、腰部、臀部及膝蓋等部位。經查閱資料發現，男性和女性的腰部厚度和臀部的寬度最終能得到理想的閾值。考慮到老年人穿衣服的厚度或身體接觸地面不完全等多種情況，結合實驗測試結果，該高度閾值需要設置更大一點才能準確檢測到跌倒事件，本文選取0.32m作為檢測特征的閾值[7]。當High<0.32m，則判定檢測到摔倒特征，如圖7所示。

3 語音確認與報警

為了使跌倒信息及時傳遞給相關人員，結合AT89C52單片機的主控制模塊和語音識別模塊對Kinect進行控制[8]。如果檢測到有人摔倒并持續5s則認定跌倒事件發生，系統發出警報聲并自動顯示“Target Fall”，如果此時視頻幀中出現高度大于1m的人體，則警報解除。

4 實驗總結

實驗表明，該檢測系統的檢測準確率高，算法簡單易于實現，解決了老人發生意外得不到及時救助的問題。此系統可以很好地保護隱私，只是顯示深度圖像和骨骼圖。另外，Kinect不受光照影響，系統在晚上也可以實時檢測，無需穿戴，實用性和舒適性較好，不會影響老年人的日常活動，Kinect價格不高，具有推廣及應用前景。

參考文獻：

[1]金煒，潘英俊，魏彪.基于改進遺傳算法的圖象閾值去噪研究[J].計算機工程與應用，2005（22）：66-69.

[2]岡薩雷斯.數字圖像處理[M].北京：電子工業出版社，2003.

[3]李旭超，朱善安.基于小波模極大值和Neyman Pearson準則閾值的圖像去噪[J].中國圖象圖形學報，2005，10（8）：964-969.

[4]孔令富，李海濤.Y 基于位置和運動軌跡的老年人異常行為檢測[J].計算機工程與設計，2012，33（2）：735-739.

[5]PRATT W K.Digital image processing：3rd edition[M].New York：Wiley Inter-science，1991.

[6]PALSK， KING R A.Image enhancement using smoothing with fuzzy sets[J].IEEE Trans， Syst，Man，Cybern，1981，11（7）：494-501.

[7]TAI-CHIU HSUNG，DANIEL PAK-KONG LUN，WAN-CHI SIU.Denoising by singularity detection[J].IEEE Transactions on Signal Processing，1999，47（11）：185-186.

[8]陳雪鋒.基于人體姿態識別的機器人控制技術研究[D].武漢：武漢科技大學，2014.endprint