基于Kinect的摔倒行為研究

楊張振

(南京郵電大學 通信與信息工程學院,江蘇 南京 210003)

0 引 言

隨著人類社會的發展和進步，人們的物質生活水平得到了大幅提高，同時人們對身體健康水平和生活環境的安全穩定水平的要求也在不斷增長。出于對健康和安全的考慮，越來越多的監控設備被應用于室內環境以檢測室內可能出現的意外摔倒情況[1]。

摔倒行為可能會對人們的健康帶來嚴重的后果，尤其是出現這一意外情況但沒有及時發現處理，將會加重事件帶來的不利影響，比如老年人出現摔倒情況卻沒有得到及時救助，后果可能不堪設想。據全國傷害監測系統(NISS)2013年的收集統計，65歲及以上老年人跌倒死亡率為45.72/10萬，因跌倒死亡是65歲及以上人群因傷害致死的第一死因[2]。除導致死亡外，跌倒/墜落造成更多的是殘疾、功能受限、活動受限等非致死性后果。因此對室內可能出現的摔倒行為進行檢測是一項很有實際意義的工作。

傳統的對摔倒行為進行檢測的技術手段主要有兩種：一種是利用穿戴式傳感器對摔倒進行檢測，當檢測到摔倒行為時，與人體連接在一起的傳感設備會發出摔倒信號[3-5]；另一種是依據視頻裝置對摔倒進行檢測，用一個或多個攝像機對某個場景進行連續監控，通過對視頻進行處理對摔倒進行檢測[6]。傳統方法對摔倒行為的檢測雖然取得了一定的成果，但是局限性也很大。利用傳感器對摔倒行為進行檢測會對人體行動產生不便，利用傳統視頻監控設備對摔倒行為檢測不僅難以做到及時的檢測識別，又要面臨外界條件變化所帶來的不利影響。隨著計算機視覺技術的不斷發展，科研人員開始采用深度圖像對室內異常行為的檢測進行研究[7-8]，而且隨著采集RGB-D圖像設備的不斷出現，RGB-D圖像得到了越來越多的研究者的青睞。微軟公司于2009年6月推出了Kinect體感設備，Kinect的突出功能就是處理深度圖像，它的骨骼追蹤技術就是通過處理深度圖像來建立人體各個關節的坐標，能夠通過骨骼追蹤技術確定人體的各個部分以及它們的位置。

在傳統的檢測方案中，需要人來對監控圖像進行不斷觀察，這種方法局限性太強，不僅耗費了大量的人力物力，不能及時發現可能出現的異常行為，而且傳統的檢測方案對檢測到的情況不能進行自動智能化的處理。因此，文中基于Kinect設備，對室內環境進行檢測，利用深度圖像能夠克服外界光線條件變化和遮擋等不利因素影響的優點，提高對摔倒行為檢測的準確率，并且能夠對異常行為進行自動化處理，實現對異常行為的實時性檢測，達到保護人體安全的目的[9-10]。

1 Kinect簡介

Kinect[11]是微軟公司于2009年6月推出的具有里程碑意義的一種體感設備。它具有3個Camera，中間的是RGB Camera，用于獲取640×480的彩色圖像，每秒鐘最多獲取30幀彩色圖像；兩側是兩個深度(3D Depth)傳感器，使用紅外線檢測玩家的相對位置，其原理和人眼立體成像原理一樣；Kinect兩側各有兩組麥克風用來做3D語音識別，能夠捕捉到聲源附近各種各樣的信息；下面底座內有一個馬達可以調整Kinect的仰角，其仰角可調整范圍大小為43°。具體如圖1所示。

2 骨骼圖像獲取方法

文中利用Kinect來獲取用戶的骨骼和關節點。Kinect左右兩邊的紅外線發射器和紅外線CMOS攝影機構成了3D結構光深度傳感器。該傳感器通過黑白光譜的方式來感知環境：純黑代表無窮遠，純白代表無窮近。黑白間的灰色部分對應物體到傳感器之間的物理距離。Kinect設備運行時，紅外線發射器發出激光覆蓋整個Kinect的可視范圍，激光在散射體表而產生漫反射，紅外線/VGA攝像頭組接收漫反射光線，通過激光散斑的照明，利用光編碼技術，對可視范圍內的空間進行編碼。然后，Kinect對獲取的具有三維縱深的編碼進行解碼運算，獲得相應的彩色圖像數據、深度圖像數據以及骨架模型數據。Kinect與計算機通過USB接口相連，所獲數據通過USB端口輸入計算機，通過應用程序編程接口(application program interface,API)讀取相關數據，按程序中規定的算法進行運算。Kinect提供了人體骨架中的20個關節點(見圖2)，所有關節點依靠深度圖像技術都可通過空間三維坐標(x,y,z)進行定義，其中VGA攝像頭提供x和y坐標值，紅外攝像頭提供z向深度值。

圖1 Kinect傳感器

圖2 Kinect識別到的20個人體關節點

與深度圖像空間坐標不同的是，這些坐標單位是m。坐標軸x,y,z是深度感應器實體的空間x,y,z坐標軸。這個坐標系是右手螺旋的，Kinect感應器處于原點位置，z坐標軸則與Kinect感應的朝向一致。y軸正半軸向上延伸，x軸正半軸(從Kinect感應器的視角來看)向左延伸，如圖3所示。

3 檢測過程

當人體做出不同的動作時，由于人的動作和骨骼關節點空間位置、相對位置信息的變化有直接的關系，所以當這些關節點位置的數據發生變化時，可以根據對這些參數的處理來判斷人體的動作[12-14]。人體從站立到摔倒是一個非常短暫的過程，所用時間很少。因此在實驗中，對當前骨骼圖像幀和之前15幀骨骼圖像中的關節點位置信息進行對比，按照Kinect 30幀/s的更新速率，文中所選取的兩幀圖像之間的時間差別僅為0.5 s。摔倒事件自動檢測系統主要選用Kinect所獲取的20個關節點中的2個用于算法判別[15]，分別為左肩、右肩，2個關節點的三維坐標(x,y,z)信息返回到Kinect For Windows SDK (software development kit)開發包中，形成骨架信息流，供摔倒檢測算法調用。

圖3 人體骨骼圖像坐標示意圖

(1)

通過式(1)和閾值P，有如下不等式：

(2)

(3)

然后根據摔倒時前后幀之間的位移向量與O-X,Y,Z坐標體系中的Y軸方向夾角θ加以區分摔倒和坐下、下蹲等可能會出現誤判的情況，當人體做出坐下或者下蹲動作時，θ為0°～20°，而摔倒情況出現時，θ為45°～75°。加上此判斷條件后，經過實驗驗證，達到了預期，識別率達到了92.3%。

4 實 驗

4.1 實驗平臺

實驗采用Intel(R) Core(TM) i3 CPU M350 @2.27 GHz 4核。顯卡為AMD Radeon HD 5000。操作系統為32位Windows 7旗艦版，開發環境為Visual Studio 2010，OpenCV環境為opencv-2.4.10。

4.2 實驗結果與分析

實驗人員站立于Kinect視場范圍內，可以在計算機終端顯示4幅圖像和一個檢測輸出窗口，其中四幅圖像分別為color image，depth image，mask image和skeleton image,其中mask image是把depth image中的背景用黑色來填充，檢測到的人體用白色填充的圖像。圖4即為站立時的depth image，mask image和skeleton image。

圖4 站立時的深度圖像及骨骼圖像

當實驗人員出現摔倒行為后，摔倒后的depth image，mask image和skeleton image如圖5所示。

從摔倒后的骨骼圖像看出，人體骨骼關節點信息發生了明顯變化，其中左肩、右肩和兩肩中心關節點位置在空間中的變化較為顯著，結合實驗結果的數據可以證明文中采用方法選取該關節點數據的科學性。

5 結束語

在現有的視頻檢測技術中，多數依賴于RGB圖像的監控，這種方法不僅實時性差，而且不利于保護監控環境內的個人隱私。而采用基于Kinect的骨骼圖像對摔倒行為進行監控，不僅能夠實時地檢測人體行為，而且精度高，同時有利于保護被檢測人的隱私。但是由于Kinect拍攝的圖像中包含了大量的數據信息，目前計算機對如此數據量的信息進行提取計算的速度還不夠高，還需要對程序的算法進行改進，提高計算效率。同時采用的設備為Kinect1.0產品，該產品能獲取的視覺場景范圍有限，并不能完整覆蓋常見的家庭等室內環境。下一步要做的工作是在Kinect2.0設備的基礎上對該方法進行開發研究，并且嘗試采用雙設備甚至多設備進行開發實驗，進一步擴大該方案的應用場景并且提高檢測率。

圖5 摔倒后的深度圖像及骨骼圖像

參考文獻：

[1] VAIDEHI V,GANAPATHY K,MOHAN K,et al.Video based automatic fall detection in indoor environment[C]//International conference on recent trends in information technology.[s.l.]:IEEE,2011:1016-1020.

[2] 耳玉亮,段蕾蕾,葉鵬鵬,等.2014年全國傷害監測系統老年跌倒/墜落病例特征分析[J].中華流行病學雜志,2016,37(1):24-28.

[3] 孔令富,李海濤.基于位置和運動軌跡的老年人異常行為檢測[J].計算機工程與設計,2012,33(2):735-739.

[4] 劉 鵬,盧潭城,呂愿愿,等.基于MEMS三軸加速度傳感器的摔倒檢測[J].傳感技術學報,2014,27(4):570-574.

[5] 羅 堅,唐 琎,毛 芳,等.基于云計算的可穿戴式老齡人異常行為檢測系研究[J].傳感技術學報,2015,28(8):1108-1114.

[6] 韓 磊.圖像序列中人的行為分析和識別方法[D].北京:北京理工大學,2009.

[7] YANG S W,LIN S K.Fall detection for multiple pedestrians using depth image processing technique[J].Computer Methods & Programs in Biomedicine,2014,114(2):172-182.

[8] 曹雛清,李瑞峰,趙立軍.基于深度圖像技術的手勢識別方法[J].計算機工程,2012,38(8):16-18.

[9] LIU C L,LEE C H,LIN P M.A fall detection system using k-nearest neighbor classifier[J].Expert Systems with Applications,2010,37(10):7174-7181.

[10] LIU Hong,ZUO Changling.An improved algorithm of automatic fall detection[J].AASRI Procedia,2012,1:353-358.

[11] 石曼銀.Kinect技術與工作原理的研究[J].哈爾濱師范大學自然科學學報,2013,29(3):83-86.

[12] 黃國范,李 亞.人體動作姿態識別綜述[J].電腦知識與技術,2013,9(1):133-135.

[13] 胡 瓊,秦 磊,黃慶明.基于視覺的人體動作識別綜述[J].計算機學報,2013,36(12):2512-2524.

[14] 劉 博,安建成.基于關鍵姿勢的人體動作識別[J].電視技術,2014,38(5):38-41.

[15] 謝 亮,廖宏建,楊玉寶.基于Kinect的姿勢識別與應用研究[J].計算機技術與發展,2013,23(5):258-260.