基于樹莓派的人體跌倒檢測系統的設計與實現

李奕煜，周天劍，羅回彬，丘偉航

（北京理工大學珠海學院計算機學院，珠海 519000）

0 引言

近年來，由于老人在家無人照顧，導致老人摔倒造成身體上的損傷甚至導致悲劇的事件時有發生。然而，現在市面上大部分的人體跌倒檢測設備都過于昂貴，且需要進行復雜的安裝。本設計使用樹莓派+云臺的操作，使得價格更加親民，且安裝位置更加自由隨意，只需接上電源即可開機自行啟動程序。本系統擁有很好的便捷性和易用性，成本低，在智能家居安防方面具有實用價值。

1 系統總體設計方案

系統總體設計如圖1所示，由樹莓派、攝像頭和通知系統組成。在環境中安裝樹莓派并啟動后，樹莓派會開啟攝像頭檢索視野，樹莓派接收由攝像頭傳回的信息，處理完后會根據人影圖像進行簡化處理，再根據人體簡化圖（見圖2）對關鍵點進行跌倒計算，如果測量到的加速度高于我們假定的閾值，程序內的算法將會提取這個人去計算特征，然后執行基于SVM的分類器驗證墜落。操控云臺模塊可以時刻對家庭中的指定人物進行追蹤，做到時刻對家人健康進行管控。云臺舵機控制部分，項目采用的云臺利用的是BST-AI拓展板，拓展板連接樹莓派的引腳進行舵機控制。

圖1 樹莓派跌倒檢測系統框架

圖2 作者本人的人體簡化特征圖

2 跌倒檢測算法

本項目跌倒檢測的流程是先通過攝像頭收集試驗數據，再在環形緩沖區中存儲深度圖，接下來在樹莓派中判斷人物是否運動，若檢測到人物開始運動，則進行前景提取，連接相關組件進行下一步行為分析；此時再判斷場景是否發生了變換，若判斷質心發生下降，則對標識的人員進行提取，根據特征點變化速度進行墜落檢測后，再提取特征與跌倒分類器進行分類，若檢測到跌倒則發出警報。圖3為跌倒檢測的大致流程圖。

圖3 跌倒檢測流程圖

2.1 算法概述

首先，獲取來自攝像頭捕獲圖像的運動數據。然后對數據進行中值過濾，以抑制噪聲。在這樣的預處理后，深度圖被存儲在緩沖區中。提取深度參考圖像需要將數據存儲在循環緩沖區中，經過訓練后，便可以通過參考圖像提取到的相關特征來判斷人的行為。在下一步中，該算法會驗證這個人是否是運動的。該操作基于加速度測量數據進行，從而以較低的計算成本實現。當這個人休息時，該算法會獲得新的數據。特別是，如果在一秒鐘內沒有檢測到該人的移動，就不會對深度參考圖進行更新。如果人發生了運動，算法會提取前景。前景是通過從深度參考圖像中減去當前的深度圖來確定的。

2.2 跌倒檢測流程

本項目首先進行視頻流讀取，再依次進行人物運動及跌倒等判斷，其跌倒檢測具體流程圖如3所示。

2.3 基于閾值的跌倒檢測

根據IMU設備獲取的數據，該算法表示有潛在的跌倒。該算法的流程如圖3所示，電位下降表示使用慣性設備的數據識別下降。采樣的加速度分量用于計算總和矢量（t），具體公式如下：

其中，A()，A()，A()分別是時間處，，，軸的加速度。（）包含動態和靜態加速度分量，因此站立時等于重力加速度g；在摔倒過程中，加速度達到了6 g；而在下樓與上樓時，加速度達到了2.7 g。基于這類規律，我們的系統采用了一個基于閾值的跌倒檢測，然后根據深度圖像的分析對其進行驗證。如果（t）的值大于3 g，則系統開始提取人身，然后執行負責有關跌倒的最終決策的分類器。

2.4 提取代表人物的深度圖像特征

為了使該系統適用于廣泛的場景，我們描述了一種用于更新深度參考圖像的快速方法。基于場景參考圖像檢測到該人，該場景參考圖像被預先提取然后更新。在深度參考圖像中，每個像素都取前一幀圖像中幾個像素值的中值，如圖4所示。在設置階段，我們收集了很多深度圖像，對于每個像素，我們從前一幀的圖像中組裝了一個像素值列表，然后對其進行排序提取中值。

圖4 深度參考圖像提取

2.5 跌倒檢測分類器

本項目中我們采用了基于SVM的分類器，該分類器是一個由具有正常活動（行走、坐下、蹲下和躺下）的圖像組成的UR跌倒檢測數據集。從UR跌倒檢測數據集（URFD）中總共選擇了612張圖像以及其他圖像序列，這些圖像序列是在房間中記錄的。所選的圖像集由402個具有典型ADL的圖像組成，其中210幅圖像則描述一個人躺在地板上。整個UR墜落檢測數據集由30個圖像序列和30個墜落序列組成。

2.6 UR跌倒數據集詳情

UR跌倒數據集是國際上應用最廣泛的跌倒數據集，該數據集包含了70個（30個跌倒+40個日常生活活動）序列，創作者還將圖像分為深度圖像和RGB原始圖像，并附帶了同步數據和加速度數據。因此，通過在跌倒檢測分類器上進行比對，就可以有效判斷跌倒行為是否發生，項目實測效果如圖5所示，項目實測的特征提取效果如圖6所示。

圖5 實際檢測摔倒圖

圖6 特征提取圖

3 通知系統

通過寫入訓練集可以讓該跌倒檢測系統通過加載提示性動作來對跌倒后的等級進行評估，比如：當樹莓派檢測到一個人摔倒時，會先發出警報來提示摔倒人員，看看他能不能自行起身。當檢測到跌倒者發出來的安全信息時，則停止發出警報；若是人摔倒后無任何反應，則接通急救電話并聯系摔倒者親屬，以做到及時通知，避免意外發生不能及時處理，導致事情無法挽回。在本項目中，我們系統采用的是語音識別模塊。由于CNN比較容易實現大規模并行化運算，且CNN的加速運算相對比較成熟，所以我們采用了比RNN更為精確的CNN卷積神經網絡實現語音識別。在模型上，本項目采用的是CLDNN（卷積,LSTM,深度神經網絡）模型，CLDNN中有兩層CNN的應用。CNN和LSTM在語音識別任務中可以獲得比DNN更好的性能提升，對建模能力來說，CNN擅長減小頻域變化，LSTM可以提供長時記憶，所以在時域上有著廣泛應用，而DNN適合將特征映射到獨立空間。

4 結語

本文設計的由樹莓派作為控制主板，在其中對實時輸入的視頻流進行計算從而實現對于跌倒的檢測。本項目將跌倒檢測算法內置于樹莓派開發板，可以處理、篩選關鍵信息后傳入服務器，減少服務器的運算壓力。經過測試，本系統能夠準確識別并判斷跌倒行為的發生，實時傳輸的視頻具有良好的實時性以及穩定性。在算法上，我們采用了國外先進的UR跌倒檢測數據集以及SVM分類器，通過閾值UFT方法取得了良好的效果，識別的準確度達到90%。