基于云計算的可穿戴式老齡人異常行為檢測系研究*

羅 堅，唐 琎，毛 芳，趙 鵬，汪 鵬

（中南大學信息科學與工程學院，長沙410000）

基于云計算的可穿戴式老齡人異常行為檢測系研究*

羅 堅，唐 琎*，毛 芳，趙 鵬，汪 鵬

（中南大學信息科學與工程學院，長沙410000）

針對老齡人異常行為的實時檢測、識別和在線主動信息推送問題，利用智能移動終端內置的三軸加速傳感器來采集人體運動信息。通過匹配追蹤算法（MP）對信號進行Gabor原子分解，并利用Wigner-Ville時頻分析方法，從時間和三維空間動作特征對其進行時頻聯合域研究。為解決時頻分析過程中的復雜運算問題，并完成異常行為動作的在線訓練，分類識別和信息推送，探討一種運用移動終端APP，無線網絡和云計算平臺來構建的可穿戴式老齡人異常行為檢測系統。實驗結果表明，該方法切實可行，可將其應用于老齡人日常監護和緊急救助等相關領域。

模式識別；異常行為檢測；三軸加速度傳感器；云計算；時頻分析

在我國隨著社會結構的發展和人們平均壽命的延長，老齡化的問題越來越明顯。目前，我國60歲以上的老齡人口已經超過2.12億，約占全國總人數的15.5%，預計到2030年將翻一番。面對空巢的老年居住戶，如何使用實時在線監護系統對患病或有行動障礙的老年人進行異常行為監護和緊急求助包括突發疾病，摔倒和休克等危及生命安全的狀況，已成為當前研究的一個重要方向［1］。

目前有關老齡人的異常行為檢測方法主要分為以下兩大類。①通過視頻信息進行異常行為檢測。文獻［1-6］通過對采集視頻來提取人體的運動輪廓信息或運動軌跡信息，并進行異常行為的檢測和分析。基于視頻的方法存在個人的隱私的問題，同時受到攝像頭的數量，安裝位置和拍攝視角的影響，因此它的實際應用受到一定的限制。②通過可穿戴設備進行檢測。文獻［7-14］通過加速度重力傳感器或陀螺儀來設計行為檢測裝置。文獻［8］使用iPhone內置的重力加速度傳感器來采集人體行走時的運動信息，實現了對人體步態特征的分析和識別。文獻［9］使用STM32嵌入式系統、加速度傳感器和無線射頻模塊來構建人體跌倒檢測系統，利用三軸合加速度的來判斷和檢測是否跌倒。文獻［10］探討了一種基于固定閾值的信號幅度向量滑動平均法SVMSA，實現跌倒檢測。文獻［11］通過提取運動時的超重強度、持續失重時間、傾斜角度、靜止時間為特征值，提出了一種基于的決策樹跌倒識別算法。文獻［12］通過引入隱馬爾可夫模型對跌倒行為實現訓練和識別，并進行了仿真分析。文獻［13］通過在人體腳底安裝壓力傳感器來實現人體運動數據檢測，使用支持向量機實現跌倒的分類識別。文獻［14］使用GPS模塊實現了跌倒檢測信息的短信傳輸報警。綜合以上對異常行為的檢測方法可以發現，現有的研究方法往往不具備遠程主動信息推送的功能，或僅使用短信方式進行數據傳遞，數據只能單向傳輸，擴展性和實用性不強，數據處理受到硬件限制等。同時各種模塊，包括傳感器，控制器，移動電源和通信模塊組合在一起，往往體積過大，穿戴繁瑣，老齡人大多不愿意或很容易忘記佩帶。但隨著智能手機、運動手環和智能手表等智能終端產品將加速度重力傳感器和陀螺儀傳感器集成在智能終端里面使得異常行為檢測硬件變得很容易隨身攜帶，加上智能終端產品強大運算能力和無線傳輸網絡，可以很好的解決傳統設備由于運算能力限制不能作的一些復雜數據處理等問題。傳統的異常行為檢測方法，大多使用單一的人體加速度向量幅值（Signal Vector Magnitude，（SVM）或向量平均值來完成，實現簡單，但只能檢測出是否跌倒，對其它異常行為，如坐下，起立，扶手等行為檢測能力欠缺，或抗干擾和鑒別能力不強。針對這些問題，本文通過基于匹配追蹤算法（MP）的Gabor原子變換，從時間和三維空間動作特征對異常行為進行時頻分析研究。與傳統的時域分析和頻域分析不同，時頻分析提供了時間和頻率的分布關系，由于異常步態信號是一種非平穩隨機信號，利用時頻分析工具可以更好的描述其本質特征，通過提取時頻分布信息作為訓練特征，并利用主成份分析方法來完成異常動作訓練分類和識別，可以很好的提高異常行為檢測的識別率和算法魯棒性。同時，運用APP程序，WebSphere云計算平臺和基于MQTT（消息隊列遙測傳輸）的信息推送服務，完成邊界域數據到服務域的傳輸和運算，以及識別結果信息的終端至終端，終端到服務器的推送，使其更好的融入到社區醫療機器的服務平臺中去，為老齡人的生活健康提供更好的關注和服務。

1 系統總體結構

基于云計算的老齡人異常行為檢測系統架構圖見圖1所示。整個系統包括3層結構：終端感知層，云端網絡層和遠程服務接入層。

圖1 基于云計算的老齡人異常行為檢測系統架構圖

終端感知層主要進行人體運動數據的采集，處理，初步分析和數據消息的發布。終端感知層以內置了加速度傳感器的移動智能終端為主要硬件設備，通過移動網絡或無線Wi-Fi進行互聯網的訪問。在終端感知層中，以APP為應用程序，該應用程序通過接口獲取加速度傳感器中的X-Y-Z三軸的運動數據，并對采集到的運動數據進行FIR濾波，然后對特征數據進行初步閥值判斷來確定是否存在異常行為，并根據判斷結果進行消息的推送和采樣數據的傳輸，消息的推送遵循MQTT協議。云端網絡服務層，主要負責用戶的注冊，驗證，消息的訂閱處理，消息的發布推送，數據傳輸過程中的加密和數據緩存；在云計算服務器中需要開發異常行為檢測應用服務程序，并建立異常行為訓練庫等。遠程服務接入層，主要以社區監控中心，醫院信息中心和個人信息訂閱者為主體，通過對感知終端的一對一或一對多的監控訂閱來實現實時消息的接收。當感知終端傳入云平臺的數據被檢測判定為人體異常信息時，就會進行主動消息推送：推送服務器通過數據庫查詢訂閱了此終端消息的用戶，并將感知層傳來的消息推送給他們。

2 基于Gabor原子分解的異常行為檢測

2.1 三軸運動數據預處理

集成在智能終端內的三軸加速度傳感器，可以采集X，Y和Z軸3個方向的人體運動數據。人體運動行為的不同，會產生有差異的加速度信號，比如正常行走，摔倒，上下樓梯，扶墻壁，蹲下等行為，其運動特征差異明顯。圖2顯示了采集到的三軸方向的加速度的隨時間的變化情況，

令X(t)，Y(t)和Z(t)分別代表3個軸上的加速度信號量，由于人體異常行為動作的方向不確定，穿戴加速度傳感器的方式和空間位置存在差異，因此不太適合采用某一個方向上的加速度信息來進行異常行為的判定，通常采用加速度幅值SVM［10］來表示動作特征：

圖2 蹲下時的加速度時序和SVM特征

在提取信號向量模之前，首先對三軸上的加速度信號進行FIR濾波。FIR是一種有限長單位沖激響應濾波器，它的差分方程為：

式中，N為濾波器的窗體長度，h(m)為具體脈沖濾波系統，x(n)為輸入待濾波信號，y(n)為濾波后輸出信號。濾波系統由下式得到

式中，hd(n)為理想濾波器，fN(n)為窗體函數，N為窗體長度，本文中，使用Hanning窗體函數：

數據處理過程中，加速度傳感器的采樣頻率設為125 Hz，以4 s為一個檢測周期，每組數據共為500個點，濾波窗體長度選為N=64，圖3為向前跌倒運動數據濾波前后的波形比較：

圖3 跌倒數據濾波前后對比

2.2 基于MP的Gabor原子特征提取

MP是一種匹配追蹤算法，通過在構造的原子字典D里搜索一定數量的原子組合，來逼近信號x的局部時頻特性［15］。最終將要分析的信號分解為若干原子的線性組合，具體分解過程通過反復迭

代來實現，迭代次數由逼近殘差來確定。首次迭代，在原子字典中，選取一個初始原子gγ，該原子與待分解信號擁有最大的內積，然后計算原始信號與該原子的殘差，作為下一步迭代中的待分解信號。在迭代過程中，不斷選取合適的原子，使該原子與上一步分解后的殘差Rn擁有最大的內積。當計算出來的殘差小于給定的誤差時，停止迭代，將所有分解得到的原子組合起來，便可得信號x的原子逼近。

具體迭代過程如下［16］：

信號x最終分解為：

式中，M為迭代次數，對于時頻分析，選取Gabor原子構成完備字典D，Gabor原子表示為：

式中，γ=(u,f,s,?)為時頻參數，分別表示位移，頻率，伸縮和相位因子。 K(γ)為標準化參數，滿足

通過累加式（6）中選取Gabor原子的Wigner-Ville分布W（WVD），可以得到分解信號的時頻能量圖。WVD通過交叉項抑制方法得到：

通過提取離散的時頻分布能量矩陣WVD作為異常行為分類和識別的特征。首先，對歸一化和濾波后的三軸運動數據提取向量模SVM特征。然后對SVM特征信息進行基于MP的Gabor原子分解，并提取原子分解后的時頻分析WVD矩陣，以此為特征完成異常行為的訓練、分類和識別。

2.3 分類識別

令三軸運動信息的向量模離散表示為SVM(n) ，n=1,2,…,N，N為最大采樣點數，對其進行Gabor原子分解，得到M個分解Gabor原子，并對其進行時頻分析，提取累加的WVD分布特征矩陣，表示如下：

經過主成份分析后的新特征維數更低，主特征成份突出，有利于分類識別。最終對新的特征利用K近鄰法進行分類，K近鄰法是顯著的模式識別系統統計學方法之一。其分類結果表示如下：

式中，j=1,2,…,J; i=1,2,…,I。ci表示第i類樣本，I為類別數量，J為訓練樣本數量，yj為待檢測樣本xj所屬類，I(yj=ci)為指示函數，當yj屬于ci類時為1，其它為0，其中的類別判斷通過歐式距離進行計算。Nk(x)為最接近檢測樣本xj的k個近鄰的訓練樣本集合。

3 WebSphere云計算平臺

使用IBM的WebSphere MQ Telemetry和Web-Sphere Application Server來構建云計算和推送平臺。WebSphere MQ Telemetry（Message Queuing Telemetry Transport，消息隊列遙測傳輸）是由IBM公司開發的一個跨平臺的，針對受限制環境（如計算能力有限，存儲空間較小，傳輸帶寬低等）應用的一種即時且輕量級的通訊協議。由于MQTT的輕量級，它可以直接應用于傳感器層面上，只需要很少的幾十KB的存儲空間，以及較低的傳輸帶寬，同時擴展性相當強［17］。這些特性，使得它被廣泛應用于物聯網產品當中。

MQTT協議提供訂閱/發布模式，以推送技術為核心，跨平臺的客戶端可以自主“訂閱”云端服務器上提供的各種感興趣的頻道信息；一旦所訂閱的信息得到更新，比如到達新的郵件，推送服務器就會將此消息推送到特定的客戶端上。同時，客戶端還可以通過服務器來“發布”自己的消息，和傳統的一對一的消息傳遞模式不同，MQTT支持一對多的消息推送。

MQTT協議由消息的報頭Header和有效負載Payload組成。其中最小的固定報頭長度為2個字節，參考文獻［18］。本文中，智能終端推送消息的有效負載Payload定義如表1所示。

表1 定義Payload結構

WebSphere Application Server為應用服務平臺，它和消息隊列遙測傳輸中間件通過WebSphere MQ平臺進行數據的交換和集成。云端的異常行為檢測虛擬應用程序就在應用服務平臺上進行平發和部署。

通過構建云計算和推送平臺，實現異常步態行為在邊界傳感域的采集，上傳和云端的在線檢測識別、消息推送，以及多終端與網絡服務層中的多應用實體之間的互聯互通。整個云計算和云推送平臺的系統框圖如圖4所示。

圖4 云計算和推送平臺構架

集成加速度傳感器的智能Android手機終端處于遙測服務平臺的邊緣和傳感器域，通過嵌入MQTT客戶端來進行信息的訂閱和數據發布。Web-Sphere MQ Telemetry服務器通過MQTT不同通道的消息隊列來進行信息的調度和管理。部署在Web-Sphere Application Server的異常行為檢測虛擬應用實現在線檢測識別，而處于遠程服務接入層的社區監控中心，醫院信息中心和個人信息訂閱者則通過嵌入MQTT客戶端的應用，移動設備或Web瀏覽器來進行信息的訂閱或發布。

智能移動終端，用戶，服務人員，監控中心，首先會在服務器中進行注冊，得到唯一的身份信息Token。然后，服務人員和監控中心會向服務器訂閱本社區或需要關注人員所發布的主題消息，完成用戶和服務者之間雙向綁定。在日常生活中，一旦智能移動終端在邊緣域（如空巢老人家中）檢測到有異常行為或動作時（摔倒，昏厥），即會通過服務器發布異常行為的消息，并上傳可疑數據，服務器通過異常行為檢測服務應用進行在線識別，并將識別結果向所有訂閱此主題消息的服務者推送，此信息包括了異常行為發出的人員姓名，家庭住址，電話，位置等信息。社區或醫療服務人員收到消息后，通過自動開啟邊緣域Android設備的語音通話功能，來進一步確定和核實是否有異常事件發生，一旦確定為異常事件，便可立即采取行動，保障被監控對象的生命和健康安全。

4 異常行為檢測流程

虛擬異常行為檢測服務的流程圖如圖5所示。虛擬服務在云端應用平臺啟動為后臺進程，實時檢測是否有上傳的異常三軸運動數據，當收到異常數據推送包時，提取出有效數據，運用MP算法和構建的Gabor原子庫，對運動數據進行Gabor原子分解，并提取分解原子的WVD的時頻特征，并利用近鄰法對結果進行分類識別。當檢測出為數據庫中的異常行為時，發送消息給終端，進行遠程語音確認，如果確定為異常行為如摔倒，突發病變等，便開始構建異常行為的推送信息，包括異常行為類別，安全級別，地理位置，人員信息，電話等，并將消息通過MQTT通信的后臺服務程序發布出去，同時開啟求助程序，利用獲得的位置信息進行救助。

圖5 異常行為檢測流程圖

5 實驗與結果分析

為驗證文中所提出的老齡人異常行為檢測算法的實用性，共選取10位實驗者（5名男性，5名女性），設定了10種異常行為動作，對每位實驗者的各異常動作采集10次，因此每種異常動作共有100個樣本，所有異常動作組合起來共有1 000個樣本，分成兩組，每組500個樣本，使用K近鄰法進行訓練和識別。圖6～圖8為模擬人體常見異常動作的WVD時頻能量分布圖。

圖6 原地坐下

圖7 左側跌到

圖8 踉蹌跌倒

其檢測識別結果見表2，其中：正確率=跌倒識別的正確次數與總實驗次數的比值。從表2中的結果來看，檢測出對象是否跌倒的正確率相對較高，理論數據與實際數據的誤差不大，與現有文獻中的跌倒檢測識別率誤差別不大。但是為了更好的對老年人的日常行為進行監測和分析，需要對每一活動類別單獨進行識別，即識別出具體的行為動作，而不是檢測單一的是否跌倒。傳統的方法如文獻［7-14］使用一個或多個固定的閥值或依據峰值數量來進行判斷，不能很好的區分活動類別。

表2 跌倒的識別結果

本文通過模式識別的方法對樣本特征進行訓練，分類和識別，提高了對具體活動類別的識別率。圖9為利用所求數據進行4階多項式曲線擬合后得到的ROC曲線，對比了不同方法在異常行為檢測結果中的效果，檢測結果要求識別出具體的異常類別。

圖9 不同方法異常行為檢測結果對比

6 結束語

本文通過嵌入在智能移動終端中的三軸加速度傳感器來采集和傳輸老齡人的異常動作特征數據。通過云計算的方式對三維運動特征進行時頻分析和特征提取，同時進行分類識別，在線完成老齡人異常行為的檢測，并將檢測結果通過云推送方式，實時發布到遠程監控和接入服務域。實驗結果表明，本文提出的方法切實有效，可將其應用于老齡人監護和救助領域。

［1］Adam A，Rivlin E，Shimshoni I，et al.Robust Real-Time Unusual Event Detection Using Multiple Fixed-Location Monitors［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2008，30（3）：555-560.

［2］Xiang Tao，Gong Shaogang.Incremental and Adaptive Abnormal Behaviour Detection［J］.Computer Vision and Image Understanding，2008，111（1）：59-73.

［3］李海濤，孔令富.基于位置-動作特征的助老機器人服務對象異常行為檢測［J］.計算機工程與科學，2010，32（6）：122-128.

［4］崔永艷，高陽.基于多示例學習的異常行為檢測方法［J］.模式識別與人工智能，2011，24（6）：862-868.

［5］Zhang Dongping，Peng Huailiang，Yu Haibin，et al.Crowd Abnormal Behavior Detection Based on Machine Learning［J］.Information Technology Journal，2013，12（6）：1199-1205.

［6］肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢識別方法［J］.傳感技術學報.2013，26（5）：611-615.

［7］Bing Sun，Yang Wang，Jacob Banda.Gait Characteristic Analysis and Identification Based on the iPhone's Accelerometer and Gyrometer［J］.Sensors.2014，14：17037-17054.

［8］陳煒，佟麗娜，宋全軍，等.基于慣性傳感器件的跌倒檢測系統設計［J］.傳感器與微系統，2010，29（8）：117-119.

［9］劉搖鵬，盧潭城，呂愿愿，等.基于MEMS三軸加速度傳感器的摔倒檢測［J］.傳感技術學報，2014，27（4）：570-574.

［10］李娜，侯義斌，黃樟欽.基于人體加速度特征的實時跌倒識別算法［J］.小型微型計算機系統，2012，33（11）：2410-2413.

［11］盧先領，王洪斌，王瑩瑩，等.一種基于加速度傳感器的人體跌倒識別方法［J］.計算機應用研究，2013，30（4）：1109-1111.

［12］李正周，陳聯濤，劉勇，等.人體跌倒的魯棒檢測方法［J］.數據采集與處理，2013，28（5）：580-585.

［13］許繼平，李景濤，彭森，等.基于三軸加速度傳感器的老年人摔倒檢測系統［J］.計算機仿真，2014，31（12）：434-437.

［14］董帥飛，于鳳芹.基于Chirp原子MP分解的漢語聲母時頻結構分析［J］.計算機工程與應用，2014，50（1）：200-202.

［15］Trzaskowski B，Jedrzejczak W W，Pilka E，et al.Automatic Removal of Sonomotor Waves from Auditory Brainstem Responses［J］.Computers in Biology and Medicine，2013，43：524-532.

［16］Tang K L，Wang Y，Liu H，et al.Design and Implementation of Push Notification System Based on the MQTT Protocol［C］//International Conf on Information Science and Computer Applications，2013：116-119.

［17］任亨，馬躍，楊海波，等.基于MQTT協議的消息推送服務器［J］.計算機系統應用，2014，23（3）：78-82.

羅 堅（1984-），男，漢族，湖南省株洲人，網絡工程師，中南大學博士，主要研究方向為人體行為檢測、模式識別與智能系統，delphifx@csu.edu.cn；

唐 琎（1966-），男，漢族，湖南武岡人，中南大學，信息科學與工程學院，教授，博士生導師，研究方向為計算機視覺、模式識別和人工智能，tjin@csu.edu.cn。

Research of Wearable Abnormal Behavior Detection System for Elderly Based on Cloud Computing*

LUO Jian，TANG Jin*，MAO Fang，ZHAO Peng，WANG Peng
（School of Information Science and Engineering，Central South University，Changsha 410000，China）

Aiming at the problems of the abnormal behavior real-time detection，recognition and online push service for the elderly.Intelligent mobile terminals with tri-axial acceleration sensor embedded are used to capture the motion information of human.The data are decomposed into a linear combination of Gabor atoms by the method of matching pursuit.The Wigner-Ville time-frequency analysis method is introduced and the problem is studied by joint timefrequency analysis in a real time space and by the motion characteristics in 3D space.In order to solve problems of complicated computing in the process of time frequency analysis，and conducting data training，classification，recognition and message push online of abnormal behavior，a wearable abnormal behavior detection system is explored based on the mobile terminal APP，wireless network，and the cloud computing platform.Experimental results demonstrate that the proposed method is feasible and it can be applied to the aged care，emergency aid and related fields.

cloud computing；abnormal behavior；acceleration sensor；wearable；push

TP391.4

A

1004-1699（2015）08-1108-07

??6140；7230；7510D

10.3969/j.issn.1004-1699.2015.08.002

項目來源：國家自然科學基金項目（61403426，91220301）；湖南省教育廳科學研究項目（15C0981）

2015-04-26 修改日期：2015-05-18