基于加速度傳感器和神經(jīng)網(wǎng)絡(luò)的人體活動(dòng)行為識(shí)別

張烈平 匡貞伍 李昆鍵 韋克瑩 王政忠 張聲嵐

摘? 要： 人體活動(dòng)行為識(shí)別在醫(yī)療、安全、娛樂等方面有著廣泛的應(yīng)用，為了高效、準(zhǔn)確地獲取人體活動(dòng)的行為信息，提出一種基于加速度傳感器和神經(jīng)網(wǎng)絡(luò)的個(gè)人活動(dòng)行為識(shí)別方法。該方法通過在個(gè)人手上佩戴加速度傳感器，實(shí)時(shí)采集個(gè)人活動(dòng)的行為數(shù)據(jù);再通過BP神經(jīng)網(wǎng)絡(luò)分析相關(guān)行為數(shù)據(jù)并建立個(gè)人活動(dòng)行為模型，分類識(shí)別個(gè)人的行走、坐著、躺臥、站立和突然跌倒等活動(dòng)行為特征。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效檢測(cè)到個(gè)人活動(dòng)的行為特征參數(shù)，并可準(zhǔn)確識(shí)別出人體活動(dòng)的五種典型行為。

關(guān)鍵詞： 人體活動(dòng); 行為識(shí)別; 特征提取; 加速度傳感器; BP神經(jīng)網(wǎng)絡(luò); 實(shí)驗(yàn)仿真

中圖分類號(hào)： TN711?34; TP391.4? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）16?0071?04

0? 引? 言

近些年來，隨著傳感器檢測(cè)器件以及人機(jī)交互等關(guān)鍵技術(shù)的飛速發(fā)展，人體活動(dòng)行為識(shí)別廣泛應(yīng)用于生物醫(yī)學(xué)研究、健康狀況評(píng)估以及健康監(jiān)護(hù)等領(lǐng)域[1]。人體行為識(shí)別有基于視覺的和基于傳感器信號(hào)和設(shè)計(jì)的分類算法來推測(cè)人體的活動(dòng)行為模式，具有成本低、靈活、可移植性好的特點(diǎn)。相比基于視覺的人體活動(dòng)行為識(shí)別方法，基于傳感器的人體活動(dòng)行為識(shí)別具有廣泛的應(yīng)用前景[2]。活動(dòng)行為識(shí)別技術(shù)可以歸類為模式識(shí)別問題，常用于對(duì)人體活動(dòng)行為進(jìn)行分類的模式識(shí)別算法有決策樹、支持向量機(jī)、最近鄰法和神經(jīng)網(wǎng)絡(luò)等。其中，神經(jīng)網(wǎng)絡(luò)通過對(duì)簡(jiǎn)單的非線性函數(shù)進(jìn)行數(shù)次復(fù)合，可近似為復(fù)雜的函數(shù)，在分類大規(guī)模的、有噪聲污染的數(shù)據(jù)方面具有優(yōu)勢(shì)[3]。

目前國(guó)內(nèi)外已經(jīng)開展了對(duì)人體行為識(shí)別的相關(guān)研究，已經(jīng)取得了很多研究成果。強(qiáng)茂山等人提出了一種基于加速度傳感器的建筑工人施工行為識(shí)別方法。該算法以鋼筋工為例，利用加速度傳感器在工地現(xiàn)場(chǎng)采集鋼筋工施工過程中手腕處運(yùn)動(dòng)的加速度數(shù)據(jù)，采用支持向量機(jī)、BP神經(jīng)網(wǎng)絡(luò)和決策樹三種分類算法將鋼筋工的活動(dòng)行為進(jìn)行分類研究[4]。Mantyjarvi等人使用主成分分析和小波變換從原始傳感器數(shù)據(jù)中提取特征，采用多層感知器對(duì)3種簡(jiǎn)單人體活動(dòng)進(jìn)行了識(shí)別[5]。Abdulhamit Subasi等人提出一種人體活動(dòng)行為識(shí)別方法，采用Adaboost分類算法對(duì)采集到的人體行為活動(dòng)數(shù)據(jù)進(jìn)行了行為識(shí)別分類，取得了較好的識(shí)別效果[6]。

本文擬以人體活動(dòng)行為作為對(duì)象，利用三軸加速度傳感器采集包括行走、坐著、躺臥、站立和突然跌倒等活動(dòng)行為數(shù)據(jù)，以采集到的三軸加速度傳感器的X軸、Y軸和Z軸方向上分量的均值、標(biāo)準(zhǔn)差、峰度和任意兩軸之間的相關(guān)系數(shù)作為特征值，構(gòu)成人體活動(dòng)行為的特征向量，用以表征其行為特征。在此基礎(chǔ)上采用神經(jīng)網(wǎng)絡(luò)進(jìn)行建模識(shí)別，實(shí)現(xiàn)人體活動(dòng)行為的分類。

1? 系統(tǒng)整體設(shè)計(jì)

本文設(shè)計(jì)的人體活動(dòng)行為識(shí)別系統(tǒng)總體結(jié)構(gòu)如圖1所示。人體手上佩戴有傳感器采集節(jié)點(diǎn)的手環(huán)，節(jié)點(diǎn)采集到的活動(dòng)行為數(shù)據(jù)通過ZigBee無(wú)線數(shù)據(jù)發(fā)送模塊將數(shù)據(jù)發(fā)送至無(wú)線數(shù)據(jù)接收模塊，再通過USB接口將數(shù)據(jù)傳輸至計(jì)算機(jī)。計(jì)算機(jī)數(shù)據(jù)處理系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行分析建模并且判斷當(dāng)前人體的活動(dòng)行為模式，最終識(shí)別出人體活動(dòng)的行為類別。

考慮到傳感器采集節(jié)點(diǎn)需要佩戴在人體的手腕上，為不影響人體的正常活動(dòng)，該節(jié)點(diǎn)需要具備體積小、功耗低、質(zhì)量輕、價(jià)格便宜等特點(diǎn)。因此，本文使用MMA7361加速度傳感器芯片作為活動(dòng)行為特征數(shù)據(jù)的采集傳感器，使用CC2530芯片作為無(wú)線數(shù)據(jù)發(fā)送模塊和無(wú)線數(shù)據(jù)接收模塊的處理器。MMA7361是恩智浦公司的一款加速度傳感器，它是一款低功耗、低成本電容式微機(jī)械加速度傳感器，具有信號(hào)調(diào)理、一階低通濾波器、溫度補(bǔ)償、自檢等功能，有兩種靈敏度可選，輸出信號(hào)為模擬信號(hào)，便于CC2530采集[7]。CC2530在單個(gè)芯片上整合了ZigBee射頻前端、內(nèi)存和微控制器，支持IEEE 802.15.4以及ZigBee系列標(biāo)準(zhǔn)，且提供了101 dB的鏈路質(zhì)量指示，具有較好的靈敏度和強(qiáng)抗干擾性[8]。

2? 人體活動(dòng)行為數(shù)據(jù)采集與特征提取

2.1? 數(shù)據(jù)采集方法

本文將傳感器采集節(jié)點(diǎn)佩戴在人體的手臂上以便通過MMA7361采集活動(dòng)行為數(shù)據(jù)。其中，x軸的正方向沿手臂方向指向肘部;y軸正方向與x軸垂直，指向右側(cè);z軸正方向豎直向下;加速度數(shù)據(jù)以重力加速度g作為單位。在采集活動(dòng)行為數(shù)據(jù)時(shí)，傳感器采集節(jié)點(diǎn)通過CC2530的3個(gè)ADC端口P0.0，P0.1和P0.2分別采集MMA7361的x軸、y軸和z軸的加速度值。由于采樣頻率為10 Hz，每組數(shù)據(jù)有50個(gè)采樣值，所以傳感器采集節(jié)點(diǎn)采集一次活動(dòng)行為數(shù)據(jù)需要5 s。為了減少丟包率以及減輕WSN的工作負(fù)擔(dān)，傳感器采集節(jié)點(diǎn)采集的策略設(shè)計(jì)為在5 s的數(shù)據(jù)全部采集完之后一次性打包發(fā)送，而不是實(shí)時(shí)地發(fā)送每一次采集到的數(shù)據(jù)，這樣更能夠保證信息的完整性。

實(shí)驗(yàn)過程中，選擇10個(gè)學(xué)生進(jìn)行測(cè)試，其中男生6人，女生4人。每個(gè)學(xué)生進(jìn)行25次典型行為測(cè)試，形成250個(gè)測(cè)試數(shù)據(jù)組，每個(gè)測(cè)試數(shù)據(jù)組有50個(gè)采樣數(shù)據(jù)。圖2的3個(gè)子圖分別為根據(jù)本文方法采集到的一個(gè)學(xué)生五種行為的x，y，z軸加速度曲線。

從圖2可以看出，對(duì)于坐著行為，三個(gè)軸上的加速度基本保持在（0.34，-0.34，0.78）左右;而躺臥行為在三個(gè)軸上的加速度基本保持在（0.06，0.05，0.93）左右;站立行為在三個(gè)軸上的加速度則基本保持在（0.84，-0.20，0.07）左右。同樣，對(duì)于行走和突然跌倒兩種行為，可以看出它們?cè)趚，y，z三個(gè)軸上的加速度都有不同程度的明顯波動(dòng)。相比于突然跌倒而言，行走時(shí)的加速度值在三個(gè)軸上的波動(dòng)性更具有周期性，而突然跌倒時(shí)的加速度曲線在三個(gè)軸上的波峰和波谷更為陡峭，絕對(duì)值也更大。

2.2? 特征提取方法

人體在坐著、躺臥和站立時(shí)，由于運(yùn)動(dòng)幅度較小，在MMA7361的x軸方向上的加速度波動(dòng)性不明顯。對(duì)于行走和突然跌倒這兩種行為，由于運(yùn)動(dòng)幅度較大，它們的加速度值在MMA7361的x軸方向上的波動(dòng)性較為明顯。因此可以把人體的五種活動(dòng)行為分為靜止和運(yùn)動(dòng)兩大部分，靜止部分包括坐著、躺臥和站立三種行為，而運(yùn)動(dòng)則包括行走和突然跌倒兩種行為。根據(jù)前面分析可知，在靜止?fàn)顟B(tài)下，坐著、躺臥和站立在MMA7361的三個(gè)軸上的方向性有明顯的區(qū)別，可以通過提取三軸方向上的加速度分量的均值和標(biāo)準(zhǔn)差作為區(qū)分坐著、躺臥和站立三種行為的特征。對(duì)于運(yùn)動(dòng)狀態(tài)下的行走和突然跌倒行為，由于其波動(dòng)程度存在著比較明顯的差異，并且在三個(gè)軸的加速度分量上都有不同程度的關(guān)聯(lián)，所以通過時(shí)域特征峰度和相關(guān)系數(shù)來實(shí)現(xiàn)對(duì)行走和突然跌倒兩種行為的有效劃分。

3? 人體活動(dòng)行為的分類識(shí)別

3.1? BP神經(jīng)網(wǎng)絡(luò)分類器

對(duì)于一般的模式識(shí)別問題，三層BP神經(jīng)網(wǎng)絡(luò)就可以解決問題。本文采用三層BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行人體活動(dòng)行為的識(shí)別與分類，并使用Sigmoid作為傳遞函數(shù)，使用量化共軛梯度法（Trainscg）進(jìn)行訓(xùn)練。相應(yīng)的BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)分析如下：

1） 輸入層。本文通過提取加速度傳感器在x，y，z三軸方向上分量的均值、標(biāo)準(zhǔn)差、峰度和任意兩軸之間的相關(guān)系數(shù)作為特征值，構(gòu)成一個(gè)12維的特征向量。故輸入層神經(jīng)元數(shù)為12個(gè)。

2） 隱含層。隱含層神經(jīng)元數(shù)的選擇關(guān)系到整個(gè)BP網(wǎng)絡(luò)的精確度和學(xué)習(xí)效率，關(guān)于隱含層的神經(jīng)元個(gè)數(shù)，其經(jīng)驗(yàn)公式如下[10]：

[m=n+l+a] （3）

式中：[m]為隱含層節(jié)點(diǎn)數(shù);[n]為輸入層節(jié)點(diǎn)數(shù);[l]為輸出層節(jié)點(diǎn)數(shù);[a]為介于1～10之間的常數(shù)，本文選擇Matlab神經(jīng)網(wǎng)絡(luò)工具箱中的默認(rèn)值10。在用式（3）得到m之后，其具體數(shù)值還需要在實(shí)驗(yàn)過程進(jìn)行測(cè)試優(yōu)選。

3） 輸出層。本文主要研究人體活動(dòng)的五種典型行為，BP神經(jīng)網(wǎng)絡(luò)對(duì)輸入樣本的期望輸出值如表2所示，也就是說輸出層的節(jié)點(diǎn)數(shù)選擇為5。

3.2? 分類識(shí)別實(shí)驗(yàn)

本節(jié)使用Matlab基于第3.1節(jié)的方法構(gòu)建BP神經(jīng)網(wǎng)絡(luò)分類器對(duì)人體活動(dòng)行為進(jìn)行識(shí)別和分類。實(shí)驗(yàn)中提取特征樣本的70%作為訓(xùn)練樣本（174個(gè)），15%作為驗(yàn)證樣本（38個(gè)），15%測(cè)試樣本（38個(gè)），考慮到按照經(jīng)驗(yàn)公式法計(jì)算出來的m=14.125，本文對(duì)m取值為12，13，14，15，16的范圍進(jìn)行優(yōu)化測(cè)試。在經(jīng)過多次測(cè)試后，發(fā)現(xiàn)在隱含層節(jié)點(diǎn)數(shù)為15時(shí)系統(tǒng)達(dá)到了最佳分類效果，測(cè)試結(jié)果如圖3所示。其訓(xùn)練樣本、驗(yàn)證樣本、測(cè)試樣本的分類準(zhǔn)確率都為100%。

4? 結(jié)? 語(yǔ)

根據(jù)人體活動(dòng)行為的特點(diǎn)，本文給出一種人體活動(dòng)行為識(shí)別方法，并利用仿真和實(shí)驗(yàn)相結(jié)合的方式對(duì)給出的識(shí)別方法進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，本文給出的識(shí)別方法能夠較準(zhǔn)確地識(shí)別出人體活動(dòng)的五種典型行為，驗(yàn)證了本文提出的特征提取及識(shí)別方法的有效性。

一般而言，人體活動(dòng)的范圍比較大，本文僅采用無(wú)線發(fā)射和接收模塊以及USB接口進(jìn)行數(shù)據(jù)傳輸，不利于較大規(guī)模人體活動(dòng)的行為識(shí)別。后期研究時(shí)，嘗試將其擴(kuò)展為無(wú)線傳感器網(wǎng)絡(luò)模式進(jìn)行分類識(shí)別，構(gòu)建無(wú)線網(wǎng)絡(luò)模式下的人體活動(dòng)行為識(shí)別與監(jiān)控系統(tǒng)，擴(kuò)大其應(yīng)用價(jià)值。

參考文獻(xiàn)

[1] 周林，雷麗平，楊龍頻.基于多傳感器的人體行為識(shí)別系統(tǒng)[J].傳感器與微系統(tǒng)，2016，35（3）：89?91.

ZHOU Lin， LEI Liping， YANG Longpin. Human behavior recognition system based on multi?sensor [J]. Sensors and microsystem technology， 2016， 35（3）： 89?91.

[2] 鄭增威，杜俊杰，霍梅梅，等.基于可穿戴傳感器的人體活動(dòng)識(shí)別研究綜述[J].計(jì)算機(jī)應(yīng)用，2018，38（5）：1223?1229.

ZHENG Zengwei， DU Junjie， HUO Meimei， et al. Research review of human activity recognition based on wearable sensors [J]. Journal of computer applications，2008， 38（5）： 1223?1229.

[3] 劉家峰，劉鵬，張英濤，等.模式識(shí)別[M].2版.哈爾濱：哈爾濱工業(yè)大學(xué)出版社，2017.

LIU Jiafeng， LIU Peng， ZHANG Yingtao， et al. Pattern recognition [M]. 2nd ed. Harbin： Harbin Institute of Technology Press， 2017.

[4] 強(qiáng)茂山，張東成，江漢臣.基于加速度傳感器的建筑工人施工行為識(shí)別方法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，57（12）：1338?1344.

QIANG Maoshan， ZHANG Dongcheng， JIANG Hanchen. Recognizing construction worker activities based on accelerometers [J]. Journal of Tsinghua University（Science and technology）， 2017， 57（12）： 1338?1344.

[5] MANTYJARVI J， HIMBERG J， SEPPANEN T.Recognizing human motion with multiple acceleration sensors? [C]// 2001 IEEE International Conference on Systems， Man， and Cybernetics. Tucson， AZ， USA： IEEE， 2001： 747?752.

[6] SUBASI A， DAMMAS D H， ALGHAMDI R D， et al. Sensor based human activity recognition using adaboost ensemble classifier [J]. Procedia computer science， 2018， 140： 104?111.

[7] BIRYUKOVA O V， KORETSKAYA I V. The usage of acceleration sensor to control spatial orientation for experiment automatization [C]// 2018 Systems of Signal Synchronization， Generating and Processing in Telecommunications. Minsk： IEEE， 2018： 1?5.

[8] 姚國(guó)風(fēng)，莊斌，趙大明，等.基于ZigBee無(wú)線技術(shù)的智能家居系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2016，39（22）：81?84.

YAO Guofeng， ZHUANG Bin， ZHAO Daming， et al. Design of smart home system based on ZigBee wireless technology [J]. Modern electronics technology， 2016， 39（22）： 81?84.

（上接第74頁(yè)）

[9] 李頎，王志鵬，竇軒，等.基于無(wú)線傳感器網(wǎng)絡(luò)的產(chǎn)前母豬行為監(jiān)測(cè)系統(tǒng)[J].家畜生態(tài)學(xué)報(bào)，2017，38（3）：75?79.

LI Qi， WANG Zhipeng， DOU Xuan， et al. Monitoring system of sows′ behavior before farrowing based on wireless sensor networks [J]. Journal of domestic animal ecology， 2017， 38（3）： 75?79.

[10] LIU Luyao， LIU Diran， SUN Qie， et al. Forecasting power output of photovoltaic system using a BP network method [J]. Energy procedia， 2017， 142： 780?786.