動態數據流環境下的自適應性行為識別算法設計

錢麗萍,李鵬歡,黃 亮*

(1.浙江工業大學信息工程學院,杭州 310023;2.浙江工業大學計算機科學與技術學院,杭州 310023)

?

動態數據流環境下的自適應性行為識別算法設計

錢麗萍1,李鵬歡2,黃 亮1*

(1.浙江工業大學信息工程學院,杭州 310023;2.浙江工業大學計算機科學與技術學院,杭州 310023)

傳統的行為識別系統大多是建立在一個靜態模型上,對樣本特征值有非常強的依賴性,而對個別用戶的行為習慣缺乏靈活適應性。基于三軸加速度計設計了一種在動態數據流環境下能夠對用戶行為進行增量學習的自適應性行為識別算法,該算法提出了一種新的提取加速度特征的方法,通過將三軸加速度計采集到的合成加速度數據集合看做物質,來提取物質的物理特征并訓練這些物理特征用于投票分類,然后再通過增量學習來更新樣本特征值,使其逐漸趨向于用戶的行為習慣,從而達到更高的識別率。實驗結果表明,該算法具有很高的識別率和對用戶很好的適應性。

無線傳感器網絡;行為識別;特征提取;增量學習

近年來,隨著物聯網技術和信息科學技術的飛速發展,人體的行為識別得到人們越來越多的重視,它是改善人們生活的一項重要技術,具有非常廣泛的應用前景。例如將其用于智慧醫療、老人或病人的監護系統中、智能家居等中可以實時的獲取用戶的行為數據,從而可以快速而準確的判斷出當前用戶的活動狀態。目前,人體行為識別的研究主要分為兩個方向:一個是基于視覺的,另一個是基于傳感器的[1-2]。相比基于計算機視覺的行為識別,基于加速度傳感器的行為識別具有精度高、成本低、便于攜帶、不受活動場景和時間限制、易于獲取運動數據、能耗低等優點,這些獨特優勢讓人們意識到加速度傳感器在人體行為識別中的廣泛應用前景,并成為人體行為識別領域中的研究熱點。

行為識別系統中,從加速度數據的采集到識別算法選擇與運用,每個模塊都具有不同的特點,因而基于加速度傳感器的行為識別表現出了多樣化的研究趨勢。傳統的基于加速度傳感器的行為識別系統設計大致為:①樣本采集(走路、跑步、上樓、下樓等);②提取傳統的數據特征如均值、方差、標準差、熵、傅里葉變換、相關系數等[3-4];③訓練分類器,常見的分類器有決策樹(Decision Tree)[5]、支持向量機SVM(Support Vector Machine)[6]、貝葉斯(Na?ve Bayes)、人工神經網絡ANN(Artificial Neural Network)[7]、K近鄰KNN(K-Nearest Neighbor)[8]、隱馬爾科夫模型HMM(Hidden Markov Models)[9]等,包括單分類器或混合分類器[10-13]。

傳統的行為識別方法能夠有效識別人體行為,文獻[14]通過基于匹配追蹤算法(MP)的Gabor原子變換,從時間和三維空間動作特征針對老齡人異常行為進行了時頻分析研究,可以很好的提高異常行為檢測胡識別率和算法魯棒性。文獻[15]提出了兩種新的加速度數據特征,即計算加速度矢量與重力方向夾角的小波能量和提取加速度數據重排后的關鍵點連線斜率,有效提高了識別率,但是其只依賴于所采集到的行為樣本,而沒有考慮到對個別用戶的靈活適應性和動態改進,比如不同的人有不同的行為特點,一個人的走路行為可能對應于另一個人的跑步行為[16]。所以設計一個既能適應普通大眾又能對用戶行為進行增量學習進而可以動態改進的行為識別系統非常重要。文獻[17]提出了一種集成SVM和聚類方法來更新系統模型的算法,但是這種系統模型并沒有在一個動態數據流環境下進行驗證。設計一個能夠在動態數據流環境下進行行為識別的系統所面臨的挑戰更大,因為數據流的產生過程中很可能會發生概念漂移,這將會使訓練好的系統模型與實際數據相偏離。

圖2 走路各軸加速度與合成加速度數據

為了解決這個問題,本文設計了一套能夠在數據流環境下自動更新以適應實時數據流的DIL-AR(Dynamic Incremental Learning for Activity Recognition)算法。該算法提出了了一種新的提取加速度數據特征的方法,將三軸加速度計采集到的三維加速度數據集合看做物質,從而提取物質的物理特征包括分子量、范德華力、密度和引力。通過訓練特征值,將其作為對實時數據進行投票分類的依據。同時,我們設計了一種增量學習方法來動態更新樣本特征值,使訓練樣本逐步趨向于用戶的行為習慣從而更加提高對用戶行為的識別率。實驗結果表明,該方法較傳統的行為識別方法具有更高的識別率和更好的用戶適應性。

1 DIL-AR算法設計

本文設計了一套能根據三軸加速度計產生的數據來準確識別人體行為的DIL-AR算法。該算法主要由數據的實時處理與物理特征提取、投票分類和增量學習組成。該系統的算法模塊如圖1所示。

圖1 系統算法模塊圖

1.1 特征提取

為了建立一個魯棒性和靈活性較好的行為識別系統,特征值的選取非常關鍵。圖2為走路的x、y、z三軸分別的加速度值與合成后的三維加速度值,從圖中可以看出,合成后的三維加速度值類似于物理學中的分子,而整體則像是一個物體,故本文將三維加速度點看做分子,數據集合看做物質,計算其物理屬性做為特征值。我們首先采用卡爾曼濾波器對加速度數據進行濾波,去掉一些異常數據,然后通過分離行為樣本(走路、跑步、騎車、上樓、下樓)的每個動作周期,得出平均每個所識別行為的一個完整動作所需的加速度數據個數,分別記錄以作為后期滑動窗口的大小。

我們將一個完整動作,如走一步產生的一組數據集合看做一個物質,假設其數據集合分別為a1(x1,y1,z1)、a2(x2,y2,z2)、a3(x3,y3,z3)、…、an(xn,yn,zn),其中x、y、z分別表示三軸加速度值,n表示每組數據所包含的數據個數,然后提取以下物理特征:

①分子量Mr,不同行為的一個完整動作周期產生的加速度數據個數與大小是不同的,也就是說其一組數據集的大小與位置是不同的,我們將此特性用于區別不同行為,故定義分子量計算公式為:

Mr=xa+2ya+3za

(1)

式中:(xa,ya,za)為重心,且

(2)

②范德華力U,范德華力即分子間作用力,本是存在于分子間的一種吸引力,本文中與相鄰數據點間的距離有關,因為每個行為的數據間間距不同,范德華力可以反映出該行為數據內部的關聯性,用于區分其他行為。本文定義范德華力的計算公式為:

(3)

式中:A、B為常量且

(4)

(5)

③密度ρ,密度是物質的特性之一,不同物質的密度一般是不同的,而不同的行為其加速度點的分布情況也是有差異的,本文中密度代表了行為加速度數據點分布的聚散程度,定義如下:

ρ=M/V

(6)

式中:M=Mr×n,表示物質(一個動作周期產生的數據集合)的質量;V表示物質的體積,我們選擇數據集合的最小外接長方體作為物質的體積,分別取X、Y、Z軸的最值作為長方體的頂點,設minx,miny,minz,maxx,maxy,maxz分別為X、Y、Z軸的最小值和最大值。則體積

V=(maxx-minx)(maxy-miny)(maxz-minz)

(7)

④引力F,宇宙中每兩個物體間都存在一種作用力,即引力。同樣的,兩組行為數據集間的相關聯程度也可以用兩者間的引力表示,相同的行為其一個動作周期產生的數據集將比較相近,即引力較大。根據牛頓萬有引力可知,兩物體間引力的大小與物體的質量成正比而與物體間距離的平方成反比。故引力F的定義如下:

(8)

式中:G為常量,Mx為訓練樣本的數據質量(訓練過程將在后面詳細介紹),M為所識別數據的質量,r為兩物質重心間的距離。

可以看出,我們提取的特征不僅能表現出每組數據的整體性能,而且非常容易計算和進行學習更新。

1.2 分類算法

將每個周期的特征值提取出來之后,就可以進行樣本訓練了。我們選擇上述各特征值的平均值及引力作為投票依據,因引力與物質的重心和距離都有關,本文認為引力的判決力度相對較小,而其他3種特征值均值的判決力度相同。我們以走路訓練為例進行說明,其他動作訓練過程相同。設有k組樣本周期,樣本特征值訓練過程如下:

(9)

圖3 動態滑動窗口模型

樣本訓練完成之后就可以進入識別階段了,因為數據流是動態持續的,在此我們設計了一個動態滑動窗口來處理實時數據流,如圖3所示,它能夠針對不同行為動作調整窗口大小。相比于傳統的固定長度、采用50%的重疊率的滑動窗口[17],此方法能更靈活有效的處理實時數據流,達到更高的識別效率。

我們將訓練樣本所得的每個行為動作一個周期的加速度數據個數從大到小排列好,如排列結果為d(下樓)、u(上樓)、c(騎車)、r(跑步)、w(走路),則我們先將滑動窗口大小設定為d,當滿足x2+y2+z2=g2時,動態滑動窗口開始運行,然后求取窗口內數據集合的上述物理特征,再與所訓練樣本的3個特征平均值的相對誤差及引力大小作比較,其中相對誤差δ的計算公式為(以分子量為例):

(10)

每個特征平均值將票投給相對誤差較小的一類行為,引力則將票投給引力較大的一類。比較結果包含的情況如表1所示(以下樓為例):

表1 投票結果

(11)

當判斷結果為第5種情況時,雖然可以判定,但是確定性相對較小,此時我們設計了增量學習方法來對訓練樣本進行更新,使樣本逐漸趨向于該用戶的行為特征,從而提高判決準確率。增量學習的具體方法將在2.3中做具體介紹。

如果最后投票結果為下樓動作,則可以判定為下樓動作,下樓步數加1,滑動窗口直接移至下一窗口,如果此時投票結果為其他動作如跑步,則此次投票無效,將滑動窗口向數據流方向縮小為u繼續進行投票,如果此次最終投票結果為上樓則可以判定為上樓,上樓步數加1,如果投票結果為上樓之外的其他動作則此次投票無效,再以同樣的方法變動滑動窗口的大小,直至可以判斷出結果,若都無法判斷出結果,則將滑動窗口向數據流反方向移動w/4個窗口大小再次重復上述投票,直至可以判斷出結果。若移動一個周期之后仍無法判斷則判定為其他動作。然后繼續投票判斷。

1.3 增量學習

為了提高對佩戴此電子設備的用戶行為識別的準確率,我們設計了增量學習的方法。當投票結果為第5種情況時,確定性相對較小,此時我們開始實施增量學習。每個行為的訓練樣本為k個周期,每次進行增量學習為1個行為周期,設進行增量學習的實時數據重心為(x,y,z),則重心(xa,ya,za)的更新方法如下:

(12)

每進行一次增量學習,則每個行為訓練樣本特征值的數據重心就更新一次,隨之的各物理特征也進行更新,之后的行為識別判斷也將依據新的物理特征按照2.2中方法來進行投票。這樣訓練樣本特征值將逐步趨向于佩戴此電子設備的用戶的行為特征,從而使得判決結果準確率越來越高。

2 實驗設計與結果分析

2.1 實驗設置

本文采用MATLAB來進行仿真實驗。我們招募了8名志愿者(4名男生,4名女生)將加速度采集模塊佩戴在腰部來進行樣本采集,完成走路、跑步、騎車、上樓、下樓這5種動作,每個動作各做1 000次,為了驗證該系統的泛化能力,我們不對志愿者的行為做任何約束,每名志愿者均按照自己的行為習慣來完成各個動作。傳感器的采樣頻率設置為100 Hz,按照上述方法進行特征提取和樣本訓練。之后又招募了4名志愿者來對系統進行測試,4名志愿者隨機做出這5種動作,總共進行6次實驗,每次實驗0.5 h,期間不限制每種動作的次數和時間。

2.2 增量學習的有效性

為了驗證增量學習過程有效性,我們將志愿者每小時的測試結果進行對比,其測試結果如圖4所示。

由圖4可知,該行為識別系統的識別率整體呈上升趨勢,且走路、跑步、上樓、下樓、騎車的識別率分別提高了8.46%、9.96%、7.25%、7.66%、8.28%,這說明增量學習過程可以對整個行為識別系統產生積極作用。隨著行為動作的次數增加,不斷觸發增量學習部分,而更新后的樣本特征值不斷趨向佩戴此設備用戶的行為特征,從而提高設備的適應性,使識別準確率不斷提高。

圖4 增量學習后的識別率

2.3 動態滑動窗口的有效性

為了驗證動態滑動窗口的有效性,我們將本文所設計方法中的動態滑動窗口部分改為固定值的滑動窗口進行對比,其中固定的滑動窗口選擇常見的窗長512,相鄰窗有256個數據重復,即重疊率為50%[18],實驗結果如圖5所示。

圖5 不同滑動窗口的識別率

由圖5可知,采用動態滑動窗口的識別率要優于固定窗口的識別率,并且識別率的提高速度更快,這是因為動態滑動窗口相比于固定滑動窗口更為靈活,可以針對不同的行為調整窗口的大小,從而更能有效的處理實時數據流,達到更高的識別率。

2.4 特征值及分類算法有效性

為了驗證本文所提算法的有效性,我們將DIL-AR與其他傳統靜態分類器進行了對比實驗,我們采用文獻[19]中的決策樹(DT)和神經網絡(ANN)分類器及其第2組特征值(均值、方差、標準差、兩軸相關性、能量、熵),分別將其與DIL-AR算法進行MATLAB仿真實驗,同時為了驗證本文所提取的特征值的有效性,我們將本文提出的特征值分別用上述決策樹(our DT)和神經網絡(our ANN)分類器進行分類,實驗結果如圖6所示。

由圖6可知,同樣的分類方法,采用本文特征值提取方法的識別率要高于其他特征值提取方法的識別率,這表明本文所提出的特征值的提取方法更為有效。

圖6 各分類算法的識別率

還可以看出,本文所提方法的識別率普遍優于DT和ANN,而其中跑步的識別率相對較低,其原因在于跑步的數據點較為分散,會與其他數據點重合。而騎車的數據點則非常容易與其他數據點分辨出來,故其識別率最高。此外由于概念漂移的存在,DT和ANN分類的識別率將會隨數據來源的變化而有所下降,而DIL-AR算法利用了增量學習過程,可以以較小的代價使分類器能夠適應概念漂移,提高識別率。并且傳統的分類器需要多次迭代,DIL-AR算法所需特征值較少,迭代次數也較少。

3 結束語

行為識別是普適計算中的一個重要方面,尤其是在處理非靜止的數據流的時候。本文設計了一個能夠自動適應用戶行為習慣的行為識別系統,該系統提出的DIL-AR算法能夠自動從實時數據流中進行增量學習,從而適應概念漂移,不斷提高對該用戶的行為識別率。在一個動態的數據流環境下,傳統的重疊窗口方法處理數據流將會極大增加計算成本,而DIL-AR算法提出的動態滑動窗口能夠以較低的成本選出更有效的特征值。仿真實驗結果表明本文設計的行為識別系統能夠有效識別用戶行為,但系統的初始識別率還有提升空間,所以接下來我們將繼續改進數據處理與增量學習過程,進一步提高系統性能。

[1] Ermes M,P?rkka J,Mantyjarvi J,et al. Detection of Daily Activities and Sports with Wearable Sensors in Controlled and Uncontrolled Conditions.[J]. IEEE Transactions on Information Technology in Biomedicine,2008,12(1):20-26.

[2] Heinz E A,Kunze K S,Gruber M,et al. Using Wearable Sensors for Real-Time Recognition Tasks in Games of Martial Arts—An Initial Experiment[C]//IEEE Symposium on Computational Intelligence and Games. 2006:98-102.

[3] 徐川龍,顧勤龍,姚明海. 一種基于三維加速度傳感器的人體行為識別方法[J]. 計算機系統應用,2013,22(6):132-135.

[4] 薛洋. 基于單個加速度傳感器的人體運動模式識別[D]. 華南理工大學,2011.

[5] Ghasemzadeh H,Jafari R. Physical Movement Monitoring Using Body Sensor Networks:A Phonological Approach to Construct Spatial Decision Trees[J]. IEEE Transactions on Industrial Informatics,2011,7(1):66-77.

[6] Zhen-Yu H E,Jin L W. Activity Recognition from Acceleration Data Using AR Model Representation and SVM[C]//International Conference on Machine Learning and Cybernetics. 2008:2245-2250.

[7] Ruch N,Joss F,Jimmy G,et al. Neural Network Versus Activity-Specific Prediction Equations for Energy Expenditure Estimation in Children.[J]. Journal of Applied Physiology,2013,115(9):1229-1236.

[8] Paul P,George T. An Effective Approach for Human Activity Recognition on Smartphone[C]//IEEE International Conference on Engineering and Technology. IEEE,2015.

[9] Li D,Biem A,Subrahmonia J. HMM Topology Optimization for Handwriting Recognition[J]. American Journal of Physiology,2001,3(4 Pt 1):C856-64.

[10] Kumawat P,Khatri A,Nagaria B. Comparative Analysis of Offline Handwriting Recognition Using Invariant Moments with HMM and Combined SVM-HMM Classifier[C]//International Conference on Communication Systems and Network Technologies. IEEE,2013:140-143.

[11] Kumawat P,Khatri A,Nagaria B. Offline Handwriting Recognition Using Invariant Moments and Curve Let Transform with Combined SVM-HMM Classifier[M]. 2013.

[12] Zanchettin C,Bezerra B L D,Azevedo W W. A KNN-SVM Hybrid Model for Cursive Handwriting Recognition[C]//The 2012 International Joint Conference on Neural Networks(IJCNN),Brisbane,QLD,2012:1-8.

[13] Umakanthan S,Denman S,Fookes C,et al. Activity Recognition Using Binary Tree SVM[C]//Statistical Signal Processing. IEEE,2014:248-251.

[14] 羅堅,唐琎,毛芳,等. 基于云計算的可穿戴式老齡人異常行為檢測系研究[J]. 傳感技術學報,2015,28(8):1108-1114.

[15] 盧先領,王洪斌,王瑩瑩,等. 加速度數據特征在人體行為識別中的應用研究[J]. 計算機工程,2014,40(5):178-182.

[16] Abdallah Z S,Gaber M M,Srinivasan B,et al. Adaptive Mobile Activity Recognition System with Evolving Data Streams[J]. Neurocomputing,2014,150(PA):304-317.

[17] Viet V Q,Thang H M,Choi D. Personalization in Mobile Activity Recognition System Using-Medoids Clustering Algorithm[J]. International Journal of Distributed Sensor Networks,2013,2013(9):797-800.

[18] 宋浩然,廖文帥,趙一鳴. 基于加速度傳感器ADXL330的高精度計步器[J]. 傳感技術學報,2006,19(4):1005-1008.

[19] Chernbumroong S,Atkins A S,Yu H. Activity Classification Using a Single Wrist-Worn Accelerometer[C]//Software,Knowledge Information,Industrial Management and Applications(SKIMA),2011 5th International Conference on. IEEE,2011:1-6.

An Adaptive Algorithm for Activity Recognition with Evolving Data Streams

QIAN Liping1,LI Penghuan2,HUANG Liang1*

(1.College of Information Engineering,Zhejiang University of Technology,Hangzhou 310023,China;2.College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310023,China)

The static model used in traditional activity recognition systems greatly relies on the prior knowledge,being lack of flexibility and adaptability to suit a particular user. We design an adaptive activity recognition algorithm based on triaxial accelerometer,which refines the learning model with evolving data streams. We propose a novel method for feature extraction. By taking the resultant acceleration dataset as materials,we extract their physical properties for voting classification. Furthermore,we refine the sample values by incremental learning,such that the sample values can gradually adapt to the user’s activity habit and achieve a higher recognition rate. The experiment results show that our proposed algorithm owns a high recognition rate and a good adaptability to users.

wireless sensor networks;activity recognition;feature extraction;incremental learning

錢麗萍(1981-),女,浙江工業大學副教授,博士,主要研究方向為無線網絡(包括物聯網、無線傳感網絡)資源優化分配理論與算法、綠色中繼通信、車聯網通信、認知無線電網絡、智能電網,lpqian@zjut.edu.cn;

李鵬歡(1994-),女,浙江工業大學在讀碩士研究生,主要研究方向為無線網絡與通信,phuanli@163.com;

黃 亮(1987-),男,博士,浙江工業大學講師,主要研究方向為無線網絡、綠色通信等,lianghuang@zjut.edu.cn。

項目來源:國家自然科學基金項目(61379122,61502428);浙江省自然科學基金項目(LR16F010003,LQ15F010003)

2016-11-28 修改日期:2017-01-23

TN92

A

1004-1699(2017)06-0909-07

C:6150P

10.3969/j.issn.1004-1699.2017.06.018