基于加速度傳感器的連續動態手勢識別*

陳鵬展， 羅　漫， 李　杰

(華東交通大學 電氣與電子工程學院，江西 南昌 330013)

?

基于加速度傳感器的連續動態手勢識別*

陳鵬展， 羅漫， 李杰

(華東交通大學 電氣與電子工程學院，江西 南昌 330013)

摘要:針對個體手勢動作信號的差異性和不穩定性,提出了一種基于加速度傳感器的連續動態手勢識別方法。通過MEMS加速度傳感器采集手勢動作信號，并結合手勢信號的動作特征，對單個手勢的有效數據進行自動定位截取，經預處理和特征提取后，構建隱馬爾可夫模型(HMM)以實現對特定手勢的實時識別。通過設計實現了一種可穿戴手勢信號采集硬件原型系統，對10類手勢的1000個手勢數據進行識別對比實驗，統計結果表明：該方法可以對連續手勢進行實時有效的識別。

關鍵詞:動態手勢識別； 加速度傳感器； 隱馬爾可夫模型； 特征提取

0引言

隨著手機、電視和PDA等智能電子設備的出現，使得基于鍵盤、鼠標和觸摸屏的人機交互方式的不便性日益凸顯，這三種方式都限制了用戶的操作空間，降低了交互體驗和效率，如何使人機間的交互方式能夠更自由化和人本化越來越重要。手勢作為日常生活中人們廣泛使用的一種自然而直觀、易于學習和高效的交流方式，有很強的表意能力，因此,被逐步引入到人機交互通道中，成為了當前交互研究的熱點。

目前,關于手勢識別的研究主要以基于計算機視覺為主，然而通過該方法獲取的的手勢信號數據量大，識別算法復雜，同時對背景、光線等外部環境依賴性強，并不太適合動態實時識別。隨著微機電系統技術和移動智能計算技術的不斷發展與成熟，內嵌加速度傳感器的電子設備可直接用于手勢動作信息的測量，為手勢識別帶來了新的基礎工具和應用環境[1～3]。

基于加速度傳感器的手勢識別技術本質是通過手勢動作時的加速度數據來識別手勢意圖，國內外的一些研究機構早從20世紀90年代就開始著力研究，文獻[4]主要給出了加速度信號特征的兩種提取方法：小波分析與傅立葉變換，并對不同提取方法的識別結果進行了實驗比較。文獻[5，6]采用動態時間規整(dynamic time warping,DTW)技術對手勢數據進行學習和測試。文獻[7]利用采集的手勢加速度信號進行了分類實驗。

由于手勢動作與個體相關，相同手勢的加速度信號(幅度、長度等)存在較大差異[8,9]，通過以上方法獲取的動態手勢特征參數準確率低，構建的識別模型實時性差且適用范圍有限。為此，本文提出了可自動截取手勢有效加速度數據和隱馬爾可夫模型(hidden Markov model,HMM)相結合的方法來對手勢進行實時識別，以提升系統對個體差異的適應性，增強連續動態手勢輸入的實時性。

1系統流程

系統流程如圖1所示。首先，用戶佩戴加速度傳感器設備采集手部動作的加速度信號，經過高通濾波和歸一化等預處理后發送給智能主機端(PC)；數據經過特征提取等后期處理后作為HMM學習模型的訓練樣本，在完成訓練之后，學習模型即可對用戶的特定手勢進行有效的識別，并可將手勢識別結果與計算機操作指令相結合來完成一些人機交互應用。

圖1　系統流程Fig 1　System flow chart

2手勢識別算法

2.1信號截取

為了實現對動態手勢信號的準確切分，第一步需讓系統能夠準確監測手勢動作的開始與結束，以便抓取有效的單個手勢信號數據段。

圖2為手勢動作和靜止時的加速度信號，用(x,y,z)表示X,Y,Z三個軸的加速度信號，記t時刻加速度計的值s(t)=(x(t),y(t),z(t))為手勢動作產生的加速度信號量。當手動作時，采集的三軸加速度計原始值變化劇烈(虛線框內);反之，則波動較小。為了監測判斷手勢動作的起點和終點，采用式(1)，即門限閾值和信號差分運算來凸顯加速度的變化量，以便自動截取手勢的有效數據

Δst=|x(t)-x(t-1)|+|y(t)-y(t-1)|+

|z(t)-z(t-1)|.

(1)

圖2　動作信號Fig 2　Motion signal

同時,為了盡量濾除噪聲和確保手勢數據的完整性，取N個采樣數據的差分運算結果進行均值計算，并分別設置兩個閾值：Start,End，對應活動的開始與結束，且開始閾值大于結束閾值，如圖3所示。

圖3　定位檢測Fig 3　Localization detection

在對手勢有效動作進行識別過程中，自動截取的加速度數據可能包含了用戶誤操作，如輕微的抖動和手姿態的轉變。為了提高識別精度和效率，必須去除這些干擾信號，通過對連續手勢運動特性和實驗的采樣頻率的分析，定義當截取的手勢數據樣本長度大于80時為有效手勢，否則,作為誤操作數據去除。

2.2數據預處理

由于所測量的三軸加速度數據包含了重力信息，且每個軸受重力分量的影響隨手勢動作狀態而相應變化，為了更準確地反映手勢動作信號，使用高通濾波去除重力分量，得出凈加速度信號A(t)=(x(t),y(t),z(t))。另外，鑒于人手動作的差異性，不同個體做相同動作時加速度信號幅度和速度各不相同，這將會對識別精度造成影響，因此,通過式(2)和線性插值的方法對加速度信號進行歸一化處理，如圖4所示。

圖4　預處理Fig 4　Preprocessing

(2)

2.3手勢動作特征提取

特征提取決定了手勢識別的正確率，提取的特征參數必須能有效反映手勢動作特性，根據連續動態手勢識別的適應性和實時性的要求，采用提取樣本均值方法來計算手勢樣本的特征表示，以縮減識別算法復雜度，滿足系統的實時性要求,即將單個手勢動作的加速度數據樣本分割成若干段，每段取L個樣本點，通過式(3)提取每段數據的樣本均值(mean)作為手勢動作的關鍵特征

(3)

式中s(i),L分別為第i時刻手勢信號分割段中的樣本值和分割段樣本長度。

2.4手勢識別

HMM被廣泛應用于時序序列的數據建模，已在語音識別領域取得了巨大成功，它的狀態是由觀測向量序列的結果產生，并不能直接觀察到，且每個觀測向量都是由一個狀態時序序列產生，并通過概率密度分布表示為相應狀態。一個HMM可由λ=(S，O，A，B，π)來描述，亦可簡寫為λ=(A,B,π)，其中,S為隱含狀態集合，O為觀測狀態集合，A為隱含狀態的轉移概率矩陣，B為觀測狀態概率分布，π為初始狀態概率分布向量。鑒于加速度數據也是時序序列，因此，選用HMM作為手勢動作識別模型。

本文的連續動態手勢識別技術依賴于HMM中學習、解碼和評估問題的求解算法，其主要步驟分為以下4步：

1)手勢定義

在系統中定義有意義的手勢，將(0～9)阿拉伯數字的各自書寫動作定位為有效手勢，并確定其書寫規范。

2)手勢建模

鑒于加速度數據的時序性，選用Bakis類型HMM分別對各個手勢動作進行建模，并初始化模型參數λi=(A，B，π)。

3)手勢動作模型訓練

分別反復采集各個手勢動作信號的數據，并利用Baum-Welch算法來對手勢模型λi進行訓練，使模型參數盡可能趨于收斂，得出對應手勢的最優λi。

4)手勢識別

選用Viterbi算法作為各個手勢對應的HMM識別方法，即將輸入手勢的加速度特征序列分別與訓練好的λi進行計算評估，取其概率輸出最大的λi為對應手勢動作的識別結果。

3實驗與分析

為了驗證算法的有效性，設計了一個可穿戴手勢信號采集硬件原型，該原型將采集的數據通過無線發送給PC端進行識別處理，主要由六軸運動傳感器MPU6050和超低功耗的無線微處理器nRF51822組成，設備采用3 V鋰電池供電。MPU6050整合了三軸陀螺儀和三軸加速器，其加速度計測量范圍動態可編程，實驗中,量程選±2gn，采樣頻率為125 Hz。用戶佩戴可穿戴設備以預訂的書寫規范在自由空間中完成對10個阿拉伯數字(0～9)的書寫動作，訓練者各操作80次用于手勢模型訓練，測試者各操作100次用于評估系統對動態手勢識別的精度和實時性。

圖5為阿拉伯數字6和7的手勢動作軌跡，黑點為手勢起點，箭頭為手勢的軌跡方向，圖6為數字6,7先后連續手勢動作的加速度原始信號。

圖5　動作軌跡Fig 5　Motion trajectory

圖6　原始信號Fig 6　Original signal

圖7和圖8分別為連續動作手勢(6,7)經自定位截取并預處理后的加速度數據。

圖7　數字6的手勢數據Fig 7　Gesture data of digital 6

圖8　數字7的手勢數據Fig 8　Gesture data of digital 7

統計結果如表1所示，豎排表示輸入手勢(0～9)，橫排表示輸入手勢對應的識別結果，實驗表明:所構建的識別算法能對連續動態手勢的有效數據進行自動截取和識別，且準確率達到了94.8 %。

4結束語

通過自定位有效手勢加速度數據和HMM相結合的方法來對手勢進行實時檢測識別，因構建的識別算法簡單有效，具有較強的適應性，有效解決了連續輸入和個體差異性對手勢識別結果的影響。但該方法對于旋轉或速度緩慢的手勢動作識別率較不高，今后可將陀螺儀傳感器引入到手勢識別中，解決手勢旋轉的問題，從而提高識別精度。

表1　識別混淆矩陣

參考文獻:

[1]Mannini A,Sabatini A M.Machine learning methods for classifying human physical activity from on-body accelerometer-s[J].Sensors,2010,10(2):1154-1175.

[2]李國峰,王錦,張勇,等.基于MEMS加速度傳感器的智能輸入系統[J].傳感技術學報,2009,22(5):643-646.

[3]Schlomer T,Poppinga B,Henze N,et al.Gesture recognition with a wii controller[C]∥Proceedings of the 2nd International Conference on Tangible and Embedded Interaction,New York:ACM,2008:11-14.

[4]He Z,Jin L,Zhen L,et al.Gesture recognition based on 3D accelerometer for cell phones interaction[C]∥IEEE Asia Pacific Conference on Circuits and Systems,APCCAS 2008,IEEE,2008:217-220.

[5]Akl A,Feng C,Valaee S.A novel accelerometer-based gesture recognition system[J].IEEE Transactions on Signal Processing,2011,59(12):6197-6205.

[6]王堯,孫子文,周治平.一種基于手機加速度傳感器的三維手勢身份認證方法[J].傳感器與微系統,2014,33(8):37-40.

[7]孔俊其.基于三維加速度傳感器的手勢識別及交互模型研究[D].蘇州:蘇州大學,2009.

[8]陳意,楊平,陳旭光.一種基于加速度特征提取的手勢識別方法[J].傳感技術學報,2012,25(8):1073-1078.

[9]Cho S J,Choi E S,Bang W C,et al.Two-stage recognition of raw acceleration signals for 3D gesture-understanding cell phones[C]∥Proc of the Tenth International Workshop on Frontiers in Handwriting Recognition,Nijmegen,Netherlands,2006:3854-3859.

陳鵬展(1975-),男，湖北武穴人，博士,副教授,主要研究方向為網絡人機交互控制系統、汽車電子控制、伺服驅動控制。

Continuous dynamic gesture recognition based on acceleration sensor*

CHEN Peng-zhan, LUO Man, LI Jie

(College of Electrical and Electronic Engineering,East China Jiaotong University,Nanchang 330013,China)

Abstract:Aiming at differences and instability of individual gestures signal,a continuous dynamic gesture recognition method based on acceleration sensor is proposed.The method utilizes MEMS acceleration sensor to capture gesture acceleration signal,according to the features of gesture signal,valid data of single gesture is automatically located and intercepted,after pre-processing and features extraction hidden Markov models(HMM) to real-time identify specific gesture.A wearable gesture signal acquisition hardware prototype system is realized through design,1000 data of 10 types of gesture is selected to conducte the identification and comparative experiment,statistical results show that the method can identify continuous gesture in real-time and effectively.

Key words:dynamic gesture recognition； acceleration sensor； hidden Markov models(HMM)； feature extraction

作者簡介:

中圖分類號:TP 391

文獻標識碼:A

文章編號:1000—9787(2016)01—0039—04

*基金項目：國家自然科學基金資助項目 (61164011);江西省自然科學基金資助項目(20114BAB201023)

收稿日期：2015—03—09

DOI:10.13873/J.1000—9787(2016)01—0039—04