基于機器學習的手勢識別系統及其在移動終端上的應用

李養群+周梅

摘 要：手勢識別技術可有效提高移動終端操作效率。通過移動終端加速度傳感器捕獲手勢執行過程中的三維加速度信號，經過預處理、特征提取之后，采用機器學習方法SVM，建立相應的SVM分類模型，并利用該識別模型實現手勢動作。實驗結果表明，該方法具有較高的識別率并在移動終端上得到應用。

關鍵詞：手勢識別；機器學習；支持向量機（SVM）；移動終端

DOIDOI：10.11907/rjdk.171234

中圖分類號：TP319

文獻標識碼：A 文章編號文章編號：1672-7800（2017）008-0153-03

0 引言

移動終端技術已經得到廣泛使用，人們用其進行娛樂、瀏覽新聞、辦公等活動，但是在使用過程中仍然存在著一些不便，比如，對移動終端的使用大部分仍然依靠手指滑動調出菜單的方式進行操作。但是，目前部分手機尺寸較大，在單手操作時，手指滑動調出菜單較為不便，而通過手的晃動可以非常方便地實現某種操作。例如，當手機有電話來時，可通過不同方向的晃動實現電話的接聽或者不接聽。例如，往左晃動，拒接電話，往右晃動，接聽電話。

目前，大部分移動終端都配置了各種傳感器，例如加速度傳感器。可充分利用加速度傳感器的數據判斷手勢的移動方向從而為手機的操作提供幫助，可極大方便人們的操作。

本文首先針對常見的幾種手勢操作進行分析，在此基礎上，采用機器學習方法SVM對三維加速度傳感器數據進行分類識別，并將識別結果應用于移動終端上。

1 相關技術

文獻[1]針對手勢的各種運動姿態進行了識別，包括左右移動、上下移動、寫阿拉伯數字的各種手勢，并采用HMM模型進行了分類識別，具有一定的成功率。但是該方法是在嵌入式系統上實現的，無法直接應用于移動終端之上。文獻[2]主要識別了8種手勢，分別是左右移動、上下移動以及畫圓和畫正方形的手勢并采用DTW算法對其進行識別。文獻[3]針對與設備的交互過程，主要識別8種手勢，包括縮放、推拉、雙擊等動作，借助于RFID技術捕捉信號并根據這些信號的值建立一些簡單的規則識別手勢。文獻[4]采用3D形狀上下文對手勢進行識別，該方法可減少背景和顏色對手勢識別的影響。文獻[5]對5種手勢進行了識別并將手勢識別結果應用于計算機游戲交互中。文獻[6]采用機器學習算法SVM對加速度傳感器信號進行分類以實現手勢識別，該方法主要基于圖像處理機制實現分類。

2 基于SVM的手勢識別框架

2.1 SVM技術

SVM是一種基于統計理論的學習方法，采用結構風險最小化歸納原則。SVM的實現機制為：當實際問題是擁有正負類別信息的訓練樣本集時，算法通過尋找不同類別樣本之間的最大間隔（Margin）訓練出分類器，從而使不同類別的樣本能夠被分類器分開。

SVM的訓練過程就是對最佳分離超平面的求解過程，其訓練僅僅與樣本中對分類面起支持作用的部分樣本集有關，因此模型訓練的復雜度與其它非支持樣本及樣本維數無關，從而可以有效避免維數災難。基于SVM的上述特性，使得它在處理小樣本、非線性及高維數據時要優于其它模式識別方法。

2.2 手勢識別

本文主要針對現實生活中最常用的幾種手勢進行識別，主要包括左右移動、上下翻動等幾種情況，如圖1所示。

圖1中的（a）表示手機的左右甩動或者翻動，（b）表示手機的上下移動，而（c）和（d）表示手機以手腕為軸點的左右甩動，（e）表示手機的上翻動作，而（f）表示手機的下翻動作。

2.3 基于SVM的手勢識別框架

圖2給出了基于SVM算法的手勢識別框架，該框架主要包括如下功能：①加速度傳感器：是指移動終端內部的三維重力加速度傳感器，本系統根據其產生的數據對手勢進行識別；③數據采集功能：采集移動終端開始和停止移動期間的傳感器數據并保存；③數據處理：去除數據中的噪聲，從數據中提取相應的特征；④SVM識別模型：將處理后的樣本數據訓練SVM算法并得到識別模型；⑤SVM識別結果：將識別模型應用到數據中并識別出手勢移動的結果；⑥應用系統：移動終端中使用手勢識別結果的各種應用；⑦配置系統：將手勢識別結果與移動終端的應用功能建立關聯。例如，將往左移動設置為拒接電話，往右移動設置為接聽電話，向上翻動設置為彈出通知欄等。

3 實驗數據與分析

3.1 實驗準備

采集數據所用的手機HTC t328，CPU為高通曉龍Snapdragon MSM8255，最低速度為22MHz，最高速度可達1.4GHz；RAM容量為512M；ROM為8G。手機的操作系統為Android OS 4.0.3，電池容量為1650mAh，自帶有方向傳感器、加速度傳感器和距離傳感器等，該機硬件配置基本上是目前普遍的智能機硬件配置。

3.2 實驗過程

這里共識別6種手勢：左翻、右翻、上翻、下翻、向左甩、向右甩，并對每種手勢進行數據采集，采集到大量數據，表1展示了各手勢采集數據的次數。

3.3 數據預處理

（1）數據平滑去噪。導致噪聲干擾有兩個原因：手機加速度傳感器本身的精度原因，當手機靜止放置時由于細微的震動，仍然能夠采集到細微變化的數據；另外手本身的抖動也能產生噪聲。因此，需要盡量去除噪聲對數據的干擾。這里使用簡單移動平均線的方法（SMA）進行處理。計算方法如式（1）所示。

aSMAnow=（ai+ai-1+...+ai-m+1）/m=aSMAprevious+（ai-ai-m）/m（1）

其中，m表示數據段的窗口大小，使用當前幀i及它之前m-1幀的加速度之和的平均值aSMAnow表示當前幀的加速度ai。

處理后的數據如圖3所示。endprint

（2）數據的邊界檢測。

邊界檢測主要指數據采集何時開始，何時結束。采用一種門限值方法對手勢軌跡的邊界進行判定，

基于大量的實驗分析，窗口大小設置為7，門限值大小為0.5（m/s2）。經過邊界檢測后的數據如圖4所示。

（3）數據的長度歸一化。

每次采集手勢移動軌跡時所用的時間不一定一致，為了更好地實現特征提取，需對結果進行采集時間長度上的統一，也即時間長度的歸一化處理。此處，將長度歸一化的閡值設置為200幀。

3.4 特征提取

（1）手勢能量。手勢能量體現了各類手勢動作過程中的劇烈程度，其計算方法如式（2）所示[7]：

GE=∑Bi=A（|anxi|+|anyi|+|anzi-g|）（2）

其中，A、B分別為手勢的起點和終點； anxi、anyi、anzi分別為手勢在用戶坐標系中x、y、z軸的加速度。

（2）均值。手勢動作的加速度信號持續時間通常在1s左右，本文選用均值作為每幀加速度信號的關鍵特征。均值即一幀加速度信號樣本點幅度的平均值：

mean=∑ia（i）/w（3）

其中，a（i）為第i時刻加速度的采樣值；w為窗口長度。綜合考慮三軸加速度信號，每軸提取一維特征，共得到三維特征，對于一條含60幀的手勢加速度數據，可得到60×3維特征。

3.5 基于SVM的訓練與識別

本文采用臺灣大學Lin Chih-Jen等開發的Libsvm作為SVM算法包。該算法包功能完善，易于使用。經過實驗發現，選RBF為核函數，其參數=32時效果最好。

3.6 識別結果

實驗邀請10位不同專業背景的被試者參與本文方法的可用性評估，他們的年齡范圍在20～30歲，都具有一定的智能手機使用經驗。經過試驗，本系統的翻動手勢識別率在98%左右，甩動手勢識別率在85%左右，具體結果如圖5所示。

由于翻動的速度較為緩慢，特征向量提取比較完整，因而識別率較高，而甩動的完成速度較快，特征值提取不太完整，因此，在模型訓練時機器學習的效果不如翻動的手勢。

3.7 應用

手勢識別系統開發平臺采用Eclipse+ADT插件，為了體現識別效果，對于每種手勢識別，都能觸發相應的應用，系統界面如圖6-圖11所示。

3.8 分析與改善

實驗發現甩動的手勢識別率較低，經過反復實驗與思考，發現可能是用戶左右手使用手機習慣導致了誤差，于是對系統進行改善，對于晃動手勢識別增加了左、右手模式的選擇。經過改善，甩動的識別率得到改善，可達到90%左右。

4 結語

本文從基于機器學習的手勢識別方法著手，利用手機自帶的加速度傳感器，實現基于手機端特性的手勢識別，實驗測試結果證明，該方法具有很好的性能。但由于未進行初始姿態識別，因而要求用戶必須以相同的初始姿態手持移動終端采集手勢移動數據，這是需進一步改進之處。未來，將通過引入其它運動傳感器（如陀螺儀、地磁感應計等）獲得朝向信息，從而校正不同用戶手持移動設備的方向差異。另外，本文特征提取使用的是時域特征，雖然計算量小但識別不精確，造成左右手的分類模式，給用戶帶來不佳體驗。未來可采取時域與頻域相結合的特征，增強特征分類效果。

參考文獻：

[1] 孔俊其.基于三維加速度傳感器的手勢識別及交互模型研究[D].蘇州：蘇州大學，2009

[2] 陳文.基于加速度傳感器的智能終端手勢識別關鍵技術研究[D].長沙：國防科技大學，2011.

[3] BRYCE KELLOGG，VAMSI TALLA，SHYAMNATH GOLLAKOTA.Bringing gesture recognition to all devices[C].Proceedings of the 11th USENIX Symposium on Networked Systems Design and Implementation，2014.

[4] GUANG CHENG，GUIJIN WANG，XINGGANG LIN.Hand gesture recognition using 3d shape context feature on depth images[J].Journal of Computational Information Systems，2015（11）：9-16.

[5] KAI ZHANG.An interaction educational computer game framework using hand gesture recognition[J].Journal of Computational Information Systems，2014，15（10）：6339-6346.

[6] 張秋余，王道東，張墨逸，等.基于特征包支持向量機的手勢識別[J].計算機應用，2012（12）：3392-3396.

[7] NOURA FARRA，GIUSEPPE RAFFA，LAMA NACHMAN，et al. Energy-efficient mobile gesture recognition with computation offloading[C].International Conference on Energy Aware Computing（ICEAC），2011：1-6.endprint