基于深度學習算法的可穿戴設備手勢識別系統設計*

惠 丹

(西安理工大學，陜西 西安 710048)

0 引言

目前，隨著可穿戴設備的普及，越來越多的人開始使用例如智能手表等設備。可穿戴設備主要使用觸摸屏作為交互手段(如智能手表)，然而為了保證便攜性，可穿戴設備的觸摸屏很難提供足夠大的面積來實現各種交互，這樣的限制也導致用戶在使用觸摸屏時很容易出現誤觸或操作錯誤。因此如何提高可穿戴設備觸摸屏手勢識別的準確率成為了重要的研究方向。

本文以智能手表為例，提出一種基于深度學習算法卷積神經網絡(CNN)分類模型的用戶手勢識別系統。該手勢識別系統利用智能手表上的加速度傳感器獲取用戶的手勢數據，通過訓練CNN模型，使機器可以通過對比加速度傳感器在三個向量軸的數據差異以及數據的時間長短來實現對用戶手勢識別分類的目的。

1 系統總體架構

如圖1所示，本系統由可穿戴設備(智能手表)、智能手機和PC端組成。設定10種手勢模式進行實驗，首先通過加速度傳感器采集參與實驗者在智能手表上的手勢交互數據(包括三個加速度軸的數據以及手勢的執行時間)，然后使用藍牙收集數據并傳輸到智能手機上，利用已開發好的手機應用把手機采集到的數據樣本進行批處理，再把數據樣本通過WiFi共享到PC端，PC端把數據樣本集導入CNN神經網絡識別手勢模型并最終返回識別結果[1]。

圖1 系統總體架構

當前大部分可穿戴設備中都裝備有加速度傳感器。本文選擇配備了三軸加速度傳感器和藍牙通信模塊的安卓智能手表作為實驗設備，三軸加速度傳感器用于收集x、y、z軸上加速度的數據值[2]。

在執行數據收集時，用戶首先從已開發的安卓應用中的模式列表選擇手勢模型的類型，然后智能手表將采集到的傳感器數據通過藍牙模塊發送到智能手機。手機獲取所收集數據后，整理成數據集并發送到PC端，PC端顯示基于接收到的數據的手勢模型分類結果。本研究中由于智能手機的計算性能有限，無法使用移動設備來訓練機器學習模型，因此本文使用云計算平臺來實現。移動設備和PC端通過WiFi進行數據通信，PC端獲取手勢交互數據集后，利用CNN模型判斷手勢類型并發送結果。本研究使用TensorFlow進行實驗。

由于智能手表的觸摸屏面積有限，因此本文在二維平面上選擇9個點來確定手勢模型，這樣不僅符合用戶在使用智能手表的交互習慣[3]，也能最大限度測試該系統在實際交互場景下的識別準確率。

本文選取10種手勢模型(如圖2所示)作為實驗手勢模型，選擇這10種手勢模型是因為它們符合用戶在使用智能手表時大部分的交互場景[4-5]，并且這10組手勢模型中組和組之間有一定的相似性，這樣可以更好地測試系統的性能。

圖2 10種實驗手勢模型

實驗參與者在佩戴的智能手表上執行給定的10組手勢。圖2中的9個參考點是為了方便參與者而提供的。實驗參與者按照自己的使用習慣去進行手勢操作(如姿勢、手型、動作等)。

(1)

這樣，Ax、Ay、Az就組成了智能手表收集的初始手勢樣本數據。通過實驗對比可以發現，在測試不同的手勢模型時，加速度傳感器的運行時間以及所獲取的x、y、z軸上的加速度值是不同的。例如，在P1模式下加速度值有兩個數據波動，而在P9模式下加速度值有三個以上的數據波動，并且兩種手勢在執行時間上的差異約為0.8 s。因此可以通過CNN模型訓練機器分析不同手勢模型的數據，并最終實現手勢識別的目的[6]。

2 CNN手勢識別系統模型

2.1 CNN神經網絡

本文通過CNN神經網絡實現對10種手勢模型的分類。為了使用CNN模型，需要對輸入數據大小進行修正。本研究在實驗中把獲取數據的時長固定為10 s，所收集的手勢以10 Hz頻率采樣，每個數據大小為100。因此，輸入數據的總大小為1×100×3，其中x、y和z軸各有100個數據。圖3顯示了CNN模型的設計結構。CNN模型一般由輸入層、隱藏層和輸出層組成，而本文設計的CNN模型分為輸入層、卷積層、池化層、全連通層和輸出層。輸入層根據輸入格式分類數據；隱藏層由卷積層、池化層組成，卷積層計算連通區域與其自身加權值之間的卷積[7],池化層進行下采樣，對特征信息稀疏處理，減少數據運算量；在完全連接層中，所有節點都是相互連接的，每個節點的結果由權重矩陣做乘法并設定一個偏差值對數據重新擬合，減少特征信息的損失；在輸出層，通過Softmax分類器處理后的數據按概率返回分類結果。

圖3 CNN神經網絡

2.2 總體架構

本文設計的CNN模型的總體結構如圖3所示。其中Conv、Pool和Full分別是卷積層、池化層和完全連接層的縮寫，卷積層feature map的初始數值為9，每次增加2倍，池化層使用max pooling方法減少運算數據。為了避免過度擬合，該網絡共設有3個全連接層，其中dropout rate設置為0.5。本研究中使用了ReLU作為激活函數，交叉熵作為成本函數，ADAM作為優化器。這樣做的目的是為了使整個CNN網絡在處理數據時保證特征信息的損失降到最低，并且訓練參數(如權值和偏差)可以實時更新，這樣可以提高運算效率并保證識別的準確性。

3 實驗過程與結果分析

3.1 實驗過程

為了對模型的性能進行評價，本實驗共收集了3 000組實驗數據。基于這個數據集，對提出的手勢識別系統進行訓練和測試。訓練和測試過程通過3次驗證以保證性能評估結果的可靠性，各手勢模型的數據樣本量均為300組。

本實驗使用準確率(Accurary)、精確率(Precision)、召回率(Recall)三個評估指標對該手勢模型識別系統進行性能評估。

上述公式中，True Positive(TP)表示將正類預測為正類數；True Negative(TN)表示將負類預測為負類數；False Positive(FP)表示將負類預測為正類數；False Negative(FN)表示將正類預測為負類數。這三個評估指標是在深度學習性能評估中最常使用到的[8]。

通過實驗，該手勢模型識別系統性能的詳細評估結果如表1所示。

表1 系統性能評估結果

3.2 實驗結果分析

由實驗結果可以得出該手勢模型識別系統的三項性能指標都很高，均在97%以上，其中P1、P6、P9和P10都顯示出極高的識別準確率，達到99%以上。P7和P8的準確率在97%以上，而P3的準確率相對較低，為94.2%(如表2所示)。由于P2和P3、P5和P6具有相似的特征，因此，系統會出現誤判。此外，P1與P2，P3與P8，P4與P7、P9，P5與P6、P8等均有誤判的情況出現，但是總體而言該系統的識別準確率是令人滿意的，并且誤判率可以通過增大訓練數據樣本量進行降低[9-10]。

表2 各手勢模型識別準確率

4 結論

隨著可穿戴設備越來越多地被人們使用，用戶需要更加舒適便捷的人機交互，然而由于可穿戴設備尺寸和體積的限制，需要提高可穿戴設備的手勢識別率以提升交互體驗。因此，本文以智能手表為例提出基于深度學習算法的手勢識別系統。該系統對設定的10組手勢的識別準確率達到97.5%，并且準確率、精確率和召回率三項系統性能指標都達到了97%以上，而且隨著訓練樣本的數據量增大，該系統的準確率還可以繼續提高。該系統不僅可以提高可穿戴設備的手勢識別率，還可以用來識別用戶的個人生物信息，因此可以將該系統擴展到如數字簽名、個人安全或用戶標識等其他領域。