基于Leap Motion的三維動態手勢識別研究

嚴雨靈， 陳閔葉， 呂亞輝

(上海工程技術大學 航空運輸學院， 上海 201620)

0 引 言

隨著計算機技術的不斷發展，三維手勢作為最近興起的人機交互手段，已然受到學界的廣泛關注。三維手勢需要的輸入包含深度的信息，目前主要分為基于數據手套的手勢識別方法與基于視覺的手勢識別方法[1]。基于數據手套的主要有Wiseglove、5DT Glove、Cybertouch等。該方法可以獲得精確的手部動作，但其設備價格較高且會產生束縛感，影響使用者的沉浸感[2]。麻省理工學院著名科學家Dertouzos指出“未來的技術應該適應人的需求，而不是與之相反”[3]，手勢識別技術也應當主動適應客戶的需求，而不是要求用戶做出太多的變化去適應設備。

1 Leap Motion設備

2010年，微軟推出了Kinect for Windows，能夠捕捉人體形狀、動作，識別和完成面部的跟蹤，首次引起了手勢識別技術的研究熱潮，但其識別精度有限[4]。2013年，Leap Motion 公司發布了Leap Motion Controller小型體感器設備，能夠捕捉150°范圍視場以及約8平方英尺的交互式空間內的多個物體，其針對手部區域進行識別，感應區間精確到0.01 mm[5]，遠遠超過Kinect的4 mm。本文研究的虛擬維修過程針對手部動作，因此采用Leap motion設備進行數據的采集[6]。

2 手勢數據采集

本次研究中，實驗過程設計采集5個人的4組動態手勢，分別為握拳轉動、手指張開的轉動、抓取以及推壓，用以保證算法的可靠性。Leap Motion采集到的數據主要包括掌心數據handdirection、handpalmposition(用C表示)，手指數據fingerposition(用Fi表示，根據設備設定i=0，1，2，3，4)。

由于每個人的手型各不相同，因此本文采用指尖至掌心的距離作為特征值，并進行歸一化處理以增強適應性和魯棒性。研究擬采用指標簡述如下。

(1)歸一化因子。其數學公式為：

(1)

(2)距離D。其數學公式為：

(2)

組合各個特征值，得到特征值向量集V=[D1,D2,D3,D4,D5,F1,F2,F3,F4,F5]。單個手勢將每一幀采集到數據的特征向量集合并，得到新的特征向量集進行后續操作。采集過程如圖1所示。

圖1 動態手勢識別試驗

3 手勢識別方法

3.1 支持向量機

1995年，Vapnik利用統計學習理論作為基礎，提出了支持向量機。最初該理論的提出是針對模式識別中一對一的分類問題，在此基礎上發展成多分類問題[7]。

設樣本集為(Xi,Yi),i=1,…,n,x∈R,y∈{+1,-1}。

對于線性可分情況，樣本集由一個超平面區分開，把這個超平面記為wx+b=0。而最優的超平面要求不但要將兩類數據正確地分開，還要使這兩類的間隔達到最大。構造最優超平面的問題可以轉變為在式(4)的約束下求式(3)的最小值的問題。此時用到的公式為：

(3)

s.t.yi(w·xi+b)≥1,i=1,2,…,N.

(4)

由于一部分樣本點會偏離較遠，導致線性不可分。因此，引入了松弛變量(非負)來允許部分樣本點在一定范圍內的偏離。懲罰系數C用來控制松弛變量大小，從而得到更準確的分類平面[8]。

針對非線性分類問題，SVM將問題轉化為高維特征空間的線性問題，從而求取最優線性分類平面。由核函數代替最優分類超平面的點積，從而免去了復雜的高維空間運算。常用的核函數主要有線性核函數、多項式核函數、徑向基核函數等。

本文采用臺灣大學林志仁教授開發設計的一個快速有效的SVM軟件包進行手勢數據的分類識別。其中提供了編譯好的執行文件，通過Mex編譯器即可在Matlab平臺中使用，代碼開源，而且也提供了針對具體問題優化的空間。

3.2 概率神經網絡

概率神經網絡由Specht首先提出，并以徑向基函數網絡發展而來，就是一種前饋型神經網絡(Probabilistic Neural Networks,PNN)。通過采用多變量Parzen窗估計不同類的概率密度函數。特點有訓練時間短、結構固定，能產生貝葉斯后驗概率輸出，具有強大的非線性識別能力[9]。

徑向基網絡和競爭神經網絡共同組成的概率神經網絡總共有3層，分別是：輸入層、徑向基層和競爭層(輸出層)。競爭層的輸出結果就是整個網絡的最終分類結果，輸入的樣本向量的個數與徑向基層中神經元的個數相同，訓練樣本數據的分類數等于輸出層的神經元個數，徑向基層的神經元具有閾值。利用輸入向量以及對應的期望類別，構建PNN網絡對輸入向量進行正確分類。數據以及相應的類別通過向量設計網絡，再將數據回代得到結果。

4 動態手勢識別實驗

4.1 實驗準備

本文采用支持向量機和概率神經網絡兩種算法對動態手勢進行識別，在Matlab平臺中，采用分類算法進行手勢識別的具體流程如圖2所示。

圖2 手勢識別流程圖

在進行訓練前，須歸一化處理數據，從而為后續處理做好準備并保證程序運行時收斂更快。在過程中需用到如下公式：

(5)

其中，Xi表示特征X的某個值；max(x)表示該特征的最大特征值；min(x)表示該特征中的最小特征值。

4.2 結果分析

采用Libsvm和PNN進行分類試驗，兩兩區分，標簽設為1和2。單個手勢樣本總量為1 000組，按8：2的比例確定訓練集和測試集樣本，即每一種手勢中的800組用作訓練集樣本，200組用作測試集樣本。

本文采取隔50 ms取一次數據的形式記錄手勢數據，再合并成為樣本特征，從而提高數據的有效性并使運算量可控。一對一手勢分類結果見表1，一對多手勢分類結果見表2。

表1 一對一手勢識別效果

一對一的實驗結果表明，線性核函數可達到89.5%的識別率，而多項式核函數在達到89.0%的優良識別率下運行時間最短。同時分析指出，PNN神經網絡經過高斯參數的優化后最高可達到95.0%的識別率，明顯優于支持向量機算法。

表2 一對多手勢識別效果

一對多的實驗結果表明，多分類的識別率和兩類分類相比較低，但總體規律不變。SVM算法中采用多項式核函數識別率較高，而PNN神經網絡經過高斯參數的優化后識別率仍明顯高于支持向量機算法。

4.3 PCA算法處理

為了進一步提高識別效果與降低PNN神經網絡的運行時間，采用了主成分分析(PCA)對特征值進行降維操作，旨在排除噪聲數據的干擾從而提高準確率。實驗結果表明，SVM算法的準確率有所提高，PNN算法在保證準確率的情況下由于PCA的降維作用使運行時間大幅減少。一對一使用后結果對比如圖3所示。一對多使用后結果對比如圖4所示。

(a)準確率

(b)運行時間

(a)準確率

(b)運行時間

5 結束語

本文基于Leap Motion傳感器采集了不同人的4組三維動態手勢，采用SVM模型和經過優化的PNN神經網絡模型進行識別。本文得到的研究結論可分述如下：

(1)對于三維動態手勢，PNN神經網絡可以達到更高的準確率。

(2)多類手勢分類的識別率與兩類手勢分類相比較低，但總體規律不變。

(3)動態手勢識別前期采用PCA處理數據對SVM準確率有所提高，且可以大幅減少PNN的運行時間。

未來的工作可以研究新的分類算法，進一步提高其識別率，并探索在各個領域的應用等。