基于Leap Motion傳感器的自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別

劉 權(quán) 陳一民* 高明柯 李啟明 黃 晨

1(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)2(上海海事大學(xué)信息工程學(xué)院 上海 201306)

基于Leap Motion傳感器的自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別

劉 權(quán)1陳一民1*高明柯1李啟明2黃 晨1

1(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)2(上海海事大學(xué)信息工程學(xué)院 上海 201306)

基于視覺的手勢(shì)識(shí)別是實(shí)現(xiàn)新型人機(jī)交互的一項(xiàng)關(guān)鍵技術(shù)，針對(duì)手勢(shì)普適性與識(shí)別率問題，在改進(jìn)隱馬爾可夫模型學(xué)習(xí)機(jī)制的基礎(chǔ)上提出一種新的基于Leap Motion傳感器的自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別方法。該方法首先采用幾何特征法識(shí)別靜態(tài)手姿以確定動(dòng)態(tài)手勢(shì)起始點(diǎn)與結(jié)束點(diǎn)，然后基于角度對(duì)動(dòng)態(tài)手勢(shì)軌跡進(jìn)行特征提取與分類，并引入修正的重估方法計(jì)算隱馬爾可夫模型參數(shù)，最后在對(duì)非定義手勢(shì)識(shí)別的基礎(chǔ)上自動(dòng)學(xué)習(xí)更新隱馬爾可夫模型，以提高動(dòng)態(tài)手勢(shì)識(shí)別率，并最終實(shí)現(xiàn)對(duì)26個(gè)小寫字母的動(dòng)態(tài)手勢(shì)識(shí)別。實(shí)驗(yàn)結(jié)果表明，所提出的動(dòng)態(tài)手勢(shì)識(shí)別方法具有良好的自適應(yīng)性與精確性。

隱馬爾可夫模型 Leap Motion 動(dòng)態(tài)手勢(shì)識(shí)別 特征提取

0 引 言

手勢(shì)識(shí)別技術(shù)[1]是近年來一個(gè)研究熱點(diǎn)，其中手勢(shì)有靜態(tài)手勢(shì)[2]和動(dòng)態(tài)手勢(shì)之分，靜態(tài)手勢(shì)識(shí)別主要是對(duì)手姿勢(shì)和形狀進(jìn)行識(shí)別，而動(dòng)態(tài)手勢(shì)識(shí)別主要是對(duì)手勢(shì)運(yùn)動(dòng)軌跡或連續(xù)的手型變化進(jìn)行識(shí)別；根據(jù)手勢(shì)輸入方式又可分為基于數(shù)據(jù)手套和基于視覺的手勢(shì)識(shí)別，基于數(shù)據(jù)手套[3]的手勢(shì)識(shí)別由于要穿戴相關(guān)設(shè)備而會(huì)給用戶帶來操作不便，相對(duì)來說基于視覺的手勢(shì)識(shí)別[4]具有更多研究與應(yīng)用價(jià)值，且在適應(yīng)性與正確率等方面還有待不斷改善與提高。黃國(guó)范等人[5]提出了基于歷史的動(dòng)態(tài)手勢(shì)識(shí)別方法，使用皮膚歷史圖像對(duì)手勢(shì)進(jìn)行建模，再利用k-means方法對(duì)手勢(shì)進(jìn)行分類與識(shí)別，但由于建模中使用了皮膚歷史圖像，因此手勢(shì)有失自然性；Maung[6]提出了采用神經(jīng)網(wǎng)絡(luò)的方法對(duì)動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別，總體容錯(cuò)能力強(qiáng)且識(shí)別效果較好，但除手勢(shì)識(shí)別速率較低外，不同人操作時(shí)手勢(shì)識(shí)別效果差異較大；陶麗君等人[7]提出了采用Kinect深度信息進(jìn)行手勢(shì)識(shí)別，對(duì)手部圖像通過深度信息進(jìn)行分割并去噪以定位手位置最后進(jìn)行識(shí)別，但當(dāng)手勢(shì)種類較多時(shí)因處理工作量大準(zhǔn)確率會(huì)受到影響；Xu等人[8]提出了通過手的三維坐標(biāo)信息對(duì)手勢(shì)軌跡進(jìn)行特征提取并采用支持向量機(jī)進(jìn)行分類識(shí)別，但受方法本身的限制個(gè)別識(shí)別效果不太穩(wěn)定。

在改進(jìn)隱馬爾可夫模型[9](HMM)學(xué)習(xí)機(jī)制的基礎(chǔ)上，本文提出了一種新的基于Leap Motion[10]傳感器的自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別方法，在識(shí)別手勢(shì)的同時(shí)HMM自動(dòng)學(xué)習(xí)更新。此方法在動(dòng)態(tài)手勢(shì)識(shí)別上具有很好的精確性，同時(shí)手勢(shì)操作時(shí)也具有良好的自然性與普適性。最后我們用此方法對(duì)多種動(dòng)態(tài)手勢(shì)小寫字母進(jìn)行了分類與識(shí)別，并取得了良好的實(shí)驗(yàn)效果，動(dòng)態(tài)手勢(shì)平均正確識(shí)別率為94.68%。

1 動(dòng)態(tài)手勢(shì)識(shí)別前期工作

1.1 動(dòng)態(tài)手勢(shì)起始與結(jié)束判斷

動(dòng)態(tài)手勢(shì)識(shí)別是對(duì)時(shí)空上的軌跡進(jìn)行識(shí)別進(jìn)而反映其所表達(dá)的意義，它存在分割歧義性和時(shí)空可變性問題。這里分割歧義性指對(duì)動(dòng)態(tài)手勢(shì)起始與結(jié)束的確定，時(shí)空可變性指同一手勢(shì)在時(shí)間長(zhǎng)度和形態(tài)上可以有差異。

為避免動(dòng)態(tài)手勢(shì)分割歧義性，確定動(dòng)態(tài)手勢(shì)的起始與結(jié)束，采用幾何特征法[11]對(duì)三種靜態(tài)手姿伸直、抓取與握拳進(jìn)行識(shí)別，并選用伸直與握拳表示動(dòng)態(tài)手勢(shì)的起始與結(jié)束。此方法主要依據(jù)為靜態(tài)手形變化可簡(jiǎn)化為手指伸縮長(zhǎng)度與指尖點(diǎn)到掌心距離的變化：?jiǎn)问窒峦ㄟ^Leap Motion獲取手部二十多個(gè)結(jié)點(diǎn)姿態(tài)信息后，取掌心與五指尖姿態(tài)信息，可計(jì)算五指尖點(diǎn)到掌心的歐式距離和。實(shí)際操作中不同大小的手的手形變化通過閾值范圍來衡量，如成人中指指尖點(diǎn)在伸直、抓取與握拳狀態(tài)下到掌心的距離閾值范圍分別約為：11.0～7.2 cm，7.2～3.3 cm，3.3～0 cm。最后根據(jù)距離和與閾值范圍進(jìn)行比較以識(shí)別三種靜態(tài)手姿，確定動(dòng)態(tài)手勢(shì)的起始與結(jié)束。

1.2 時(shí)間可變性與旋轉(zhuǎn)不變性

解決時(shí)空可變性問題，保證動(dòng)態(tài)手勢(shì)識(shí)別不受手勢(shì)速率與時(shí)間的影響，在采點(diǎn)過程中本文采用均值法：針對(duì)每種動(dòng)態(tài)手勢(shì)軌跡事先記錄傳感器采集到的幀數(shù)信息，通過總幀數(shù)與已知HMM觀察值序列維數(shù)的比值對(duì)手勢(shì)軌跡信息幀進(jìn)行均勻提取，較好解決了手勢(shì)的時(shí)間可變性問題。

手在Leap Motion前方操作時(shí)使手勢(shì)基于操作平面具有旋轉(zhuǎn)不變性可給用戶帶來更好的操作自然性與靈活性。可根據(jù)動(dòng)態(tài)手勢(shì)起始時(shí)手的方向向量計(jì)算其相對(duì)標(biāo)準(zhǔn)坐標(biāo)系下的旋轉(zhuǎn)變換矩陣，然后對(duì)動(dòng)態(tài)手勢(shì)軌跡的每一個(gè)三維軌跡點(diǎn)坐標(biāo)映射至二維中，最后通過旋轉(zhuǎn)變換矩陣計(jì)算其相應(yīng)的手旋轉(zhuǎn)變化后的坐標(biāo)，從而使手勢(shì)操作具有旋轉(zhuǎn)不變性。

1.3 特征提取與量化

復(fù)雜的動(dòng)態(tài)手勢(shì)往往擁有高維度特征[12]，為了避免計(jì)算量過大，有必要對(duì)其分解。本文動(dòng)態(tài)手勢(shì)在Leap Motion工作空間上可分解為投影至XOZ平面上的圖像特征變化和Y軸上的運(yùn)動(dòng)變化，在時(shí)間上可分解為運(yùn)動(dòng)速率的變化，由于每種手勢(shì)軌跡點(diǎn)采用均值法采樣，因此，速率變化對(duì)實(shí)驗(yàn)效果影響不大。

三維空間中的動(dòng)態(tài)手勢(shì)運(yùn)動(dòng)軌跡投影至二維平面可由一系列位置點(diǎn)組成，其特征值可以用一組離散量化后的數(shù)字編碼表示，特征提取算法如下：

第一步 針于某一動(dòng)態(tài)運(yùn)動(dòng)手勢(shì)軌跡，設(shè)T為觀察值序列的維數(shù)，計(jì)算軌跡中心點(diǎn)坐標(biāo)：

(1)

第二步 對(duì)于任意t時(shí)刻軌跡點(diǎn)，按圖1(a)計(jì)算兩點(diǎn)連線的方向角φt。其中，t時(shí)刻的位置點(diǎn)pt通過式(2)計(jì)算其方向角：

(2)

第三步 量化。三維坐標(biāo)信息投影至二維平面內(nèi)后，基于16等份的方向角進(jìn)行量化，并用數(shù)字1到16分別表示每個(gè)方向塊，如圖1(b)所示。

圖1 手勢(shì)特征提取與量化示意圖

復(fù)雜動(dòng)態(tài)手勢(shì)識(shí)別中觀察值序列維數(shù)T的取值尤為重要，它需要根據(jù)具體實(shí)驗(yàn)環(huán)境而進(jìn)行適當(dāng)選取。本文綜合考慮每種動(dòng)態(tài)手勢(shì)的平均采幀數(shù)目及相應(yīng)的時(shí)間長(zhǎng)度，分別選取了不同的維數(shù)值并反復(fù)實(shí)驗(yàn)，最終選得T為24時(shí)識(shí)別效果最佳。

2 自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別

傳統(tǒng)的基于HMM的手勢(shì)識(shí)別方法在識(shí)別手勢(shì)的過程中，不同操作者會(huì)出現(xiàn)手勢(shì)識(shí)別率下降或差異較大的情況，主要是因?yàn)镠MM事先已被訓(xùn)練好并確定，在后續(xù)識(shí)別時(shí)因各操作者適應(yīng)性不同而導(dǎo)致。自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別方法能很好地彌補(bǔ)此缺陷。

2.1 非定義手勢(shì)識(shí)別

非定義手勢(shì)即為除定義手勢(shì)外的其他錯(cuò)識(shí)手勢(shì)，它是自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別方法的前提。Bilal等人[13]對(duì)每種手勢(shì)單獨(dú)計(jì)算輸出概率最大HMM判斷輸入手勢(shì)類別，這極可能把非定義手勢(shì)識(shí)別成定義手勢(shì)。本文引入動(dòng)態(tài)閾值方法來識(shí)別非定義手勢(shì)，與傳統(tǒng)憑經(jīng)驗(yàn)采取一個(gè)統(tǒng)一的閾值識(shí)別非定義手勢(shì)不同，針對(duì)每一種手勢(shì)模型分別計(jì)算一個(gè)閾值，然后對(duì)任意輸入手勢(shì)序列，確定其輸出概率最大對(duì)數(shù)值及對(duì)應(yīng)模型，最后通過該概率對(duì)數(shù)值與對(duì)應(yīng)模型的閾值進(jìn)行比較來判別手勢(shì)。具體過程如下：

(3)

其中l(wèi)為比例系數(shù)，取經(jīng)驗(yàn)值1.1，len子式為觀察值序列維數(shù)長(zhǎng)度，本文實(shí)驗(yàn)數(shù)據(jù)樣本維數(shù)均為T。

接下來對(duì)任意輸入手勢(shì)序列，在所有模型下尋找其最大輸出概率對(duì)數(shù)值，并與其對(duì)應(yīng)模型的閾值進(jìn)行比較，如式(4)所示，當(dāng)滿足此條件時(shí)識(shí)別為定義手勢(shì)，否則識(shí)別為非定義手勢(shì)。

(4)

2.2 HMM及修正訓(xùn)練

HMM常用于語音或文字識(shí)別[14]，其中有三個(gè)基本問題：評(píng)估、解碼與學(xué)習(xí)，而基于HMM的手勢(shì)識(shí)別過程與模型訓(xùn)練過程分別對(duì)應(yīng)其中的評(píng)估問題與學(xué)習(xí)問題。

模型訓(xùn)練的訓(xùn)練過程即為調(diào)整各模型的狀態(tài)轉(zhuǎn)移概率矩陣參數(shù)和輸出概率矩陣參數(shù)，由于起始階段假設(shè)模型初始概率從第一個(gè)狀態(tài)開始，因此后續(xù)中無需重估概率分布參數(shù)。針對(duì)經(jīng)典HMM參數(shù)重估計(jì)算過程中出現(xiàn)的下溢問題，我們用增加比例因子[15]的修正方法對(duì)狀態(tài)轉(zhuǎn)移概率矩陣和輸出概率矩陣進(jìn)行重估計(jì)算，修正后的重估公式為：

(5)

(6)

通過每次迭代對(duì)模型參數(shù)進(jìn)行更新，根據(jù)觀察值序列概率值越來越收斂的特性，重復(fù)此過程，直至相鄰兩次迭代的概率值對(duì)數(shù)差小于給定閾值時(shí)結(jié)束。

在經(jīng)每種訓(xùn)練樣本集訓(xùn)練出手勢(shì)模型后，當(dāng)有手勢(shì)數(shù)據(jù)被誤識(shí)時(shí)，如字母n被誤識(shí)為m，則說明n的觀察序列在模型λm中的觀察概率值比在模型λn中大。為提高在λn觀察概率值，本文處理方法為把錯(cuò)誤識(shí)別集中的每組n手勢(shì)數(shù)據(jù)再次輸入至該HMM模型作一次迭代訓(xùn)練，從而進(jìn)一步優(yōu)化λn模型參數(shù)。

2.3HMM自動(dòng)學(xué)習(xí)更新

在前述工作的基礎(chǔ)上，以非定義手勢(shì)識(shí)別為前提，HMM自動(dòng)學(xué)習(xí)更新算法描述如下：

在用固定K組手勢(shì)數(shù)據(jù)樣本訓(xùn)練好每種手勢(shì)初始HMM的基礎(chǔ)上，對(duì)每一組輸入手勢(shì)數(shù)據(jù)：

步驟1 判斷是否為開始時(shí)的第一組輸入手勢(shì)數(shù)據(jù)，如果是轉(zhuǎn)步驟2，否則轉(zhuǎn)步驟3；

步驟2 以K組樣本訓(xùn)練后的HMM為初始模型，轉(zhuǎn)步驟4；

步驟3 以更新后的HMM為初始模型；

步驟4 對(duì)輸入手勢(shì)進(jìn)行識(shí)別，識(shí)別成定義手勢(shì)時(shí)轉(zhuǎn)步驟5，否則轉(zhuǎn)步驟6；

步驟5 將輸入手勢(shì)數(shù)據(jù)輸入至模型訓(xùn)練集中并按式(7)與式(8)對(duì)相應(yīng)的HMM參數(shù)進(jìn)行實(shí)時(shí)更新。

(7)

(8)

步驟6 放棄HMM更新。

2.4 動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)流程

本文通過單右手手掌心運(yùn)動(dòng)軌跡對(duì)手勢(shì)特征進(jìn)行提取與分類，在特征量化與模型訓(xùn)練后，用修正重估方法訓(xùn)練模型參數(shù)，在此基礎(chǔ)上對(duì)26個(gè)動(dòng)態(tài)手勢(shì)小寫字母進(jìn)行識(shí)別的同時(shí)實(shí)現(xiàn)HMM的自動(dòng)學(xué)習(xí)更新。其中，手勢(shì)識(shí)別系統(tǒng)流程如圖2所示，主要由兩部分組成：第一部分為動(dòng)態(tài)手勢(shì)識(shí)別前期預(yù)處理，包括靜態(tài)手姿的識(shí)別以確定動(dòng)態(tài)手勢(shì)的起始與結(jié)束，以及手勢(shì)特征提取與量化；第二部分為動(dòng)態(tài)手勢(shì)具體識(shí)別過程，包括HMM模型訓(xùn)練過程與手勢(shì)識(shí)別的同時(shí)HMM的自動(dòng)學(xué)習(xí)更新過程。

圖2 手勢(shì)識(shí)別方法流程圖

3 實(shí)驗(yàn)結(jié)果與分析

本文采用C++語言結(jié)合MATLAB，在處理器IntelCorei5-2450M、內(nèi)存2GB的PC機(jī)上利用LeapMotion完成了手勢(shì)識(shí)別實(shí)驗(yàn)。

首先對(duì)伸直、抓取、握拳三種靜態(tài)手姿進(jìn)行了識(shí)別，識(shí)別效果良好。其次，針對(duì)26個(gè)動(dòng)態(tài)手勢(shì)小寫字母種類多、部分字母間相似性大而導(dǎo)致識(shí)別率下降的問題，重新定義了手勢(shì)字母的軌跡形態(tài)，如表1所示。

表1 動(dòng)態(tài)手勢(shì)字母軌跡定義

1) 固定HMM實(shí)驗(yàn)

實(shí)驗(yàn)采用的手勢(shì)樣本中，每種動(dòng)態(tài)手勢(shì)數(shù)據(jù)由4人完成采樣，均為40組，其中25組為訓(xùn)練樣本，15組為測(cè)試樣本，在數(shù)據(jù)樣本融合后，每種動(dòng)態(tài)手勢(shì)小寫字母的訓(xùn)練與測(cè)試樣本數(shù)分別為100組與60組。采用修正的重估方法對(duì)HMM進(jìn)行訓(xùn)練后，對(duì)每種動(dòng)態(tài)手勢(shì)的60組樣本進(jìn)行識(shí)別測(cè)試，此時(shí)手勢(shì)識(shí)別結(jié)果如表2所示(其中R1表示識(shí)別率)。

表2 固定HMM動(dòng)態(tài)手勢(shì)識(shí)別結(jié)果

表2中，字母b所在的第三行含義為，在動(dòng)態(tài)手勢(shì)字母b的60組測(cè)試樣本中，正確識(shí)別54組，有1組被誤識(shí)成字母h， 3組被誤識(shí)成字母p，2組被誤識(shí)成非定義手勢(shì)，正確識(shí)別率為90.00%。由表2可知，26個(gè)小寫字母正確識(shí)別率均在90%上下浮動(dòng)，其中，同一手勢(shì)被誤識(shí)成其他手勢(shì)的占多數(shù)，識(shí)別成未定義的手勢(shì)相對(duì)較少，最終經(jīng)計(jì)算得固定HMM情形下的動(dòng)態(tài)手勢(shì)平均正確識(shí)別率為92.95%

2) HMM自動(dòng)學(xué)習(xí)更新實(shí)驗(yàn)

為了驗(yàn)證模型的普遍適應(yīng)性及有效性，改善不同人因手勢(shì)操作差異而出現(xiàn)識(shí)別率下降的情況，我們又對(duì)新的自適應(yīng)手勢(shì)識(shí)別方法進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)過程中針對(duì)某個(gè)特定的人，在前述固定HMM的基礎(chǔ)上每引入一種定義手勢(shì)就對(duì)相應(yīng)的HMM進(jìn)行實(shí)時(shí)更新，并對(duì)每一種動(dòng)態(tài)手勢(shì)共采集此人60組同一手勢(shì)數(shù)據(jù)樣本進(jìn)行識(shí)別測(cè)試，最終得到如表3所示的實(shí)驗(yàn)結(jié)果及與固定HMM方法的比較(其中Miss表示未正確識(shí)別手勢(shì)數(shù)目，R2表示此時(shí)的手勢(shì)識(shí)別率，R1為前述固定HMM下的手勢(shì)識(shí)別率)。

表3 學(xué)習(xí)更新法手勢(shì)識(shí)別率及與固定HMM方法比較

在HMM自動(dòng)學(xué)習(xí)更新的實(shí)驗(yàn)中，經(jīng)計(jì)算我們得到動(dòng)態(tài)手勢(shì)的平均正確識(shí)別率為94.68%，識(shí)別效果相對(duì)較好。通過與多人訓(xùn)練的固定HMM方法相比，總體上有一定提高(將近兩個(gè)百分點(diǎn))，且對(duì)單一手勢(shì)字母而言，某些字母手勢(shì)識(shí)別率提高更顯著，如字母a識(shí)別率提高了3%以上，主要原因是自動(dòng)學(xué)習(xí)更新HMM方法針對(duì)不同的人具有相應(yīng)的學(xué)習(xí)更新特性，從而使HMM具有更好的適應(yīng)性與識(shí)別率。

4 結(jié) 語

本文提出了一種新的基于Leap Motion傳感器的自適應(yīng)動(dòng)態(tài)手勢(shì)識(shí)別方法，在手勢(shì)識(shí)別過程中引入了在線HMM自動(dòng)學(xué)習(xí)更新機(jī)制。通過結(jié)合不同的方法對(duì)HMM參數(shù)進(jìn)行優(yōu)化，進(jìn)一步提高了動(dòng)態(tài)手勢(shì)識(shí)別率，最終實(shí)現(xiàn)了對(duì)26個(gè)小寫字母的動(dòng)態(tài)手勢(shì)識(shí)別，其動(dòng)態(tài)手勢(shì)的平均正確識(shí)別率可達(dá)94.68%。相對(duì)于傳統(tǒng)的基于HMM的動(dòng)態(tài)手勢(shì)識(shí)別方法，本文方法不僅識(shí)別率高、普適性良好，同時(shí)動(dòng)態(tài)手勢(shì)的時(shí)間可變性與旋轉(zhuǎn)不變性也給操作者帶來了更好的操作自然性與靈活性。

下一步的工作中，我們將考慮實(shí)現(xiàn)雙手的動(dòng)態(tài)手勢(shì)識(shí)別，以增強(qiáng)用戶的操作體驗(yàn)。此外，針對(duì)Leap Motion工作范圍的限制，將相關(guān)跟蹤檢測(cè)傳感器結(jié)合進(jìn)來以擴(kuò)大對(duì)手的跟蹤識(shí)別范圍也是我們今后的研究方向。

[1] Badi H S,Hussein S.Hand posture and gesture recognition technology[J].Neural Computing and Applications,2014,25(3):871-878.

[2] 李紅波,丁林建,吳渝,等.基于Kinect骨骼數(shù)據(jù)的靜態(tài)三維手勢(shì)識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(9):161-165.

[3] Wang J,Zhang T.An ARM-based embedded gesture recognition system using a data glove[C]//The 26th Chinese Control and Decision Conference (CCDC 2014),2014:204-208.

[4] 關(guān)然,徐向民,羅雅愉,等.基于計(jì)算機(jī)視覺的手勢(shì)檢測(cè)識(shí)別技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(1):155-159,164.

[5] 黃國(guó)范,程小平.基于歷史的動(dòng)態(tài)手勢(shì)識(shí)別[J].西南大學(xué)學(xué)報(bào)(自然科學(xué)版),2009,31(1):106-110.

[6] Maung T H H.Real-time hand tracking and gesture recognition system using neural networks[J].World Academy of Science,Engineering and Technology,2009,3(2):466-470.

[7] 陶麗君,李翠華,張希婧,等.基于Kinect傳感器深度信息的動(dòng)態(tài)手勢(shì)識(shí)別[J].廈門大學(xué)學(xué)報(bào)(自然科學(xué)版),2013,52(4):493-497.

[8] Xu Y,Wang Q,Bai X,et al.A novel feature extracting method for dynamic gesture recognition based on support vector machine[C].Information and Automation (ICIA),2014 IEEE International Conference on,2014:437-441.

[9] Cappé O,Moulines E,Rydén T.Inference in hidden Markov models[M].New York,NY,USA:Springer,2005:28-43.

[10] Weichert F,Bachmann D,Rudak B,et al.Analysis of the accuracy and robustness of the leap motion controller[J].Sensors,2013,13(5):6380-6393.

[11]HasanMM,MishraPK.Handgesturemodelingandrecognitionusinggeometricfeatures:areview[J].CanadianJournalonImageProcessingandComputerVision,2012,3(1):12-26.

[12] 王西穎,戴國(guó)忠,張習(xí)文,等.基于HMM-FNN模型的復(fù)雜動(dòng)態(tài)手勢(shì)識(shí)別[J].軟件學(xué)報(bào),2008,19(9):2302-2312.

[13]BilalS,AkmeliawatiR,ShafieAA,etal.HiddenMarkovmodelforhumantocomputerinteraction:astudyonhumanhandgesturerecognition[J].ArtificialIntelligenceReview,2013,40(4):495-516.

[14] 努爾艾力·喀迪爾,彭良瑞,哈力木拉提.一種基于HMM和統(tǒng)計(jì)語言模型的維吾爾文及阿拉伯文識(shí)別方法[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(1):171-174.

[15] 陳一民,張?jiān)迫A.基于手勢(shì)識(shí)別的機(jī)器人人機(jī)交互技術(shù)研究[J].機(jī)器人,2009,31(4):351-356.

ADAPTIVE DYNAMIC GESTURE RECOGNITION BASED ON LEAP MOTION

Liu Quan1Chen Yimin1*Gao Mingke1Li Qiming2Huang Chen1

1(CollegeofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)2(CollegeofInformationEngineering,ShanghaiMaritimeUniversity,Shanghai201306,China)

Gesture recognition based on vision is a key technology to realize new human-computer interaction. To the problem of gestures adaptability and recognition rate, a new method of adaptive dynamic gesture recognition based on the Leap Motion is presented on the basis of improving Hidden Markov Model (HMM). Firstly, by using the method of geometric features to recognize the static hand posture, the start and end point of dynamic gesture trajectory could be confirmed. After extracting and classifying gesture trace features by angle, the revised revaluation method is introduced to calculate model parameters. Finally, with recognizing the undefined gesture, the method of automatic learning and updating HMM is presented to improve the efficiency of the gesture recognition, and the dynamic gesture recognition of 26 lowercase letters is realized in the end. Experimental results show this method has a good adaptability and accuracy performance in dynamic gesture recognition.

Hidden Markov model Leap Motion Dynamic gesture recognition Feature extraction

2016-01-21。上海市國(guó)際科技合作基金項(xiàng)目(12510708400)；上海市自然科學(xué)基金項(xiàng)目(14ZR1419700)；2015上海大學(xué)電影學(xué)院高峰學(xué)科項(xiàng)目(N13A30315W23)。劉權(quán)，碩士生，主研領(lǐng)域：增強(qiáng)現(xiàn)實(shí)技術(shù)。陳一民，教授。高明柯，博士生。李啟明，講師。黃晨，博士生。

TP391

A

10.3969/j.issn.1000-386x.2017.02.035