基于證據理論融合的手勢識別方法研究

高明柯 陳一民 張典華 呂圣卿 黃 晨

1(上海大學計算機工程與科學學院 上海 200444) 2(上海大學數碼藝術學院 上海 201800) 3(中國電子科技集團公司第三十二研究所 上海 201808)

0 引 言

手勢交互是人機交互的一個重要分支，具有自然直觀的特點。手勢識別是手勢交互的關鍵技術之一。手勢識別和手勢交互技術在人機交互領域受到了越來越多的關注[1]。手勢識別通常分為基于傳感器的手勢識別和基于視覺的手勢識別[2]。本文采用基于視覺的手勢識別方式。基于視覺的手勢識別是利用普通攝像頭或3D攝像頭捕獲裸手的灰度、彩色或深度圖像，通過人手分割、特征提取、手勢建模、定位跟蹤和分類識別等一系列處理后最終實現手勢的識別。這種方式計算復雜度和難度相對較高，但是其相對低廉的成本、自然的交互是無法替代的，它更符合人機交互的發展趨勢，也是手勢識別技術發展的目標。

手勢識別的方法有模板匹配、動態規劃(DP)、人工神經網絡(ANN)、隱馬爾科夫模型(HMM)、支持向量機(SVM)等。隱馬爾可夫模型(HMM)是在Markov鏈的基礎上發展起來的[3]。HMM具有豐富的數學結構，能以自然的方式對時空信息建模；而具有簡潔有效的算法用于訓練和識別，比如Baum-Welch算法和Viterbi算法。HMM通過轉移關系相連的狀態集合，因此它被成功應用在語音識別[4]、手寫識別[5]、疾病分類[6]、動作識別[7]和手勢識別[8-11]等方面。HMM方法擁有時間尺度不變形的特性，但其算法復雜度較大，實時性較低。

支持向量機是一種基于統計學習理論的模式識別方法，其主要應用于模式識別領域。SVM使用數學的方法及優化技術，對于解決小樣本、非線性和高維模式識別的問題有著很好的效果，已廣泛應用在文本分類[12]、手寫字符識別[13]、圖像識別[14]、手勢識別[15-16]等領域。SVM具有較強的分類能力，其克服了傳統的分類方法由于數據維度較高而導致識別效率低和識別效果較差的缺陷。但是訓練樣本比較復雜，若樣本集很大，訓練將會很耗時，且針對于多分類的問題，計算量較大，分類最終結果時有較大的延時。

證據理論由Dempster[17]于1967年提出，之后由他的學生Shafer進一步發展，成為一種不精確推理理論，也稱為D-S證據理論。證據理論是一種具有比貝葉斯概率論更弱條件的不確定推理方法，而且具有表達“不知道”和“不確定”的能力。它是一種數據融合的方法，能夠將多源數據通過一定的公式和規則融合到一起，得到一個可信度更高的結果，而且已經有許多成功的應用[18-19]。

因此，本文提出基于證據理論融合的手勢識別方法。方法先采用Leap Motion采集手勢視頻序列，提取手勢運動軌跡的位置、方位向量以及手形變化作為特征。然后采用HMM和SVM分別對手勢進行訓練，進而在識別中通過證據理論將兩種方法計算的手勢基本概率分配進行決策融合，以實現最終的手勢識別。最后將該方法應用于醫療可視化系統中以實現自然直觀的手勢交互。

1 基于證據理論融合的手勢識別方法

1.1 證據理論基本原理

在證據理論中，既可以對假設空間中單獨的元素賦予信度，也可以對子集賦予信度，這類似于人類的證據收集過程。

假設Θ是一個識別框架，或者稱之為假設空間。

基本概率分配BPA(Basic Probability Assignment)：在識別框架Θ上，基本概率分配BPA是一個2Θ→[0,1]的函數m，該函數稱之為mass函數。其中，如果A滿足m(A)>0 ，則A稱為焦元，m(A)表示對A的信任程度。

(1)

信任函數(Belief Function)：也可以稱之為信度函數，集合A的信度表示了其所有子集所對應的基本概率分配之和。信任函數定義為：

(2)

似然函數(Plausibility Function)：也稱似然度函數。表示不否定A的信任度。似然函數定義為：

(3)

信任區間：在證據理論中，對于某個假設A，基于概率分配BPA可以計算出這個假設的信任函數Bel(A)和似然函數Pl(A)，兩者組成了一個信任區間[Bel(A),Pl(A)]，可以表示對這個假設A的信任程度。

基于以上的基本概念，當有多個mass函數(m1,m2,…)時，Dempster提出一種合成規則，可把它們合成為一個mass函數，被稱為Dempster合成規則，也稱作證據合成公式。

對于?A?Θ，Θ上的有限個mass函數m1,m2,…,mn，其Dempster合成規則為：

(m1⊕m2⊕…⊕mn)(A)=

(4)

式中：K為歸一化常數：

(5)

1.2 手勢定義

為了避免動態手勢識別的分割歧義性，確定手勢的起始和結束點，使用手包球法對三種靜態手勢伸直、自然手型、抓取手勢進行識別，該方法主要依據不同手型的手指和掌心形成的外接球直徑大小來判斷，三種手型如圖1所示。

圖1 三種靜態手勢示意圖

通過Leap Motion獲取的手部三維信息，計算手掌外接球的直徑，由直徑大小判斷手勢類別。通過多次實驗，推導出各手勢的外接球直徑閾值范圍。圖1中，抓取手勢或者伸直手勢為動態手勢的起始點，自然手型為動態手勢的結束點。

為了更加符合人的交互習慣，在動態手勢起始點和結束點的基礎上，定義交互手勢如表1所示。

表1 交互手勢定義表

1.3 手勢特征提取及量化

位置、運動速度、方向角、運動加速度等是動態手勢運動軌跡常用的特征。Yoon等[20]已經證明方向角特征對手勢運動軌跡的識別率貢獻最大，因此本文選擇方向角為特征進行手勢識別。

設動態手勢運動軌跡的投影軌跡上兩個點為P1(x1,y1)、P2(x2,y2)則它們之間的方向角定義為：

(6)

在運動手勢中，設某一手勢軌跡長度為T，t時刻該手勢的質心點為Pt(xt,yt)，而整個軌跡根據所有手勢質心點具有一個中心點Pc(Xc,Yc)，其坐標計算公式為：

(7)

(8)

(9)

(10)

1.4 證據理論融合的手勢識別

在本文所定義的交互手勢中，右手伸直狀態下的動態手勢識別存在三種結果，即為單手的畫圓操作、往返滑動操作和其他未定義操作三類。

設某一手勢在HMM識別后，得到該手勢的基本概率分配，其mass函數為mHMM。設畫圓手勢的概率為mHMM({畫圓})，滑動手勢的概率為mHMM({滑動})，其他手勢的概率為mHMM({其他})，mHMM({畫圓})+mHMM({滑動})+mHMM({其他})=1。

設某一手勢在SVM識別以后，得到該手勢的基本概率分配，其mass函數為mSVM。設畫圓手勢的概率為mSVM({畫圓})，滑動手勢的概率為mSVM({滑動})，其他手勢的概率為mSVM({其他})，mSVM({畫圓})+mSVM({滑動})+mSVM({其他})=1。

首先，計算證據理論歸一化常數K：

mHMM({畫圓})·mSVM({畫圓})+mHMM({滑動})·

mSVM({滑動})+mHMM({其他})·mSVM({其他})

(11)

然后，采用Dempster證據合成公式分別計算三類手勢的組合BPA(即組合mass函數)。畫圓手勢的BPA計算公式為式(12)，同理可計算滑動手勢的BPA其他手勢的BPA。

(12)

最后，利用信任函數和似然函數，可得到結論，對于該手勢識別系統，其信任函數值、似然函數值和組合后的mass函數值相等，即：

Bel({畫圓})=Pl({畫圓})=mHMM⊕mSVM({畫圓})

(13)

Bel({滑動})=Pl({滑動})=mHMM⊕mSVM({滑動})

(14)

Bel({其他})=Pl({其他})=mHMM⊕mSVM({其他})

(15)

由此，可以得到各信任區間：[Bel(畫圓),Pl(畫圓)]、[Bel(滑動),Pl(滑動)]、[Bel(其他),Pl(其他)]。通過各手勢信任區間的可信度大小即可判斷手勢的類別歸屬。

根據本文證據理論融合方法，設計整個系統算法流程如圖2所示。

圖2 算法流程圖

2 實驗結果

本實驗在配置為Intel(R) Core(TM) i5-3337U CPU @ 1.8 GHz，內存8 GB，64位Win10操作系統的筆記本電腦上完成。Leap Motion放置在筆記本屏幕的正前方。開發平臺為Unity3D v5.3.1、VS2015和Leap Motion SDK。

2.1 手勢識別實驗

針對本文中需要動態識別的兩種命令手勢，每種手勢采集200個測試樣本進行測試，結果如表2所示。表2中顯示單獨使用HMM或者SVM方法識別的手勢識別率明顯低于經過證據理論決策融合的方法，由此可表明通過證據理論決策融合可有效地將兩種方法進行優勢互補，最終提高了手勢識別率。

表2 不同算法下動態手勢識別率

2.2 手勢交互實驗

該實驗將本文方法應用于醫學可視化手勢交互中，實現對肺部模型的平移、縮放和旋轉等操作。效果如圖3所示。

圖3 手勢交互效果圖

實驗過程中，自然手型在移動過程中不會對模型造成影響。當右手為抓取手勢時，可實現對模型進行上下、左右、前后操作，如圖3(a)和(b)所示；若右手伸直往返滑動，可實現對模型的切換，如圖3(c)所示，切換為心血管模型；若雙手都為抓取手勢時，可對模型進行縮放和旋轉操作，如果兩手相互靠近，則會縮小模型，如圖3(d)所示；如果兩手相互遠離，則會放大模型；如果兩手的空間位置關系發生變化，則會對模型進行同等變換，使模型旋轉，如圖3(e)所示。

3 結 語

本文提出并實現了一種基于證據理論融合的手勢識別方法。方法先采用Leap Motion采集手勢視頻序列，提取手勢運動軌跡的位置并計算方向角為特征。然后在隱馬爾科夫模型和支持向量機分別進行手勢訓練的基礎上，在識別中通過證據理論將兩種方法計算的手勢的基礎概率分配進行決策融合，實現了最終的手勢識別。最后將該方法應用于醫療可視化系統中，實現了自然直觀的手勢交互。實驗結果表明，該方法能有效融合隱馬爾科夫模型和支持向量機的優點，提高了手勢識別率和交互準確性。

[1] Rautaray S S,Agrawal A.Vision based hand gesture recognition for human computer interaction:a survey[J].Artificial Intelligence Review,2015,43(1):1-54.

[2] Pisharady P K,Saerbeck M.Recent methods and databases in vision-based hand gesture recognition[J].Computer Vision & Image Understanding,2015,141(C):152-165.

[3] Rabiner L R.A tutorial on hidden Markov models and selected applications in speech recognition[J].Readings in Speech Recognition,1990,77(2):267-296.

[4] Rose R C.Discriminant wordspotting techniques for rejecting non-vocabulary utterances in unconstrained speech[C]//IEEE International Conference on Acoustics,Speech,and Signal Processing.IEEE,1992,2:105-108.

[5] Lee S H,Kim J H.Augmenting the Discrimination Power of HMM by NN for On-Line Cursive Script Recognition[J].Applied Intelligence,1997,7(4):305-314.

[6] Khorasani A,Daliri M R.HMM for Classification of Parkinson’s Disease Based on the Raw Gait Data[J].Journal of Medical Systems,2014,38(12):1-6.

[7] Li Z,Wei Z,Yue Y,et al.An adaptive Hidden Markov model for activity recognition based on a wearable multi-sensor device[J].Journal of Medical Systems,2015,39(5):57.

[8] Bilal S,Akmeliawati R,Shafie A A,et al.Hidden Markov model for human to computer interaction:a study on human hand gesture recognition[J].Artificial Intelligence Review,2013,40(4):495-516.

[9] Yoon H S,Soh J,Bae Y J,et al.Hand gesture recognition using combined features of location,angle and velocity[J].Pattern Recognition,2001,34(7):1491-1501.

[10] 陳一民,張云華.基于手勢識別的機器人人機交互技術研究[J].機器人,2009,31(4):351-356.

[11] Li T S,Kao M,Kuo P.Recognition System for Home-Service-Related Sign Language Using Entropy-Based,-Means Algorithm and ABC-Based HMM[J].IEEE Transactions on Systems Man & Cybernetics Systems,2016,46(1):150-162.

[12] 譚光興,劉臻暉.基于SVM的局部潛在語義分析算法研究[J].計算機工程與科學,2016,38(1):177-182.

[13] 方向,陳思佳,賈穎.基于概率測度支持向量機的靜態手寫數字識別方法[J].微電子學與計算機,2015(4):107-110.

[14] 王微,董慧慧.Gabor濾波器和支持向量機相融合的人臉識別[J].激光雜志,2016,37(1):87-90.

[15] Liu Y,Zhang P.Vision-Based Human-Computer System Using Hand Gestures[C]//2013 Ninth International Conference on Computational Intelligence and Security.IEEE,2009:529-532.

[16] 蔡芝蔚,吳淑燕,宋俊鋒.基于SVM和組合優化模型的手勢識別[J].系統仿真學報,2016,28(8):1812-1817.

[17] Dempster A P.Upper and Lower Probabilities Induced by a Multivalued Mapping[J].Annals of Mathematical Statistics,1967,38(2):325-339.

[18] 王慧,宋宇寧.D-S證據理論在火災檢測中的應用[J].中國安全科學學報,2016,26(5):19-23.

[19] 王力,白靜.改進的證據理論在多傳感器目標識別中應用[J].科技通報,2016,32(7):134-137.

[20] Yoon H S,Soh J,Bae Y J,et al.Hand gesture recognition using combined features of location, angle and velocity[J].Pattern Recognition,2001,34(7):1491-1501.