融合改進指尖點和Hu矩的手勢識別

曹 潔 ，趙修龍 ，王進花

1.蘭州理工大學(xué) 計算機與通信學(xué)院，蘭州 730050 2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州 730050

融合改進指尖點和Hu矩的手勢識別

曹 潔1，2，趙修龍1，王進花2

1.蘭州理工大學(xué) 計算機與通信學(xué)院，蘭州 730050 2.蘭州理工大學(xué) 電氣工程與信息工程學(xué)院，蘭州 730050

基于輪廓的識別算法能夠很好地處理手勢的外觀變化，但現(xiàn)有的識別算法在目標旋轉(zhuǎn)和縮放時其識別率和魯棒性較低，針對這一問題提出了一種基于指尖點和Hu不變矩的手勢識別方法。該方法對基于曲率的指尖檢測方法進行改進，增強指尖點特征提取的魯棒性；融合Hu不變矩和指尖點特征，提高手勢模型的全局描述性；利用能夠自動添加新手勢的識別算法，提高算法的實用性。實驗表明，該方法在滿足實時性的基礎(chǔ)上有效地提高了手勢識別的準確性和魯棒性。

手勢識別；指尖檢測；曲率計算；Hu不變矩

1 引言

隨著計算機科學(xué)的發(fā)展，人機交互技術(shù)成為一個熱門的研究領(lǐng)域，而通過基于視覺的手勢識別方法進行人機交互也受到了人們的廣泛關(guān)注[1-2]。基于視覺的手勢識別方法可以分為基于單目視覺的手勢識別和基于多目視覺的手勢識別，其中，基于多目視覺的方法表達的意義較為豐富、準確，但建模難度高，計算量大；基于單目視覺的方法雖然豐富度有限，但建模難度較低，計算量較小[3]。在基于視覺的手勢識別中如無特別指出，基本上都是指基于單目視覺的手勢識別。

目前常見的手勢識別方法有很多種。如文獻[4]中提出了一種Hu不變矩與BoF-SURF（快速魯棒特征的特征包，Bag of Features-Speeded up Robust Feature）特征的手勢識別方法，但是數(shù)據(jù)的訓(xùn)練比較復(fù)雜，并且無法自動添加新的手勢；文獻[5]中提出了一種基于RGB-D圖像的手勢識別方法，該方法利用3D手型輪廓特征降低手勢匹配的復(fù)雜度，能夠識別較為復(fù)雜的手勢動作，且識別的準確率較高，但是其識別方法比較復(fù)雜并且需要使用深度攝像頭作為輸入設(shè)備；此外還有基于傅里葉描述子[6]，基于MB-LBP（多級區(qū)域局部二值模式，Multi-Block Local Binary Pattern）紋理信息，利用Hausdorff距離[7-8]，基于小波矩[9]，基于混合高斯模型[10]等的手勢識別方法。在這些方法所使用的手勢特征中以輪廓特征中的指尖特征為最常見，指尖特征的提取方法有很多種，如文獻[11-12]提出了基于輪廓曲率特征的指尖檢測方法，該方法在簡單背景下的檢測效率比較高，但是無法分別檢測出并列指尖點和單個指尖點。此外還有利用手勢的凸包特征檢測指尖點[13]，將手勢二值圖像進行網(wǎng)格分割，進而檢測指尖點[14]，根據(jù)圖像的梯度圖特征檢測指尖點[15]，利用圓截法檢測指尖點[16]。手勢的模型也多種多樣，如文獻[17]中結(jié)合手指個數(shù)、手部幾何特征以及膚色特征，提出一種手勢的Tortoise模型，該模型雖然能簡潔地描述手勢，但由于它的對稱性，使其難以區(qū)分兩相互對稱的手勢；文獻[18]提出了一種多模型融合的手勢跟蹤方法，該方法跟蹤精度較高，但手勢模型和跟蹤方法都比較復(fù)雜，算法實時性較差。

由上文分析知，現(xiàn)有的手勢識別方法在準確性、實時性和魯棒性方面都存在一些缺陷。為了在保證識別算法實時性的基礎(chǔ)上，提高識別的準確性和魯棒性，本文提出了一種基于單目視覺，融合指尖點和Hu不變矩的手勢識別方法。首先為了提高手指檢測的準確性和魯棒性，并使之能夠分開檢測出單指尖點和并列指尖點，在原有基于曲率的指尖檢測基礎(chǔ)上，本文重新定義曲率計算所需輔助點的選取標準，提出分別檢測單指尖點和并列指尖點的方法；然后融合手勢的Hu不變矩和指尖點特征，提出一種改進型的手勢模型，這一模型不僅包含手部局部特征而且還包含手部全局特征，能夠更加全面地描述手勢的總體特征；最后利用一種實時性和準確性較好，并且能自動添加新手勢的識別算法完成手勢識別。

2 手勢特征提取

2.1 膚色檢測與輪廓提取

盡管人的膚色都有不同，但是排除光照強度等的影響后，皮膚的色調(diào)基本一致。Hsu等經(jīng)過了大量的統(tǒng)計膚色點提出了一種在YCb’Cr’空間中利用Cb’Cr’區(qū)域內(nèi)采用橢圓模型來描述膚色分布，去除了光照強度Y對膚色檢測的影響，并應(yīng)用于人臉檢測，取得了較好的效果，具體步驟參考文獻[19-20]。本文將該方法應(yīng)用于手勢分割中，使其在不同光照下都有較好的分割效果，提高了整體算法的魯棒性和準確性。

Canny邊緣檢測算法是由Canny于1986年首次提出，經(jīng)過多年的發(fā)展，它已基本滿足信噪比，定位精度，單邊緣響應(yīng)三大最優(yōu)準則[21-22]。它能夠很好地抑制噪聲同時又能很好地保證邊緣檢測的效果。本文利用Canny邊緣檢測算法提取出手勢的輪廓信息，為后續(xù)的輪廓特征提供數(shù)據(jù)基礎(chǔ)。

2.2 基于曲率的類指尖點檢測

指尖點特征能夠直觀、準確地描述手勢，是人們最常用的手勢特征。由于曲率計算比較簡單方便，利于算法實現(xiàn)，因此大多數(shù)研究中都是通過曲率計算得到指尖點特征的。

經(jīng)過曲率閾值檢測到的指尖點稱為“類指尖點”，之所以稱為“類指尖點”而不是直接稱為“指尖點”是由于該點還不能確定為指尖點。曲率是表示曲線在某一點的彎曲程度的量，曲率越大，表明曲線的彎曲程度越大。

各點的曲率計算：選取距點 p的距離為L的前后兩個輪廓點 p1、p2，如圖1所示。利用式（1）計算各點的cosT值表示曲率；然后設(shè)定閾值ΔT，對所有大于ΔT的點聚類，各聚類中心點即為類指尖點。此時得到的類指尖點中包括很多的凹點，本文利用向量p1p×pp2的符號將其剔除。

圖1 指尖判定原理圖

在進行手勢識別時，手勢的尺度由于采集位置和設(shè)備而發(fā)生變化，而L的取值對類指尖點檢測影響較大，因此L值的選取變的尤為關(guān)鍵。圖2為手勢輪廓曲率與L取值的對應(yīng)關(guān)系圖，其中L的單位為像素個數(shù)，方框的位置從左至右依次對應(yīng)指尖點F1到F5，三角形對應(yīng)指間凹槽點B的位置，圓形對應(yīng)A1、A2的輪廓位置，圖的橫坐標表示輪廓點的序列值，縱坐標為曲率值，取值范圍為[1，-1]。

由圖2可看出當L=20時，輪廓的曲率變化不平滑，指尖點與非指尖點的曲率差別較小，難以找出較好的分割閾值；當L=240時，雖然手掌輪廓的曲率變化比較平滑，并能夠找出單個手指的分割閾值，但對于并列手指（如圖中的小拇指，對應(yīng)最右邊的綠色點表示），較短手指的指尖點和周圍各點的曲率差別不明顯，難以找到有效的分割閾值；當L=40或L=80時，雖然輪廓的曲率變化有所差別，但是總能找出較有效的分割閾值，使得分割出的各指尖點聚類性較好。因此在手勢尺度發(fā)生變化時，若尋找出較好的分割閾值，L的取值不宜過大或過小，且應(yīng)隨手掌大小的變化而變化。

圖2 曲率與L對應(yīng)關(guān)系

本文取L=kW（其中W為手掌寬度，以手掌的內(nèi)接圓的直徑表示手掌的寬度，k為比例系數(shù)），這樣就使得針對不同大小的手型圖像，有與之相匹配的L取值，從而提高整體算法對圖像縮放的魯棒性。

2.3 改進的指尖點檢測方法

傳統(tǒng)的基于曲率的指尖點檢測方法，一般只能檢測出手勢尺度適中的單個指尖點，難以滿足識別算法的要求。針對這一問題，在上文曲率計算的基礎(chǔ)上，本文利用手指的形狀特征，提出了一種針對單指尖點和并列指尖點分別檢測判定的方法。該方法不但能夠較好地檢測數(shù)單指尖點，而且能夠檢測出并列指尖點，提高指尖點檢測的準確性和指尖特征的豐富度。

2.3.1 單指尖點判定

單個手指的形狀類似一個長方形的一端加上一個半圓，其特點是手指的中間部位的寬度基本不變，由這一特點本文采用如下檢測方法：

步驟1計算距類指尖點為Wf、1.25Wf、1.5Wf、1.75Wf、2Wf、2.25Wf的六處輪廓寬度，如圖1中 d1、d2、d3、d4、d5、d6所示，其中Wf為擬定平均手指寬度Wf，取Wf=kW ，k為比例系數(shù)，本文取9/40。

步驟2計算步驟1中的六個寬度的均方差S，兩兩間的最大差值dm以及均值dE。

步驟3若步驟2中各值滿足式（2）則判定為單指尖點，其中Δm為最大差值比閾值，ΔS為方差閾值，ΔE為均值偏差閾值。

2.3.2 并列指尖點判定

并列手指的形狀可視為幾個單個手指不對齊疊放，其特點為相鄰兩指尖點間的輪廓距離較小；從最長的指尖到指根，并指的寬度呈梯度變化，且變化梯度約為一個手指寬度。其判定步驟如下：

步驟1設(shè)定合適的輪廓距離閾值Δth，對小于Δth的類指尖點聚類，記各聚類中點的數(shù)目為n，剔除n=1的點。

步驟2計算類內(nèi)各點與手心間距離，并根據(jù)距離的大小進行類內(nèi)排序。

步驟3對于距離手心最近的類指尖點，計算手心方向，距離該點Wf/2處的輪廓寬度，如圖1中的d7。

步驟4 根據(jù)式（3）得 n′0，判斷其是否滿足 n′0=n ，若滿足則執(zhí)行步驟8，否則執(zhí)行步驟5。

步驟5計算排序后的相鄰類指尖點切線間并指的寬度，如圖1中切線b1，b2間的寬度d8，根據(jù)式（3）依次得出 n′1,…,n′n-1。

步驟6 若 n′i≥ n′i-1(i=2,…,n-1)或 n′i=0 ；則剔除n′i和與其對應(yīng)的類指尖點，改變n的值。

步驟7 判斷由步驟6得到的n′1,…,n′n-1是否滿足式（4），其中Δn為設(shè)定的閾值，若是則執(zhí)行步驟8，否則跳到步驟9。

步驟8判斷該類各點為并指尖點，個數(shù)為n。

步驟9判斷是否完成對所有類的計算，若是完成整個手勢的并指檢測，否則指向下一類并跳轉(zhuǎn)到步驟2。

2.3.3 修正指尖點

由于提取的手勢輪廓不平滑，在強噪音下甚至?xí)l(fā)生形變，所以得到的指尖點可能不準確，為了提高指尖點檢測的準確率，對指尖點做以下修正：

（1）單指尖點間的輪廓距離應(yīng)大于Δth，否則剔除距離手心近的指尖點。

（2）各指尖點到手心的距離應(yīng)大于閾值Δdt，否則剔除該指尖點。

（3）當類指尖點即被判定為單指尖點又被判定為并列指尖點時，該點最終判定為并列指尖點。

2.4 Hu不變矩

Hu不變矩是由Hu.M.K于1962年構(gòu)造的七個矩的不變量，它們對圖像的旋轉(zhuǎn)、尺度和平移變化都具有良好的魯棒性。與局部幾何特征不同，Hu矩是對圖像全局特征的描述，這一特點恰到好處地彌補了指尖特征缺乏全局性這一缺點。Hu不變矩均由二階和三階中心矩的線性組合構(gòu)成，具體表達式如式（5）。其中，歸一化的幾何矩為

3 基于指尖點和Hu不變矩的手勢識別

3.1 手部模型

在進行基本的手勢訓(xùn)練和手型匹配時，通常將手部分解為手掌和手指兩個部分，這樣不僅形象、準確、而且便于識別。基于這一特點，在考慮了手部的局部特征和全局特征后，本文提出了一種便于表達手部特征的手部模型，如式（6）所示：

滿足的約束條件如式（7）所示：

其中n1為單指尖點個數(shù)，n2為并列指尖點個數(shù)，γ為指尖距掌心的距離與手掌寬度的比值，θ為相鄰指尖點間的夾角，h1,h2,…,h7為手勢圖像的七個Hu不變矩。

本文的手勢模型具有以下優(yōu)勢：

（1）采用的各特征對手勢的旋轉(zhuǎn)，平移以及縮放都有很好的魯棒性。這就很好地保證了采集的特征在手勢旋轉(zhuǎn)和尺度變化時變化很小，從而為后期的識別提高較好的信息來源。

（2）該模型能夠較為全面地表述手部特征信息。本文模型中既有手指個數(shù)、長度比例、手指間的夾角等描述局部特征的信息，又有Hu不變矩表述全局特征的信息。

3.2 手勢庫訓(xùn)練

本文為了得到較好的手勢模板，提高手勢識別算法的準確率，根據(jù)本文的手部模型特點設(shè)計了特定訓(xùn)練方法。對于本文的手勢模型而言，手指的單、并指個數(shù)n1，n2是很明顯的一個量，不必再進行訓(xùn)練；主要訓(xùn)練的是長度比值γ，角度θ以及Hu不變距h1,h2,…,h7。訓(xùn)練方法如下：

步驟1輸入手勢圖像，提取其特征值作為模板向量F 的初值，如式（8）所示，其中n=n1+n2。

步驟2輸入手勢新圖像，提取特征值 f。根據(jù) f調(diào)整 F ，并計算式（9）、（10）。

步驟3判斷ΔH，Δm是否滿足閾值或訓(xùn)練次數(shù)達到上限，若其中之一滿足則完成訓(xùn)練，否則轉(zhuǎn)到步驟2。

3.3 手勢識別

本文依據(jù)手部模型的特點，采用先分類后匹配的識別方法，并引入模糊理論中的隸屬度這一概念，完成手勢識別。對于手勢的各特征比較發(fā)現(xiàn)，Hu不變矩特征的數(shù)量等級與其他特征的數(shù)量等級相差比較大，所以在識別之前需要對其進行歸一化處理，如式（11）所示。進行手勢識別時，首先利用n1和n2的值將手勢模板分為待匹配模板和剔除模板兩類，然后對待匹配模板類中的手勢模板利用式（13）計算其隸屬度，進行手勢識別。式（13）中 ω1,ω2,…,ω5為權(quán)值，為實驗所得，權(quán)值滿足取值范圍為[0,1]，總和為1。在識別過程中，將待匹配模板類中手勢模板數(shù)為零或隸屬度過低的手勢判斷為新手勢，并跳轉(zhuǎn)到手勢模板的訓(xùn)練和模板庫的更新中。

識別步驟如下：

步驟1輸入手勢圖像，提取特征值 f，判斷其是否滿足約束條件。若是則執(zhí)行步驟2，否則執(zhí)行步驟8。

步驟2針對特征值 f和各手勢模板F中的Hu矩特征，利用公式（11）做歸一化處理。

步驟3利用公式（12），將手勢模板分成待匹配模板和剔除模板兩類，滿足式（12）為待匹配模板類，否則為剔除模板類。若待匹配模板類中模板個數(shù)為0，執(zhí)行步驟6，否則執(zhí)行步驟4。

步驟4利用式（13）計算待識別手勢與待匹配模板類中各模板的隸屬度σi。對剔除模板類中各手勢模板直接剔除。

步驟5找出步驟4所得隸屬度的最大值σmax，判斷其是否滿足σmax≥Δσm，其中Δσm為最小隸屬度閾值，若是則執(zhí)行步驟7，否則執(zhí)行步驟6。

步驟6輸出未識別此手勢，提示再次輸入手勢圖像，若連續(xù)3次輸入的手勢圖像均不滿足σmax≥Δσm，提示為新手勢，跳入訓(xùn)練算法，生產(chǎn)新手勢模板并更新模板庫。

步驟7輸出最大隸屬度σmax對應(yīng)的手勢作為識別結(jié)果，完成本次手勢識別。

步驟8輸出未識別此手勢，進入下次識別。

4 實驗結(jié)果對比與分析

本文所有算法的實驗環(huán)境是Win7 32位+VS2010+opencv2.4.9，電腦CPU為Intel?Core? i3 2.53 GHz，內(nèi)存4 GB（2.3 GB可用），硬盤為128 GB固態(tài)硬盤。本文中的百分比一律取小數(shù)點后1位有效數(shù)字，多出部分按四舍五入規(guī)則處理。

4.1 改進的指尖點檢測方法實驗結(jié)果與分析

針對改進指尖點檢測方法在縮放和旋轉(zhuǎn)條件下，指尖點的檢測情況，本文由11個人，分別在正常手型、縮放手型和旋轉(zhuǎn)手型三種情況下，每人做10組單指手勢，10組并指手勢，共660幅手勢圖像作為實驗樣本。實驗結(jié)果如表1所示。

表1 指尖檢測情況表

由表1可以看出，從指尖類別上來看本文的手指檢測算法對單指的檢測效果要比并指的效果好，本文的指尖檢測算法在縮放和旋轉(zhuǎn)變換情況下檢測的正確率變換較小，這說明本文改進的指尖檢測算法對縮放和旋轉(zhuǎn)變換的魯棒性較好。

將本文算法與傳統(tǒng)曲率檢測和凸包檢測指尖點的方法在相同情況下做對比實驗，結(jié)果如表2所示。由表可看出，本文算法對手指指尖的檢測方法與另外兩種相比準確率較高。這是因為首先本文算法具有特定的針對并指的檢測算法；再者與基于曲率的直接檢測方法相比，本文在曲率計算上能夠根據(jù)手勢圖像的大小調(diào)整計算曲率所選取的輔助點的位置，使得其曲率的計算更加準確，從而提高檢測效率。

表2 指尖檢測正確率對比表

4.2 手勢識別實驗結(jié)果與分析

本文設(shè)定10種手勢，如圖3所示。在手勢識別的實驗中，本文由11個人，在距離攝像不同距離并保持不同方位的5種情況下各做4次，一共進行2 200次實驗。實驗結(jié)果如表3所示。以下各表中的平均運行時間為從手勢特征提取到手勢匹配識別所消耗的總時間的平均值。

圖3 交互手勢效果圖

表3 各手勢識別率

由表3看出對于不同手勢，本文算法的識別率是不同的。手勢2的識別率較低的原因是由于指尖特征只有拇指特征，而本文的指尖檢測算法相對拇指的檢測率較低。手勢6、7較低的原因是手勢的指尖特征為混合型，這也是本文指尖檢測的一個缺點。手勢8、9的手勢檢測率相對較低，分析識別的數(shù)據(jù)發(fā)現(xiàn)這兩種手勢的錯誤大多出現(xiàn)在被誤識別為對方手勢，這是由于這兩種手勢除Hu矩特征外其他特征信息較為相似。手勢10出錯率較高，對其特征檢測分析發(fā)現(xiàn)，此手勢沒有指尖點，檢測的各特征易受臉部等外界信息干擾。雖然各手勢識別的識別率和識別所需時間不同，但是從總體來看，各手勢識別的正確率都較高，算法平均運行所需時間均在400 ms以內(nèi)，因此基本滿足人機交互的要求。

為了測試本文算法在不同光照強度情況下的識別情況，將10種手勢，由11個人分別在暗、一般和強光照情況下進行5次實驗，實驗結(jié)果如表4所示。由實驗數(shù)據(jù)可知，本文識別方法在不同光照強度下，都具有較好的識別效果。

表4 不同光照強度下識別率與識別時間

針對本文方法和幾種現(xiàn)在常見手勢識別方法在相同環(huán)境下作對比試驗，結(jié)果如表5所示。由數(shù)據(jù)可知本文的整體方案在綜合考慮識別率和識別時間兩方面，為相對最優(yōu)的手勢識別方案。

表5 各方法識別率與識別時間對比

第二種方案為單獨利用指尖點特征完成手勢識別。由于缺乏全局特征Hu不變矩，致使其識別率相對較低；第三種方案為利用SVM算法結(jié)合Hu不變矩特征完成手勢識別，由于Hu矩只能表述手勢的全局特征，缺乏局部特征，因此識別率比較低；第四種方案為利用Hu特征和BoF-SURF特征，通過SVM完成識別。雖然識別率和本文方法基本持平，但是其識別時間較長。與本文識別方法相比，另外兩種方法難以實現(xiàn)新手勢的自動添加。

5 結(jié)束語

本文提出了一種適用于實時應(yīng)用的手勢識別方法，該方法從手勢的特征提取和手勢模型兩方面改進識別算法的性能，并從識別算法上增強手勢識別的交互性能。針對不同手勢本文方法在識別率和識別所用時間上略有不同，這是下一步改進研究的重點；從總體來看，本文方法準確率較高，識別時間較短，并且綜合考慮了系統(tǒng)對實時性、準確性、魯棒性以及實用性等因素，基本滿足人機交互中對手勢識別算法的要求。

[1]Lee H C，Shih C Y，Lin T M.Computer-vision based hand gesture recognition and its application in iphone[J].Smart Innovation Systemsamp;Technology，2013，21：487-497.

[2]Rautaray S S，Agrawal A.Adaptive hand gesture recognition system for multiple applications[J].Communications in Computeramp;Information Science，2013，276：53-65.

[3]Premaratne P.Future trends in hand gesture recognition[M]//Human Computer Interaction Using Hand Gestures.Sigapore：Springer，2014：171-174.

[4]隋云衡，郭元術(shù).融合Hu矩與BoF-SURF支持向量機的手勢識別[J].計算機應(yīng)用研究，2014，31（3）：953-956.

[5]姚遠，張林劍，喬文豹.RGB-D圖像中手部樣本標記與手勢識別[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25（12）：1810-1816.

[6]Tan W，Bian Z，Yang J，et al.Hand gesture shape descriptor based on energy-ratio and normalized fourier transform coefficients[C]//Lecture Notes in Computer Science，2014，8795：34-41.

[7]楊學(xué)文，馮志全，黃忠柱，等.結(jié)合手勢主方向和類-Hausdorff距離的手勢識別[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2016，28（1）：75-81.

[8]孟春寧，呂建平，陳萱華.基于普通紅外攝像機的手勢識別[J].計算機工程與應(yīng)用，2015，51（16）：17-22.

[9]陳昆偉，郭星，吳建國.基于手勢識別的文字輸入系統(tǒng)[J].計算機工程與應(yīng)用，2015，51（3）：66-68.

[10]王原，湯勇明，王保平.基于混合高斯模型的非固定握持姿勢手勢識別[J].東南大學(xué)學(xué)報，2014，44（2）：239-243.

[11]李博男，林凡.基于曲率的指尖檢測方法[J].南京航空航天大學(xué)學(xué)報，2012，44（4）：587-591.

[12]王松林，徐文勝.基于Kinect深度信息與骨骼信息的手指尖識別方法[J].計算機工程與應(yīng)用，2016，52（3）：169-173.

[13]翁漢良，戰(zhàn)蔭偉.基于視覺的多特征手勢識別[J].計算機工程與科學(xué)，2012，34（2）：123-127.

[14]楊端端，金連文，尹俊勛.手指書寫漢字識別系統(tǒng)中的指尖檢測方法[J].華南理工大學(xué)學(xué)報：自然科學(xué)版，2007，35（1）：58-63.

[15]范瑋琦，方婷，魏明月.自然擺放的手圖像指根點提取方法[J].光電子·激光，2013，24（6）：1191-1197.

[16]張毅，劉鈺然，羅元.基于視覺的手勢識別方法及其在數(shù)字信號處理器上的實現(xiàn)[J].計算機應(yīng)用，2014，34（3）：833-836.

[17]王修輝，鮑虎軍.基于自適應(yīng)遺傳算法的手勢識別[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2007，19（8）：1056-1062.

[18]林燕，馮志全，朱德良，等.以多模型融合為特征的三維手勢跟蹤算法[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2013，25（4）：450-459.

[19]Hsu R L，Jain A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706．

[20]覃文軍，楊金柱，王力，等.基于Kalman濾波器與膚色模型的手勢跟蹤方法[J].東北大學(xué)學(xué)報：自然科學(xué)版，2013，34（4）：474-477.

[21]Canny J.A computational approach to edge detection[J].IEEE Transactionson Pattern Analysisand Machine Intelligence，1986，8（6）：679-698.

[22]丁文，李勃，陳啟美.Canny色彩邊緣檢測及分類新方法[J].北京郵電大學(xué)學(xué)報，2012，35（1）：115-119.

CAO Jie1，2,ZHAO Xiulong1,WANG Jinhua2

1.College of Computer and Communication,Lanzhou University of Technology,Lanzhou 730050,China 2.College of Electrical and Information Engineering,Lanzhou University of Technology,Lanzhou 730050,China

Gesture recognition method based on improved finger tip and Hu moments.Computer Engineering and Applications,2017,53（21）：138-143.

hand gesture recognition;fingertip detection;curvature calculation;Hu invariant moment

Abastrct:The recognition algorithm based on outline feature can deal with the appearance changes of hand gestures very well,but the accuracy and robustness of the existing gesture recognition is low when the target is rotated and scaled.A new gesture recognition method based on finger tip and Hu invariant moments is proposed for the problem above.This method improves the fingertip detection based on fingertip curvature,which enhances robustness of feature extraction from the finger tips.It also improves the global description of gesture model by f-using hand fingertips and Hu invariant moments.Besides,it uses recognition algorithm in which new gestures can be added automatically to improve feasibility of the algorithm.Experiments show that the proposed method can effectively improve the accuracy and robustness of gesture recognition without reducing efficiency.

A

TP391

10.3778/j.issn.1002-8331.1611-0507

國家自然科學(xué)基金（No.61263031）；甘肅省自然科學(xué)基金（No.1506RJZA105）。

曹潔（1966—），女，博士生導(dǎo)師，教授，主要研究領(lǐng)域為信息融合、智能信息處理、模式識別；趙修龍（1986—），男，碩士研究生，主要研究領(lǐng)域為智能信息處理，E-mail：784673319@qq.com；王進花（1978—），女，副教授，主要研究領(lǐng)域為故障診斷、智能信息處理。

2016-11-30

2017-03-01

1002-8331（2017）21-0138-06