基于改進LLE算法的手勢特征提取研究

張 翔，席 奇，劉承啟

(1.景德鎮學院信息工程學院，江西 景德鎮 333000；2.南昌大學，江西 南昌 330029)

1 引言

近年來，人機交互逐漸應用在游戲、醫療、機器人等諸多行業。手勢識別作為人機交互的一種常見方式，由于其具有多樣性、差異性、不穩定性等特點[1]，建立人機交互的手勢識別系統成為研究的熱點。大量學者通過各種各樣的方法實現對手勢特征的提取。文獻[2]基于改進的YCbCr顏色空間模型對手勢區域進行提取，并按照手勢圖像的寬度和高度以及手指個數對手勢識別進行粗分類，再將由Hu矩和傅里葉函數構建的融合特征輸入BP神經網絡中進行識別，實驗結果表明，該方法的手勢識別率較高，但該方法對光照較為敏感，需要進一步完善。文獻[3]通過對梯度方向直方圖和二值模式特征的提取和融合，加強對手勢特征的描述，并將融合特征輸入SVM中進行識別，實驗結果表明，該方法可識別多種手勢，然而需要對網絡模型進一步優化，提高對手勢特征的識別率。文獻[4]通過手指個數、距離以及手指夾角對手勢特征進行建模，并利用分層方法將手勢識別的較多類別轉化為較少類別，以識別結果為依據完成手勢的特征提取，實驗結果表明，該方法具有較高的準確率，但該方法對于復雜手勢的識別率較低。

針對以上研究成果，本文提出基于改進LLE算法的手勢特征提取方法。通過對手勢特征數據集中某個數據點處的鄰近數據構成局部線性關系，再對這些數據進行重構誤差最小化處理，求出映射矩陣，把多特征空間維度的手勢特征樣本數據映射到低維度空間中。

2 改進LLE算法分析

LLE是一種非線性降維思想控制的方法[5-6]，其通過相互結合的局部線性關系描述全局非線性關系。LLE算法的降維過程主要由兩步組成。首先，假定LLE算法在較小的局部空間內為線性的，Xlog={xlog＿1，xlog＿2，xlog＿3，…，xlog＿N}表示在空間RW內的第N個樣本數據集合，W表示數據集合的維度，通過數據點xlog＿i處的klog個相鄰數據表示局部線性情況。然后，對由klog個相鄰xlog＿i數據組成的重構誤差進行最小化，計算局部重建的權值矩陣。重構誤差公式可表示為

(1)

(2)

將εW(V)改寫為矩陣形式，公式可表示為

(3)

并且局部重建權值矩陣滿足

(4)

其中，1klog表示klog維的全1向量。當求解重構誤差最小化問題時，用拉格朗日乘子算法將目標函數優化，公式可表示為

(5)

(6)

基于多維空間的分析可以得出新的局部重建權值矩陣，為了使局部線性關系能滿足低維數空間，假定多個樣本數據在低維數空間中的投影用Ylog={ylog＿1，ylog＿2，ylog＿3，…，ylog＿N}表示，Ylog保持了高維數空間的原本屬性，通過類比用拉格朗日乘子算法對低維數空間Ylog上的目標函數采取優化，公式可表示為

(7)

對目標特征Ylog求導，使導數為0，可以得出(I-V*)T(I-V*)Ylog=αYlog，由此可知目標特征Ylog就是矩陣N=(I-V*)T(I-V*)所對應的n維空間內n個最小特征值構成的矩陣。

通過對手勢識別采集的樣本數據，進行重新計算可獲得重建權值系數，但這樣不僅需要大量的存儲空間，還影響手勢識別的速度。因此假定輸入樣本空間與目標特征空間滿足如下關系

Ylog=GTXlog

(8)

其中，G表示Xlog與Ylog之間的映射矩陣，且G=(G1，G2，G3，…，GW)T；GW表示第W維數空間對應的映射矩陣，且GW∈RhW×n；hW表示第W維數空間的向量維度；n表示Ylog的輸出維度。因此只需求解出映射矩陣G，便可以得出手勢識別樣本數據的目標特征空間映射結果，最小化問題用公式可表示為

minε(Ylog)=tr(GTXlog(I-∑ρWVW)T

(9)

其中，ρW表示不同特征空間樣本數據的權重值。通過優化重建權值矩陣的權重值，可以評估手勢識別樣本數據的重要程度，提高算法的適用性，但由于在推導過程中，由于一些無效樣本數據的引入，大大影響了特征融合的結果。因此，在LLE算法的基礎上，通過引入優化目標項的方法，對式(9)的最小化函數采取進一步的優化，公式可表示為

minε(Ylog)=tr(GTXlog(I-∑ρWVW)T

(10)

其中，B(G)表示優化目標；β表示平衡系數。當ylog＿i和ylog＿j為同一類樣本時，它們之間的距離會足夠小，樣本ylog＿i和ylog＿j之間滿足

(11)

(12)

其中，dlog＿ij(G)表示樣本ylog＿i和ylog＿j之間的距離。通過對優化目標的求解，可以得出多特征融合算法的優化目標函數，用公式可表示為

minε(Ylog)=tr(GTXlog(I-∑ρWVW)T

(13)

由式(13)可知，很難求解出映射矩陣G，因此本文通過固定變量的方法，對式(13)中的兩個變量進行優化。固定矩陣G，則B(G)為一個常數，多特征融合算法的優化目標函數用公式可表示為

minε(Ylog)=tr(GTXlog(I-∑ρWVW)T

(14)

從機器學習角度分析，求解最小化問題實際上是不斷使損失函數最小化的過程，從而得出映射矩陣G，最后只需通過映射操作，便可以把多特征空間維度的手勢識別樣本數據映射到低維度空間中。

3 手勢特征建模

在研究手勢特征的運動過程中，手形特征和手勢軌跡特征起著至關重要的作用。當手勢動作較快時，手勢的運動軌跡起著主導作用；當手勢動作較慢時，手形信息起著主導作用。針對手勢特征的提取，可以采用運動速度提取手勢片段。首先需要選擇一個速度閾值用來選擇關鍵手勢的圖像幀，公式可表示為

(15)

其中，Hvalue＿i表示第i幀手勢圖像的關鍵片段；vvalue＿i表示每幀手勢圖像的運動速度；vvalue表示手勢圖像的速度閾值。由于手勢運動速度是一種連續的漸變函數關系，因此通過采用加權平均方法，對速度閾值進行處理，公式可表示為

(16)

其中，N表示手勢圖像中總共幀的數量；τ表示手勢的平均速度系數。獲取到關鍵手勢圖像后，需要根據圖像的像素值計算對應手勢圖像中的平均像素值，公式可表示為

(17)

(18)

其中，Lx和Lfin＿wri分別表示歸一化后和需要歸一化的手勢距離；min(Lfin＿wri)表示指尖到手腕的最小距；max(Lfin＿wri)表示指尖到手腕的最大距離。隨著手勢特征維度的增加以及手勢特征中存在的冗余特征，會削弱手勢特征提取的實時性，因此采用支持向量分類器(SVC)的方法將手勢從難以分類的空間映射到高維度的手勢空間中。假定訓練手勢集用S={(xtra＿1，ytra＿1)，(xtra＿2，ytra＿2)，…，(xtra＿N，ytra＿N)}表示，xtra＿i和ytra＿i分別表示輸入手勢樣本數據和實際手勢標簽，那么支持向量分類器的分類過程可表示為

(19)

(20)

圖1 手勢特征提取模型

4 實驗結果與分析

仿真過程中，為了保證手勢的整體動作出現在Kinect攝像機的采集畫面中，實驗者需要面向攝像機鏡頭，并保持一定的距離。在進行手勢訓練過程中，選擇5名實驗者按照一定的順序依次做出10種經典手勢，并且每種手勢依次做10遍，共采集5×10×10個數據作為手勢訓練的數據庫，在數據庫中存儲了各種手勢的手形特征和運動軌跡特征等信息。

在手勢特征的動態測試過程中，首先選擇3個典型的手勢作為待測樣本，如圖2所示。其中“肯定”的手勢主要是手部運動變化；“右轉”的手勢主要是上肢肢體的運動變化；“啟動”的手勢中主要是手部和上肢肢體的運動變化。

圖2 測試手勢

實驗中獲得5×10×3個手勢特征待測樣本數據，并對這些待測樣本數據進行循環測試，直到所有數據都測試一遍，得到特征提取結果如表1所示。

表1 手勢特征提取正確率統計表

從表中可以看出，采用單獨的手勢提取、軌跡提取平均識別率分別為0.665、0.768，識別率相對較低。但對于整體手勢特征提取測試數據而言，本文提出的方法均能達到較好的識別效果，平均識別率可達到0.901，表明采用改進的LLE算法可以更好地描述手勢特征，驗證了本文方法的有效性。

為了進一步驗證本文方法對手勢特征的提取效果以及手勢特征模型的泛化能力，本文采用兩種性能度量指標對手勢特征進行度量，性能指標分別為查準率和召回率，實驗結果如表2所示。

表2 性能度量結果

從表中可以看出，“肯定”和“右轉”手勢的查準率和召回率可達到1，表明采用本文提出的方法對手勢測試集能夠正確進行分類，“啟動”手勢的查準率和召回率依次是0.98和0.99，表明在對手勢進行分類過程中，該類型的手勢識別性能相對“肯定”和“右轉”較弱一些，綜合考慮本文方法的泛化性較好。

為了驗證本文算法在手勢特征提取中的優越性，將本文方法與文獻[2]、文獻[3]和文獻[4]進行實驗對比，對比結果如圖3所示。

圖3 手勢特征提取的準確率曲線

從圖中可以看出，文獻[2]得出的手勢特征準確率明顯低于其它方法，對手勢特征提取的效果不好；文獻[3]得出的手勢特征準確率在手勢樣本數據較少時，準確率較低，隨著樣本數據的不斷增多，準確率不斷提高；文獻[4]得出的手勢特征準確率雖然較高，但是隨著樣本數據的增加，準確率持續波動，不穩定；而本文方法得到的手勢特征具有較高的準確率，即使樣本數據很少，也具有較好的識別效果，隨著樣本數據的增加，手勢特征提取準確率呈上升的趨勢。

5 結束語

本文針對手勢特征提取提出了一種基于改進的LLE算法，通過手勢樣本特征的局部空間重建權值矩陣，實現對多個手勢特征空間的度量，同時結合輸入與輸出特征空間的映射變換矩陣，降低樣本空間維度，采用稀疏觀察手勢描述法對手勢特征進行提取。仿真結果表明，采用本文提出的方法對手勢特征進行提取，平均識別率可達到0.901，查準率和召回率指標都接近于1，具有良好的泛化性和識別效果。