手勢深度交互識別技術的研究與仿真

張明星，陳彥卿

(1. 湖南科技學院，湖南 永州 425199；2. 齊齊哈爾大學計算機與控制工程學院，黑龍江 齊齊哈爾 161003)

1 引言

近年來，人機交互在人類生活中占據越來越重要的地位，也開始變得越來越簡單和自然[1，2]。手勢深度交互由于具有自然、簡潔以及豐富等特點，成為現階段人機交互領域研究的重要內容。在人機交互過程中，人和機器之間的溝通不再需要借助其它設備，可以將手部動作直接作為交互系統的輸入，用戶還可以自主定義手勢，進一步提升了人機交互的靈活程度。隨著手勢深度交互的大范圍使用，開始出現了全新的問題，需要研究有效的方法對這些問題進行及時解決。

國內相關專家給出了一些較好的研究成果，例如時夢麗等人[3]通過Ostu分割方法分割手勢區域，同時對手勢特征進行提取，獲取手掌不同區域的形態特征，結合已經提取到的特征進行手勢識別。王勇等人[4]通過二維傅里葉變換提取信號對應的頻譜，對手勢對應的距離和速度進行估算，通過多重信號分類計算角度，將手勢動作進行特征提取，同時將得到的特征進行融合，最終實現手勢識別。由于上述已有方法未能對手勢深度圖像進行去噪處理，導致識別耗時增加，識別結果不準確。為了有效解決上述問題，提出一種基于全鏈條AI技術的手勢深度交互識別方法，經實驗測試證明，所提方法能夠有效降低識別耗時，獲取更高的識別率。

2 手勢深度交互識別方法

2.1 手勢深度圖像去噪

統計學習屬于機器學習領域中的一個重要理論，其中的支持向量機(Support Vector Machine,SVM)屬于其分支[5，6]，被應用于醫療以及交通等多個研究領域中。最優超平面是SVM的核心，同時也是SVM進行分類的主要工具。設定有N個訓練樣本的數據集，要想確保分類準確性最高，則對應的最優超平面需要滿足式(1)中的條件，即

yk|ωTφ(xk)+b|-1=0，k=1，2，…，N

(1)

式中，xk代表第k個輸入的數據；yk代表第k個輸入數據所屬類別；φ代表非線性函數；ωT代表權重值；b代表任意常數。

為了能夠充分利用最優超平面的特性進行數據分類，需要在式(1)中加入非負松弛因子ζk，則式(1)能夠轉換為以下形式

yk|ωTφ(xk)+b|-1+ζk=0，k=1，2，…，N

(2)

結合式(2)對應的約束條件，采用結構最小風險原則，將界限進行最小化優化處理，詳細的計算式如下

(3)

式中，Φ(ω，ζk)代表最小界限；c代表任意常數；ω代表權重的取值范圍。

非下采樣輪廓變換是在已有輪廓變換的基礎上經過一系列改進獲取的，為了更好保留手勢深度圖像的特征，需要針對變換中的圖像進行下采樣操作，最終獲取非下采樣輪廓變換。非下采樣是一種典型的濾波器，具有多尺度不變的特性。在進行輪廓變換的過程中，需要借助濾波器實現下采樣，同時以此為依據建立一個和樹型結構相近的濾波器組。

結合以上分析，根據構建的濾波器組，得到如式(4)所示的采樣插值矩陣Sk

Sk=diag(2l-1，2)，0≤K≤2l-1-1

(4)

式中，l代表樹型結構的級數；K代表手勢深度圖像的二維頻率。

SVM的核心是通過二次規劃方法進行分類，以下將SVM的損失函數轉換為最小二乘線性系統，同時借助全新的損失函數優化傳統方法，最終達到簡化SVM的目的，全面增強分類效果。

設定拉格朗日函數L(ω，b，e，a)為

L(ω，b，e，a)=Φ(ω，b，e)-

(5)

式中，ak代表拉格朗日因子；Φ(ω，b，e)代表核函數。

式(5)可以采用以下矩陣形式進行分解

(6)

式中，ZT和YT代表線性方程對應的函數取值；γl代表手勢深度圖像的高頻區域；I代表手勢交互圖像的總數。

由于非下采樣輪廓具有很好的輪廓保持特性，結合相關的輪廓變換理論可知，噪聲大部分集中在圖像的高頻區域內。其中，含有噪聲的圖像可以表示為以下的形式

y=x+v

(7)

式中，v代表噪聲信號。通過非下采樣輪廓變換對手勢深度圖像進行分解，最終獲取對應的輪廓變換系數。

根據噪聲的分布特征，采用空間規則確定SVM的訓練特征向量，根據式(8)將各個高頻子帶系數進行初始化處理，形成一個二元表

(8)

式中，τ代表高頻子帶系數。

在組建二元表時，需要選取對應的高頻子帶系數，同時引入中位法對噪聲標準差σ進行估計，如式(9)所示

(9)

當完成二元表的建立后，通過空間規則可以判定輪廓采樣系數屬于孤立噪聲還是空間特征。

另外，采用SVM進行分類的過程中[7，8]，還需要選擇合理的閾值，同時還需要對每一個子帶中的噪聲信號進行分布估計，將其稱為標準偏差σy，具體的計算式如下

(10)

為了獲取最優閾值，需要借助平方差r(T)來縮小誤差，具體的計算式為

(11)

式中，E(x)代表誤差的取值范圍；ηT(y)代表軟閾值函數。

通過上述方法對含有噪聲的手勢深度圖像進行去噪處理，同時對子帶系數進行非下采樣輪廓變換，最終實現圖像去噪。

2.2 基于全鏈條AI技術的手勢深度交互識別

當手勢深度圖像經過去噪處理后，采用膚色特征完成手勢分割[9，10]，由于膚色在顏色空間中十分集中，包含一定的統計特性。YCbCr空間是一種十分常見的顏色空間，主要來源于YUV空間。當完成膚色檢測后，需要將彩色圖像轉換為YCbCr空間圖像，YCbCr空間圖像中的亮度和色相兩者是分離的，所以需要將圖像中的亮度相關信息剔除，然后進行處理，有效避免光照變化產生的干擾。

在RGB色彩空間中，由三個不同的分量共同組成亮度Y，具體的表達形式如下

Y=kr×R+kg×G+kb×B

(12)

式中，Y代表亮度；kr、kg和kb代表加權因子；R、G和B代表色彩空間。

在Kinect攝像機的芯片集中加入了一種全新的膚色檢測算法，主要借助亮度補償對手勢進行膚色檢測C(Y)，具體的計算式如下

(13)

其中，膚色對應的橢圓模型能夠表示為以下的形式

(14)

式中，cx和cy代表手勢深度圖像的弧度；Cb和Cr代表手勢深度圖像的膚色像素值；ex和ey代表任意常數。

傳統混合高斯模型法在YCbCr空間進行使用時，會完全忽略圖像亮度信息對識別結果的影響。為了有效克服上述問題，本文借助訓練樣本和協方差矩陣共同實現手勢特征提取。

首先建立兩個協方差矩陣

(15)

(16)

式中，Cbi和Cri代表手勢深度圖像的特征向量。

高斯混合模型利用M個高斯分布元素計算出各個像素點向量為膚色像素的概率，則第j個高斯分布能夠表示為

(17)

式中，mj代表手勢輪廓點到指尖的最大距離；Cj代表協方差矩陣。

像素屬于膚色像素的概率p(x，skin)能夠表示為

(18)

將Kinect攝像機放置在相同的場景內進行拍攝，由于光照圖像不同，所以可以得到彩色圖像和深度圖像，分別采用不同的方法對兩幅圖像進行分割處理。其中，深度圖像還需要進行去噪處理，將圖像中存在的噪聲點剔除。

當進行手勢交互時，人的身體一直位于攝像頭的正前方，所以將深度圖像輸入直方圖內進行統計分析后發現，人的身體和背景在深度直方圖中會形成兩個比較大的峰值。結合以上分析，以下詳細給出自適應深度直方圖閾值算法的具體操作步驟：

1)在直方圖中獲取兩個含有像素數量最多的深度值，同時將較小的深度值設定為身體峰值的深度值。

2)對直方圖進行二次遍歷，同時設定最大和最小間隔閾值。

3)對手勢深度圖像的檢測記錄進行查詢，同時根據設定的深度閾值對圖像進行全局閾值處理，最終獲取對應的手勢區域信息。

在上述分析的基礎上，膚色檢測是由于輸入到系統內的彩色圖像具有較高的精度，所以得到的檢測結果準確性較高；而將經過分割的手勢區域輸入到系統內，獲取的檢測結果準確性偏低。為了獲取更加準確的信息，通過區域生長法將兩者獲取的手勢深度邊緣信息進行配準[11，12]，進而得到手勢邊緣信息，最終實現手勢特征提取。

當手勢深度圖像完成深度和膚色分割后，即可通過全鏈條AI技術將分割結果進行邊緣配準，同時將錯誤的像素信息刪除。其中，錯誤像素的刪除工作是借助區域生長法實現的，它是一種比較經典的算法，主要作用就是提取圖像中的相似區域。如果提前給定一個種子像素點和對應的相似性像素，則需要將前者設定為中心點，而通過后者判定圖像的邊緣和領域像素兩者是否屬于同一類別，假設是，則繼續生長；反之，則結束生長，直至全部像素點無法被包含為止。其中，邊緣配準的具體操作流程如圖1所示。

圖1 手勢深度圖像的邊緣配準操作流程圖

對手勢深度圖像和彩色圖像中的邊緣信息進行檢測，將檢測結果作為依據，采用全鏈條AI技術得到不同邊緣存在的錯誤像素信息，將其全部剔除；進而獲取彩色圖像中精準的手勢輪廓，提取手勢特征，最終實現識別。

3 仿真研究

為了驗證所提基于全鏈條AI技術的手勢深度交互識別方法的有效性，隨機邀請20名志愿者作為測試對象，在測試過程中需要通過Kinect設備采集圖像，將手掌放置于身體的最前端，圖2為手勢示例圖像。

圖2 手勢示例圖像

考慮到Kinect本身的物理限制，將測試范圍設定為60～200m，在不同測試距離進行測試，具體的測試結果如表1所示。

表1 不同距離下手勢深度交互結果

從表1中能夠看出，所提方法具有較高的識別率，且平均值均在95%以上，能夠達到預期的識別效果。

為了驗證所提方法在不同光照條件下的魯棒性能，在20名測試對象隨機選取一名進行測試，測試結果如圖3所示。

圖3 不同光照條件下的手勢識別結果

分析圖3可知，即使在不同光照條件下所提方法依舊能夠精準識別不同手勢，充分證實所提方法的優越性。

將所提方法和文獻[3]、文獻[4]方法的識別率進行對比，選取五個手勢作為測試對象，具體實驗結果如圖4所示。

圖4 不同方法的識別結果測試分析

由圖4中可知，所提方法的平均識別率明顯高于另外兩種方法，主要因為在進行手勢深度交互識別前期，對手勢深度圖像進行去噪處理，有效濾除圖像中的噪聲點，確保識別結果更加準確。

為了進一步驗證所提方法的實用性，以下實驗測試對比不同方法的識別耗時，具體實驗結果如圖5所示。

圖5 不同方法的識別耗時對比結果

分析圖5中的實驗數據可知，所提方法的識別耗時明顯低于另外兩種方法，充分證明了所提方法的實用性。

4 結束語

針對傳統方法存在的不足，設計并提出一種基于全鏈條AI技術的手勢深度交互識別方法。與已有方法相比，所提方法具有較快的識別速度和較高的識別率。由于受到環境以及人為等多方面因素的限制，所提方法仍有進步的空間，后續將對其展開更深層次的研究。