手勢識別中手分割算法

郭雷

摘要：首先分析了手勢分割存在的技術難點及人進行手勢分割過程中可能使用的特征，然后分析比較了現有手勢分割算法的基本思想和特點，最后介紹了深度學習技術并總結了手勢分割未來的研究方向。

關鍵詞：RGBD；手分割；手勢

中圖分類號：TP317.4 文獻標識碼：A DOI：10.3969/j.issn.1003-6970.2015.04.019

0.引言

手勢是一種不需要中間媒介的，非常人性化的人機交互方式。手勢識別已經成為人機交互的重要內容和研究熱點。基于視覺的手勢識別系統通常包含手勢分割、手勢建模、手勢形狀特征提取、手勢識別幾個過程。其中，手勢分割就是將感興趣的有意義區域，即手勢從傳感器獲取數據中劃分出來。這是基于視覺的手勢識別過程中的第一個步驟，也是關鍵的一步。分割的準確度和實時性能直接影響到后期的識別效果以及整個交互系統的性能。

傳統的基于視覺的手勢識別系統利用攝像頭作為傳感器。單目或雙目視覺系統手勢圖像數據，通過圖像處理進行手部分割，算法復雜且需要巨大的計算量。Kinect是微軟推出的一款傳感輸入設備，不僅可以獲取場景的彩色紋理信息，也可以獲取場景的深度信息。利用這些信息可以更加快速有效的進行手勢分割。

本文首先分析了手勢分割存在的技術難點及進行手勢分割過程中可能使用的特征，然后分析比較了現有手勢分割算法的基本思想和特點，最后介紹了深度學習技術并總結了手勢分割未來的研究方向。

1.手勢分割的技術難點

由于圖像背景和手勢本身的復雜性，實際生活中，光照的顏色、亮度都會產生各種變化，而背景物體的移動、攝像頭的移動、手勢運動產生的高光和陰影、類膚色區域的干擾等，都給手勢的穩定和準確分割帶來了困難。

人類的視覺系統在任何條件下都能夠較為準確的認出感興趣的區域。人類視覺系統機理的認識仍有待提，還沒有統一的理論可以指導傳統的圖像分割方法進行改進。同時在復雜的手勢特征的先驗知識獲取方面，還沒有既滿足實時性又滿足準確性的方案。

2.手勢分割的特征

手分割問題，可以看作是一個在Kinect傳感器獲得的RGB圖像和深度圖像中的手像素或非手像素標記問題。這里，我們將RGB圖像和對應的深度圖像數據定義為：

其中，color為位置（i，j）對應的顏色信息，按照某種顏色空間定義，depth為該位置的深度信息，

進行手分割時，必須對Data加以處理，提煉特征。通過調查以往的研究文獻，總結出以下特征：

（1）人體的拓撲結構：和人體某一局部圖像相比，人們更容易從人體的整體圖像中確定手的位置。這是因為人類所具有的人體的整體拓撲結構知識。這個知識只提供給手部區域的大致方位。

（2）距手心距離：通過手的形態學知識，人類可以推斷當距離手心距離小于某個值，肯定屬于手部區域，如果大于某個值，肯定不屬于手部區域；

（3）膚色和深度：雖然膚色易受到人種，光照等的影響，手部區域在深度圖像或者彩色圖像上雖然其整體上有可能并不均勻一致，但是其在較小的局部范圍內應當保持一定的連續性，而非手部區域的邊界像素與相鄰背景區域像素具有較大的變化；

在進行手區域判斷的時候，人類往往不是僅基于某種單一特征，而是多種特征的融合的決策。每個特征在決策過程中起到不同的作用，對一個手的不同位置起到的效用有可能也不一樣。

3.手勢分割算法

手勢的檢測分割包括兩部分：一是檢測定位，指從圖像中確定有沒有手勢出現，找到手勢所在區域；二是手勢分割，將手勢區域從畫面中提取出來，去除背景的干擾。這兩部分一般都是同時進行的。傳統的基于視覺的手勢分割方法主要有基于膚色的手勢分割方法、基于運動的手勢分割方法、基于輪廓的手勢分割方法等。

膚色是手勢最為明顯的特征之一，然而，在實際應用中由于手勢和背景環境的復雜多變，光源亮度和位置的變化、有色光源產生的色彩偏移等，都會引起膚色的變化，手部彎曲和反轉等形變，也會使得光源角度和陰影發生變化。這使得整個手部區域的膚色可能并不一致，甚至有較大的差異。針對這些問題當前研究者們在傳統膚色分割方法的基礎上，采取了很多改進方法，主要有三種：在分割前對圖像顏色進行校正；提出新的顏色空間；結合其他運動差分、輪廓、幾何特征等其他分割方法。

基于輪廓的手勢分割存在兩個棘手問題：一是由于手部旋轉或彎曲等因素使得初始輪廓的獲取較難；二是由于手勢的形狀本身存在深度凹陷區域，而輪廓對此類區域往往無法收斂到。改進模型所增加的迭代次數和計算量的代價使得實時性能下降。

基于運動的分割方法主要分為是幀差法和背景差分法。幀差法利用相鄰圖像幀之間的差分來判斷前景中是否有運動對象產生；而背景差分法首先對背景圖像建模，通過比較背景圖像和含有手勢的圖像分割出前景。眾多實驗發現，在運動中產生的光影變化，以及背景的動態變化都會對分割結果產生影響。

Kinect傳感器不僅可以獲取場景的彩色紋理信息，也可以獲取場景的深度信息。研究者利用RGB—D數據進行手勢分割時，可以只深度圖像或者融合RGB和深度信息。前者瞄準快速算法，后者目標是一個精確系統。

文獻將手分割看成一個深度聚類問題，像素分組于不同的深度水平。通過分析人姿勢維度確定一個閾值，該深度水平對應的是手。文獻利用k-means聚類算法和預定義閾值進行手檢測，并對手型進行凸包分析定位手指。這兩種方法都是假設手部距離傳感器最近，此外算法的效果受到kinect深度數據的準確性影響非常大。文獻，利用kinect SDK提供的關于手的位置信息，在深度圖像的三個軸方向上設定閾值，小于該閾值的被看成是可能的手的區域。然后利用OPEN VC中的相關函數cvErode（腐蝕）、cvMorphologyEx、cvFindContours（找到邊界）對手數據進行處理，計算邊界和手中心。文獻建立三個模型：深度模型（深度加上形態學），皮膚模型（膚色），背景模型（codebook算法），利用三層神經網絡，輸入是三個模型的兩兩重疊率，其反映了兩個模型分割結果的一致性。文獻直接在深度圖中尋找管狀或指間形狀的物體，作為手掌和手指的候選對象，通過空間位置檢測確認，因為手掌和手指是一起的。文獻利用kinect產生的骨骼數據，確定手的位置，查找表存放了標準人類手在不同深度層的大小，給定手的3D位置，算法從查找表中找到對應手的大小，從而粗略定位手的區域。文獻集成彩色信息進行手檢測。將手檢測問題看成是一個手像素或非手像素標記問題。RGB圖像的皮膚檢測算子和深度圖像的聚類算子作為兩個條件確認手像素。手區域是二者的交集。文獻將不同的特征處理為不同算子，利用手部/非手部區域的相鄰像素點的深度信息和顏色信息具有一定連續性的原理，從手心作為起始點進行搜索，保證了所有像素形成一個聯通的有效區域。避免了傳統簡單基于深度算法中存在的手必須在最前方限制，或多物體匹配區分的問題，有效的處理了手部顏色和深度數據不均勻的問題。

4.深度學習技術

在已有的手勢分割方法中，良好的特征表達，對最終算法的準確性起了非常關鍵的作用。上述方法中，特征的設計靠人工選取完成。手工選取特征需要復雜的手勢特征的先驗知識，能不能選取好很大程度上靠經驗，而且它的調節需要大量的時間。

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，模仿人腦的機制來解釋數據。深度學習構建具有很多隱層的機器學習模型和海量的訓練數據，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，來學習更有用的特征，從而最終提升分類或預測的準確性。與人工規則構造特征的方法相比，利用大數據來學習特征，更能夠刻畫數據的豐富內在信息。

5.總結

手勢目標的檢測是手勢識別中重要的一步，它為后面手勢識別做好預處理，手勢目標檢測的好壞直接影響到手勢識別的效果。目前還不存在任何一種方法在所有應用系統和背景條件下都能取得良好的分割效果。深度學習技術為手勢分割問題提供了一種新的解決思路，其更加接近于人類視覺系統機理。可以將手勢識別過程看成是一個從海量的手勢數據中深度學習過程，無需手勢特征的先驗知識，通過學習產生對于手勢檢測分割具有指導意義的特征，在此基礎上進行手勢分割將會取得較為理想的結果。