基于Kinect 的手部分割混合識別技術*

陳 鑫，劉振國，張 穎

(南京航空航天大學電子信息工程學院,江蘇 南京 210016)

隨著模式識別技術的發展[1],出現了語音識別[2]、漢字識別、圖像識別[3]等技術途徑,輸入設備不再局限于鼠標和鍵盤,多媒體智能的交互模式能夠給用戶提供極高的自由度。在人的身體構成中,手部最為靈活。基于人手的人機交互符合人類的操作習慣,人們可以通過手部動作表達復雜的命令并將其傳遞給計算機實現人機交互。因此,人手作為一種“新型”的傳感器,是未來人機交互技術發展的重要方向之一[4]。

Kinect v2 體感設備含有高清攝像頭能夠提供1 920 pix×1 080 pix 的彩色圖像。此外,該設備中還包含了紅外發射器和紅外接收器,能夠提供512 pix×424 pix 的深度圖像。非常適合作為體感設備的視頻采集設備,并應用到多種場合中[5-7]。

手部分割是計算機視覺手寫輸入系統中非常關鍵的第一個步驟,手部分割的效果將極大地影響該系統的識別效果以及實時性能[8]。當前情況下,手部分割的難點主要來源于2 個方面:

(1)背景環境的復雜性:主要包括在不同光照條件(顏色和亮度)下手部膚色會發生較大變化,類膚色區域容易與手部膚色相互混淆,障礙物對手部的遮擋會使分割目標不明確等；

(2)手部的靈活性:在空間中,手部的運動是復雜多變的,這會導致手部的外形特征出現較大差異。

為了解決上述問題,劉亞瑞[9]利用Kinect 體感器獲取手勢深度圖像,采用變形雅可比—傅里葉矩對手勢圖像進行特征提取,基于最小歐氏距離分類器進行建模、分類,實現手勢識別。

華旭奮[10]融合手勢的幾何特征和深度信息的同心圓分布直方圖特征；學習訓練隨機森林分類器進行手勢識別。

王兵[11]針對現有的動態手勢識別率低,識別手勢少等不足,基于運動軌跡的運動方向的變化,提取了該動態手勢的運動方向變化角度作為特征,并采用隱馬爾科夫模型訓練和識別各個手勢。

張登攀[12]提出一種基于Kinect 骨骼信息與深度圖像的掌心點提取和指尖點檢測的手勢識別方法。對Kinect 傳感器獲取的人體骨骼信息和深度圖像進行分析,對手勢區域進行形態學處理,結合凸包和K-曲率算法檢測不同手勢中指尖點的個數和位置。

基于Kinect 的硬件,提出了一種自適應的混合型手部分割方法,將基于深度圖像的閾值分割方法和基于彩色圖像的膚色分割方法結合起來,首先基于深度圖像將人體信息從背景圖像中分離出來,然后再基于膚色模型分割算法,對人體圖像進行手部分割。該混合型手部分割方法,能夠較好地克服光線以及復雜背景所帶來的消極影響,也能夠更好地適應復雜的人體動作,達到更好的分割效果。

1 深度閾值分割

1.1 人體信息的提取

如表1 所示,從Kinect 獲取的16 位深度數據中,低4 位表示用戶編號,編號不為0 時表示此像素點來自于當前編號的用戶而不是背景環境。針對此特點,將深度圖像中像素值為0 的部分(Kinect 成像原理里面認為不可測區域,通常為物體邊緣)和不屬于人體的部分(Player Index 為0)濾除,即可得到人體圖像。

表1 16 位深度數據格式

如圖1 所示,對提取人體信息后的深度圖像進行坐標系變換,將其映射到彩色圖像中,便可以將人體信息從彩色圖像中分離出來。圖1(a)為經過人體信息提取的深度圖像,圖1(b)為彩色圖像。

1.2 最大類間方差法

依據Kinect 深度圖像的特性,圖像中各點像素值,即深度值能夠體現各像素點離設備的距離,深度值越小表示離設備越近,深度值越大表示離設備越遠。

當手伸向前方,手部與身體存在一定距離的時候,深度主要集中在兩塊區域,面積較小的表示手部的深度分布,面積較大的表示身體的深度分布。這種情況下,手部和軀體之間存在明顯的分割點。可將此分割點作為閾值,對深度圖像進行分割處理,即可得到手部深度圖。此外,人體離設備的距離是動態變化的,手部的位置也會相對軀體產生變化,因此深度分割的閾值并不是固定不變的。

為了準確高效地分割出手部深度圖像,將最大類間方差法引入到深度閾值分割處理中,實現了一種自適應閾值的手部分割方法,該方法能夠根據身體的不同動作及人體距離自適應地調整深度分割的閾值,實現對人體深度圖像的手部分割。

最大類間方差法按圖像的灰度特性,將圖像分成背景和目標2 個部分。背景和目標的類間方差越大,說明構成圖像的兩部分差別越大,當部分目標被錯分為背景或部分背景被錯分為目標時,兩部分差別會變小。因此,類間方差最大時錯分概率最小。

以手部信息作為分割目標,人體軀干作為背景。假設深度圖像中包含L個灰度級,灰度值為i(0≤i≤L-1)的像素點數為Ni。則人體部分總像素點個數如式(1)所示。

設灰度值為i的像素點的概率如式(2)所示。

設閾值為t,屬于人手的深度像素點集合為A,屬于軀干的深度像素點集合為B。由于手是伸向前方,所以手部區域的深度數據較小。所以集合A和集合B中像素點的個數由式(3)給出。

則對應出現的概率可分別見式(4)。

人手和軀干的灰度均值如式(5)所示。

灰度圖像總均值如式(6)所示。

人手和軀干的類間方差如式(7)所示。

如式(8)所示,類間方差越大,兩類的灰度差別越大,使得類間方差最大的閾值即為最佳閾值。

1.3 手部信息提取

根據此閾值分割方法,第一次分割出來的圖像會包含部分手臂信息。可以根據深度信息最小值(即手部最前端的值)m,結合自適應閾值t,再次進行閾值分割以得到新的閾值t′。

最終,根據t′對圖像進行分割,將分割后的手部圖像二值化,得到圖2 所示結果。依靠深度閾值分割的方法在手部離人體有一定距離的時候效果良好,當手部貼近人體的時候會有較大的誤差。此時,需要把基于彩色圖像的膚色分割的方法引入,能夠有效地克服此問題。

圖2 手部分割效果

2 膚色模型分割算法

在不同的色彩空間中,聚類特性的表達并不一致。在傳統的RGB 色彩空間中色度信息與亮度信息是無法分離的,周圍環境光照改變而導致的亮度變化也會使膚色檢測更加困難,因此在RGB 色彩空間進行膚色分割并不理想。

為了充分利用膚色在色彩空間中的聚類特性,需要把彩色圖像中的色度信息與亮度信息分開。在YCbCr 色彩空間中,Cb代表藍色分量,Cr代表紅色分量,能夠有效地將亮度和色度分離。實驗發現,膚色區域在YCbCr 色彩空間中聚集在一個很小的范圍內,非常適合膚色分割。并且YCbCr 空間能夠在很大程度上消除亮度影響,降低色彩空間的維數,減少計算復雜度。

因此,本文基于YCbCr 色彩空間建立了如下膚色檢測模型:

(1)顏色空間轉換,待測圖像原來的編碼格式是RGB 色彩空間的,需按照以下公式進行轉換[13]。

(2)在YCbCr 色彩空間中,Cb分量對膚色信息特別敏感,而Cr、Y相對皮膚沒有明顯特征,我們只需要增強Cb分量,減去Cr、Y分量,更加突出膚色區域。Cb分量強化公式如式(10)所示。

(3)按照最大類間方差法對增強后的Cb分量做閾值分割。

人體彩色圖像經過分割后如圖3 所示,分割后的圖像除了包含膚色區域中的臉部和手部,還包含了部分誤差信息。要想進一步獲取手部信息,必須對誤差信息和臉部信息進行排除,誤差信息主要包括膚色檢測的誤識別區域,其面積較小,數量較多,可利用面積特征將其排除,保留最大的兩塊區域即是臉部區域和手部區域。

3 混合分割算法

上述內容對深度圖像和彩色圖像分別采用了不同方式進行分割,且在其各自適宜的場景下都具有良好的特性卻又各有缺點。

深度圖像是單通道圖像,像素值信息代表了像素點到設備的距離,經過手部分割后,背景區域像素值為0,保留的區域像素值均大于0。深度閾值分割有助于去除膚色模型分割中人手之外的膚色部分,但是在手部離身體較近時,深度閾值不明顯,深度模型中分割出來的圖像會包含極大的誤差信息,無法有效地分割出手部圖像。

彩色圖像經過Cb通道的膚色分割后保存為單通道二值圖像Cb′th,在像素值分布上與深度模型分割后的圖像具有相同特性。膚色模型分割不會受到距離的影響,有助于剔除深度模型中誤判的背景區域。

因此,將深度模型和膚色模型分割后的圖像進行邏輯與運算,運算結果B(x,y)為二值圖像像素值。深度圖像中深度閾值非0 的和膚色分割圖像中非0 的同位置像素點的運算結果B(x,y)賦值為1,否則該像素點的運算結果B(x,y)會被賦值為0。邏輯與運算公式如式(11)所示。

式中:x、y分別代表圖像中像素點橫、縱坐標,B(x,y)=0 表示此像素點屬于背景區域,B(x,y)=1 表示像素點為手部區域。Gray(x,y)代表深度圖像像素值。代表Cb通過膚色分割后的像素值。

如圖4 所示,所提出的混合分割算法經過混合運算后得到最終的二值圖像,然后再運算得到最終的手部分割圖像。深度閾值分割和膚色模型分割混合運算后的手部圖像,能夠保持各自的優點,適應大多數場景,具有良好的魯棒性。

圖4 混合分割算法效果

4 實測驗證

為了驗證所提出的混合分割算法的有效性,最終搭建了實測平臺進行驗證,對多種手勢的手部分割效果進行驗證。具體測試效果如圖5 所示。

圖5 混合分割算法驗證結果

如圖5 所示,基于深度模型和膚色模型的混合型手部分割方法,在正常的光照環境下,對于非指定的測試人員和背景環境均有良好的分割效果,具有良好的魯棒性,可以應用于后續的手勢識別應用。