一種基于膚色和深度的第一人稱人手識別方法

郭訓力, 俞揚

GUO Xun-Li, YU Yang

南京大學 計算機軟件新技術國家重點實驗室, 南京 210023

National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023,China

1 引言

隨著計算機性能的不斷提高,人們越來越多的把目光投向了人機交互方面(HCI).尤其是近些年,觸屏技術、語音識別技術等正在改變著人們的生活.人適應機器的方式正在慢慢的成為過去,機器適應人的行為獲得了越來越多的發展空間.人的手部動作作為人與外界主要交互方式也越來越多的受到重視.

在計算機視覺領域,如何準確地識別人手已經得到廣泛的研究.目前,識別圖片中人手的方法主要分為基于模型的方法[1,2,3,4,5],基于幾何特征的方法[6,7,8],以及基于顏色特征的方法[9,10,11].在諸多方法中,基于模型匹配的方法首先需要將給定模型與輸入圖片中不同位置的圖像塊進行比較,然后把最佳匹配的圖像塊作為人手區域.這種方法最為直觀,但人的手型高度可變性給定模型往往只能捕捉其中的一部分手勢,對模型之外的手型卻無能為力,而且手型的變化也帶來匹配的復雜性,使得計算量大大增加.基于幾何特征的方法利用訓練數據去擬合若干預定義的方程,該類方法要求圖片僅含有手部輪廓,沒有復雜背景,因此應用環境受到很大制約.另一方面,在增強現實應用的背景下,人佩戴增強現實眼鏡,如圖1所示,人手以第一人稱的角度呈現,且往往只有人手的一部分出現在圖片中,此時,以上兩類方法的模型就不能夠在圖片中得到匹配,也就無法完成識別任務.

圖1 佩戴增強現實眼鏡的交互操作

基于顏色特征的方法主要利用顏色將手和背景分割,這種方法排除了手型變化的干擾,并且計算開銷小,能夠滿足實時性要求.對于膚色識別已經有很多種方法[12].最簡單的方法就是設置固定閾值,這種方法的缺點是顯而易見的,即缺乏通用性.除此之外,統計直方圖的方法[13]作為一種在線學習的方法在視頻識別中受到廣泛研究,該方法需要人為給定一個膚色初始點,然后不斷統計視頻幀序列中的顏色直方圖,從而逐漸識別視頻中的膚色區域,但對初始點的要求比較嚴格,而且檢測效果非常依賴于人手在視頻中出現的頻率.高斯密度函數法[14,15,16]作為統計直方圖方法的一種平滑替代,即將膚色像素點和背景像素點的直方圖用均值、方差不同的高斯函數近似替代.這類方法取得了不錯的效果,然而計算量仍然是一個障礙.貝葉斯方法屬于非參數的方法[10,17,18,19,20],能夠獲得穩定結果的同時,避免了繁瑣的調試參數,而且具有訓練時間和測試時間短的優點,Antonis[10]在訓練好的貝葉斯模型基礎上使用了在線學習的方法,使得識別更能夠適應當前環境,但單一基于膚色的方法同時也將人臉檢測了出來.

本文所實現的系統即采用貝葉斯方法進行膚色檢測.在此基礎上,系統增加了一個深度過濾過程以排除預定義深度范圍之外的膚色物體對識別的影響.實驗表明,這一深度過濾步驟較好的降低了僅僅用膚色檢測的誤識別現象.

在下文中,首先簡要介紹貝葉斯膚色模型,然后說明利用 HOG 特征進行深度過濾所用的方法,最后給出實驗結果.

2 人手區域識別

2.1 貝葉斯膚色檢測

用于特定顏色檢測的顏色空間有很多種選擇,常用的有RGB、YUV、HSV等.系統采用YUV顏色空間,因為YUV中的Y分量對應于亮度,由此,不考慮Y分量不僅可以減低貝葉斯自由變量的維度,也可以排除亮度對膚色識別產生的干擾[15].

對于采用U、V分量的貝葉斯分類器,其自由變量是二維元組c=＜u,v＞.假設c(x,y)表示圖像中位于坐標(x,y)的像素點的顏色,P(s)表示訓練集中像素點為膚色的先驗概率,P(c(x,y))表示每種顏色元組在訓練集中的先驗概率,P(c(x,y)|s)表示膚色像素點對應的顏色元組的概率.由貝葉斯公式[10]可以得到一種顏色元組為膚色的后驗概率,即P(s|c(x,y)):

然后設置一個合適的閾值T,大于T則認為是膚色點.整個訓練過程是在線下進行,測試時僅僅通過計算式(1)即可.

2.2 HOG深度過濾

僅僅用膚色檢測的結果往往會收到手部周圍的近似膚色物體的干擾,如圖 2所示,圖中的淡紅色花盆即被分類器判斷為膚色.所以有必要進行深度過濾,即利用圖片的第三維信息,獲得距離攝像頭特定距離范圍的物體，而過濾掉這個范圍之外的物體.

圖2 貝葉斯膚色檢測將花盆顏色視為膚色Figure 2.Bayesian treats the color of the flower port as skin color

本系統對雙目攝像頭得到的左右兩幅圖片,采用視差法計算深度.由于系統采用的雙目攝像頭能夠保證平行放置,所以省去了攝像頭標定和圖像校準的耗時過程,僅僅計算目標點在左右兩幅圖像中的視差即可.考慮到物體的輪廓能夠標志一個物體本身,在對圖片測距時,需要利用Canny算子得到二值邊緣圖片,然后僅僅針對膚色區域的邊緣點進行視差測距以降低計算耗時.

為了得到左右圖片中對應點的視差,系統首先對膚色區域提取HOG特征[21].HOG用于表述圖片中物體的梯度的局部特征,在視覺領域被廣泛的應用[21,22].圖3展示了一幅手部圖片和對應的HOG特征效果圖.在左右圖片中,手指基本保持相同的梯度,且往往與背景梯度存在巨大差異,這可以保證基于 HOG的匹配能夠比較準確.在得到HOG向量之后,對邊緣點簡單的連接其本身和周圍點的HOG向量作為其用于匹配的特征向量.設左圖中特定的邊緣點為,其特征向量為.對應點就是在右圖中相同縱坐標的邊緣點中,搜索選定視差范圍內與最為接近的,即

圖3 HOG特征[21]效果圖Figure 3.An illustration of HOG descriptor

圖4展示了(2)對應的匹配結果,左右攝像頭捕獲的圖片分別為下半圖和上半圖.上半圖中黃色方框表示符合預定義的深度范圍,上下兩圖之間的綠色線條表示匹配得到的對應關系.

圖4 采用(2)式對應的部分匹配結果.Figure 4.An illustration of some matching results using equation(2).

3 系統運行結果

實驗使用一個擁有雙目攝像頭的增強現實眼鏡,如圖1所示,實現了一個實時人手識別系統.它不需要人為的初始化圖片中的手部區域,而是直接讀入訓練好的貝葉斯模型對圖片進行預測,其大致核心流程如圖5所示.

圖5 系統大致流程.Figure 5.Main procedure of the system.

深度過濾利用HOG特征[21]在左右攝像頭的圖片之間進行匹配,根據視差判斷是否在預定義的范圍以內.圖6所示為深度過濾結果,其中(a)表示隨著手部遠離攝像頭,測得的視差越來越小,在預定義范圍內的匹配越來越少,直到整個手部都離開預定義深度范圍.(b)所示為兩只手同時在圖片中,左手在深度范圍內,得到匹配,而右手不在深度范圍內,沒有得到匹配.

圖6 深度過濾效果.Figure 5.An illustration of depth filtering.

其中貝葉斯分類器[10]采用膚色作為識別依據,對圖片中的膚色較為敏感,當背景中除手之外還有膚色物體時,檢測效果受到很大干擾.但經過深度過濾,其檢測效果獲得很大提升.如圖7所示,(a)中的與膚色相近的門被深度信息濾掉,僅僅剩下了(b)中的手指部分.圖8是另外兩個將膚色物體過濾的例子.

圖7 深度信息過濾掉預定義深度范圍之外的膚色物體.Figure 7.With depth filtering, objects of skin color outside the predefined depth are eliminated.

在2.4GHz雙核CPU上測試,系統從攝像頭讀入圖片到完成識別任務,所需平均時間為0.0648秒,能夠滿足實時性的要求.

圖8 深度信息過濾掉近膚色的花盆.Figure 8.The depth information filters out the flower pot of skin color.

4 結束語

在利用圖像的二維信息的同時,利用其第三維——深度信息可以過濾掉不合適的深度范圍的物體.將這一深度過濾過程應用在貝葉斯膚色模型基礎上構建了人手識別系統.該系統首先讀入訓練好的貝葉斯膚色模型,對雙目攝像頭捕獲的兩張圖片進行膚色區域分類,然后對這兩張圖片進行HOG特征匹配以獲得滿足預定義視差范圍的區域,從而完成過濾，減輕了貝葉斯膚色模型的誤識別現象.

將來,還可以考慮在線學習的方法,因為在線學習可以更好的適應當前環境,應該會很大的幫助識別.在應用方面,可以實現如圖9所示的應用,即系統能夠按照手指選擇的命令執行相應的操作,達到增強現實的效果.

圖9 增強現實應用的例子.Figure 9.An example of augmented reality application.

[1]Erdem Y., Ender K., Bülent S., Jér?me D., Shape-Based Hand Recognition, IEEE Transactions on Image Processing, 2006.

[2]Anil K.J.and Nicolae D., Deformable Matching of Hand Shapes for Verification, In:Conference on Image Processing, Oct.1999:857-861.

[3]Ekaterini S., Nikos P., Hand Gesture Recognition using A Neural Network Shape Fitting Technique,Engineering Applications of Artificial Intelligence, 2009:1141-1158.

[4]Antonis A.A., Manolis I.A.L., Binocular Hand Tracking and Reconstruction Based on 2D Shape Matching, In:International Conference on Pattern Recognition, 2006:207-210.

[5]Zhiquan F., Bo Y., Yuehui C., Yanwei Z., Yi L., Zhonghua W., Research on Sampling Methods in Particle Filtering Based upon Microstructure of State Variable.Lecture Notes in Computer Science, 2008,(5226):251-257.

[6]Cenker O., Aytul E., Burak B., Combining Implicit Polynomials and Geometric Features for Hand Recognition,Pattern Recognition Letters, 2003,13(24):2145-2152.

[7]Robert T.C., Yanxi L., Marius L., Online Selection of Discriminative Tracking Features, IEEE Transactions on Pattern Analysis, 2005:1631-1643.

[8]Sushmita M., Tinku A., Gesture Recognition:A Survey, IEEE Transactions on Systems, Man and Cybernetics,2007,3(37):311-324.

[9]Vladmir V., Vassili S., Alla A., A Survey on Pixel-Based Skin Color Detection Techniques, In:International Conference on the Computer Graphics and Vision, 2003.

[10]Antonis A.., Manolis I.A.L., Real-Time Tracking of Multiple Skin-Colored Objects with A Possibly Moving Camera, In:European Conference on Computer Vision, Prague, Czech Republic, 2004.

[11]Kurata_T., Takashi O., Masakatsu K., Katsuhiko S., The Hand Mouse:GMM Hand-color Classification and Mean Shift Tracking.In Second International Workshop on Recognition, Analysis and Tracking of Faces and Gestures in Real-time Systems, July 2001.

[12]Ming Hsuan Y., David J.K., Narendra A., Detecting Faces in Images:A Survey, IEEE Transactions Pattern Analysis, 2002, 1(24):34-58.

[13]David M.S., Richard A.F., Toward Robust Skin Identification in Video Images, In:International Conference on Automatic Face and Gesture Recognition, 1996.

[14]Stephen J.Mc., Yogesh R., Shaogang G., Tracking Color Objects using Adaptive Mixture Models, Image Vision Computing, 1999,(3)17:225-231.

[15]Rick K., John R.K., Finding Skin in Color Images, In:2nd International Conference on Automatic Face and Gesture Recognition, Killington, Vermont, USA, 1996.

[16]Jian F.C., Arthur A.G., Detecting Human Faces in Color Images, Image Vision Computing, 1999,1(18):63-75.

[17]Michael I., Andrew B., ICONDENSATION:Unifying Low-level and High-level Tracking in A Stochastic Framework, In:European Conference on Computer Vision, Freiburg, Germany, 1998.

[18]Esther K.-M., Frank A., Tracking Multiple Objects using the Condensation Algorithm, Robotics and Autonomous Systems, 2001, 2(34):93-105.

[19]Navneet D., Bill T., Histograms of Oriented Gradients for Human Detection, In:IEEE Conference on Computer Vision and Pattern Recognition, 2005.

[20]Thomas S., Lior W., Stanley M.B., Maximilian R., Tomaso P., Robust Object Recognition with Cortex-like Mechanisms, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 3(29):411-426.

[21]Qiang Z., Shai A., Mei-chen Y., Kwang-Ting C., Fast human Detection using A Cascade of Histograms of Oriented Gradients, In:IEEE Conference on Computer Vision and Pattern Recognition, 2006.

[22]Anna B., Andrew Z., Xavier M., Scene classification via pLSA, In:European Conference on Computer Vision,2006.