基于膚色采樣點篩選的視頻手勢分割算法*

張若愚，潘 晴，周 舟，戴知圣

（廣東工業大學信息工程學院，廣東廣州 510006）

基于膚色采樣點篩選的視頻手勢分割算法*

張若愚1，潘 晴2，周 舟3，戴知圣4

（廣東工業大學信息工程學院，廣東廣州 510006）

為了實現視頻手勢的實時分割與定位，提出一種基于膚色采樣點篩選的視頻手勢分割算法對視頻中的運動手勢進行實時分割與定位。首先，對視頻的每一幀通過圖像預處理獲取膚色采樣點；其次，融合運動信息對膚色采樣點進行初步篩選；然后，通過區域生長法再次篩選膚色采樣點提取特征點；最后，通過特征點實現視頻手勢的分割與定位。實驗結果表明，該方法具有良好的手勢分割效果和較高的定位準確度。

視頻手勢；手勢分割；手勢定位；膚色分割；膚色采樣點；特征點提取

0 引言

手勢是人與人之間交流的一種重要方式，它是指手和手臂的一系列動作的集合[1]。目前，手勢識別技術已經成為了計算機視覺領域的一個重要課題。其中，基于視覺的手勢識別越來越受到研發人員的關注。

一般而言，基于視覺的手勢識別算法主要包括手勢分割、手勢定位、手勢分析和手勢識別四部分。其中，手勢分割與手勢定位是整個算法的關鍵；良好的分割和準確的定位是識別的前提和保證。為了更好的分割視頻手勢，有效使用各種信息包括膚色、運動以及幾何信息是這項研究的關鍵[2]。在文獻[3]中，采用在HSI和YCbCr顏色空間建立膚色模型，然后利用多種形態學及密度圖等方式提取分割結果，該方法雖然對于靜態手勢識別性能較高，但無法應對類膚色區域的干擾而且實時性不夠。在文獻[4]中，采用HSL顏色空間下的手勢閾值分割，利用中值濾波和數學形態學操作濾除噪音，然后運用曲線擬合法提取手勢輪廓，由于算法復雜，且面對復雜背景其分割性能急劇下降，因而其實用性不強。在文獻[5]中，采用RGB和YCbCr空間進行閾值分割，然后利用多種形態學操作進行處理再結合單高斯背景模型對手勢進行分割，雖然文中考慮復雜背景的影響，但應對大面積的類膚色干擾效果仍然不好而且實時性還有待提高；在文獻[6]中，為了標定膚色動態手勢區域，文中利用相鄰幀間差分法與膚色模型相結合對動態手勢區域進行標定，然而，當視頻中相鄰兩幀運動量較小時，該方法并不能有效的對動態手勢區域進行標定，而且其膚色模型利用的是單高斯模型，膚色效果比不上混合高斯模型。

為了應對大量類膚色區域、膚色區域干擾，本文提出了一種簡單、魯棒、有效的算法，相對于現有算法，本文提出的算法主要有兩個優點：1)魯棒性強，能應對大量類膚色區域的干擾；2)算法簡單，容易實現，在保證準確率的情況下對視頻手勢實時分割與定位。實驗結果表明，該方法具有良好的手勢分割效果和較高的定位準確度。

1 算法原理

本節將詳細描述本文所提出的算法細節，該算法主要由三個部分構成：（1）圖像預處理；（2）特征點提取；（3）運動手勢分割與定位。

具體算法流程：1）獲取間隔N的兩幀圖像——第K幀和第K+N幀，N＞1；2）對第K幀與第K+N幀圖像進行分別采樣；3）利用膚色模型和手勢兩幀相對運動信息進行采樣點篩選，提取特征點；4）通過特征點實現視頻手勢分割與定位。

1.1 圖像預處理

1.1.1 定點采樣

膚色是手勢的重要信息，因此常用膚色信息進行手勢分割；但是研究表明最能影響膚色信息的是光照因素，雖然不同人的膚色相差很大，但去除亮度的色度空間中膚色具有良好的聚類性[7]。因此，本文在HSI顏色空間中的HS空間建立混合高斯模型進行膚色分割；為了降低混合高斯模型復雜度，首先對第K幀與第K+N幀圖像進行定點采樣，然后對定點采樣后的兩幀圖像進行膚色分割。

定點采樣算法依賴于最近興起的CS理論[8]，其基本思想是利用降采樣后的圖像對圖像進行緊湊表示是可行的。本文通過定點采樣算法獲取采樣點，然后對采樣點進行膚色分割。

1.1.2 顏色空間與膚色模型

在HSI顏色空間中，H表示色度信息，S是色飽和度信息，I表示強度信息[9]。從RGB顏色空間到HSI顏色空間的常用轉換公式[9]如下：

膚色模型按像素級進行分類可分為閾值化模型、參數模型和非參數模型[10]。本文采取的是高斯混合參數模型，其參數模型表示為[11]：

其中：K為高斯密度函數的個數；權值wi是每個高斯密度函數對混合高斯模型的貢獻大小；ui為均值向量；Ci為協方差矩陣；x為膚色像素在HSI顏色空間中H分量和S分量的值。

1.2 篩選采樣點，提取運動手勢特征點

特征點是由采樣點經過膚色模型和運動信息篩選獲得；其中通過膚色模型可以獲取間隔N的兩幀圖像在膚色區域中的采樣點；而利用手勢的相對運動信息可以濾除間隔N的兩幀圖像中非運動手勢區域的膚色采樣點，然后通過區域生長法消除噪音，提取特征點，最終通過特征點實現視頻手勢的分割與定位。

區域生長法是根據預先定義的生長準則把像素或子區域集合成較大區域的處理方法[9]；本文通過區域生長法分別對第K幀與第K+N幀消除噪音，提取特征點，最后通過特征點實現視頻手勢的分割與定位。

2 實驗對比

本文算法在MATLAB R2012b上實現并進行仿真，仿真視頻來源于數碼相機拍攝，圖像分辨率640×360，實驗硬件測試平臺為Windows XP環境下的AMD Athlon處理器，CPU2.1 GHz，內存1 GB的PC機。

為了驗證算法的魯棒性與實時性，本文利用了一些不同復雜背景下的視頻對運動手勢進行分割與標定。經過大量實驗驗證，手勢標定測試結果及效率如表1所示。本文將與文獻[2]提出的高斯背景模型和文獻[6]提出的運動膚色模型進行對比。對比實驗所采用的視頻為人臉和手臂的膚色干擾及類膚色的背景干擾。

表1 手勢標定結果及效率比較

圖1 高斯背景模型

圖2 運動膚色模型

圖3 本文算法

圖4 高斯背景模型

圖1～6是視頻中的第2、5、11、13幀手勢標定結果，從圖中可以看到高斯背景模型和運動膚色模型在膚色與類膚色背景的干擾下，無法準確分割定位手勢，而本文提出的算法即使有大量類膚色背景干擾及靜態膚色區域的干擾下，仍能夠有很好的定位手勢。

3 結論

本文算法主要是利用手勢的運動信息與膚色信息相結合，通過篩選膚色采樣點，提取特征點實現視頻手勢的實時分割與定位；通過大量實驗表明，本文提出的算法簡單、可靠、魯棒性強、易于實現，即使在大量類膚色區域與靜態膚色區域干擾的情況下，仍能夠準確實時地對視頻手勢進行分割與定位。為了實現最終的視頻手勢識別，希望在今后的工作中，能改善并優化分割算法，提高處理速度。

圖5 運動膚色模型

圖6 本文算法

［1］Rautaray S S，Agrawal A.Design of gesture recognition system for dynamic user interface［A］.Technology En?hanced Education（ICTEE），2012 IEEE International Conference on.IEEE［C］，2012：1-6.

［2］Hong B，Xinggui Z.Study on Hand Gesture Segmentation［A］.Multimedia Technology（ICMT），2010 Interna?tional Conference on.IEEE［C］，2010：1-4.

［3］Ghosh D K，Ari S.Color Hand Gesture Segmentation for Images with Complex Background［A］.International Conference on Circuits，Power and Computing Technolo?gies［C］，2013：1127-1131.

［4］Xu Y，Gu J，Tao Z，et al.Bare Hand Gesture Recogni?tion with a Single Color Camera［A］.Image and Signal Processing，2009.CISP'09.2nd International Congress on.IEEE［C］，2009：1-4.

［5］王先軍，白國振，楊勇明.復雜背景下BP神經網絡的手勢識別方法［J］.計算機應用與軟件，2013，30（3）：247-249.

［6］于華平，艾矯燕.基于膚色動態手勢區域的標定［J］.計算技術與自動化，2010，29（002）：86-88.

［7］Yang J，Waibel A.A real-time face tracker［A］. Applications of Computer Vision，1996.WACV'96.，Proceedings 3rd IEEE Workshop on.IEEE［C］，1996：142-147.

［8］Candès E J.Compressive sampling［A］.Proceedings oh the International Congress of Mathematicians：Madrid［C］.2006：1433-1452.

［9］岡薩雷斯.數字圖像處理［M］.北京：電子工業出版社，2007.

［10］曹昕燕，趙繼印，李敏.基于膚色和運動檢測技術的單目視覺手勢分割［J］.湖南大學學報：自然科學版，2011，38（001）：78-83.

［11］陳鍛生，劉振凱.膚色檢測技術綜述［J］.計算機學報，2006，39（2）：194-207.

Video Gesture Segmentation Algorithm Based on Screening Skin Color Sample Points

ZHANG Ruo-Yu1，PAN Qing2，ZHOU Zhou3，DAI Zhi-sheng4
（School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，China）

In order to realize real-time segmentation of video gestures and location，in this paper a method of the segmentation and location of motion gestures in real-time video is presented based on screening skin color sample points.Firstly，in each frame of videos，obtaining color sample points by Image preprocessing.Secondly，the color sample points are screened for the first time with the movement information.Then，feature points are acquired by screening the color sample points for the second time by using region growing method. Last but not least，realizing segmentation of the video gesture and location with the feature points.It is proved that the method has good segmentation effect and higher positioning accuracy.

video gesture；gesture segmentation；gesture location；skin color segmentation；skin color sample points；feature points extraction

TP242.6+3

A

1009－9492(2014)09－0001－04

10.3969/j.issn.1009-9492.2014.09.001

張若愚，男，1988年生，湖南婁底人，碩士研究生。研究領域：圖像處理、模式識別。

(編輯：阮 毅)

*國家自然科學基金（編號：61001179）

2014－03－24