一種快速自適應的指尖檢測方法的實現

摘 要：為了滿足基于視覺的人機互動系統中手指的識別與理解的需要，提出了一種快速、自適應的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進行二值化，利用手指輪廓的平行特性，分離出感興趣的手指部分。在此基礎上，通過手指輪廓邊緣曲率特征結合指尖的邊界特征，實現指尖的快速精確檢測。實驗結果表明，該方法能有效的檢測出指尖，并為進一步在人機互動系統中的應用打下基礎。

關鍵詞：單目視覺；聚類；指尖檢測

DOI：10.16640/j.cnki.37-1222/t.2018.11.110

1 引言

手部識別作為視覺識別的熱點己經應用于很多領域，例如：人機互動、機器人控制、手語識別、虛擬現實、投影互動等領域，有著廣泛的應用前景。指尖檢測算法作為整個手部識別最重要的部分決定了手部識別的優劣，這是因為指尖位置包含了絕大部分手的信息。

基于單目的指尖檢測算法需要利用手部圖像的一些二維信息，形成手部特征。常見的手部特征有膚色特征、輪廓特征，識別出手部區域后進一步完成對指尖位置的檢測和提取。Oka and Sato [1]開發出了EnhancedDesk人機交互系統，他們把手指看作是一個矩形和半圓形的組合，然后利用模板匹配來定位指尖。Argyros and Lourakis[2]首先利用貝葉斯分類器和自適應的顏色概率分布來檢測和跟蹤人手，對輪廓數據進行曲率計算并確定指尖位置。基于輪廓分析法和基于模板匹配法都需要依賴良好的手部圖像，獲得較好的指尖輪廓特征。

本文提出一種快速、自適應的基于曲率的指尖檢測方法。該方法首先將輸入圖像基于膚色空間進行二值化；然后采用邊緣檢測算法提取膚色區域的輪廓；再根據手指輪廓的曲率定位類指尖的點，再根據手指特殊的邊界標志來排除非指尖點。

2 手部膚色區域提取

在機器視覺中，圖像色彩空間主要有RGB、HSV、YCbCr等。其中YCbCr顏色空間受亮度變化的影響較小，較適合作為膚色分布統計的映射空間[7]，并且Cb，Cr分布獨立，能較好地聚類膚色區域，對姿態的變化不敏感，具備旋轉不變、不受表情等變化的影響，具有較強的魯棒性。但在實用中，通過用膚色色彩范圍來提取膚色區域卻很困難，因為在圖片中膚色會隨設備和環境光照強度的不同而變化，如果樣本過大會使膚色聚類效果不好。

研究表明：在YCbCr空間，除去亮度分量后的Cb，Cr分量的聯合分布服從二維高斯分布[4]。

其中是顏色在Cb，Cr空間的向量，u1，u2和，分別是訓練樣本集中所有樣本的均值向量和協方差矩陣：

可以利用對膚色進行分類，通過訓練樣本集，估計膚色閾值。

實際情況中，由于受光照的影響，膚色數據的多樣性，用一個高斯模型往往自適應性較差，不能很好地表達數據分布。可通過多個高斯模型一起來表達數據分布 [5]，但往往計算量過大。

本算法通過高斯模型估計膚色閾值，再通過8聯通區域生長法填充邊界點，平滑手部邊緣。在光照較好，且背景中類似膚色區域與手部區域有明顯間隔的情況下有較好的效果。

本文還采用了中值濾波和保留最大聯通區域等預處理方法濾除干擾。但是由于閾值條件限制的緣故，提取出的膚色邊緣部分非常粗糙，這是由于膚色區域提取算法閾值范圍造成的。粗糙的邊緣對于邊緣曲率計算會帶來較大的干擾，本文采用腐蝕膨脹算法平滑圖像的邊緣。

3 指尖檢測

3.1 自適應K值的K-COS指尖檢測

手部輪廓的曲率特征對圖像的縮放和旋轉都具有很好的穩定性，選擇其作為特征量算法簡單可靠。求邊緣輪廓的曲率，為了算法簡單，可用向量夾角的余弦值表示，即K-COS算法[6]。取輪廓與點的前面第K個點，和后面第K個點，則使用向量與向量夾角的余弦值作為點的曲率。計算時采用向量夾角公式，即：

由于陰影的影響，手部輪廓提取后并不是一條光滑的曲線，在邊緣上很可能出現凹凸不平的情況。這時選擇合適的k值尤為重要，k值過小或過大都會因余弦值太小而被漏檢或帶來過多干擾點。為了適應不同大小的目標手區域自適應的找出最優的k值是基于曲率的指尖檢測算法關鍵因素。具體實現過程，根據手部區域的最小外接矩形的長寬比反應手指的數量，設置一個合適的K的區間。的曲率選擇在這個區內所得余弦值的最大值。

求手部區域邊緣輪廓上每隔2-3個像素點的曲率，過濾一部分邊緣干擾。再通過設定閾值T，將大于T的點篩選出來。

從圖2中可以看出，曲率算法將所有指尖均檢測到。但是同時可以發現，該算法出現了一些誤判點。一部分因手部輪廓存在的凹凸不平的情況產生干擾，一部分主要是那些位于兩個手指之間的凹槽的輪廓點。

3.2 非指尖點的排除

從圖2中可看出滿足曲率閾值的輪廓點，不僅出現在指尖部分，還會出現在兩指之間的凹槽。要去除非指尖點，可根據手部的指尖位置有著明顯的邊界特征。圖3為一邊界的1-D表達，沿著邊界輪廓（始終沿著同一個方向）計算各個像素與掌心的距離r。所得到的曲線，對平移不變，旋轉不變，尺度也將同趨勢變化。故而可通過邊界標志排除非指尖點。在每個類指尖點有明顯的聚類效果。按K均值聚類找出n個聚類中心，即每個指尖位置。

4 結論

本文的核心是基于曲率的類指尖點檢測。此算法對手部區域輪廓特征特別敏感，所以在實現曲率特征提取前，對手部區域的預處理對檢測結果有著非常重要的影響。預處理主要包括平滑處理，膚色提取，輪廓提取。本文對指尖位置的檢測基于多種篩選方法，實現快速、魯棒的檢測方法，但仍無法完全避免干擾。為了提高自適應性，各個步驟的閾值均采用區間選擇最優的方法實現。此外，實驗還沒考慮到手臂的干擾（需要增加手勢的方向解決）。對于背景中類似膚色的干擾也不能完全濾除，適用于背景較單一的情況。

參考文獻：

[1]Oka K，Sato Y，Koike H，Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems， Proceedings of International Conference on Automatic Face and Gesture Recognition，2002：429-434.

[2]Argyros A A，Lourakis M I A，Vision-based interpretation of hand gestures for remote control of a computer mouse， International Conference on Human-Computer Interaction，LNCS 3979，2006，40-51.

[3]高雅萍.基于單目攝像頭的手勢識別方法研究[D].廈門大學，2014.

[4]Yang J，Lu W，Waibel A，Skin-color modeling and adaptation，Proceedings of Asian Conference on Computer Vision，1998（02）：687-694.

[5]Yang M H， Ahuja N， Gaussian mixture model for human skin color and its application in image and video databases， Proceedings of SPIE： Conference on Storage and Retrieval for Image and Video Databases，1999，4_58-466.

[6]D.Lee， analy sis，“S. Lee：“Vision-based ETRI Journa1，2011 ，volfinger action recognition by angle detection and contour 33，415-422.

[7]Yang J，Waibel A，A real-time face tracker，Proceedings of the third IEEE Workshop on Applications of Computer Vision，1996：142-147.

[8]張國家，左敦穩.基于圓形梯度的手勢分割算法的設計與實現[J].機械設計與制造工程，2013（09）：1-6.

作者簡介：楊雪婷（1982-），女，福建泉州人，碩士研究生，講師，工程技術學院電氣與電子信息系系主任，主要研究方向：信號與信息處理。