改進型高精度實時視頻多指尖檢測方法的研究

黃阿云，郭太良，林志賢，姚劍敏

（1.福州大學 物理與信息工程學院，福建 福州350002；2.TCL 集團工業研究院 新型顯示技術與系統項目組，廣東 深圳518052）

1 引 言

鍵盤與鼠標長久以來作為人與計算機之間的交互技術，使用起來方便簡單，但同時人們仍在不斷地尋求突破人機交互設備的局限性。隨著計算機視覺技術的發展和攝像頭在電子產品中的廣泛應用，很多基于視覺技術的人機交互從理論變成了現實，自然、直觀的人機交互技術研究成為國內外科研工作的熱點，比如基于人臉識別以及人手移動的游戲等［1－10］。其中基于視頻的手勢識別與跟蹤成了基于視頻人機交互系統的重要組成部分，通過手指運動及跟蹤和人手形態檢測來實現非接觸式的人機交互，既方便有效，又簡單易操作［11－12］。

現有的人機交互的指尖識別與跟蹤技術主要有佩戴特殊的數據手套和計算機視覺識別等方法。通過佩戴數據手套可以降低指尖檢測的難度，而且為了達到實時性的要求，還可以在手指上貼上特殊標記或者顏色，這種方法雖然降低了識別難度，但是給用戶增加了額外的負擔，使用不便［13］。也有采用紅外攝像頭或多目視覺的方式提高手指檢測的精度，但是設備成本較高，且增加了三維重構所帶來的計算復雜問題。目前有很多識別手勢和指尖檢測的方法都局限于單指檢測，應用局限性比較高，且對于彎曲手指存在誤檢問題。

針對以上問題，本文提出了一種基于改進曲率法的指尖檢測方法，該方法通過膚色識別法跟蹤識別手勢圖像，然后通過各種預處理方法分割出手勢圖像，得到指尖位置的候選區域，然后通過改進的曲率計算法得到指尖大概位置，再通過橢圓擬合法聚類指尖位置，同時根據本文提出的一種重心測距法排除誤檢測的類指尖點。此指尖檢測方法能夠精確地檢測出多指尖，同時實時性好，魯棒性強，處理速度可達到30frame／s。

2 視頻圖像輸入與預處理

2.1 基于膚色模板的跟蹤

手勢分割是整個識別分析的關鍵和前提，它的好壞直接影響系統的識別率［6－8］。對于彩色圖像，皮膚的色彩是一個有效的特征。相對于其他的幾何特征來講，皮膚的色彩具有不受形狀、大小、姿態等因素的變化所影響，而且對于手勢的旋轉、手勢的變化以及手勢被遮擋等情況都能適用，具有相對的穩定性。大量的試驗證明，不同膚色的人手的區別主要在于灰度，而不是色調，即不同膚色的人手對應的色調是比較一致的［14］。一般說來，色調和飽和度相對亮度來說，是相互獨立的。在不同的光照條件下，雖然物體顏色的亮度會產生很大的差異，但是它的色度在大的顏色分布范圍內具有恒常性。HSV 顏色空間采用了近似人眼視覺的認知表示，用色調、飽和度和亮度3個相關性比較弱的維度來表示顏色。因此，我們可以將圖像由RGB色彩空間轉換到HSV 顏色空間后進行分割［15］。主要轉換公式如式（1）所示。

色彩空間轉換后經過直方圖計算等操作等到直方圖反向投影圖，根據所等到的膚色模板進行camshift跟蹤［9］，此過程中增加了亮度和對比度的變換，通過將相鄰像素灰度值之差放大增強對比度提高圖像的細節鑒別能力，使得跟蹤效果更加準確。

2.2 輸入的每幀圖像的預處理

將得到的跟蹤圖像進行各項預處理，首先對圖像進行平滑處理，去除多余的噪聲干擾，進行二值化處理通常有Ostu自閾值法［16－17］和普通閾值法等，由于Ostu自閾值法可根據圖像的灰度特性，自動選擇閾值來分割圖像，閾值效果較好，但由于其增加了迭代過程，使得程序效率大大降低。為提高系統運行效率，本文采用普通閾值法，快速有效，且滿足系統要求。對圖像進行開閉運算，消除小噪聲和小空洞。本文使用漫水填充法進行連通域判斷，去除小面積無效連通域，與傳統逐行逐列數組標記法相比，明顯提高了程序的運行效率。經預處理后得到的圖像效果如圖1所示。

圖1 圖像預處理Fig.1 Image preprocessing results

3 手勢圖像凹凸點提取

3.1 用曲率法手勢凹凸點

通過圖像開閉運算、保留手部連通域之后，開始尋找指尖點。目前有些文獻使用多邊形擬合法來突出手勢特征，雖然可以大致擬合出手的多邊形特性，但通過擬合識別出的指尖點誤差大。還有些直接采用凸包缺陷的方法估算指尖點的位置，但由于二值化之后的手勢圖像邊緣并不非常完整，造成較大的誤判現象。本文通過曲率法［13］，對邊緣點進行曲率計算，將較大曲率點標記出來，將其定為可能的指尖點位置，再通過各種方法篩選出指尖點，提高了檢測精度。

提取手勢輪廓點序列有很多方法，如cvFind－Contours函數和傳統邊緣檢測法等。cvFind－Contours雖然使用起來簡單方便，但其檢測的邊緣點序列有很多冗余信息，邊緣粗糙，造成后期計算量增大。本文通過將待提取邊緣的圖像進行3×3元素腐蝕一次，然后將未腐蝕圖減去腐蝕后的圖像保留一個完整的四連通的手勢邊緣，再通過逐個遍歷法將邊緣點保存下來，此法減少了邊緣冗余信息，提取的邊緣較光滑。B（x）代表結構元素，對于工作空間E 中的每一點x，腐蝕公式如（2）所示。

有些文獻中將圖像邊緣序列點進行了插值，減少后期計算量，但此方法降低了指尖檢測的精度，造成指尖點的偏離。本文保留了所有邊緣序列點，設置一個根據手離攝像頭的距離遠近可自動調整數值的整形數k，對輪廓上某點Pi求曲率，則對取序列點中與Pi等距的兩點Pi－k和Pi＋k。計算向量Pi－kPi與向量PiPi＋k夾角的余弦值為Pi點的近似曲率，向量夾角余弦值公式如公式（3）所示。

將邊緣序列中的每一點的曲率計算出來后，根據手離攝像頭的距離遠近設定一個可自動調節的閾值T，手離攝像頭的距離可根據手勢連通域面積占圖像總面積的比例來確定，將曲率大于此閾值的邊緣序列點標記并保存下來。經過曲率法檢測到的手勢凹凸點如圖2所示。從圖中可以看出，曲率法檢測到的手勢凹凸點效果很好，但此檢測方法在檢測到凸點的同時并沒有辦法排除凹點，則無法直接標定指尖點，且半彎手指也被檢測為凸點，所以還需對這些點進行篩選。

圖2 曲率法檢測手勢凹凸點Fig.2 Detection results of gesture concave and convex points by curvature method

3.2 手指凹槽的去除

由圖2可以看出，手勢圖像中曲率較大的點除了真正的指尖點外，還有手指與手指間的凹槽，想要得到正確的指尖點，必須將這些凹槽點去除。有文獻中去除凹槽點采用的方法是通過判斷計算曲率的兩向量之間的向量積符號正負。此方法有一定的可行性，但其局限性比較大，如圖3（a）所示。若手勢邊緣不夠平滑，有多余的凸包如p 點被檢測到，用判斷向量積符號的辦法便無法排除非指尖點凸點。由于經過處理的手勢圖像為二值圖像，手勢部分像素值為255，非手部分像素值為0，本文采用一種有效的方法，如有曲率大于T 的某點Pi，取邊緣序列中與它等距的點Pi－k和Pi＋k，判 斷Pi－kPi＋k線 段 中 點 的 像 素 值 是 否 為255，若該點像素值為255 則判斷為有效的指尖點，否則排除。如圖3（b）所示，此方法很好地去除了非指尖的其他凹凸點。

3.3 指尖點標記

圖3 去除手指凹槽效果Fig.3 Results of wiping out the finger grooves

圖4 指尖點聚類標記Fig.4 Results of sign the fingertips

通過計算手勢圖像邊緣點曲率法得到了大于曲率閾值的新的點序列后，再通過判斷像素值法排除了非指尖的凹凸點后，得到了較為準確的指尖點序列集合。如圖3（b）所示，要得到精確的指尖點，則需要對這些序列點進行進一步的提取，將每個指尖點用一個最合適的點標記出來。

本文將每個指尖點處的凸點序列獨立分割成新的點集，對這些新的點集進行聚類，取每個點集合中曲率最大的點Pmax。采用橢圓擬合的方法，計算擬合后的橢圓外接矩陣四邊中點離Pmax最近的點，確定該點為指尖點。指尖點標記如圖4所示。

4 指尖檢測精度的提高

4.1 非規則手勢的檢測

上文中給出的方法可以很好地檢測出多手指來，可以適用于一般的指尖檢測，但若需更加精細的指尖應用中，則還需要對一些特殊情況進行改善。

圖5 過濾握拳時類指尖點誤判Fig.5 Results of wiping out the error detections of fist

圖6 過濾半彎類指尖點誤判Fig.6 Results of wiping out the error detections of bending fingers

比如握拳時，由于膚色識別邊緣不夠平滑或者是手指緊握度不夠，造成一些小凸點被誤判為指尖的情況，如圖5（a）所示。這時就需要找到新的方法過濾掉這些誤判點的干擾。本文提出手掌重心法和手掌外接圓法排除這些誤判點。為了達到系統的高效性，本文將有效像素最集中部分當做手掌部分，通過多次腐蝕，可去除手指等細像素區域，對腐蝕過后的像素區域提取重心O，O 點即定位掌心，同時對該區域作外接圓，得到外接圓的半徑R。當檢測到類指尖點時，計算初步判斷的類指尖點與掌心O 點的距離d，若距離d 與外接圓半徑R 的比小于某閾值t1，則判定該類指尖點為誤判點，若大于該閾值，則認為該指尖點為非誤判點。經過濾后的檢測效果如圖5（b）所示。

當有手指伸出時，半彎手指的誤檢測也會大大的降低指尖檢測的精度，如圖6（a）所示。本文提出一種掌心測距法來有效地排除非指尖點。由前面所述方法找到掌心O，計算出所有檢測到的類指尖點與掌心O 點的距離df，將其中距離最大的點認定為正確判斷的指尖點，則該最大距離為df＿max，若其他點離掌心O 點的距離與df＿max的比值小于某個閾值t2，則該點定為誤判點，經過誤判點排除后的效果如圖6（b）所示。

4.2 檢測速率對比與精度對比

本文用C＋＋和OpenCV 在VS2010編譯環境下進行算法設計，視頻圖像分辨率為320×240。在曲率計算過程中，當手離攝像頭距離大概15cm 處時，取所需的k值為50，即每個點序列取離間隔它50的兩個點進行曲率計算，計算得到的向量夾角的余弦值閾值為－0.5。當提高指尖精度時使用的掌心法判斷是否為握拳時的距離d與半徑R 的比值的閾值t1為1.5。判斷有手指伸出時，半彎手指無檢測排除時的其他點到掌心O的距離與df＿max的比值的閾值為0.55。

為了驗證算法的有效性和本文指尖檢測算法的準確性及系統效率，進行了一般曲率法指尖檢測算法及本文改進的指尖檢測方法進行了對比，具體的實驗圖如圖7所示。

從圖7中可以看出，一般曲率法檢測的指尖會相對飄離真正的指尖點，并且各種誤判問題比較多，而本文改進后的檢測方法檢測到的指尖準確度很高，而且對于各種情況下的誤判可以有效地排除。兩種指尖檢測方法的性能參數對比如表1所示。從表中可以看出，本文改進的方法不僅在準確度上有所提升，而且在系統效率方面有很好的改善。

表1 實驗準確率及性能對比Tab.1 Comparison of experiment accuracy and performance in defferent method

圖7 指尖檢測對比圖Fig.7 Comparison of fingertip detection in defferent methods

5 結 論

本文根據手勢圖像的膚色特征進行有效跟蹤的同時，根據手勢圖像輪廓特點，進行了曲率計算方法進行判斷，在輪廓提取前需對圖像進行開閉預算，平滑處理，連通域判斷等，這些操作為后期的檢測提供了較為平滑的手勢邊緣，再通過四連通域邊緣的遍歷，得到有效的手勢輪廓邊緣。在計算曲率時根據手與攝像頭距離調整各閾值等參數，使得系統適用的空間范圍擴大，同時采取了像素值判斷法來排除手指凹槽的干擾。在提高指尖檢測精度方面，提出了掌心測距法和外接圓半徑比較法，有效地排除了握拳時和手指半彎情況下的誤檢測指尖點。同時在系統效率方面有了很大的提升，可達到30frame／s的速度，滿足了視頻實時性處理的需要。

該算法易受光照及類膚色的干擾，這是由于膚色特征在光照下變換及前景提取難度高，針對一個問題，可考慮用紅外攝像頭獲取紅外前景信息，或者用多攝像頭獲取深度信息，排除背景干擾。

［1］ De Dios J J，Gareia N.Face detcection based on a new color space YCgCr［C］.Proceedings of International Conference on Image Processing，2003：909－912.

［2］ 蔡祖洪.復雜背景及復雜運動背景下的指尖檢測方法［J］.杭州電子科技大學學報.2012，32（1）：60－63.Cai Z H.Fingertip detection approach from cluttered background and moving foreground［J］.Journal of Hangzhou Dianzi University，2012，32（1）：60－63.（in Chinese）

［3］ 于蘊杰，管業鵬，熊會軍.指勢識別的實時指尖提取［J］.計算機工程與應用，2011，47（6）：219－222.Yu Y J，Guan Y P，Xiong H J.Real－time extraction of fingertip for pointing gesture recognition［J］.Computer Engineering and Applications，2011，47（6）：219－222.（in Chinese）

［4］ Cristina M，Javier V，Ramon M，et al.Real－time hand tracking and gesture recognition for human computer interaction［C］.Electronic Letters on Computer Vision and Image Analysis，Spain：cvc press，2000：1－7.

［5］ Le D，Mizukawa M.Fast fingertips positioning based on distance－based feature pixels［C］.Third International Conference of Communication and Electronics，UK：IEEE，2010：184－189.

［6］ Wen X T，Niu Y Y.A method for hand gesture recognition based on morphology and fingertip－angle［C］.The 2nd International Conference of Computer and Automation Engineering（ICCAE），UK：IEEE，2010：688－691.

［7］ 苑瑋琦，朱春艷，柯麗.基于手指相對長度的手形識別方法［J］.光電子·激光，2009（5）：685－689.Yuan W Q，Zhu C Y，Ke L.Hand shape identification method based on finger relative length［J］.Journal of Optoelectronics·Laser，2009（5）：685－689.（in Chinese）

［8］ Kenii O，Yoichi S.Hideki K.Real－time tracking of multiple fingertips and gesture recognition for augmented desk interface systems［J］.IEEE Computer Graphics and Applications，2002，22（6）：64－71.

［9］ 何東健.數字圖像處理［M］.2版.西安：西安電子科技大學出版社，2008：186－188.He D J.Digital Image Processing［M］.2nd ed.Xi’an：Xi’an University of Electronic Science and Technology Press，2008：186－188.（in Chinese）

［10］ Zhang X，Li D L，Yang W Z，et al.An improved morphological edge detection method for color images of cotton foreign fibers［J］.Sensor Letters，2011，9（3）：1020－1023.

［11］ Wang Y，Yuan J H，Chang S J，et al.Gesture labelingbased on gaze direction recognition for human－machine interaction［J］.Optical Engineering，2002，41（8）：1840－1844.

［12］ 磨少清，劉正光，張軍，等.基于圖像自身的圖像邊緣檢測閾值自動設定方法［J］.光電子· 激光，2011，22（8）：1246－1250.MO S Q，Liu Z G，Zhang J，et al.An unsupervised threshold selection method for edge detection based on image self－information［J］.Journal of Optoelectronics·Laser，2011，22（8）：1246－1250.（in Chinese）

［13］ 李博男，林凡.基于曲率的指尖檢測方法［J］.南京航空航天大學學報，2012，44（4）：587－591.Li B N，Lin F.Fingertip detection method based on curvature［J］.Journal of Nanjing University of Aeronautics＆Astronautics，2012，44（4）：587－591.（in Chinese）

［14］ Oka K，Sato Y，Koike H.Real－time tracking of multiple fingertips and gesture recognition for augumented desk interface system［C］.Proceeding of the 5th IEEE Intl Conf on Automatic Face and Gesture Recognition，UK：IEEE，2002：411－416.

［15］ 楊端端，金連文，尹俊勛.手指書寫漢字識別系統中的指尖檢測方法［J］.華南理工大學學報，2007，35（1）：58－63.Yang D D，Jin L W，Yin J X.Fingertip detection approach for finger writing Chinese character recognition system［J］.Journal of South China University of Technology，2007，35（1）：58－63.（in Chinese）

［16］ Weissmann J，Salomon R.Gesture recognition for virtual reality applications using data gloves and neural networks［J］.International Joint Conference on Neural Networks（IJCNN’99），1999，（3）：2043－2046.

［17］ Hyung－O K，Kim S，Sung－Kee.Pointing gesture－based unknown object extraction for learning objects with robot［C］.Proceedings of International Conference on Control Automation and Systems，UK：IEEE，2008：2156－2161.