基于改進(jìn)霍夫變換算法的手勢識別①

郭闖世, 孟朝暉

(河海大學(xué) 計算機(jī)與信息學(xué)院,南京 210000)

隨著人工智能發(fā)展,現(xiàn)有的人機(jī)交互已遠(yuǎn)遠(yuǎn)不能滿足用戶的需求,迫切需要一種更自然、友好的人機(jī)交互形式. 而手勢是人們與外界溝通最常用直接的交互形式,所以手勢識別是人機(jī)交互的一個重要領(lǐng)域. 而人們也一直致力于手勢識別的研究未曾間斷,研究方向主要分為兩種,其一是以數(shù)據(jù)手套為基礎(chǔ)的手勢識別,該方法主要是通過穿戴數(shù)據(jù)手套[1]上的傳感器將手勢動作的位置方向等信息傳遞給計算機(jī)以供識別. 這種方式雖然取得相當(dāng)?shù)某晒?但由于設(shè)備昂貴,穿戴麻煩等約束在現(xiàn)實(shí)生活中難以普及,不能真正滿足人機(jī)交互簡單化的需求. 另一種則是基于視覺的手勢識別,通過攝像頭捕捉到手勢圖片或者視頻,然后經(jīng)過手勢分割,特征提取,分類識別等一系列處理最終得出識別結(jié)果. 該方法更為方便,應(yīng)用前景更好.

手勢分割就是將圖片中手勢區(qū)域分割提取出來,基于輪廓信息的分割模型[2]以及基于膚色檢測模型[3]被應(yīng)用在手勢分割中,都取得了一定的效果. 而深度攝像頭的廣泛應(yīng)用,如Microsoft Kinect[4-6]等,則為目標(biāo)分割提供了另外的思路. 其所呈現(xiàn)的是物體到攝像頭之間的距離,通過閾值分割的方式即可將完成的目標(biāo)區(qū)域分割,更簡單高效. 分割之后所提取的特征也不盡相同,如 HOG[7,8]、Zernike[9],灰度直方圖,細(xì)節(jié)紋理[10]以及輪廓[11]特征等等. 最終就是對所提取的特征進(jìn)行手勢分類得到識別結(jié)果,分類方法如SVM,決策樹,神經(jīng)網(wǎng)絡(luò)等等.

本文中采用的是基于深度圖像的手勢識別算法,算法主要流程如圖1所示.

圖1 手勢識別流程

算法將從攝像頭捕捉到的手勢深度圖像轉(zhuǎn)換為灰度圖像,據(jù)此創(chuàng)建灰度直方圖,并以此對手勢區(qū)域進(jìn)行分割提取[12]. 提取手勢區(qū)域后,對其進(jìn)行距離變換[13,14].進(jìn)而可得到手勢的中心點(diǎn),并以此為中心,對手勢圖像進(jìn)行歸一化. 隨后對歸一化后的手勢圖片進(jìn)行邊緣檢測,并根據(jù)所提取的邊緣信息使用本文提出的改進(jìn)霍夫變換算法檢測手指邊緣曲線,以此可得到完整的手指信息. 同時提取手勢的邊緣曲線并對其分段進(jìn)行特征提取,使用3D直方圖對提取到的邊緣曲線特征進(jìn)行統(tǒng)計. 最終對這兩種特征進(jìn)行融和,作為特征向量輸入MEB-SVM[15]中進(jìn)行手勢識別.

1 預(yù)處理

深度圖像技術(shù)因在識別等領(lǐng)域的卓越表現(xiàn),逐漸受到大家青睞. 深度圖像和普通的BGR等圖像相比,雖然忽略了細(xì)節(jié)紋理方面的信息,但在輪廓區(qū)域信息的表示上有著明顯優(yōu)勢,這為目標(biāo)的分割提供了極大地方便. 具體如圖2(a)所示.

圖2 深度圖像及手勢分割

1.1 手勢分割

在手勢識別中第一步就是手勢分割,由于深度圖像是所拍攝物體到鏡頭距離的呈現(xiàn),將深度圖像轉(zhuǎn)換為灰度圖像后,灰度值所表示的即是距離大小,可使用閾值方法對手勢進(jìn)行分割. 然而不同人不同時間手勢動作無法保證出現(xiàn)在固定的距離范圍內(nèi),便無法確定固定的閾值對手勢進(jìn)行分割. 故而采取通過灰度直方圖尋找最佳的閾值,對手勢進(jìn)行分割提取.

灰度直方圖是對灰度圖像每個像素點(diǎn)按灰度值分段統(tǒng)計,所得到的值即對應(yīng)灰度范圍內(nèi)圖像的面積. 在人機(jī)交互的過程中,手相較于其他多數(shù)背景物體距離鏡頭較近,而且手所占面積較小. 據(jù)此在灰度直方圖中選擇適當(dāng)?shù)幕叶乳撝?對圖像進(jìn)行分割得到掩模M,如圖2(b)所示,除手勢區(qū)域外還包含了一些干擾區(qū)域. 根據(jù)區(qū)域大小等信息將其過濾,得到掩模M',只包括手勢區(qū)域所在二值圖像. 如圖2(c)所示.

1.2 距離轉(zhuǎn)換

距離變換(Distance Transforms,DT),即將前景值為1,背景值為0的二值圖像轉(zhuǎn)換為一副灰度級距離圖像,灰度圖像每個點(diǎn)的像素值表示該點(diǎn)到最近的背景點(diǎn)的距離. 公式(1)以歐氏距離為例：

D(u,v)是距離變換后的像素值,mask表示前景像素集合. 理論上,需要計算到所有背景像素點(diǎn)的距離,這會帶來巨大的計算開銷. 而一幅圖像的全局距離近似等于局部距離的傳遞,基于這一理論在實(shí)際計算中,我們通過計算相鄰像素點(diǎn)的局部距離得到近似的距離圖像. 對M'進(jìn)行距離轉(zhuǎn)換后效果如圖3所示.

圖3 距離轉(zhuǎn)換圖像

1.3 歸一化

因人手的大小不同,以及距攝像頭遠(yuǎn)近不同,所得到的手勢區(qū)域大小會有較為明顯的差異. 又因?yàn)樵谂臄z手勢動作時具有較大的隨意性,手勢部分在圖像中位置的不同,也將會為后續(xù)的計算帶來一定麻煩. 為了解決這一問題需要對所得圖像進(jìn)行歸一化操作.

所得到的距離圖像中像素值最大的點(diǎn)即可視為手勢的中心P,如果最大值點(diǎn)個數(shù)大于1,則選取這些點(diǎn)的形心作為手勢的中心.

其中Dmax為距離圖像中最大像素值,D(u,v)是距離轉(zhuǎn)換后圖像每個點(diǎn)的像素值. 掃描圖像得到值為Dmax的點(diǎn),進(jìn)而得到手勢中心P. 并以之為圓心,3.8*Dmax為半徑畫圓(3.8是由實(shí)驗(yàn)中經(jīng)驗(yàn)所得),圓內(nèi)包含了主要的手勢區(qū)域,將一些可能存在的背景干擾信息和對識別無用的手臂區(qū)域摒除在外. 將截取到的手勢區(qū)域,統(tǒng)一映射到100*100的新圖像M''中. 不僅新圖像大小相同,圖中手的大小也基本相似.

2 改進(jìn)的霍夫變換手指檢測算法

進(jìn)行手指檢測和邊緣曲線特征提取都需要先檢測出手勢的邊緣,本文中采用的是Canny[16]邊緣檢測算法. 由于是針對分割后的二值圖像進(jìn)行邊緣檢測,邊緣較為明顯且無須考慮細(xì)節(jié)紋理信息,所以主要檢測到的也就是手的輪廓信息.

霍夫變換[17]是檢測直線行之有效的方法,其受直線間隙和噪聲的干擾較少,具有極強(qiáng)的魯棒性. 然而手指邊緣大多數(shù)情況下都無法很好的擬合成一條直線,所以本文提出一種改進(jìn)的霍夫變換算法對手指邊緣進(jìn)行檢測.

2.1 改進(jìn)的霍夫變換算法

手指的輪廓并非一條真正意義上的直線,存在各種凸凹彎曲等情況,使用標(biāo)準(zhǔn)的霍夫變換無法完成既定任務(wù). 故而本文提出一種改進(jìn)的霍夫變換算法,以檢測到近似直線的手指輪廓.

霍夫變換基本思想是圖像空間中的共線的點(diǎn)對應(yīng)在參數(shù)空間的線必然相交在同一點(diǎn). 在圖像空間中所有經(jīng)過點(diǎn)(x,y)的直線都滿足公式(3).

其中k為斜率,b為截距,而對公式(3)變形可得到公式(4).

如果認(rèn)為-x為斜率,y為截距,公式(4)可以看做是在參數(shù)空間過點(diǎn)(k,b)的一條直線,表示在原圖像空間內(nèi)所有過點(diǎn)(x,y)的直線簇,直線上每一個點(diǎn)代表一條原圖像空間一條特定截距斜率的直線. 所以原圖像中的共線的點(diǎn)經(jīng)過轉(zhuǎn)換后,在參數(shù)空間內(nèi)必然相交于一點(diǎn). 據(jù)此,把圖像空間中點(diǎn)轉(zhuǎn)換到了參數(shù)空間,在參數(shù)空間中進(jìn)行簡單的投票統(tǒng)計即可完成直線的檢測.

如上所述霍夫變換過程,經(jīng)過轉(zhuǎn)換后在參數(shù)空間內(nèi)相交的點(diǎn)即表示為原圖像空間內(nèi)這兩個點(diǎn)所連成的直線的截距和斜率. 而手指等輪廓線是一條近似的直線,中間會出現(xiàn)彎曲,但弧度不大. 這就意味著將輪廓線上相鄰兩個點(diǎn)所在直線方程截距和斜率不同,但差距不會很大. 在參數(shù)空間中雖然不會經(jīng)過同一個點(diǎn),但都會經(jīng)過一個特定的小區(qū)域內(nèi).

算法具體計算步驟如下：

上述算法針對手指邊緣這樣的近似直線的檢測.h選擇不同,所能檢測的結(jié)果有著很大的區(qū)別,h過大會造成相差較遠(yuǎn)的點(diǎn)也被檢測在內(nèi),h較小檢測到的多為離散線段.

2.2 手指信息特征提取

提取手指輪廓信息分為兩步完成,首先找到手勢輪廓的外部凸包,然后使用改進(jìn)的霍夫變換算法進(jìn)行手指的輪廓線檢測,進(jìn)而提取手指信息的特征.

使用Graham’s Scan[18]算法找到手勢外部凸包,凸包頂點(diǎn)P={pi|i=1,2,…}主要包括指尖和手臂邊緣拐點(diǎn). 然后通過上述改進(jìn)后的霍夫變換檢測到一系列近似直線的輪廓,遍歷可得到m對滿足以下條件的輪廓線.

1) 兩條輪廓線靠近頂點(diǎn)pi的一端橫坐標(biāo)y1,y2,滿足y1

2) 有且只有一個頂點(diǎn)滿足1);

3) 兩條輪廓線的斜率范圍中點(diǎn)值k的差值 |k1-k2|在一定范圍內(nèi).

滿足上述條件的輪廓線對,即可認(rèn)為是手指兩側(cè)輪廓線,對應(yīng)的pi則為該手指的指尖. 以此可提取到手指信息特征,包括每根伸出的手指的指尖到手勢中心的歐式距離,以及手指的角度.

鑒于手部的生理特征,手指兩側(cè)輪廓線是近似對稱的,根據(jù)提取到的手指輪廓線對,求其均值即可找到手指所在的中線,示意圖如圖4所示,直線ab為手指中線,其角度也就是手指的角度.

圖4 手指中線

3 基于邊緣曲線的特征提取

由于人的手具有高度的靈活性,即便是相同的手勢,每個手指的相對位置都有著很大的差距. 且由于關(guān)節(jié)較多,極容易發(fā)生自遮擋等現(xiàn)象,影響計算機(jī)對手勢圖像的識別效率. 所以上一節(jié)中所提取到的手指信息特征,不足以完全對手勢進(jìn)行描述. 于是又提出了基于邊緣曲線的特征,從總體輪廓邊緣上對手勢進(jìn)行更進(jìn)一步的描述. 基于邊緣曲線的特征即是將檢測到的輪廓信息分割后進(jìn)行詳細(xì)描述.

3.1 特征提取

本文所提出的基于輪廓信息的特征是由兩部分組成,將所有邊緣點(diǎn)按順序分割成若干份后,每段邊緣曲線的形心到手勢中心的距離d和邊緣曲線對應(yīng)的弦與曲線中點(diǎn)到手勢中心連線的夾角θ.

所提取到的手勢邊緣信息,是手勢邊緣上n個點(diǎn)的集合{ei|i=1,2,3,…,n}. 以固定長度k,將集合中點(diǎn)分割為若干段,得到若干有k個連續(xù)點(diǎn)組成的曲線,即是所要得到的邊緣曲線.

其中,c(x,y)是k個連續(xù)點(diǎn)的形心,(px,py)是手勢中心的坐標(biāo).d即是每一段曲線的形心到手勢中心的歐氏距離.

夾角θ是每一段曲線所對應(yīng)的弦與曲線中點(diǎn)與手勢中心的連線的夾角. 如圖5所示,假設(shè)曲線ADB是所得邊緣中分割出來的一段曲線,D是曲線的中點(diǎn),夾角θ即為線段AB和DP的夾角. 因已知所有點(diǎn)的坐標(biāo),線段AB,DP可視為兩個向量,由向量乘積公式(6)可得兩向量夾角.

由圖5可知兩向量之間的夾角即是所要求的夾角θ.

圖5 夾角θ示意圖

3.2 創(chuàng)建特征直方圖

邊緣的長度不同所得到的特征個數(shù)也不相同,而學(xué)習(xí)算法要求輸入向量具有相同維度. 本文將提取到的特征整合到一個3D直方圖中,X軸表示每一段邊緣曲線的形心到手勢中心的距離,Y軸表示每一段邊緣曲線的弦和曲線中點(diǎn)到手勢中心點(diǎn)連線的夾角,Z軸表示滿足x,y的情況的邊緣曲線的頻率.

經(jīng)過歸一化后圖像的大小為100*100,手勢中心即圖像的中心,圖像中手的大小基本相同,所以手勢邊緣到中心的距離都在統(tǒng)一范圍內(nèi),而夾角也必然在0～6.28的范圍內(nèi). 以這兩個特征作為變量,統(tǒng)計出滿足不同情況的邊緣曲線的個數(shù). 本文實(shí)驗(yàn)中將距離分為7組,角度也分為7組最終得到維度49的向量. 并融合第2節(jié)中所提取到的基于邊緣曲線特征最終得到59維的特征向量輸入到學(xué)習(xí)算法中,以完成手勢的識別任務(wù).

4 手勢識別

Cortes等人[19]于1995年被正式提出支持向量機(jī)(Support Vector Machine,SVM)的概念,在線性分類問題的卓越表現(xiàn)使得其很快成為機(jī)器學(xué)習(xí)的中流砥柱.SVM作為最為常用的分類器,其在數(shù)據(jù)量較小、非線性以及高緯度等情況的樣本上有著優(yōu)異的表現(xiàn). 在識別和分類問題上被廣泛應(yīng)用,如文本識別、手寫題識別、人臉識別等等.

最小閉包球SVM方法(MEB-SVM)相較于傳統(tǒng)的SVM算法,在時間和空間復(fù)雜度上都得到了大大的降低,且更適用于多分類問題. 無需像傳統(tǒng)的SVM一樣,針對多分類問題需要進(jìn)行多次二分類. MEB-SVM只需要針對各個類別樣本計算出其最小閉包球即可.

針對手勢識別問題,對選取的樣本集合T經(jīng)過上述特征提取后,得到一組特征向量. 然后用核函數(shù)對這些向量進(jìn)行空間映射. 本文中核函數(shù)選擇徑向基函數(shù)(RBF).

首先針對每個分類隨機(jī)選取樣本點(diǎn)以初始化閉包球,半徑R0=0,找到特征空間內(nèi)該類別樣本點(diǎn)距離閉包球球心最遠(yuǎn)的樣本點(diǎn),并添加進(jìn)所對應(yīng)閉包球內(nèi),同時更新閉包球的半徑和球心位置,經(jīng)過多次迭代直到所有的樣本點(diǎn)都被包括在內(nèi),分類結(jié)束. 對于測試樣本則只需要計算其距離各個閉包球球心的距離,經(jīng)過比對確定落于某一閉包球內(nèi),即可得到該樣本所屬類別.

5 實(shí)驗(yàn)與分析

實(shí)驗(yàn)平臺為Windows 7操作系統(tǒng),CPU Intel Core i5-6400 2.7 GHz,內(nèi)存 6 G. 編譯環(huán)境：OpenCV 2.4.10工具包,VS 2013.

本文所采用的數(shù)據(jù)集Giulio Marin等人[20]所提供的深度手勢數(shù)據(jù)庫,其中包含14人的手勢圖片. 且數(shù)據(jù)集中的圖片均在自然場景下拍攝,更符合現(xiàn)實(shí)場景的手勢識別要求. 從中選取5種手勢3000多張圖片,并依次將每種手勢標(biāo)記為0,1,2,3,4,具體如圖6所示. 將選取的圖片分為訓(xùn)練集和測試集,訓(xùn)練集2324張,測試集865張.

根據(jù)上述方法提取基于邊緣曲線的特征和手指信息特征,進(jìn)行融合后輸入到MEB-SVM進(jìn)行識別訓(xùn)練.在實(shí)驗(yàn)中提取基于邊緣曲線的特征時,按照不同長度劃分邊緣曲線最終結(jié)果識別率隨之變化,實(shí)驗(yàn)測試結(jié)果如圖7所示. 整體上呈上升后繼而下降的趨勢,在取值12時達(dá)到峰值.

圖6 識別手勢

圖7 算法識別率與邊緣劃分長度關(guān)系

選取12作為最佳劃分長度,在數(shù)據(jù)集中得到的識別結(jié)果如表1所示.

表1 手勢識別結(jié)果

經(jīng)由驗(yàn)證本文算法識別平均正確率為96.6%,表現(xiàn)良好. 為了驗(yàn)證本文算法的成果,與其他基于深度圖像的手勢識別算法做了對比,具體結(jié)果如表2所示.

表2 本文算法與其他方法對比結(jié)果

表2的算法對比表明本文所提出的手勢識別算法具有一定優(yōu)勢. 另外本文算法識別效率較快,平均識別時間為2.9 ms,能滿足大部分應(yīng)用的需求.

6 結(jié)論與展望

本文所提出改進(jìn)的霍夫變換算法對手指邊緣的檢測有著良好的表現(xiàn),根據(jù)所提取的手指信息特征和基于邊緣曲線特征經(jīng)由MEB-SVM訓(xùn)練分類取得了很好的效果,最終識別率為96.6%. 用深度圖像僅僅反映了物體目標(biāo)距離攝像頭的距離,所以對光照等因素不敏感. 且此方法的識別速度較快,能滿足大部分應(yīng)用需求,具有較好推廣性.

1 Hsiao PC,Yang SY,Lin BS,et al. Data glove embedded with 9-axis IMU and force sensing sensors for evaluation of hand function. Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan,Italy,2015：4631-4634. [doi：10.1109/EMBC.2015.7319426]

2 黃藝,杜宇人. 基于邊緣信息的圖像分割技術(shù)研究. 現(xiàn)代電子技術(shù),2005,(5)：116-117.

3 Zhang QY,Lu JC,Zhang MY,et al. Hand gesture segmentation based on mixed skin-color model and FCM algorithm. Journal of Information & Computational Science,2015,12(9)：3527-3536. [doi：10.12733/jics20106078]

4 Ren Z,Yuan JS,Meng JJ,et al. Robust part-based hand gesture recognition using Kinect sensor. IEEE Transactions on Multimedia,2013,15(5)：1110-1120. [doi：10.1109/TMM.2013.2246148]

5 Li Y. Hand gesture recognition using Kinect. Proceedings of 2012 IEEE International Conference on Computer Science and Automation Engineering. Beijing,China,2012：196-199. [doi：10.1109/ICSESS.2012.6269439]

6 Jiang F,Zhang SP,Wu S,et al. Multi-layered gesture recognition with Kinect. Journal of Machine Learning Research,2015,16(1)：227-254.

7 Li H,Yang L,Wu XY,et al. Static hand gesture recognition based on HOG with Kinect. Proceedings of the 4th International Conference on Intelligent Human-Machine Systems and Cybernetics. Nanchang,China,2012：271-273.[doi：10.1109/IHMSC.2012.75]

8 Hamda M,Mahmoudi A. Hand gesture recognition using Kinect’s geometric and HOG features. Proceedings of the 2nd International Conference on Big Data,Cloud and Applications. Tetouan,Morocco,2017,48. [doi：10.1145/3090354.3090403]

9 Rekha J,Bhattacharya J,Majumder S. Shape,texture and local movement hand gesture features for Indian sign language recognition. Proceedings of the 3rd International Conference on Trendz in Information Sciences & Computing.Chennai,India,2011：30-35. [doi：10.1109/TISC.2011.6169079]

10 Singh C,Uupneja R. Fast and accurate method for high order Zernike moments computation. Applied Mathematics and Computation,2012,218(15)：7759-7773. [doi：10.1016/j.amc.2012.01.040]

11 Memo A,Minto L,Zanuttigh P. Exploiting silhouette descriptors and synthetic data for hand gesture recognition.In：Biasotti S,Tarini M,Giachetti A,eds. STAG：Smart Tools & Apps for Graphics. The Eurographics Association.Cagliari,Italy,2015. [doi：10.2312/stag.20151288]

12 李瑞峰,曹雛清,王麗. 基于深度圖像和表觀特征的手勢識別. 華中科技大學(xué)學(xué)報(自然科學(xué)版),2011,39(S2)：88-91.

13 Yi ZH,Hu XQ,Kim EK,et al. Accelerating distance transform image based hand detection using CPU-GPU heterogeneous computing. Journal of Semiconductor Technology and Science,2016,16(5)：557-563. [doi：10.5573/JSTS.2016.16.5.557]

14 Borgefors G. Distance transformations in digital images.Academic Press Professional,Inc. Inc. San Diego,CA,USA,1986. [doi：10.1016/S0734-189X(86)80047-0]

15 Tsang IW,Kwok JT,Cheung PM. Core vector machines：Fast SVM training on very large data sets. The Journal of Machine Learning Research,2005,6：363-392.

16 Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,PAMI-8(6)：679-698. [doi：10.1109/TPAMI.1986.4767851]

17 易玲. 基于分級的快速霍夫變換直線檢測. 微計算機(jī)信息,2007,23(11-1)：206-208.

18 Graham RL. An efficient algorith for determining the convex hull of a finite planar set. Information Processing Letters,1972,1(4)：132-133. [doi：10.1016/0020-0190(72)90045-2]

19 Cortes C,Vapnik V. Support-vector networks. Machine Learning,1995,20(3)：273-297. [doi：10.1023/A：10226274 11411]

20 Marin G,Dominio F,Zanuttigh P. Hand gesture recognition with leap motion and kinect devices. Proceedings of 2014 IEEE International Conference on Image Processing. Paris,France,2015：1565-1569. [doi：10.1109/ICIP.2014.7025313]

21 尚常軍,丁瑞. 基于曲率局部二值模式的深度圖像手勢特征提取. 計算機(jī)應(yīng)用,2016,36(10)：2885-2889,2894. [doi：10.11772/j.issn.1001-9081.2016.10.2885]

22 Plouffe G,Cretu AM. Static and dynamic hand gesture recognition in depth data using dynamic time warping. IEEE Transactions on Instrumentation and Measurement,2016,65(2)：305-316. [doi：10.1109/TIM.2015.2498560]