基于SURF-BoW特征的手語識別研究

彭平，羅遠(yuǎn)峰

（1.廣州工商學(xué)院計(jì)算機(jī)科學(xué)與工程系，廣州 510665;2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)科學(xué)學(xué)院，廣州 510665）

基于SURF-BoW特征的手語識別研究

彭平1，羅遠(yuǎn)峰2

（1.廣州工商學(xué)院計(jì)算機(jī)科學(xué)與工程系，廣州 510665;2.廣東技術(shù)師范學(xué)院計(jì)算機(jī)科學(xué)學(xué)院，廣州 510665）

在手語識別的研究中,提出一種基于SURF-BoW特征的手語識別方法。該方法通過攝像頭采集圖像，首先對手勢進(jìn)行定位與跟蹤，然后提取SURF特征，進(jìn)而構(gòu)建SURF-BoW作為手語特征并用SVM進(jìn)行識別。實(shí)驗(yàn)結(jié)果表明，該方法對單個字母最好識別率為99.43%，平均識別率為94.38%。

SURF；手語識別；SVM；CamShift

0 引言

近年來，人工智能、深度學(xué)習(xí)、虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）等技術(shù)飛速發(fā)展，逐步改變著我們的日常生活。在人機(jī)交互方式上，如何更自然、更便捷、更智能、更直觀的人機(jī)交互方式已成為當(dāng)前計(jì)算機(jī)領(lǐng)域的研究熱點(diǎn)。另外，對于聾啞人這部分特殊群體，由于不能用口語進(jìn)行表達(dá)，只能依靠手勢、肢體動作和眼神等方式來溝通交流，而大部分人并不懂手語，由此阻礙了聾啞人與他人的交流、學(xué)習(xí)、交流和生活。由此，手語識別也迎來了發(fā)展的契機(jī)，手語識別系統(tǒng)的研究不僅能夠創(chuàng)建一種自然、和諧的人機(jī)交互方式，推動計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，而且能夠切實(shí)幫助聾啞人改善學(xué)習(xí)、生活和工作環(huán)境，是一個具有重大意義的研究課題。

手語識別研究主要分為基于佩戴式設(shè)備的手語識別和基于計(jì)算機(jī)視覺的手語識別。由于基于佩戴式設(shè)備的識方法所采用的跟蹤器或數(shù)據(jù)手套價(jià)格較高，且穿戴復(fù)雜，所以很難推廣到實(shí)際的應(yīng)用中。而基于計(jì)算機(jī)視覺的識別方法只需通過攝像頭采集圖像，再利用算法對圖像進(jìn)行分析識別，所需設(shè)備成本很低且適于普及應(yīng)用。在手語識別過程中，由于手形變化多樣、形態(tài)復(fù)雜，加上容易受光照等因素的影響，進(jìn)一步加大了手勢跟蹤、分割、特征提取和識別的難度，這也是目前需要解決的技術(shù)難題。

本文采用普通攝像頭作為手語圖像的采集設(shè)備，提出一種基于人體結(jié)構(gòu)的雙手定位方法，實(shí)現(xiàn)雙手定位，進(jìn)而進(jìn)行跟蹤，再利用SURF進(jìn)行手勢圖像的特征提取，然后利用K-Means聚類算法構(gòu)建視覺詞匯表，再構(gòu)造BoW（Bag of Words）統(tǒng)計(jì)手勢圖片各個類別出現(xiàn)的頻率，最后使用SVM進(jìn)行分類。

1 雙手檢測與定位

手語需要左手、右手、面部表情和肢體動作等相互配合，才能表達(dá)打手語者需要表達(dá)的意思。對于單手的檢測與定位，前人已做了很多研究，且有很多較好的成果[1-2]，但對于雙手的檢測與定位，這方面的研究較少。很多只能在雙手粘合的情況下實(shí)現(xiàn)檢測與定位，但對雙手分開且距離較遠(yuǎn)時，依然只能檢測出一只手，沒有真正實(shí)現(xiàn)雙手的識別。

本文對雙手的檢測與定位進(jìn)行研究，提出一種基于人體結(jié)構(gòu)的雙手定位方法：該方法在初始化時，首先通過人臉檢測，如果圖像中出現(xiàn)人臉，則認(rèn)為實(shí)驗(yàn)場景中出現(xiàn)打手語者，然后以人臉膚色的最低像素點(diǎn)將圖像劃分為四個區(qū)域（見圖1）。由此，認(rèn)為區(qū)域A和區(qū)域B出現(xiàn)的所有膚色都不是打手語者的手。然后再利用面積法過濾掉較小的膚色塊，最后認(rèn)為區(qū)域C中最大的膚色塊即是打手語者的右手，區(qū)域D中最大的膚色塊即是打手語者的左手，從而實(shí)現(xiàn)雙手的檢測與定位。

圖1 雙手檢測與定位區(qū)域劃分

本文實(shí)現(xiàn)了這一方法，經(jīng)過多次測試，這一方法能夠很好的將區(qū)域A和區(qū)域B中的干擾去除，通過縮小手勢檢測的區(qū)域來提高算法的執(zhí)行效率。另外，對復(fù)雜動態(tài)背景干擾下的手勢識別有著很好的穩(wěn)定性，只要區(qū)域C中和區(qū)域D中不存在比手的膚色塊大的背景，就能夠準(zhǔn)確的定位出雙手位置，然后進(jìn)行跟蹤，算法的實(shí)現(xiàn)流程如下：

（1）輸入圖像image，對其進(jìn)行預(yù)處理。

（2）建立YCgCr和YCgCb顏色空間[3]并進(jìn)行擬合，找出膚色像素并進(jìn)行二值化操作，輸出膚色檢測結(jié)果圖像Bimage。

（3）在圖像中利用OpenCV自帶的人臉檢測器搜索人臉[4]，根據(jù)人臉將圖像分成A、B、C、D四個區(qū)域。

（4）在區(qū)域C中檢測輪廓集NC，在區(qū)域D中檢測輪廓集ND，用面積法刪除過小的膚色塊。

（5）在區(qū)域C中找出最大的輪廓認(rèn)為是右手，在區(qū)域D中找出最大的輪廓認(rèn)為是左手。

2 手勢跟蹤與特征提取

在復(fù)雜背景中提取手勢，包括運(yùn)動手勢區(qū)域檢測跟蹤和手勢的特征提取兩個方面。

2.1 CamShift跟蹤

在利用CamShift算法進(jìn)行手勢跟蹤的過程中，由于CamShift算法是只利用顏色統(tǒng)計(jì)來做分析并進(jìn)行跟蹤，如果背景有與跟蹤目標(biāo)的顏色相似的物體時，則可能讓CamShift算法的跟蹤窗口中包含與目標(biāo)無關(guān)的物體，從而導(dǎo)致目標(biāo)跟蹤錯誤。在對手的跟蹤過程中，如果出現(xiàn)另外一手對其進(jìn)行干擾，則錯誤出現(xiàn)的機(jī)率很高。如圖2（A）中所示，在跟蹤右手的時候，使用左手進(jìn)行干擾時，由于右手的顏色與左手顏色基本相同，CamShift算法將干擾的右手誤判為目標(biāo)手勢而進(jìn)行了跟蹤；

另外，當(dāng)手移動較快時，CamShift算法的窗口寬度會越來越小，最后會出現(xiàn)目標(biāo)丟失的情況，如圖2（B）中所示，在實(shí)驗(yàn)對字母T進(jìn)行跟蹤時，由于手移動過快，CamShift算法出現(xiàn)跟蹤目標(biāo)丟失的情況[5-6]。

圖2 CamShift算法誤跟蹤標(biāo)和丟失目標(biāo)實(shí)驗(yàn)

對此，本文在CamShift算法的基礎(chǔ)上，提出一種基于膚色模型和CamShift的手勢跟蹤方法。主要是利用輪廓的質(zhì)心與CamShift計(jì)算出新跟蹤窗口的質(zhì)心來確定跟蹤目標(biāo)，在跟蹤過程中不斷修正跟蹤窗口，避免跟蹤丟失。算法的原理是：（1）利用YCgCr與YCgCb顏色空間分割出膚色并進(jìn)行二值化操作，以減少非膚色區(qū)域?qū)Ω櫟母蓴_；（2）找出圖像中所有的膚色輪廓，利用面積法刪除過小的非手勢輪廓，以減少運(yùn)算量；（3）計(jì)算出滿足條件的輪廓質(zhì)心，找出CamShift跟蹤窗口質(zhì)心與輪廓質(zhì)心距離最短的輪廓，認(rèn)為該輪廓就是要繼續(xù)跟蹤的目標(biāo)；（4）用該輪廓的矩形包圍框大小修正CamShift跟蹤窗口，計(jì)算下一幀。當(dāng)新跟蹤窗口突然增大一倍時，認(rèn)為有干擾物體，跟蹤窗口保持不變。

圖3是本文實(shí)現(xiàn)的算法實(shí)驗(yàn)效果，圖中橢圓區(qū)域?yàn)槎ㄎ坏娜四槄^(qū)域，紅色矩形框?yàn)楦櫟淖笫郑t色小圓圈為左手CamShift的質(zhì)心，藍(lán)色矩形框?yàn)楦櫟挠沂郑t色小圓圈為右手CamShift的質(zhì)心。可見，利用YCgCr與YCgCb顏色空間分割出手勢后再利用輪廓質(zhì)心與CamShift算法的跟蹤窗口質(zhì)心的最短距離來選擇跟蹤目標(biāo)，能夠有效減少非手勢的干擾，提高跟蹤準(zhǔn)確率。但是經(jīng)過多次測試發(fā)現(xiàn)，由于是基于膚色的分割模型，當(dāng)左右手重疊在一起時，兩個CamShift跟蹤同一目標(biāo)，導(dǎo)致雙手分離后，只能跟蹤其中一只手。對此，在左右手完全重合時，表明圖像中只找到一只手，兩個CamShift跟蹤窗口在跟蹤同一目標(biāo)。當(dāng)其分開后，可以重新執(zhí)行前文中的雙手定位算法，以修正對雙手的跟蹤，增強(qiáng)系統(tǒng)的魯棒性。

圖3 本文的跟蹤方法實(shí)驗(yàn)

2.2 SURF－BoW特征表示

SURF（Speeded Up Robust Features）是對SIFT算法的一種改進(jìn)，它繼承了SIFT的尺度不變性的優(yōu)點(diǎn)，同時具有重復(fù)性、特異性和魯棒性，SURF與其他算法相比，計(jì)算和匹配速度更快，能夠滿足實(shí)時性的需求[7-8]。

圖4為SIFT與SURT的特征提取實(shí)驗(yàn)。（a）（c）是同一幅圖像，利用SIFT提取到382個特征點(diǎn)，而SURF提取到851個特征點(diǎn)；（c）（d）是字母Z經(jīng)過圖像分割后的圖像，利用SIFT提取到的特征點(diǎn)為50個，而SURF提取到71個特征點(diǎn)。可見SURF能夠提取到更多的特征，利于BoW模型的建立。

圖4 SIFT與SURF特征點(diǎn)對比

BoW最早出現(xiàn)在文本分類中，它的基本思想是：對于任意一個文本，忽略其詞序、語法和句法等要素的影響，只把它看作是由一些詞匯組成的集合體。因此，在一個文本中任意位置出現(xiàn)的任意單詞，都不會改變文檔的語意，文本中所有的單詞都是孤立存在的[9]。

將Bag of Words模型應(yīng)用在手語圖像識別中，即可以將圖像看作是由很多不同的手語視覺詞匯組成的文檔，且不同視覺詞匯之間互不影響，任意組合。但是手語圖像中的手語視覺詞匯不是直觀顯示的，需要對圖像進(jìn)行特征提取，將手語視覺詞匯從圖像中抽取出來，再建立手語圖像構(gòu)造BoW。該過程主要有以下幾個步驟：

（1）提取特征：通過圖像預(yù)理、手勢檢測定位，應(yīng)用SURF算法提取手勢的興趣點(diǎn)；

（2）特征表示：采用SURF來表示圖像內(nèi)容；

（3）視覺單詞生成：將SURF表示的圖像劃分若干個小區(qū)域，將各個小區(qū)域的圖像量化成手語視覺單詞；

（4）BoW生成：首先統(tǒng)計(jì)一幅手語圖像中的各個視覺單詞出現(xiàn)的頻率，然后生成視覺單詞的頻率直方圖，再用BoW模型來表示該手語圖像，最后利用SVM進(jìn)行分類識別。

圖5 構(gòu)造BoW模型的流程示意圖

3 手語識別實(shí)驗(yàn)

實(shí)驗(yàn)運(yùn)行環(huán)境：CPU為Intel i5-4460，主頻3.2GHz；內(nèi)存為DDR3 1333MHz，8G；顯卡為Nvidia GeForce GT740，顯存1G；攝像頭為羅技C170 USB攝像頭。軟件開發(fā)環(huán)境為：操作系統(tǒng)是Windows7 64bit；集成開發(fā)環(huán)境為Visual Studio 2010，應(yīng)用程序框架MFC，編程語言為C++；計(jì)算機(jī)視覺庫版本OpenCV 2.4.10。

手指語圖像采集過程中，采取同一人打同一手勢多次，不同人打同一手勢多次的策略，在不同背景和光照環(huán)境下進(jìn)行采集，分別對30個手指語進(jìn)行采集，每種手指語圖片采集100張，共30×100張，以保證手語訓(xùn)練特征提取更完整。將采集的手語圖片按照手勢的名字存儲，以備對手語進(jìn)行訓(xùn)練。如圖6是手語手采集的過程，其中a為手勢定位與跟蹤，b為膚色分割結(jié)果，c為手勢區(qū)域選取，d為手勢分割結(jié)果。

圖6 手語手采集過程

實(shí)驗(yàn)通過攝像頭實(shí)時提取圖像，分割出手勢區(qū)域，再利用SURF提取手語手勢特征，建立BoW模型，最后采用徑向基核函數(shù)（Radical Basis Function，RBF）SVM模式識別方法實(shí)現(xiàn)對中國手指語的識別[10]，主要包含以下步驟：

測試過程中采用實(shí)時檢測的方式，對30個字母分別進(jìn)行50次測試，相當(dāng)于1500張測試圖片，其中不同手勢交替進(jìn)行識別，同時進(jìn)行多輪測試，以驗(yàn)證系統(tǒng)的手勢跟蹤的準(zhǔn)確率，最后統(tǒng)計(jì)手語識別的正確率。基于SURF-BoW特征和SVM分類器識別結(jié)果如表1所示，平均識別率為94.38%。

表1 基于單目視覺的手語識別系統(tǒng)識別結(jié)果統(tǒng)計(jì)表

在相同的實(shí)驗(yàn)條件下，相同手勢在不同的特征下識別結(jié)果如表1所示，其中誤判率為SVM對相似字母的誤識別率。在相同手語庫上的實(shí)驗(yàn)表明，SURF_BoW的方法在各項(xiàng)指標(biāo)中均優(yōu)于其他特征描述方法，是一種非常有效的手語特征。

4 結(jié)語

本文提出了一種基于SURF-BoW特征的手語識別方法，對30個中國手指語在不同的環(huán)境下進(jìn)行了識別實(shí)驗(yàn)，可獲得較高的識別率，這說明本文提出的方法是有效的，為手語識別方法的研究提供參考與借鑒。

圖7 手語識別步驟

表2 不同特征的手語識別方法比較

[1]楊志紅,肖忠毅.基于視覺的多特征手勢識別[J].電子技術(shù)與軟件工程,2015(9):85-85.

[2]孫麗娟,張立材,郭彩龍.基于視覺的手勢識別技術(shù)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2008,18(10):214-216.

[3]張爭珍，石詳躍.YCgCr與YCgCb顏色空間的膚色檢測[J].計(jì)算機(jī)工程與應(yīng)用，2010,46(34):167-170.

[4]ROBERT L.OpenCV計(jì)算機(jī)視覺編程攻略[M].第5版.相銀.北京：人民郵電出版社,2015.

[5]楊全.基于表觀建模的中國手語識別技術(shù)研究[D].西北大學(xué),2013.

[6]鄒鐵軍,張書偉,蔣杰,等.基于OpenCV的運(yùn)動目標(biāo)定位跟蹤系統(tǒng)軟件設(shè)計(jì)[J].智能計(jì)算機(jī)與應(yīng)用,2012,02(3):60-63.

[7]Bay H,Tuytelaars T,Gool L V.SURF:Speeded Up Robust Features[J].Computer Vision&Image Understanding,2006,110(3):404-417.

[8]Yang Q,Peng J Y.Chinese Sign Language Recognition Method Based on Depth Image Information and SURF-BoW[J].Pattern Recognition&Artificial Intelligence,2014,27(8):741-749.

[9]王瑩.基于BoW模型的圖像分類方法研究[D].哈爾濱工程大學(xué),2012.

[10]高幸.基于SVM的圖像分類與標(biāo)注方法的研究[D].北京交通大學(xué),2015.

Research on Sign Language Recognition Base on SURF-BoW Features

PENG Ping1,LUO Yuan-feng2

（1.Guangzhou College of Technology and Business，Guangzhou 510665；2.Guangdong Polytechnic Normal University,Guangzhou 510665）

In the sign language recognition research,presents a sign language recognition method based on SURF-BoW.It uses ordinary camera as the video capture device.First,tracks gesture detection and.Second,Extracts the SIFT features.Finally,builds SURF-BoW as the feature of sign language and uses SVM for recognition.The experimental results show that the best recognition rate of single manual alphabet can reach 99.43%,while the average recognition rate is 94.38%.

SURF;Sign Language Recognition;SVM;CamShift

1007-1423（2016）33-0037-05

10.3969/j.issn.1007-1423.2016.33.008

彭平（1956-），男，重慶人，碩士，教授，研究生導(dǎo)師，研究方向?yàn)橄到y(tǒng)仿真、軟件工程、智能計(jì)算

2016-10-08

2016-11-12

羅遠(yuǎn)峰（1987-），男，在讀碩士研究生，研究方向?yàn)橛?jì)算機(jī)視覺和BIM應(yīng)用技術(shù)