基于普通PC攝像頭的手勢識別系統

福建師范大學信息技術學院 陳 威

?

基于普通PC攝像頭的手勢識別系統

福建師范大學信息技術學院 陳 威

該文從PC端手勢識別應用的需求出發，對常用的手勢識別技術進行了分析。通過對普通家用低分辨率攝像頭的手勢識別進行設計，實現通過普通攝像頭識別人的手勢動作，轉化為特定指令，嵌入其他應用軟件或游戲中，在不增加硬件成本下帶給用戶更多的體驗。

手勢識別 攝像頭 圖像捕捉 智能匹配

0 引言

隨著信息時代的來臨，傳統的人機交互系統不足以滿足信息時代智能化發展的需要。諸多產品的多媒體應用需求更多元、更方便、更智能的操作方式，基于攝像頭操作的應用由此而生。目前手勢操作在手機上大量使用，但在PC上應用極少(如微軟的Kinect[1]、SoundWave等)。其原因，或是因需要昂貴的專用攝像頭，或應用范圍狹小、只能實現簡單的功能，或還處于實驗室階段、誤差大無法進行推廣。因此，使用普通攝像頭實現常規手勢操作的正式產品目前在市面上難以找到。

基于普通攝像頭的手勢識別技術的技術難點主要在于用戶環境的多變性，不同時間、位置引起的光照強弱、角度改變以及使用者的衣著變化，都會對圖像的識別、捕獲和追蹤產生影響。為解決此問題，本系統從使用者的具體應用角度出發，讓系統不僅能夠動態捕捉和分析用戶手勢，轉換為指令嵌入其他軟件，同時通過對時間、空間的分析，還能夠提取用戶歷史數據以自動匹配和優化相關參數，提高手勢識別的準確率。

1 用戶需求分析

目前在PC端的手勢識別技術在常規電腦操作、辦公、繪圖等日常應用上，和鼠標、鍵盤相比，并不具有優勢，手勢識別的真正需求主要集中于專業應用和家庭游戲兩類。專業應用的場合如展廳、會議室、醫院等，這類應用因操作者不方便操作鼠標鍵盤，又有對PPT、視頻、音樂播放、圖片等遠程操作的需求，比如手術過程中醫生需要臨時查看病人的X光圖片或其他資料，戴著消毒手套不方便操作，助手協助操作又往往配合度不佳，此時即可使用手勢進行圖片的瀏覽和縮放，找到自己需要的資料。

游戲應用上，體感游戲目前方興未艾，但專業的動作捕捉設備又過于昂貴，同時支持這類設備的游戲軟件種類也比較少，如果能夠通過普通攝像頭分析用戶體感動作，轉換為游戲操作的指令，就可以將眾多操作并不復雜的射擊、跳躍、闖關類游戲，如憤怒的小鳥、切水果、雷神之錘等，轉換為體感游戲，增強用戶體驗。

目前市場上已有少量手勢識別的軟件應用，同時也有大量文章對這類技術進行分析，但因為都是人手皮膚顏色識別，受周圍環境干擾較大，因此在實際應用上誤差較大，無法投入商業應用。同時，現有軟件能夠支持的操作指令也比較少，只能完成簡答的PPT翻頁、鼠標移動等操作。

為提高手勢識別的成功率，本系統的視頻捕捉對象可以不再是裸手，而是讓使用者帶上雙色指套（遠距離操作則可以選擇手套或袖套。顏色材質都沒有特殊要求，如今天用戶穿紅色衣服，則可以選擇食指帶藍色指套，大拇指帶黃色指套），即可進行操作。考慮到系統的具體需求，對專業應用場合，一般操作較為簡單、應用固定，單色的手套或裸手即可滿足使用要求；對游戲玩家，雖然游戲操作比較復雜，但為獲得更好的用戶體驗，他們并不會介意使用雙色的指套進行操作。因此，以上操作設計，可以滿足用戶的要求。

2 系統設計與實現

系統分為服務器端和客戶端，客戶端采用Dephi實現，服務器端使用ASP.NET+SQL2008實現。客戶端供用戶免費下載，除了提供系統默認自帶了對PPT、媒體播放器、圖片瀏覽器、音樂播放器等一些常用軟件和憤怒的小鳥等幾款游戲的手勢操作支持外，還提供系統配置和在線操作等功能，其系統功能模塊見圖1。

圖1 多樂控客戶端

其中，手勢捕捉界面平時隱藏在后臺，在用戶初次使用或改變使用環境時可調出此界面進行手動輔助操作，提高系統識別率；傳輸服務用于設置和服務器端相關的信息；參數設置則用于對系統色素誤差、靈敏度、偏差糾正等參數的調整，以適應用戶使用習慣；指令腳本方案的設計和保存供用戶針對各款軟件和游戲定制對應操作的手勢指令集合（一個手勢可以對應一個鼠標或鍵盤的操作，也可以是一系列有序操作的集合）；腳本方案可以在申請賬號后通過上傳管理發送到服務器端以私有、共享、銷售三種方式進行保存；下載和購買功能則提供用戶以獲取其他用戶上傳的指令腳本方案；在線升級服務可用于系統的免費升級。

服務器端用于發布最新版本軟件和免費手勢腳本；收集和分析用戶設計和上傳手勢腳本，選擇優秀作品提供用戶下載或購買；商業廣告信息配置和發布等，其具體功能模塊見圖2。

圖2 多樂控服務器端

3 技術難點與實現

本系統的技術難點在客戶端的手勢識別和環境自適應算法上。基于視覺的手勢識別是由分析者根據觀察到的手勢動作流，對比其大腦中的手勢含義知識，轉換為特定的含義進行解析，以得到手勢的實際意義。

基于PC攝像頭的動態手勢識別與此類似，則是通過攝像頭每秒拍攝一定數量的連續圖片，然后從圖片中進行分析，提取手指指尖位置坐標的變化特征規律，建立手指的動作模型，并和數據庫中建立的動作模型進行匹配，識別出動作含義，轉換為計算機指令，并發送給終端程序進行解析，并驅動程序執行特定功能[2]。

根據對目前用戶需求的分析，本系統將追蹤到的手指數量定為兩個，其他手指的動作自動屏蔽。其原因是因為兩個手指的動作表現含義已經可以滿足用戶調查中所提出的需求。默認配置下，系統追蹤的是使用者的食指和大拇指。食指的移動軌跡即為鼠標的移動軌跡；水平方向食指和大拇指并攏為按下鼠標左鍵；分開為放開鼠標左鍵；垂直方向則對應右鍵的操作。以上設置已經可以滿足計算機的基本操作。此外，只伸出一根手指進行操作又可以引申出食指和拇指的兩套動作指令集和，這樣，指令的數量上已經能夠滿足大部分的實際應用要求。

系統目前識別的手勢動作除了上面描述過的默認配置下的常規動作外，提供用戶自定義指令腳本操作的主要指令集如表1所示。

表1 主要手勢動作特征表

采用雙指識別的另一個優勢是攝像頭遠程識別時，無法精確最終單手手指運動軌跡，此時可通過追蹤雙手（或雙袖、雙腳、單腳單手）的運動軌跡，轉換為預設的拇指和食指的指令，以實現PC軟件操作和體感游戲體驗。

動態手勢的識別設計時間參數和空間參數的計算，目前此方面研究多采用隱馬爾科夫模型（HMM）和動態時間規整（DTW）為基礎，并對其進行擴展和優化。HMM[3]是從語音識別領域發展而來的，它是一種基于統計學習的模型，隨著手勢識別研究的深入，在此基礎上，又提出了基于HMM的語義網絡模型（SNM）、轉移可變隱馬爾科夫模型（VTHMM）、三層轉移可變隱馬爾科夫模型（HVT-HMM）等，此方法具有自動分割和分類的能力，具有尺度不變性，保持了概率論的框架優點，比較適合進行連續的手勢識別。而DTW[4]是一種動態的模版匹配算法，目前這方面的研究多集中在手勢語音和詞匯匹配轉換方面，但對每一個范圍內變量需要建立大量的參照模版進行比較。除了這兩個技術外，還有一些相關技術也被應用于手勢識別方面，如人工神經網絡等。

在實際應用中，以上算法遇到的主要問題是復雜的背景對手勢軌跡提取造成嚴重的干擾、復雜的算法在普通家用PC機上產生嚴重時延，降低了分析的效率，類似顏色的物體導致手勢提取誤差增大。另外，隨著使用者、使用設備、使用時間和使用地點的改變，即使是同一個手勢在采集和識別上會產生不同結果。

為解決以上問題，本系統以HMM為基礎，在軌跡追蹤方面，加入了預判算法，以加快系統的分析。

如圖3所示，某操作手勢從A點經過B點向D滑動，時間TA提取圖片分析食指色塊位于B點，時間TB提取圖片分析食指色塊位于B點，時間Tc則預判食指可能位于坐標C（XA+2*（XB－XA），YA+2*（YB－YA）），此時根據圖3(c)的軌跡，提取C點及C點周圍(XC-k,YC-k)、 (XC+k,YC-k)、(XC-k,YC+k)、(XC+k,YC+k)……共N個點（搜索精度值k和N可以在配置中進行調整），獲取這些點的色彩均值，通過對比B點的色彩，判斷此點是否為Tc時刻食指所在位置。如果不是，則再以B為中心，根據圖3(d)的軌跡依次擴大搜索半徑，以矩形方式采用上述算法進行搜索。

圖3 軌跡預判

在搜索過程中，如果目標對象偶爾漂移，無法通過上述算法檢測到，則在算法上，根據運動軌跡，系統運用數據對比法、剩余誤差觀察法、不同公式計算標準誤差比較法和計算數據比較法處理誤差，自動補充丟失坐標。如連續多幀無法檢測，則系統調整回手勢的檢測初始狀態，并對連續的整幅圖像進行對比檢測，判斷手指可能位置。

最終，系統能夠得到以時間順序排列的指尖軌跡坐標，并對軌跡進行平滑糾正，糾正后的軌跡根據用戶當前應用，在配套的腳本方案中進行軌跡匹配，確定手勢指令，并發送對應控制信號給應用，完成一個控制過程，同時系統拋棄無關動作圖像，回到輸入圖像跟蹤手勢位置的指令識別初始狀態，繼續進行下一個指令的分析。

在客戶環境的自適應算法方面，考慮到使用者大部分情況下都是在某個特定時間段進行某類特定操作，比如某游戲玩家，一般會在每天晚上21時至23時以及周日白天9時至12時在家里玩游戲，此時環境背景相對固定，操作內容變化也不大。因此系統會根據用戶計算機的IP地址，對用戶使用地點進行分析，每個IP地址建立獨立的一套環境檔案，并根據日期和時間的編號對光照度進行預設，在用戶開啟系統時，給出提示并讓用戶選擇確認其使用環境，以提高用戶手勢識別的成功率，降低外部環境變化產生的干擾。

4 系統特色與總結

和目前類似軟件相比，本系統創意新穎，在不增加用戶成本情況下，使用普通攝像頭實現各類應用軟件、游戲的操作，提升了使用者的人機交流感受，實現更智能化的操控體驗。本系統所采用的算法，通過對捕捉到的圖像數據進行對比、誤差糾正、偏移量預估等處理，并通過具有時間、空間智能匹配功能，使得系統分析準確、高效、快速，提高了被操作應用程序響應的流暢度, 帶給使用者生動、真實的操作感。

[1] Greg Borenstein.格物智知:3D圖形與人機交互技術應用[M]. 北京：人民郵電出版社，2013.

[2] MitraS,AcharyaT.Gesture recognition A survey[J]. IEEE Transactions on Systems, Man and Cybernetics, 2007, 37(3):311-324.

[3] Hyeon-KyuLee, Jin H.Kim. An HMM-based threshold model approach for gesture recognition[J]. IEEE Transations on Pattern Analysis and Machine Intelligence,1999,21(10): 961-973.

[4] 任海兵，祝遠新，徐光祐.復雜背景下的手勢分割與識別[J].自動化學報，2000,28(2):78-85.