基于虛擬現實與手勢識別的人機交互系統

鄧紅莉　楊韜

【摘要】 本文提出了一種利用視頻手勢提取進行人機交互的系統。系統包含：視頻采集和分離、圖像預處理、手勢提取和識別、虛擬現實人機交互四個模塊。系統通過手勢的提取和識別、手勢幾何特征和決策分析、手勢類型判定實現利用手勢代替鍵盤、鼠標進行人機交互。

【關鍵詞】 手勢識別 虛擬現實 人機交互

一、引言

人與計算機的交互活動越來越成為人們日常生活的一個重要組成部分，特別是近年來虛擬現實技術的迅猛發展，為人機交互技術的發展提供了全新的技術支持。目前，人機交互已經擺脫了傳統技術手段的限制，開始“以人文本”越來越注重用戶自身的體驗。在人類的自然信息交流中，手勢是語音之外的一種最為常用的、自然直觀的交流方式，如果能利用手勢代替傳統的計算機輸入硬件對機器進行控制，那么人與機器的交流將更加流暢自然。針對多媒體的發展潮流以及人機交互的創新技術開發一套基于手勢識別的多媒體交互系統。

本文實現了通過手勢識別來操作計算機的人機交互系統，通過攝像頭采集使用者的手勢，并傳輸給計算機進行處理，通過對手勢幾何特征的分析和決策來判定手勢類型，最后驅動多媒體的效果表現，進而控制計算機。

二、系統實現

系統的基本原理是利用攝像頭采集方式獲取使用者的手勢，并將該動作傳輸紿計算機進行處理，計算機內的應用程序則根據所捕捉的畫面進行分割、識別、處理，最后驅動多媒體的效果表現。

2.1手勢輸入與識別

使用高清攝像頭作為采集單元，保證在合適的視野和景深范圍內對目標（手勢）的檢測和識別。檢測過程采用非接觸方式，目標（手勢）識別檢測率高。然后采用模式識別算法，對輸入的手勢圖像進行分析與處理，來進行目標（手勢）的檢測。

通過高清攝像頭獲取視頻數據流，將數據流分割、識別、處理從而將交互手勢從數據流中剝離，然后將輸入手勢與預先手機的手勢命令庫進行特征配準，最后，形成驅動相關應用的交互指令。

2.2噪聲去除與信息增強

從視頻流的輸入，到手勢識別，再到信息轉換，這些過程的每一個環節都有可能受到設備電磁干擾、算法局限性等各方面的影響，這些干擾與影響最終將形成數據噪聲，對噪聲的處理不當將使手勢圖像產生畸變，從而影響最終的交互指令。

因此，在手勢圖像處理之前，本文加入了一個圖像平滑/銳化處理的噪音過濾預處理，其目的是盡量消除噪聲保證手勢圖像的質量。

2.3手勢分割與特征提取

通過實現建立手勢模型數據庫，然后根據數據庫對數據流中的手勢進行分割與特征提取。本文主要采用串行邊界分割技術和并行區域分割技術實現手勢模型的特征參數提取，并最終依據手勢模型數據庫特征配準形成最終的交互命令。在手勢識別過程中，可以根據圖像邊緣像素值、手勢輪廓、手勢形狀、運動方向、骨骼等數據建立手勢特征向量。首先，通過背景分離算法將圖像背景與手勢圖像進行分離，然后根據數據流中剝離的手勢圖像與特征庫中的手勢圖片中的各維屬性映射到特征向量中從而完成手勢圖像的特征提取。

2.4特征分類

手勢特征被提取出來后，通過模式識別智能算法對手勢進行分類，并最終對應到一組具體的功能命令。本文采用基于統計學的決策樹做分類器，決策樹實際上利用了“分治”的思想，結合建立的手勢-命令對照表，使用決策樹算法對數據表經行遍歷從而將手勢特征與功能命令進行匹配，最終完成從手勢到制酸劑指令的轉換。

三、結語

基于虛擬現實與手勢識別的人機交互系統計算機通過攝像頭理解人們的手勢并做出相應的反應，從而使人們擺脫了傳統鍵盤和鼠標的種種束縛和弊端，以達到更加方便、人性化的交互方式。該系統可用于家庭娛樂，會議展示，商品展示，校園展示。在眾多公司產品展示中應用廣泛，但以往很多傳統展示系統難以達到人們要求，該系統更人性化，更美觀，更直觀。

詳細通訊地址：四川省南充市順慶區師大路一號西華師范大學實驗中心 郵編：637002

聯系電話：13890857890

參 考 文 獻

[1]童小念，劉娜.一種基于遺傳算法的最優閾值圖像分割算法[J].武漢理工大學學報. 2008.32（2）：301-304.

[2]鄭友蓮.鋼筋自動計數系統中圖像識別算法的研究[J].武漢工程職業技術學院學報. 2008.20（1）：31-34.

[3]陳朝大，陳吹信，侯慶華.基于圖形編程的機器人人機交互系統[J].現代制造工程.2014（9）：34-38

[4]劉要華，朱珍民，葉劍. 協同人機交互機制的研究與設計[J]. 計算機工程與設計.2014（2）：726-730.