基于手勢傳感與智能設備的交互方法研究?

陳 龍 白友恒 薛皓天 張玉林

（武漢科技大學城市學院信息工程學部 武漢 430083）

1 引言

隨著科技水平的不斷發展和計算機技術的飛速進步，人機交互必定會朝著貼合人類的自然動作、減少對特定輸入設備的依賴的方向發展。本設計的智能設備產品以其獨特的傳感方式和優異的技術性能，在精準捕捉人類最主要交互部位——手部的動作，同時能夠真正免去了對特定輸入設備的依賴，完全符合人們對新一代交互設備的需求，擁有無與倫比的廣闊市場和巨大的商業價值［1］。

本設計的科技產品運用先進的傳感器技術、精準的算法和優秀的軟硬件架構，以其新穎的可穿戴設備的形式，緊密貼合手部輪廓，完美捕捉用戶每一個細微的手勢動作，并以此為基礎開創了一套全新的人機交互方式，用戶僅需自然地做出手勢，而無需借助其它任何設備就能夠實現與計算機設備的交互，特別適用于VR體驗、游戲交互、宣講演示等場合。

2 設計理念

首先，本設計的科技產品能夠實現對用戶手勢和某些手部動作的精確捕捉，并通過對精確算法處理數據，實現了以手勢傳感為核心的手勢識別、VR操作、游戲控制、手勢輸入等功能的智能交互手套，能為人機交互帶來了嶄新的方式和優秀的體驗。在接下來進一步的設計研究中，本產品還將根據市場調研的需求和用戶反饋不斷設計這款人機交互的智能產品，增加和維護更多的功能，推動新形式人機交互設備的演進和發展。

然后，本產品率先以手套為載體設計的人機交互的可穿戴智能設備，緊密貼合手部輪廓，精準捕捉手勢數據，基于手勢傳感的創新輸入方式，可直接用手勢直接輸入，用手代替鼠標鍵盤，顯著提高交互性和可移動性，帶來了輸入和操控的新體驗。

最后，本產品基于不同于市面上是用攝像頭和聲波進行動作捕捉的科技產品，本產品采用的是先進的彎曲傳感器設計方案，創新地將彎曲傳感器用于可穿戴設備，實現對手勢的感應，完美解決了傳統傳感技術的局限克服了攝像頭和聲波帶來的時間、空間限制的問題，實現了不限位置不限運動狀態的手勢傳感、手勢傳感、慣性測量的結合，實現對手部動作的全方位捕捉，顯著提高了數據的精度，開創人機交互的新形式［2］。

3 產品設計原理

3.1 硬件組成及關鍵設備設計

本設計的產品硬件部分是由彎曲傳感器陣列、陀螺儀、絕對距離測量設備、通信設備、交互設備組成，以下我們將依次對各個模塊的功能進行概要介紹：

1）彎曲傳感器陣列：這一功能模塊通過傳感器陣列傳感得到手指關節的屈伸程度［2］，然后將數據經過調理、整形和濾波后交由后級模塊處理，如圖1所示。

圖1 彎曲傳感器陣列模型圖

2）陀螺儀：這一功能模塊用于感知用戶手部的運動狀態，采用陀螺儀等imu慣性測量設備監測并獲取用戶手部的運動數據，從而實現對用戶手部運動的定位和追蹤，如圖2所示。

圖2 MEMS陀螺儀

現在，當前較為先進并且得到廣泛應用的慣性測量元件是采用基于MEMS技術的陀螺儀元件，MEMS（即微機電系統）是在微電子技術（半導體制造技術）的基礎上發展起來的，融合了光刻、腐蝕、薄膜、LIGA、硅微加工、非硅微加工和精密機械加工等技術制作的高科技電子機械器件。MEMS（即微機電系統）是集微傳感器、微執行器、微機械結構、微電源微能源、信號處理和控制電路、高性能電子集成器件、接口、通信等于一體的微型器件或系統。

MEMS是一項革命性的新技術，廣泛應用于高新技術產業，是一項關系到國家的科技發展、經濟繁榮和國防安全的關鍵技術。MEMS是一個獨立的智能系統，可大批量生產，其系統尺寸在幾毫米乃至更小，其內部結構一般在微米甚至納米量級。常見的產品包括MEMS陀螺儀、MEMS加速度計、MEMS麥克風、微馬達、微泵、微振子、MEMS光學傳感器、MEMS壓力傳感器、MEMS濕度傳感器、MEMS氣體傳感器等以及它們的集成產品［3］。

3）絕對距離測量設備：這一模塊用于幫助系統克服陀螺儀測量結果的相對性和對被測目標加速度限制嚴格的局限性；從世界坐標系的視角，為某些主要功能的實現提供絕對定位數據，并融合陀螺儀的測量結果，做到對用戶手部運動精準穩定的感知和追蹤。

圖3 紅外測距傳感器

紅外測距是相當成熟并且得到廣泛應用的絕對距離測量方法之一，該方案以其小體積、高精度、低功耗、非接觸、無次生污染等特點在消費電子領域得到大規模應用，如圖3所示［12］。

此類傳感器的的理論基礎為三角測距原理，如圖4所示。

圖4 三角測距原理

紅外發射器按照一定的角度發射紅外光束［4］，當遇到物體以后，光束會反射回來，如圖4所示。反射回來的紅外光線被CCD檢測器檢測到以后，會獲得一個偏移值L，利用三角關系，在知道了發射角度a，偏移距L，中心矩X，以及濾鏡的焦距f以后，傳感器到物體的距離D就可以通過幾何關系計算出來，如圖5所示。

圖5 測距遠-激光距離傳感器曲線圖

4）通信設備：這一模塊用于建立手套與外部設備的數據通聯。我們采用WIFI通信方案連接手套與外部器件。手套通過WIFI接入局域網網絡，最終通過成熟的網絡協議完成命令的傳達和數據收發工作。

通信網絡由接入網關、WIFI模塊組成。WIFI模塊具有功耗低、體積小等特點，可植入手套中。我們采用模擬芯片領域國際巨頭TI公司的CC3200方案作為WIFI通信解決方案。CC3200方案經過之前數代革新，在功耗控制和通信穩定性方面達到了同級別產品的巔峰水平，令人咋舌的低功耗效果的同時，仍保持了良好的穩定性和優秀的通信品質，在業內有口皆碑，完全滿足了本產品的設計需求，如圖7所示和圖8所示。

圖6 CC3200模擬芯片

由于WIFI模塊聚焦于小體積和低功耗，在通信距離、組網性能方面犧牲較大。因此其更為適合作為通信鏈路的“第一棒”。在WIFI模塊發出數據后，需要由無線網關對信號進行接收轉換，最終將數據在局域網絡中傳輸，完成通信過程。

圖7 CC3200 MOD

在日常使用的情景中，本設計的產品對無線接入點的要求不高，常用的穩定可靠的家用路由器就可作為本產品的無線接入點，大大增強了本產品的使用范圍和易用性，如圖8所示［16］。

5）交互設備：這一模塊連接在被控制的智能設備上，根據接收到的指令向計算機或其他智能設備發出執行命令或傳遞數據信息，并與在計算機中安裝的軟件部分配合，最終完成數據的傳送和控制命令的執行，從信息流的角度看，這一模塊是硬件部分的最后一站［5］。

圖8 網絡拓撲圖

3.2 軟件構架設計

本設計產品的軟件可分為嵌入式軟件和上位機軟件兩個主要部分。其中，嵌入式軟件的工作任務使用在嵌入式硬件設備中，負責操作硬件實現功能。上位機軟件工作在要操控的PC、VR設備等智能設備中，負責執行控制命令和傳送數據。除此之外，嵌入式軟件部分采用了成熟的嵌入式實時操作系統來實現。主要由有效判定、模式匹配、命令收發三部分組成，主要工作邏輯如圖9所示。

圖9 軟件邏輯示意圖

首先，有效判定模塊接收數據采集模塊提供的測量數據，并結合有效條件判定數據是否有效可用。

然后，模式匹配模塊利用測量數據與用戶在設定手勢時的初始化數據進行匹配，若吻合則通知命令收發模塊發送相應指令。

其次，命令收發模塊顧名思義，根據模式匹配的結果發送相應命令。若有上位機命令到來，則接收并處理。

最后，智能手套上同時運行者大量傳感器、通信設備、測量設備。因此作為整個系統“大腦”的數據解算和控制單元必須保證實時正常讀取數據的同時，快速及時地完成數據解算工作；此外在有通信任務之時，必須快速響應，及時完成通信。上述各個步驟都需要得到有效組織和精確調度以保證整個系統的實時性。因此，為了實現我們所設計得目標，采用嵌入式實時操作系統對上述任務進行調度。這一方案一方面提高了處理器利用效率，另一方面又能做到及時響應各種內外部任務，保證了系統的實時性。

上位機軟件部分由通信模塊、命令執行模塊、數據傳輸模塊組成。通信模塊負責與連接在PC或VR設備等智能設備上的智能手套信息接收裝置聯系，從中采集得到手套傳來的數據或是命令，并根據所收到的數據的性質分發之。

命令執行模塊負責根據收到的命令在設備中調用操作系統的API執行命令。從而實現手勢控制功能。數據傳輸模塊接收的手勢數據、測量數據等數據，并轉換成游戲、VR等應用軟件所能接收的數據格式，最終實現手勢操作功能［6］。

3.3 開發環境

嵌入式軟件采用Keil MDK進行開發。

Keil MDK，也稱 MDK-ARM，Realview MDK、I-MDK、uVision4等。目前Keil MDK由三家國內代理商提供技術支持和相關服務［7］。

MDK-ARM軟件為基于Cortex-M、Cortex-R4、ARM7、ARM9處理器設備提供了一個完整的開發環境。MDK-ARM專為微控制器應用而設計，不僅易學易用，而且功能強大，能夠滿足大多數苛刻的嵌入式應用。

MDK-ARM所有版本均提供一個完善的C/C++開發環境，其中MDK-Professional還包含大量的中間庫。

上位機軟件采用Microsoft Visual Studio開發，Microsoft Visual Studio（簡稱VS）是美國微軟公司的開發工具包系列產品。VS是一個基本完整的開發工具集，它包括了整個軟件生命周期中所需要的大部分工具，如UML工具、代碼管控工具、集成開發環境（IDE）等。所寫的目標代碼適用于微軟支持的所有平臺［13］。

3.4 靜態手勢識別技術

靜態手勢以別過程分為三個步驟：手勢提取、特征描述、手勢分類。本設計研究產品的靜態手勢識別過程中，首先，手勢提取包含從Kined傳感器獲取RGB彩色圖像，然后，細分手勢區域、特征提取包含取距離信息、高度信息、手勢區域特證、手勢識別將所有的手掌特證信息綜合到一個多分類的支持向量機中完成識別［15］，本算法主要研究設計支持多分類向量機算法，圖9為算法的整體流程圖［14］。

圖10 靜態手勢識別算法流程圖

支持向量機方法可以利用線性函數將二維空間中的兩個有差別的線性可分的樣本正確的分離開來，也可以通過加入核函數，將二維空間中線性不可分的樣本通過轉化到高維空間，從而實現線性可分，其優點是在所謂的樣本統計量有限時，也仍能得較好的規律統計。其理論是由機器學習專家Vapnik和Cortes經過多年研究在1995年時提出［11］。

在線性分類中，一般是利用一個合適的分類函數將兩類有差別的樣本正確區分開，如數據點用Xi表示，則判別函數為

上式中x為樣本的向量表示，若在n維空間中，ω將變成n維向量。從上式可知，兩類樣本的分界線并非唯一，只要保證不把兩類數據分錯，旋轉分界線仍可達到分類效果。當對兩個相同的樣本進行分類時，如果有多個函數都可將兩類樣本正確分開，應在這多個數中尋找那個最優的分類函數，所以必須找一個可以量化的標準來尋找那個最優分類函數，這個量化的標準被你為“分類間隔”。對于一個由向量Xi和標記 yi，組成的樣本可定義一個樣本點到某個超平面的表面間隔，然后對參做歸一化處理將得到相應的幾何間隔，表示樣本點到相應超平面的歐氏距離為

接著將定義一個點的集合到某個超平面的距離為此集合中離超平面距離最短的點的集合，將二分類問題轉換成二次規劃問題，求出其全局最優解也即最優分類線，圖11為最優分類線表示圖。

圖11 最優分類線示意圖

以上分類算法可將兩類樣本進行分類，但在研究中大多數為多分類問題，在二分類算法的基礎上構造多分類算法可使用直接法或間接法。

為了利用本算法上述特征提取方法獲得的三個特征描述子，本算法將利用間接法構造一個多分類的支持向量機對手勢分類。每個手勢被一個特征向量F描述，F通過以上獲得的三個不同的特征向量組成 F=［ F1，Fc，Fa］，F1，Fc，Fa一起描述了一個手勢的多方面特征。多分類支持向量機構造算法還包括一類對余類法、一類對一類法、決策二又樹法、決策導向無環圖法以及糾錯輸出編碼法等。

4 產品研發規劃設計

第一階段：手勢傳感全部采用慣性測量設備，測量絕對角度，然后再經過慣性力補償和數學變換得到手指的屈伸角度。這種設備價格低廉，但其利用慣性為參考的原理，可能無法完全適用于活動的手部，這樣所有慣性測量設備測到的角度數據都將面臨嚴重的可信度問題，本研究的產品能夠做到對手勢和手部動作這一人類最自然、最慣常的交互方式的精準捕捉和穩定監測。

第二階段：采用通用元件搭建的驗證版，僅為了驗證方案的可行性，未考慮產品化問題。因此，身形臃腫，體積龐大。導線糾纏不休，元件欲拒還迎。連接時斷斷續續，信號若有若無。這也就決定了該產品會迎來全新的一代［8］。在當前人機交互朝著自然化、便捷化、可穿戴化發展的大背景下，本設計的研究產品更是擁有作為下一代計算機通用輸入設備進而得到廣泛使用的前景此外，由于本產品作為可穿戴設備，具有貼身性且易于長時間連續使用的特點，因此更可以在診療復健、康復監測等醫療輔助市場大展宏圖。

第三階段：以手套為載體的可穿戴智能交互設備的科技產品，緊密貼合手部輪廓，實現了手勢數據的精準捕捉，采用彎曲傳感器方案，實現了不限位置、不限運動狀態的手勢傳感基于手勢傳感的創新輸入方式，帶來輸入和操控的新體驗，從此，本設計研發的產品將開創人機交互的新形式。雖然在當前的產品研發和市場探索階段，產品主要面向VR和游戲操控領域；未來本產品的應用范圍遠遠超出VR和游戲領域。因此，本產品不論是在傳統的通用人機交互設備領域、新近的VR和游戲操控領域還是更進一步的可穿戴設備和醫療輔助領域都具有廣闊的市場和巨大的商機。

5 結語

當前，本設計研發的產品立足于VR和游戲操控領域，已經基本實現了基于手勢傳感的游戲操作和VR操控，并且能夠將手勢數據以標準的格式提交給計算機及其他智得心應手智能手套能設備使用［9］。

在接下來的進一步開發中，本設計研發的產品將立足于本產品已具備的的手勢傳感的特點和優勢，進一步增加功能，把日常生活中人的手部動作，如觸摸、搓捻、彈按、移動等全部采集到，并且加以處理，得到計算機可識別、可處理、可計算的有效數據信息，真正解放人們的雙手，使用戶在人機交互的過程中真正做到自然、隨意。我們將致力于使我們的產品成為推動下一代人機交互設備發展演進的力量。

本產品率先以手套為載體設計的較為成熟可穿戴設備，緊密貼合手部輪廓，精準捕捉手勢數據，基于手勢傳感的創新輸入方式，可直接用手勢直接輸入，用手代替鼠標鍵盤，顯著提高交互性，帶來輸入和操控的新體驗豐富市場同類型產品的種類［10］。

本產品不同于市面上是用攝像頭和聲波進行動作捕捉的產品，采用的是先進的彎曲傳感器方案，創新地將彎曲傳感器用于可穿戴設備實現對手勢的感應，完美解決了傳統傳感技術的局限克服了攝像頭和聲波帶來的時間空間限制的問題，實現了不限位置不限運動狀態的手勢傳感。手勢傳感和慣性測量的結合，實現對手部動作的全方位捕捉，顯著提高了數據的精度，開創人機交互的新形式［2］。