手勢計算技術教學應用的現狀及問題分析*

李 玲 胡衛星 趙苗苗 張麗偉

手勢計算技術教學應用的現狀及問題分析*

李 玲 胡衛星 趙苗苗 張麗偉

（渤海大學 教育學院，遼寧錦州 121013）

基于手勢計算的教學技術已成為當今教育領域新的發展趨勢。文章認為，基于手勢計算技術的學習過程具有具體性、協作性、游戲性、交互性和智能性等鮮明特征，能夠為學習者提供一種新型的學習方式或過程體驗。文章分析了當前手勢計算技術在教學應用中存在的問題，如教學績效不高、學習內容過于游戲性、難以適應學習者學習風格和特點等，指出其能夠在觸覺、視覺、聽覺等多元通道基礎上形成人機的深度交互，能營造出技術和學習者自然融合深度無縫的新型交互學習環境，將為教育信息化的進一步發展開辟新的局面。

手勢計算；人機交互；教學應用

在教育信息化飛速發展的過程中，課堂文化正在發生巨大的變革：由第一代的以“黑板”和“粉筆”為中心的聽說讀寫講授文化，轉向了第二代的以“鍵盤”與“鼠標”為中心的多媒體資源應用文化，目前第三代的以“移動”與“手勢”為中心的個性化手勢移動計算文化也已初見端倪。手勢移動計算新課堂將以自然的形態，改變教學互動方式，使教學活動再次煥發生機。在信息技術支持教育技術變革的進程中，學習者與機器之間的交互方式影響著學習的效率。因此，人們總是關注并推動人機交互方式的變革，出現了基于文本方式的交互、基于圖形方式的鼠標交互等交互方式。但這些傳統的技術形式在人機交互方式的便捷性和靈活性方面還存不足，學習者需要適應機器的運行程序，因而，缺少主動控制的“自然”便利。在此背景下，手勢計算技術應運而生并得到了飛速發展。

手勢計算技術是指通過觸控技術、可穿戴設備、人臉識別、面部表情識別、唇讀、頭部運動跟蹤、凝視跟蹤、手勢識別以及人體姿勢識別等來進行機器運行命令的解析，從而實現人機之間的自然交流溝通[1]。2010～2015年的《地平線報告》指出，手勢計算技術已經連續5年成為新教育信息技術的發展動態，逐步升級的可穿戴設備和虛擬助手等設備技術正日趨成熟并在教學中廣泛應用。手勢計算將逐漸取代“鍵盤與鼠標”的控制文化，讓教師和學習者擺脫“線”制，以智能化的方式更加自然地進行人機交互，并進行有意義教學，以充分調動學習者的學習興趣，讓學習者更加積極主動地參與到學習之中。同時，手勢計算也將營造出一種新型的智能化學習環境，學習者、手勢計算技術、數字化學習資源和智能教學環境將達到高度耦合的狀態，學習者的個性化學習和創造性活動實踐將得到長遠的發展。

一 手勢計算技術的理解與特征分析

1 手勢計算技術的理解

基于手勢的計算又稱“手勢識別”或者“基于手勢的技術”，是一種通過自然的身體動作來控制電子設備的技術。具體來講，手勢計算技術能夠實現從鼠標和鍵盤控制計算機到憑借身體動作、面部表情、語音識別等新觸控技術來控制計算機等電子設備。手勢計算技術正在從物理和機械上改變人們與計算機等電子設備交互的方式[2]，為人們提供了一種更加高效的人機交互機制：將人體的自然手勢作為交流方式引入到人機接口，人們可以直接將人手作為計算機輸入設備，而不再需要中間媒介。用手勢識別技術構建新型的學習交互界面，適應了新一代人機交互輸入方式教學應用自然化發展的要求。這項技術的應用，將使人機交互方式更加符合學習者的行為習慣，使學習者不必通過鍵盤輸入或鼠標操控甚至不必接觸屏幕便可進行交互學習。以數據手套、視頻設備和網絡環境為支撐[3]，以數字化課程等教學資源為基礎，手勢計算技術作為重要的工具手段，將構建出符合教師和學習者學習特征、學習風格的新型教學模式或學習方式。

2 手勢計算技術的特征分析

與傳統的教育媒體技術形式相比，手勢計算技術具有以下鮮明特征：

（1）可使學習過程更加生動形象、具體直觀。手勢計算是用手形動作和表情姿勢而構成的比較穩定的操作方式，學習者靠動作和視覺與設備進行交互學習[4]。手勢語同樣包含豐富的信息內涵，較傳統媒體形式更加自然且易于理解。

（2）極易實現以學習者為中心的學習活動。傳統人機交互學習方式是將機器作為人機交互的中心，學習者與機器交互需要適應機器的輸入輸出設備，無自然的主動控制能力。而手勢計算充分考慮了學習者的行為習慣（如語音、肢體動作、表情等），學習者是學習活動的主動參與者，機器將對人的各種動作做出反應。

（3）營造具有高度體驗感的學習環境。手勢計算擺脫了鍵盤、鼠標操作的限制，采用簡單直觀的動作手勢或表情直接控制學習設備，其更加自然、靈活和便捷的方式可為學習者營造出更加簡便舒適的交互環境，提高學習者的學習體驗度[5]。

（4）支持多通道和多學習者的人機交互共享。手勢計算技術可以充分調動學習者的視覺、聽覺、觸覺、嗅覺和平衡感等，并運用通道的互補特性來捕捉學習者的多方意圖。此外，手勢計算技術還可實現多學習者的參與性學習，接受多點同時輸入，能為學習者之間的接觸、交互和協作開辟多元化途徑[6]。

（5）提升學習交互過程的智能性和高效性。手勢計算技術用戶界面支持高的輸入帶寬，學習者可以快速大批量地輸入姿勢信息[7]。手勢計算可以智能解讀學習者的意圖，并及時做出正確反應，營造更為精確的交互模式。學習者能較快學會和運用手勢，可同時用雙手完成多個任務，因此大大提高了學習的效率、增強了學習的效果。

二 國內外手勢計算技術概況

1 國內外手勢計算技術的發展狀況

近幾年，國外手勢計算技術在人機交互方面發展迅速，并取得了突破性的進展。由于具有很高的應用價值，手勢計算技術受到很多世界著名大學和軟件公司的關注及開發投入。目前，已經出現了諸多的新一代技術產品，正源源不斷地為學校教育中智能化教學活動的開展提供著設備支持。如Apple公司于2007年基于iPhone手機開發了多觸點觸摸技術——這是一種基于傳感器的隱式輸入技術，其豐富的視覺體驗和獨特的交互風格使人機操作變得更直觀、更人性化，并進一步促進了平板電腦的教學應用；IBM視覺小組成員Anton Zorin等于2008年研發出基于穿戴特殊顏色標記手套的虛擬導購系統、Google Earth和故宮導航系統，可通過手套標記后對手勢進行識別，再映射成交互命令控制虛擬場景中的物體；谷歌眼鏡是由谷歌公司于2012年發布的一款“拓展現實”眼鏡，可以通過聲音控制拍照、視頻通話和辨明方向，甚至可以上網沖浪、處理文字信息和電子郵件等；Leap Motion公司于2013年發布體感控制器并進一步開發出Leap系統，該系統無需觸摸操作即可與個人電腦輕松交互，這預示著基于手勢計算的控制技術成為當前人機交互技術發展的前沿；Tarsier公司于2015年在加州圣克克拉召開DEMO大會，展示基于手勢的MoveEye技術——操控者用手勢即可操控智能電視，進行互動游戲或學習活動；加拿大創業公司Thalmic Labs最近開發出一款名為MYO臂環的創新產品，讓前臂肌肉來確定用戶的手勢在傳遞什么信息，而且學習者只要動動手指或手掌，就能對一些電子產品發出指令。

我國手勢計算技術雖然起步較晚但卻發展迅速。如2000年，哈爾濱工業大學的吳江琴、高文等首先進行了數據手套和手語識別系統方面的研究；清華大學的祝遠新和徐光佑開發出了基于視覺的動態孤立手勢識別技術[8]。2004年，上海大學的段洪偉用LS-SVM算法實現了對靜態手勢的識別[9]；山東大學的徐立群和吳曉娟提出了一種改進的Camshift算法跟蹤手勢，實現了6種手勢的識別。2005年，北京大學的張凱等利用平面立體匹配算法得到三維手勢信息，實現了基于立體視覺的手勢識別。此外，臺灣大學和香港中文大學的相關專家學者也紛紛對手勢計算識別算法進行了深入而系統的研究。

2010年，上海世博會上展示了許多手勢計算技術的應用成果，由此實現了更多傳統媒體技術所無法獨立完成的任務，延伸著人類身體器官的功能性。2009年之后，伴隨著電子白板等多媒體教學設備在中小學的普及應用，手寫識別功能得到了越來越多一線教師和學生的認可。2011年，騰訊公司推出了QQ手勢達人軟件“for PPT”，這是一款通過普通攝像頭來進行手勢控制的體感軟件，它拋棄了人們一直使用的鍵盤和鼠標，完全利用手勢控制PPT演示文稿的播放。2014年，我國手勢體感儀制造商——鋒時互動公司開發了人體手勢識別設備“微動”，無需用戶穿戴任何輔助設備，即可識別使用者十指的動作路徑、手勢動作和相應的運動軌跡，并且能夠將識別信息實時轉化為各種人機操作指令，在自然狀態下使用者亦可靈活進行游戲或學習。2015年，臺灣地區的一些中小學已經構建出基于手勢運算的智慧教室，允許多個學習者用熟悉的動作與虛擬世界的學習內容進行交互。

2 國內外手勢計算技術的教學應用現狀

《2012地平線報告（高等教育版）》指出：“基于手勢的計算從利用鼠標和鍵盤來控制電腦，轉變到通過新輸入設備利用身體運動、面部表情和語音識別來控制電腦，使得交互更加靈活。”[10]手勢計算技術在文件瀏覽、游戲和培訓模擬操作等方面具有很大的優勢，在教育和學習中也有很大的潛力。如在教育領域，手勢計算將給學習者帶來不一樣的活動實踐體驗。目前在國內外學校教育教學過程中得以應用的相應系統技術產品形式，主要包括實時教學反饋、技能模擬訓練、真實感官學習、肢體運動表演、新協作互動訓練和超三維空間學習環境構建等。

當前，國內外手勢計算技術在學校教育中的主要應用領域包括：

（1）在兒童教育中的應用。主要是利用多點觸控電子互動技術，讓書寫計算能力相對薄弱的兒童完成諸如連線、拼圖、繪圖、計算和問題解決等認知任務。借助手勢計算技術，兒童只需用手指在屏幕上對操作對象進行拖動、旋轉、點擊等操作便可進行交互學習。同時，還可以通過多點互動來提高兒童的團隊協作能力。

（2）在高等教育中的應用。其中，比較典型的是虛擬智慧校園的構建與應用。在手勢計算技術的支持下，學習者可以盡情扮演學校中的各種角色，并產生身臨其境般的學習、生活感受。

（3）在醫療培訓教學中的應用。主要是利用3D技術搭配手勢計算技術開發出“3D虛擬手術臺”，并將其作為日常醫學訓練的重要平臺。學生可以用手勢對人體器官圖像數據進行移動、放大、縮小，可以進行獨立操作或協作練習。這種方式大大提高了學生的學習效率，增強了學習效果，改變了傳統醫療教育中的教學方式。

（4）在特殊教育中的應用。手勢計算技術能夠很好地解決特殊人群的教學發展需要，如借助手勢計算技術、使用EyeDraw繪圖軟件，可以使肢體殘疾者實現眼球控制信息的交流。手勢計算技術能夠幫助特殊人群通過練習形成多元化的表達方式，強化他們的短時記憶和長時記憶，進而有利于滿足特殊人群的教育需求，實現教育公平并促進教育的均衡化發展[11]。

三 手勢計算技術教學應用的問題及分析

目前，手勢計算技術在教學中的應用還處于初級階段，盡管優勢明顯，但也存在諸多的問題亟需解決。常見的問題主要有：①手勢計算教學設備的成本較高。考慮到教學績效還遠遠沒有達到以最小投入獲得最好教學效果的媒體選擇原則，這也是一線學校普遍看好但卻很少配置應用的主要障礙。②手勢計算教學設備的使用需充分考慮學習者的年齡特點和學習風格，選擇最適合學習者的學習交互形式。目前，手勢計算教學應用內容的游戲性過強，對于自控能力相對較弱的低齡學習者來說需要進行正確的引導。③不能將技術作用絕對化。手勢計算技術只是一種新型的教學輔助方式，遠不能替代教師在教學中的作用，因為技術最大的優勢在于學習環境的創設和認知工具性的提供，而基于技術的人際溝通交流（師生互動）才是課堂教學的根本。④目前大部分的手勢計算設備需要固定位置且體積較大，移動性差，這就在某些場合某些時間為學習者學習帶來了不便。在移動學習迅猛發展的浪潮下，借助手勢計算技術，需要繼續開發出新型便捷的可穿戴設備，努力為學習者營造無縫的學習環境。⑤支持學習者手勢學習的系統和軟件的數量、質量都有待提高。這需要有關技術研發機構能夠開發出適應多樣化學習內容的應用軟件和學習應用系統。⑥手勢計算技術在教學中應用時需要在教學模式上有所創新和突破。借助手勢計算技術的優勢，新型的教學方式要體現出教師教授、學生學習的發展性和創新性。

總之，手勢作為一種自然和直接的交流方式，在人與人的交際過程中得到了廣泛應用。而如何在人機交互中也創造出類似的交流經驗，是手勢計算技術發展的宗旨。隨著智能手機、可穿戴式設備、家用自動化控制儀器等電子設備的進一步網絡化發展，手勢計算技術將有助于實現人機交互水平的大幅提升，將無需觸碰操控也能識別學習者動作并做出回應[12]。利用手勢計算技術獲得學習者豐富的交互意圖并積極做出反饋，是當前教育信息技術研究和應用領域中人機交互技術發展的新課題[13]。在不久的將來，基于手勢計算技術的新人機交互技術會在觸覺、視覺、聽覺等多元通道，營造出技術和學習者自然融合且深度無縫的交互學習環境。

[1]龔陶波.基于計算機視覺的靜態手勢識別系統[D].武漢:華中師范大學,2008:6.

[2]程云,王艷麗,童三紅.新技術創新促進教育與學習:地平線項目研究啟示[J].現代教育技術,2012,(3):22-26.

[3]鄒洪.實時動態手勢識別關鍵技術研究[D].廣州:華南理工大學,2011:2-3.

[4]Mao Q R,Pan X Y,Zhan Y Z.Using kinect for real-time emotion recognition via facial expressions[J].Frontiers of Information Technology & Electronic Engineering,2015,(4):272-282.

[5]王冉冉.基于視覺的手勢識別在智能電視上的應用研究[D].青島:中國海洋大學,2013:50-52.

[6]李文生,解梅,鄧春健.基于多點手勢識別的人機交互技術框架[J].計算機工程與設計,2011,(6):2129-2133.

[7]王輝.基于視覺的實時手勢跟蹤與識別及其在人機交互中的應用[D].浙江:浙江大學,2008:6.

[8]蔡祖洪.基于雙目視覺的實時手勢人機交互的研究[D].杭州:杭州電子科技大學,2011:2-5.

[9]Rashid O,Al-Hamadi A,Michaelis B.A framework for the integration of gesture and posture recognition using HMM and SVM[J].Intelligent Computing and Intelligent Systems,2009,(4):572-577.

[10]李建珍,官海萍.手勢計算技術的發展研究— —2012年新媒體聯盟NMC《地平線報告》啟示[J].電化教育研究,2012,(11):39-61.

[11]Dim N K.Designing motion gesture interfaces in mobile phones for blind people[J].Journal of Computer Science & Technology,2014,(29):812-824.

[12]單祥茹.通過手勢識別的機器感知時代已經到來[J].中國電子商情:基礎電子,2015,(Z1):15-16.

[13]PCWorld中國.電視成全新平板設備:基于手勢的計算將如何發展[OL].

The Status and Problem Analysis of Teaching Application for Gesture-based Computing Technology

LI Ling HU Wei-xing ZHAO Miao-miao ZHANG Li-wei
（Education College,Bohai University,Jinzhou,Liaoning,China 121013）

Nowadays,the instructional technology of gesture-based computing has become a new development trend in education area.The learning process of gesture-based computing technology has the features of distinct specificity,interoperability,gameplay,interactivity and intellectuality,thus it provides a new way of learning and process experience for learners.The paper analysed some problems that the teaching performance was not high,the learning content was too recreational,and it was too hard to adapt to the learners’ learning styles and characteristics existing in the application of gesture-based computing technology in education,and proposed that gesture-based computing technology can form a deep human-computer interaction in the aspects of touching,visualizing and hearing,and build a deep and seamless new interactive learning environment,where technology and learners blended naturally,which will create a new situation for the further development of education informationization.

gesture-based computing; human-computer interaction; teaching application

小米

G40-057

A 【論文編號】1009—8097（2016）01—0034—05

10.3969/j.issn.1009-8097.2016.01.005

本文為教育部人文社科青年項目“四元交互作用機制下的動畫多媒體學習研究”（項目編號：13YJC880028）、遼寧省高校青年教育科研骨干專項課題“信息技術融入課堂教學的有效性研究”（項目編號：JGZXQDB039）的階段性研究成果。

李玲，在讀碩士，研究方向為信息化教育和數字化教育資源的研發，郵箱為1411886871@qq.com。

2015年6月29日