13　基于移動(dòng)設(shè)備中的交互性手勢(shì)設(shè)計(jì)探考

方芳 FANG Fang武漢理工大學(xué)，武漢 430070（Wuhan University of Technology，430070 Wuhan）

13基于移動(dòng)設(shè)備中的交互性手勢(shì)設(shè)計(jì)探考

方芳 FANG Fang
武漢理工大學(xué)，武漢 430070（Wuhan University of Technology，430070 Wuhan）

移動(dòng)智能設(shè)備的廣泛應(yīng)用使得當(dāng)今的科技進(jìn)入了一個(gè)全新的交互時(shí)代。設(shè)備的使用者及軟件數(shù)量都以令人驚嘆的速度增長(zhǎng)著。手勢(shì)交互的操作特性使得這種交互方式成為移動(dòng)設(shè)備中人機(jī)交互的主流模式和未來(lái)的發(fā)展方向。基于此，一方面針對(duì)現(xiàn)有主流移動(dòng)設(shè)備手勢(shì)交互方式進(jìn)行社會(huì)調(diào)查，探討并建立用戶(hù)特定手勢(shì)和含義的映射關(guān)系；另一方面則從用戶(hù)出發(fā)，研究用戶(hù)的意圖，考察不同環(huán)境、平臺(tái)下用戶(hù)手勢(shì)操作的關(guān)聯(lián)性，從而設(shè)計(jì)出更加高效、便捷的用戶(hù)手勢(shì)操作方式，使智能移動(dòng)設(shè)備能夠充分發(fā)揮其使用價(jià)值，更好地為用戶(hù)服務(wù)。

手持移動(dòng)設(shè)備；用戶(hù)操作；人機(jī)交互；手勢(shì)識(shí)別

一、引言

伴隨著文明的發(fā)展，電子科技的水平也在不斷提高，人機(jī)交互技術(shù)儼然成了一個(gè)新的關(guān)注點(diǎn)，因?yàn)樗o人們的生活境況帶來(lái)了大的改變。該項(xiàng)技術(shù)的載體即移動(dòng)設(shè)備的廣泛應(yīng)用同樣使得當(dāng)今的科技產(chǎn)品進(jìn)入一個(gè)全新的信息交互時(shí)代。傳統(tǒng)的交互方式主要是鍵盤(pán)、觸摸等，而手勢(shì)交互更加直觀便捷、表意豐富，能夠更好地在設(shè)備與用戶(hù)之間搭建一座橋梁，傳遞使用者的意圖。人與機(jī)器之間的交互方式更加自然，同時(shí)機(jī)器設(shè)備也將更為準(zhǔn)確地進(jìn)行識(shí)別、理解并執(zhí)行用戶(hù)想要表達(dá)的意圖。由此可見(jiàn)，手勢(shì)識(shí)別這種方式的運(yùn)用已然成為當(dāng)今人機(jī)交互中便捷性、自然性的重要體現(xiàn)。

二、手勢(shì)與移動(dòng)設(shè)備的結(jié)合

1.手勢(shì)的定義

一直以來(lái)，人類(lèi)借助于手勢(shì)進(jìn)行溝通和交流。人們常常不用多加思考，應(yīng)用身體語(yǔ)言就可以主動(dòng)地向他人表達(dá)想要傳遞的思想。長(zhǎng)久以來(lái)由于人類(lèi)對(duì)手勢(shì)交流的重視創(chuàng)造出了大量通行、易懂的語(yǔ)義，這些語(yǔ)義就是信息。換言之，一些信息是可以通過(guò)手勢(shì)語(yǔ)言給予準(zhǔn)確表達(dá)的。

2.移動(dòng)設(shè)備的手勢(shì)功能

作為日常生活中形影不離的工具，移動(dòng)設(shè)備為人類(lèi)的生活帶來(lái)了極大的便捷。將手勢(shì)操作運(yùn)用在移動(dòng)設(shè)備中，設(shè)計(jì)出天然的交互操作方式，成了交互設(shè)計(jì)的重要目標(biāo)。手需要運(yùn)用何種方式進(jìn)行卓有成效的操作也就成了一個(gè)重要的研究?jī)?nèi)容，于是就有必要重點(diǎn)思考和探討目前已有的問(wèn)題并予以回答。

移動(dòng)應(yīng)用中手勢(shì)說(shuō)明的自然交互性尤為重要。通常情況下，一個(gè)移動(dòng)設(shè)備的應(yīng)用要呈現(xiàn)出相當(dāng)多的信息，然而由于屏幕的限制，這些數(shù)據(jù)必須存放在不同級(jí)別關(guān)系的界面之中。例如，用戶(hù)通過(guò)左右滑動(dòng)的方式呼出菜單、用“下拉”的方式刷新頁(yè)面以及“長(zhǎng)按”來(lái)編輯數(shù)據(jù)。手勢(shì)的運(yùn)用使界面伸展擴(kuò)大，使用者也能夠一次性地瀏覽到大量的數(shù)據(jù)信息。這就是說(shuō)移動(dòng)設(shè)備手勢(shì)操作的設(shè)計(jì)必須滿(mǎn)足這些特性，并且應(yīng)該提高其便捷性與高效性，才能成為符合用戶(hù)操作需要的手勢(shì)。

三、用戶(hù)操作手勢(shì)與移動(dòng)設(shè)備的交互性連接

1.手勢(shì)交互應(yīng)用的特性

科技的進(jìn)步使人類(lèi)可以自由地穿行在虛擬與現(xiàn)實(shí)場(chǎng)景之中，無(wú)論身處哪種環(huán)境，人們都能依賴(lài)于最自然、最熟悉的方式與世界溝通。這樣的行為促使設(shè)計(jì)師在手勢(shì)交互的使用上，設(shè)計(jì)出更符合人類(lèi)操作習(xí)慣的交互設(shè)計(jì)。移動(dòng)設(shè)備在與用戶(hù)交互的過(guò)程中重點(diǎn)使用了手勢(shì)，這種交互方式與人類(lèi)自身所熟悉的身體語(yǔ)言相似，所以用戶(hù)能夠在最短的時(shí)間內(nèi)掌握操作方式。用戶(hù)長(zhǎng)久以來(lái)在日常生活中所積累的經(jīng)驗(yàn)和技能能夠在此極好地得到應(yīng)用，大大提高了用戶(hù)使用的舒適度，同時(shí)也降低了操作難度。這樣，用戶(hù)就沒(méi)有必要從頭學(xué)起，操作也可以更加順手、便捷。

2.交互性手勢(shì)語(yǔ)義分類(lèi)

按照不同的語(yǔ)義對(duì)手勢(shì)進(jìn)行分類(lèi)是手勢(shì)操作識(shí)別設(shè)計(jì)中的重要內(nèi)容。有以下三種手勢(shì)分類(lèi)方式。

（1）符號(hào)型手勢(shì)、模式型手勢(shì)、模仿型手勢(shì)、圖標(biāo)型手勢(shì)、指示型手勢(shì)以及強(qiáng)調(diào)型手勢(shì)。符號(hào)型手勢(shì)指的是用手指的動(dòng)作代表一種通用符號(hào)；模型式手勢(shì)經(jīng)常表示一些情感，如聳肩、攤開(kāi)手表示不知道等；模仿型手勢(shì)常被用來(lái)模仿人們使用、操縱某個(gè)物體，如模仿操縱汽車(chē)的方向盤(pán)等；指示型手勢(shì)就是用手指指向一個(gè)物體，或者指向物體的位置抑或運(yùn)動(dòng)方向等；強(qiáng)調(diào)型手勢(shì)主要是在人們說(shuō)話(huà)的時(shí)候具有輔助的作用［1］。

（2）手勢(shì)和無(wú)意識(shí)動(dòng)作。手勢(shì)有兩種，即操作型手勢(shì)和通信型手勢(shì)。操作型手勢(shì)表示在某種環(huán)境中對(duì)某些物體的操作，通信型手勢(shì)就是將手勢(shì)作為交流的工具，就像手語(yǔ)一樣；通信型手勢(shì)又可以分為動(dòng)作手勢(shì)和符號(hào)手勢(shì)。符號(hào)手勢(shì)與第一種分類(lèi)方法中的符號(hào)型手勢(shì)一樣，用來(lái)表示一種事先約定的意思，可以區(qū)分為指代型符號(hào)和模式型符號(hào)兩種形式；動(dòng)作手勢(shì)則包含模仿型動(dòng)作和指示型動(dòng)作，這與上一種分類(lèi)方式中的模仿型手勢(shì)和指示型手勢(shì)是相一致的［2］。

（3）二維手勢(shì)和三維手勢(shì)。二維手勢(shì)通常發(fā)生在移動(dòng)設(shè)備的交互界面上，而三維手勢(shì)則經(jīng)常出現(xiàn)在脫離交互界面的整個(gè)三維立體空間之中。二維手勢(shì)被普遍應(yīng)用于與手持移動(dòng)設(shè)備關(guān)聯(lián)的交互技術(shù)之中，而三維手勢(shì)目前主要應(yīng)用于更為復(fù)雜的人機(jī)交互系統(tǒng)之中［3］。

四、移動(dòng)設(shè)備平臺(tái)中手勢(shì)交互技術(shù)的新發(fā)展

1.三維手勢(shì)輸入技術(shù)——Leap Motion體感控制器

近年來(lái)，國(guó)內(nèi)外科學(xué)家對(duì)計(jì)算機(jī)中基于手勢(shì)識(shí)別的三維手勢(shì)交互輸入技術(shù)進(jìn)行了認(rèn)真研究。目前計(jì)算機(jī)三維手勢(shì)輸入主要有收據(jù)手套和基于電腦視覺(jué)兩種方式。

（1）數(shù)據(jù)手套。基于數(shù)據(jù)手套的手勢(shì)輸入，是根據(jù)戴在手上的具有位置跟蹤器的數(shù)據(jù)手套獲取信息，然后利用光纖直接測(cè)量手指的彎曲和手的位置以實(shí)現(xiàn)的手勢(shì)輸入［4］。

（2）電腦視覺(jué)。基于電腦視覺(jué)的手勢(shì)輸入是采用攝像機(jī)捕捉手勢(shì)圖像，再利用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)捕獲到的圖像進(jìn)行分析，提取手勢(shì)圖像特征，從而實(shí)現(xiàn)手勢(shì)輸入［5］。這種方法較少限制用戶(hù)手的運(yùn)動(dòng)，與此同時(shí)，用戶(hù)還可以觀看到自己所捕獲的圖像。

Leap motion通過(guò)兩個(gè)攝像頭以捕捉經(jīng)過(guò)紅外線 LED 照亮的手部影像，經(jīng)三角測(cè)量并計(jì)算出在空間中的相對(duì)位置，以此來(lái)連接電腦，其最大特點(diǎn)是用手勢(shì)輸入取代了傳統(tǒng)的鍵盤(pán)、鼠標(biāo)輸入。Leap Motion的識(shí)別范圍大致為設(shè)備頂部以上 25毫米至 600 毫米處，識(shí)別空間基本上是一個(gè)倒置的四棱錐體。在這個(gè)空間之中理論上能夠?qū)崿F(xiàn)的精度為 0.01 毫米，目標(biāo)則是手指的動(dòng)作識(shí)別，延遲大約在 5-10 毫秒內(nèi)［6］。

作為一款三維手勢(shì)輸入的概念產(chǎn)品，leap motion依然存在著一些缺點(diǎn)，如用戶(hù)長(zhǎng)時(shí)間手臂懸空操作的勞累問(wèn)題，以及懸空手勢(shì)輸入的精準(zhǔn)度問(wèn)題等，因此需要使用更多的時(shí)間進(jìn)行優(yōu)化。當(dāng)科技發(fā)展到一定水平，Leap Motion這種三維空間手勢(shì)交互方式一定會(huì)成為人機(jī)交互的最新工具（見(jiàn)圖1）。

圖1　Leap Motion體感控制器

2.智能可穿戴設(shè)備中的手勢(shì)問(wèn)題

可穿戴設(shè)備的工作原理基于穿戴式傳感器的識(shí)別系統(tǒng)，一般是利用數(shù)據(jù)手套或是固定在手臂上的動(dòng)作傳感器來(lái)獲取手勢(shì)數(shù)據(jù)。數(shù)據(jù)手套可以直接采集到所需要的運(yùn)動(dòng)數(shù)據(jù)、手型以及手指、手臂彎曲角度等方面的數(shù)據(jù)。數(shù)據(jù)手套的優(yōu)點(diǎn)是采集到的數(shù)據(jù)比較穩(wěn)定，信號(hào)處理簡(jiǎn)單；缺點(diǎn)則是設(shè)備復(fù)雜而費(fèi)用昂貴，實(shí)用性比較低。而基于加速度、地磁和陀螺儀等動(dòng)作傳感器不受外部條件的限制，可以在惡劣的條件下和較大的空間范圍內(nèi)實(shí)施手勢(shì)操作識(shí)別［7］。

探討、研究可穿戴設(shè)備的手勢(shì)識(shí)別有著重要的理論意義和實(shí)際應(yīng)用價(jià)值。理論上，手勢(shì)識(shí)別涉及人機(jī)交互、模式識(shí)別等多個(gè)領(lǐng)域，這項(xiàng)技術(shù)的應(yīng)用能極大豐富人機(jī)交互方法的理論基礎(chǔ)；實(shí)際應(yīng)用上，大量基于傳感器這種識(shí)別方式的移動(dòng)設(shè)備的開(kāi)發(fā)也改變了人們的生活質(zhì)量，給日常生活帶來(lái)了極大的便捷。

［］［］

五、小結(jié)

隨著日常生活節(jié)奏的不斷加快，人們需要在忙碌之中快速處理眾多信息，由此手持移動(dòng)設(shè)備的交互便捷顯得尤為重要。手勢(shì)交互的重點(diǎn)就是要強(qiáng)調(diào)更自然更直觀的綜合性手勢(shì)操作。用戶(hù)能夠迅速理解并熟練掌握各種操作方式并使用自如，高效率地利用產(chǎn)品，以求最快的實(shí)現(xiàn)用戶(hù)使用的目的。

手勢(shì)操作有著豐富而有趣味的交互方式，它的應(yīng)用使用戶(hù)不再受設(shè)備的諸多限制，操作者能夠在方便和高效的情況下完成各項(xiàng)操作，同時(shí)也能為用戶(hù)提供新鮮而有刺激的經(jīng)歷。手勢(shì)的應(yīng)用十分廣泛，這都需要交互設(shè)計(jì)師具有相當(dāng)大的知識(shí)儲(chǔ)備以及設(shè)身處地的從用戶(hù)的角度出發(fā)，只有這樣才能真正地為用戶(hù)做出有益的設(shè)計(jì)。

［1］Wexelblat.A feature-based approach to continuous-gesture analysis［D］.SM Thesis，MIT Program in Media Arts and Sciences，1994:113-114.

［2］Pavlovic I，Sharma R，Huang T S.Visual interpretation of hand gestures for humancomputer interaction: A review［C］.IEEE Trans on PAMI，1997:23-25.

［3］王元，高羽.帶你了解世界最先進(jìn)的手勢(shì)識(shí)別技術(shù)［EB/OL］.（2015-02-27）［2015-03-18］. http://www.leiphone.com/news/201502/ QM7LdSN874dWXFLo.html.

［4］韓雙煥.筆式用戶(hù)界面中手勢(shì)的可用性設(shè)計(jì)和識(shí)別研究［D］.北京:中國(guó)科學(xué)院研究生院（軟件研究所），2005:56-57.

［5］王悅，岳瑋寧，王衡，董士海.手持移動(dòng)計(jì)算機(jī)中多通道的交互［J］.軟件學(xué)報(bào)，2005（01）:60.

［6］周韶宏.交互革命：人與機(jī)器該怎樣交流［EB/ OL］.（2014-11-05）［2015-03-18］.http://www. ifanr.com/466339.

［7］楊經(jīng)緯.基于可穿戴傳感器的手勢(shì)識(shí)別［D］.杭州：浙江工業(yè)大學(xué)，2012:31-32.

Research on Interactive Gesture in Mobile Devices Design

Wide use of mobile intelligent devices has turned today's society into a new era of interaction. The number of application users and devices are increasing in an amazing pace. Operational characteristics of the gesture interaction make this interaction become the mainstream model of mobile devices in human-computer interaction and future trends. In this paper, on the one hand we like to investigate and study currently mainstream mobile devices interactive gestures explore and establish the mapping between user-specifi c gestures and their meanings. On the other hand, our research starting from the user, to know their intention, to explore different environments, relevance under the platform of user gestures, to design more effi cient and convenient user gestures, which allows the smart mobile devices into full play its value and better services for users.

mobile device；user operation；human-computer interaction；gesture recognition

J02

A

10.3963/j.issn.2095-0705.2016.03.013（0080-03）

2016-04-19

方芳，武漢理工大學(xué)藝術(shù)與設(shè)計(jì)學(xué)院碩士生。