針對老年用戶的智能家居系統中的手勢交互集研究

鄔旭，張倩

（1.天津理工大學，天津，300384；2.天津城建大學，天津，300384）

0 引言

近年來，研究人員一直致力于開發更加自然的人機交互（HCI）界面，以方便用戶搭建與產品之間更加直觀的交互方式。手勢交互的研究是其中一項重要分支。手勢交互即用戶通過使用手和手指的姿勢或運動向產品發出指令。

在二維手勢交互中，用戶不再需要使用傳統的設備（例如鼠標和鍵盤），僅通過指尖觸摸屏幕表面即可發出指令。在目前智能移動設備（例如智能手機、平板電腦）的操作中已得到廣泛應用。二維手勢交互的局限性在于：它仍需借助屏幕傳感器對于指尖的感測來接收和發布指令。隨著運動捕捉技術、傳感技術、算法技術的發展，三維手勢交互逐漸成熟。對于三維手勢交互，用戶可以無需再借助任何外部設備，僅通過在三維空間的手勢動作就可以輕松的控制操作界面。用戶將擁有與產品更加直觀和自由的互動方式。無論是單獨使用還是與其它交互方式形成多模式互補，都能發揮出良好的效果，在未來擁有廣泛的應用前景。與傳統的UI界面或語音交互相比，具有以下優勢：

(1)速度：如果需要快速響應，手勢比說話更快；(2)距離：如果需要跨越房間進行交流，做手勢比動嘴巴更容易；(3)表意簡潔：表達一定含義用到的手勢越簡潔，越容易被記住；(4)表現力：手勢非常適合表達情感。

進入老齡化社會后，越來越多智能設備將進入老年人的家中。老年人相比于年輕人，在認知能力、記憶能力和判斷能力方面均有不同程度的下降，現有的多種交互模式對于老年人來說過于復雜。因此創建一套應用在智能家居系統中并充分滿足老年人需求的三維手勢交互集非常必要。

1 文獻綜述

關于三維手勢交互，國外已經進行了一些相關研究。Bowman和Wingrave（2001）研究了在菜單選擇界面已經設計用于手勢交互的可能性[1]。Alpern and Minardo（2003）開發了一個簡單的汽車導航娛樂系統手勢界面[2]。Karam和Scheraefel（2005）開發了用于控制背景音樂的手勢[3]。Wachs、Kolsch、Stern和Edan（2011）研究了心理作用對于手勢交互作用的影響以及相比于傳統的輸入設備或二維手勢輸入，三維手勢交互對于HCI的優勢[4]。國內對于三維手勢交互的大多集中在對于手勢識別技術層面的研究，李清水、方志剛等（2000）提出了手勢交互在人機交互中的應用[5]。楊波、宋曉娜等（2010）分析了復雜背景下基于空間分布特征的手勢識別算法[6]。

2 方法

■2.1 查找命令手勢

實驗人員收集了智能家居系統的各類產品的指令，并對其進行了歸納，同時還借鑒了之前二維觸摸感應交互研究中的指令。最終實驗人員選取了智能家居五大門類11種產品共計40種目標指令（見表1）。

表1 選擇進行實驗的智能家居產品40個指令

■2.2 實驗人員和測試環境和實驗程序

共有30名老年人參加實驗，其中16名為女性，12名為男性，平均年齡為63.5歲。受試者安排在1間長寬2.5m×2.5m房間內進行測試（圖1）。實驗進行前，實驗人員將首先對受試者進行實驗原理和過程說明。受試者將被要求想象他們是出現在一所智能家居中，該房間內的產品可以通過他們的手勢指令進行操控。受試者需要對40個指令提供手勢，其中每一個指令至少提供兩種不同的手勢（圖2）。實驗過程期間實驗人員會使用錄像機進行記錄并分析。

圖1 實驗環境

圖2 實驗過程中受測者作出手勢

■2.3 評估方法

由于很多受試者做出的手勢僅存在細微差別，為了防止重復計算對后期評估造成的影響，因此在對其進行評估之前，首先要對得到的手勢影像進行分析，以歸類基本相同的手勢。歸類的標準在于手的姿勢和手部的運動軌跡。姿勢包括手指、手腕和前臂的末端姿勢。運動軌跡包括關節運動的方向和手指、手腕和前臂的同步運動軌跡。若兩項標準基本相同，則將其歸類為同一種手勢。在歸類結束之后，將會對采集到的手勢進行評估。每一名受試者將在實驗人員的說明下完成一組李克特量表(Likert scale)測試，以便了解受試者對于做出的手勢的主觀評價。評價對象為測試的40個命令對應的出現頻率最高的前兩個手勢。評價標準則來自于四個方面[7]：

偏好度：指自己對于該手勢的滿意程度。 匹配度：手勢與指令之間的匹配程度。困難度：手勢時做出時的困難程度。易記憶性：手勢是否容易被記憶。

每一項標準將根據非常滿意（5分）、滿意（4分）、不確定（3分）、不滿意（2分）、非常不滿意（1分）5個層級進行綜合打分。最終的評估結果會根據評估得分和后期專家的評估綜合做出。

3 結果與討論

■3.1 結果

根據實驗提供的40項指令，受試者共創建了超過2600種不同的手勢；經過手勢歸類，受試者對每個指令出現頻率前兩位的手勢進行李克特量表(Likert scale)評分，將根據以上評分結果結合專家的后期評審綜合做出最終選定的手勢。

由于出現有不同的指令由相同的手勢表示的情況，因此只最終形成了16種手勢，在圖3中對這些手勢進行了詳盡的表現：圖中左側列出的是每種指令出現頻率最高的前兩種手勢以及最終選定的對應手勢的具體動作，其中的黑色箭頭表示運動的方向，灰色的虛框表示運動的軌跡。旁邊的柱狀分析圖表示針對每個指令創建的手勢種類的數量及每種手勢出現頻率占總數的百分比。

圖3 每種指令出現頻率最高的前兩種手勢，柱狀圖代表每種手勢出現頻率占總數的百分比

■3.2 手勢交互的特性

經過后期對手勢指令進行的分析與研究，實驗人員發現了手勢指令具有如下一些特性：

（1）大多數的手勢模仿了生活中的動作

相當多的受試者在根據指令創建手勢的時候引入或吸取了日常生活中的對應動作。同時該類手勢在偏好度、匹配度和易記憶性的三項評分中也名列前茅[8]。例如對于接電話的指令，有超過7成的受試者創建的手勢模仿了日常生活中的接電話動作，即單手在耳邊做“六”手勢。還有一些手勢是受試者是根據相關場景聯想到的，例如智能音響的打開和關閉中，受試者通過音樂聯想到音樂會，進而聯想到音樂會上指揮家的動作，從而做出相關手勢，即雙手向上做樂隊指揮動作。

（2）雙手手勢中的合作分工

在實驗中部分受試者使用雙手協同完成指令，且雙手具有明確的任務分工：通常左手作為“主體手”，主要用來表達指令執行的主體或指令本身；右手作為“修飾手”，用來表達具體的指令動作。面對同一主體的不同指令，通常左手保持不變，通過右手動作的變換指代不同的指令。從而實現了用較少的手勢對于多重含義的表達。例如在電視聲音提高/降低的命令中，使用右手作出方框（電視）的形狀，左手分別做出抬升，下降五指向中心張開及五指分開的姿勢分別代表播放器聲音打開、關閉、提高和降低的指令。

（3）少數用戶的手勢可能是更好的手勢

同一指令選取出現頻率最高的前兩類手勢進行評估的方法是基于只有受到更多人接受的手勢才會是更好的手勢的理念而制定的。但在后期分析中，經過與專家探討，實驗人員發現其中部分因出現頻率較低而未被選中的手勢其實非常有趣。這些手勢雖然出現幾率很低，但卻令人眼前一亮，具有非常強的創意性和匹配度。例如對于“關閉”空調的指令，一位受試者做出了雙手摩擦的手勢。因手勢只出現了一次，因此未被選中。但專家對于該手勢用雙手摩擦表示房間寒冷需要關閉空調的想法非常欣賞，并引發了爭論。這似乎表明少數用戶的手勢可能是更好的手勢。

為了驗證該想法，實驗人員將一些出現頻率低但受到專家好評的手勢與受試者進行了交流，結果發現：在給受試者觀看了其他人的手勢之后，當他們觀察到別人做出了自己沒有想到的適合的手勢的時候，他們感到非常興奮。并表示若再次進行實驗，他們會對自己的之前的手勢選擇進行更改。這證明了之前的假想：即少數用戶的手勢可能是更好的手勢。

■3.3 局限性

由于條件的局限，本次實驗存在一定的局限性。主要有兩個方面：首先，進行本次實驗的受試者大部來自于中國北方地區，且均為以漢語為主要語言的漢族居民。根據David Rose的研究，手勢具有代際特征。來自于不同地區或文化背景的用戶會作出不同偏好的任務手勢。因此在未來的實驗中應當考慮繼續加入更多地區的人群。其次，受到到實驗時間的限制，每一個手勢命令中只對兩個出現頻率最高的手勢進行了偏好、匹配度、困難度和易記憶性的主觀評分和專家分析。因此，這可能會導致一些有價值的手勢未來在評估中被遺漏。

4 結語

本文的目標創建一套應用在智能家居系統中并充分滿足老年人需求的三維手勢交互集，通過建立讓用戶參與手勢設計的實驗，指導30名受試者針對40個種常見的人機交互任務開發手勢，并根據偏好度、困難度、匹配度和易記憶性四個方面進行了李克特量表評分和后期專家研究，運用上述方法得到了一組應用于智能家居系統并適應老年人用戶群體的三維任務手勢詞典。同時發現了用戶在手勢的創建中有偏向使用日常生活動作、習慣雙手協同及少數用戶的手勢可能是更好的等三方面特征，為未來中國老年人運用三維手勢交互使用智能產品提供了，更好進行人機交互，更好的提升老年人HCI的滿意度。