單手交互中手持設備正面和背面手勢輸入的對比研究

楊求龍，涂華偉，吳新泉，趙蘊龍，袁家斌

(南京航空航天大學 計算機科學與技術學院，南京 211106)

手勢是人們日常生活中廣泛使用的交流方式，例如手語就是基于手勢的交流語言。隨著計算機計算能力和交互設備性能的提高，手勢早已被應用到人機交互領域中。手勢交互有眾多優點，如其中含有豐富的交互信息，又符合人的認知習慣，能夠實現人的認知空間和計算機計算空間之間的平滑過渡[1]；輸入具有容錯性、連續性、要求較低的視覺注意等特點[2]。

手持設備背面輸入是一種新穎的交互方式，用戶可以用手指在設備背面的輸入區域進行操作。這種交互方式能夠帶來很多好處，例如手指不會遮擋操作目標[3]，可以一定程度上防止肩窺攻擊(shoulder surfing attack)[4]等，因此引起了很多的研究關注。Behind Touch[5]和Blind Sight[6]在移動手機的背面放置了一個12鍵的鍵盤，用于文字輸入。Hybrid Touch使用戶能夠通過安裝在PDA背部的觸屏平板，執行拖拽手勢實現旋轉動作[7]。

本研究關注單手操作手持設備中，用戶使用食指在設備背后(圖1(b))進行手勢輸入的表現。這種交互方式已經有若干應用的例子。例如，BAUDISCH et al[3]在很小的移動設備上為了解決手指遮擋降低輸入精度問題通過從設備背面進行手指手勢輸入來提高輸入精度；WIGDOR et al[8]引入一種“假透明”現象(pseudo-transparency)，讓用戶在背面依然可以實現精確的操作，而且還不會遮擋屏幕上的內容；YANG et al[9]通過光標輔助正面拇指和背面食指操作，增強我們的單手操作能力。WOBBROCK et al[10]研究了設備正面和背面點擊以及書寫字母的表現，但對手勢交互的研究沒有深入開展。

人機交互文獻缺乏關于背面手勢繪制效果和特點的基礎研究。一些待回答的問題包括：設備正面手勢輸入(圖1(a))與背面手勢輸入(圖1(b))表現的差別和相似在哪里？手勢復雜度或者手勢尺寸會影響它們的差別嗎？如果我們知道正面或者背面手勢輸入擅長某些類型的特征，那么未來的識別算法和手勢集合設計應該充分利用這些知識。總之，理解設備正面和背面手勢輸入之間的定量差異能夠為正面和背面界面的差別設計或者兩者界面的組合設計提供參考。

圖1 單手正面手勢輸入和背面手勢輸入Fig.1 One handed gesture interaction on front of device and back-of-device

1 相關工作

本研究主要建立在如下4個方面：

1.1 觸控手勢交互

很多人機交互研究聚焦在觸控手勢界面上，例如BI et al[11]利用移動設備的多點觸控特性，提出一種雙手手勢文本輸入系統；FUCCELLA et al[12]為觸摸屏設備設計了一種基于手勢的文本編輯技術；LI[13]為移動設備設計了一種基于手勢的數據搜索技術，如搜索聯系人和搜索應用等；MORRIS et al[14]提出一種在單顯示屏上，多位用戶可以合作地利用手勢進行交互的技術。以上研究證實觸控手勢交互是一種有效的人機交互方式。

1.2 手勢模型

手指手勢的復雜度會對手指的差異產生影響。如何測量和表征手勢復雜度是一個研究課題。簡單的測量，例如在一筆劃手勢中線段的長度或者數量[15]可作為復雜度指標。一個更正式的模型，基于曲線、線段和角的模型計算手勢產生時間的CLC模型(curve line corner model)[16]是一個對手勢復雜度更嚴格的表征，使用CLC模型作為實驗設計的驗證方法。

1.3 背面手勢

若干學者提出把交互過程移動到設備背面就可以減少遮擋。Behind Touch[5]和Blind Sight[6]在移動手機的背面放置了一個12鍵的鍵盤。Hybrid Touch[7]使用戶能夠在安裝在PDA背部的觸屏平板上使用拖拽手勢實現旋轉動作。

BAUDISCH et al[3]通過引進“假透明”(pseudo-transparency)技術大大提高了背面輸入的精度。YANG et al[9]通過光標輔助正面拇指和背面食指操作，增強我們的單手操作能力。但是以上研究只使用了按壓等簡單的手勢，同時沒有對正面與背面手勢表現性能的差異性與相似性進行研究[3]。

1.4 與手勢產生相關的因素

先前的研究表明，手勢的表現會受很多因素影響。如用戶群[17]，手勢反饋(視覺和聽覺反饋)[18]，人體工學因素(坐和行走)和注意力水平[19]，輸入區域的規模[20-21]，輸入方式[22]等等。這對于手持設備正面與背面手勢輸入的研究有許多值得借鑒的地方。

手指是在設備正面還是背面輸入手勢會影響手勢的產生效果。例如，在設備正面輸入時，拇指因其較胖而易于遮擋屏幕，也易于阻擋數字墨水的即時可視性，顯著延遲視覺反饋；而在背面輸入時，設備遮擋了食指，使得手指在尋找目標時變得困難。此外，拇指和食指也因各自的特點影響著手勢的產生。例如和食指相比，拇指雖然較胖、較短，但是較為靈活，擅長繪制較復雜的手勢；拇指活動區域有限，主要在設備下方而食指卻可以活動在設備的上方。本文將探索這些因素在觸摸屏上是如何影響手勢輸入的性能。

2 手勢模板和特征的選取

2.1 手勢模板的選取

采用TU et al的論文[22]中使用的12種手勢作為模板。基于曲線、線段和角的數目，根據手勢的復雜度水平，它們被分成3組，即簡單、中等和復雜，如表1所示。其中綠點表示一個手勢的起始點，箭頭表示結束點和手勢的方向。

表1 原型手勢分類Table 1 Prototype gestures categories

這些手勢的幾何特性有多種變化方式。手勢G1，G2，G5，G6，G9，G10是由角和直線(折線)組成的，而手勢G3，G4，G7，G8，G11，G12主要由角和曲線組成的。手勢G1，G3，G5，G7，G9，G11是閉合手勢，因為它們的起點和終點位置相同，而在手勢集合中其余的手勢是開放的手勢。

我們把這些手勢模板的尺寸(目標手勢尺寸)設定為兩種。根據文獻[21]，邊界框尺寸1.5 cm×1.5 cm的長度被設定為實驗的一個基準，因為小于這個尺寸會對手指的輸入帶來極大的挑戰。為了評估手勢尺寸因素，還設置另一個尺寸(3.0 cm×3.0 cm)作為實驗條件變量，該尺寸的選擇是基于TU et al[20]的研究，他們的研究表明一個比2.5 cm×2.5 cm大的輸入框可以支持快速和準確的基于手指的手寫性能。

2.2 手勢特征的選取

手勢識別算法和技術的設計往往基于手勢特征[22-24]。例如，BLAGOJEVIC et al[23]對手勢的特征庫進行了分類并通過屬性選擇算法來為手勢識別算法選擇好的特征。這些特征都可用作設備正反面手勢輸入差異的度量。

從文獻[22-24]中選取了5個特征用于本研究(繪制時間，尺寸比，閉合距離，形狀距離和指示角差)(參見表2).

基于RUBINE[24]的定義，這些手勢特征被分為兩類：代數特征和幾何特征(參見表2)。時間和尺寸比的計算通常不依賴于手勢的幾何形狀，所以他們定義為基礎度量。其他3個特征描述了幾何特征，為形狀度量。

表2 手勢特征分類Table 2 Feature categories

2.2.1 基礎度量

1) 繪制時間

基于RUBINE[24]術語，繪制時間定義為從筆或手指觸摸屏幕的時刻到筆或手指從屏幕抬起所持續的時間。這是一個筆劃性能基礎的測度。不同手指作為繪圖工具時由于靈巧的差異，這種測度可能會有差異。

2) 尺寸比

實驗者繪制的手勢尺寸可能與顯示的目標手勢恰好相同，也可能不同。存在這樣的可能性，他們會傾向于繪制一個尺寸比目標手勢更大的手勢。為了測量這種可能的效果，計算了繪制手勢與目標手勢之間的尺寸比作為尺寸測度的偏差。因此，它可以作為一個反映用戶在指定范圍內繪制手勢能力的測度。目標手勢尺寸(ST)和繪制手勢的尺寸(SR)被定義為包含手勢的邊界矩形框所占的面積(以cm2為單位)。相應的目標尺寸比(R)是這兩者的比(R=SR/ST).

2.2.2 形狀度量

1) 閉合手勢起點與終點的距離(閉合距離)。

與原型手勢G1，G3，G5，G7，G9，G11相對應的繪制手勢的起點和終點在同一位置(參見表1)。為了反映繪制封閉手勢的能力，通過式(1)測量了起點p到終點q之間的歐氏距離d.通常正面拇指比背面食指有更大的劣勢，因為當接近起點的時候，拇指可能會更嚴重地遮擋住起點。

(1)

2) 形狀距離(D).

形狀距離用來判斷手勢輸入的準確度。基于$1手勢識別算法[25]，采用一種簡化的方式計算這個特征。縮放和平移后，繪制手勢U和目標手勢V被重采樣成N(N=64)個均勻分隔的點。我們把這些由U(i)和V(i)(1≤i≤N)轉換的點分別記為U和V.D被定義為：

(2)

式中：d(U(i)，V(i))指的是點U(i)和點V(i)之間的歐氏距離。

我們期望背面食指比正面拇指能達到一個更準確的性能，因為食指與屏幕之間的接觸面積更小，因此食指手勢應該比拇指手勢有較小的D.

3) 繪制手勢與目標手勢之間的指示角之差。

根據文獻[25]，指示角被定義為水平向右，從手勢的重心出發，與手勢的起點形成的向量所旋轉的角度θ(參見圖2).它指示了手勢的整體方向。我們計算了繪制手勢和相應的目標手勢之間的指示角差。

圖2 指示角θ的說明Fig.2 Illustration of indicative angle θ

3 實驗

該實驗旨在探討手持設備正面屏幕(單手拇指方式)和背面屏幕(單手食指方式)手勢輸入的表現異同。

本實驗主要針對如下的研究問題：

問題1：總體而言，背面食指手勢和正面拇指手勢的對比效果如何？若干因素會影響正面拇指和背面食指在繪制手勢的表現，例如兩者方式受設備的限制程度不同，背面食指輸入時有不被遮擋的優勢等。這些因素如何綜合影響兩種輸入方式的表現有待調查。

問題2：手勢的復雜度對正面拇指手勢和背面食指手勢之間的差異影響如何？相比于背面食指交互，正面拇指交互受屏幕的限制少，預期能比背面食指更好地繪制復雜的手勢，而在繪制簡單手勢的時候，兩種輸入方式表現類似。

問題3：目標手勢的尺寸對正面拇指手勢和背面食指手勢之間的差異會造成怎樣的影響？背面食指交互范圍更大一些，因此在繪制較大的手勢時，其表現應該更好些，但在繪制尺寸較小的手勢時，兩種輸入方式的表現應該類似。

問題4：用戶對正面拇指手勢和背面食指手勢的主觀評價是什么？因為目前普遍存在的觸摸屏設備只有正面屏幕，用戶習慣單手操作時在屏幕正面用拇指進行輸入。因此，用戶可能更喜歡正面拇指輸入方式。

3.1 實驗設備

為了從設備背面進行觸控手勢的輸入，我們將兩個智能設備背靠背地粘貼在一起，兩者的屏幕分別為正面和背面屏幕，實現了設備的搭建。兩個設備的通信通過藍牙技術來實現。

3.1.1 實驗設備

該研究是在華為C8813(白色)和華為C8813Q(黑色)智能手機上進行的(圖3).華為C8813(白色)作為正面輸入設備，華為C8813Q(黑色)作為背面輸入設備。這兩種設備在硬件配置、性能和外觀上極其相似并且在尺寸上完全相同。屏幕尺寸是11.43 cm，其分辨率是480×854像素，從而產生0.117 mm的像素間距。這確保了正面和背面手勢輸入差別的測量是在同一設備條件下進行的。

圖3 實驗設備Fig.3 Experiment device

3.1.2 設備通信

前后兩個設備之間的數據傳輸是實時的，即每當用戶在背面屏幕繪制一個點，立即將這個點的坐標傳給正面屏幕并在對應的位置(1∶1的比例)繪制顯示。雖然設備的正面屏幕和背面屏幕是相互獨立的，我們通過藍牙通信實現了在設備背面輸入、在正面實時顯示的效果。

3.2 實驗者

12名志愿者，十男兩女，從21到23歲，參加了這個實驗。所有實驗者都用右手。他們中都有單手拇指操作觸摸屏設備正面屏幕3年以上的經驗。所有實驗者都沒有單手食指操作觸摸屏設備背面屏幕的經驗。

3.3 實驗任務和過程

類似TU et al[26]的實驗設計，目標手勢呈現1.5 s后消失，實驗者要求根據記憶在實驗設備的正面或背面繪制手勢，輸入要求是以正常的寫入速度并盡可能保持繪制的手勢和目標手勢一致。我們使用該任務的原因有兩個：第一，該任務在手勢研究中經常被采用，具有一定的代表性(例如，TU et al[26]，ANDERSEN et al[18]，KURTENBACH et al[27])；第二，該任務模仿實際中在觸摸屏設備的交互行為，這通常是基于記憶的手勢輸入過程。

在進行正面拇指手勢的輸入時，實驗設備正面屏幕既作為顯示區域也作為輸入區域。在實驗過程中，目標手勢在屏幕中間顯示1.5 s(圖4(a))，之后消失。實驗者憑借自己的記憶，在屏幕上又好又快地繪制剛才看到的目標手勢，屏幕上同時顯示繪制的軌跡(圖4(b)).當實驗者在背面進行食指手勢輸入的時候(參見圖1(b))，目標手勢在正面屏幕上顯示1.5 s，之后消失。最后實驗者憑借自己的記憶在設備背面用食指繪制出剛才顯示的手勢，繪制的過程中輸入的手勢會在正面屏幕實時對應地顯示出來。

圖4 實驗界面Fig.4 Experiment Interfaces

實驗分為練習階段和測試階段。在練習階段，實驗者坐在椅子上，練習上述實驗過程達到熟練程度。測試階段，每個實驗者在正面屏幕用拇指和在背面用食指分別完成三組實驗，每組實驗要繪制出12種具有2種尺寸的手勢。每個實驗者在正面屏幕和背面屏幕上的實驗順序用拉低拉丁方進行平衡。整個實驗過程大約需要花費每個實驗者60 min的時間。采集的實驗數據總共包括：

12個實驗者×2種輸入方式(拇指和食指)×3組實驗×12種原型手勢×2種原型手勢尺寸=1 728條繪制軌跡。

實驗結束后，要求每個實驗者填寫調查問卷(Likert量表)：根據速度和準確度表達對兩種輸入方式的偏愛程度(7表示最喜歡，1表示最不喜歡)。

3.4 結果與分析

3.4.1 學習效果分析

用重復測量方差分析法來分析表2中所列的手勢特征相對應的實驗數據。首先進行的是實驗者的學習效果分析，因為每個實驗者在兩種輸入方式下都做了3組實驗，所以首先分析3組實驗中的手勢繪制時間，分析從第幾組開始實驗者的輸入達到了穩定的水平。

對于正面拇指，第二組實驗比第一組(p<0.05)有顯著較短的繪制時間，但是第二和第三組(p=1.00)之間的繪制時間無顯著差異。顯然，用拇指操作時，試驗者從第二組就達到了穩定的性能。另一方面，用食指操作時，試驗者的表現從第一組試驗時就開始穩定了，即三組食指手勢輸入之間沒有顯著性差異。將拇指輸入的學習效果考慮在內，在下面的分析中，將舍棄第一組的實驗數據而只使用第二和第三組中的數據。

表3給出了特征的主效應和它們的交互效應的F統計及其p值，其中N/A指的是手勢的復雜度不能作為特征分析的獨立變量。對于每種輸入方式在不同復雜度和目標手勢尺寸下，這些特征的平均值在表4中，其中N/A指的是手勢的復雜度不能作為交互效應的獨立分析變量。

3.4.2 基礎度量

1) 繪制時間。手勢的輸入方式(正面拇指方式與背面食指方式)在繪制時間上有顯著的主效應。總體而言，背面食指比正面拇指輸入要慢。正面拇指輸入的均值是1.76 s，背面食指輸入的是2.99 s.

其他自變量也影響了繪制時間。正如預期的那樣，手勢復雜度水平和目標手勢尺寸對繪制時間都有顯著的主效應。手勢的輸入方式和手勢復雜度之間(參見圖5(a))、手勢的輸入方式和目標手勢尺寸之間(參見圖5(b))都有顯著的交互效應，并且手勢的輸入方式和手勢復雜度之間的交互效應更強一些。

表3 特征的主效應和它們之間交互效應的F統計及p值Table 3 F statistics and p value of features' main effect and interactions

表4 每種輸入方式在不同復雜度和目標手勢尺寸下的特征的均值Table 4 Feature's mean value of each input method in different gesture complexity and size

圖5 繪制時間與不同的手勢復雜度、目標手勢尺寸的交互效應，誤差線表示95%的置信區間Fig.5 Interaction effect of drawing time and gesture complexity and target gesture size,error bars represents 0.95 confidence interval

2) 手勢尺寸比。手勢的輸入方式在尺寸比上有很強的主效應。拇指和食指手勢輸入的尺寸比的均值分別是1.63和1.02.正面拇指繪制的手勢都會傾向于大一些，而背面食指繪制的手勢沒有明顯的傾向。尺寸比值強烈依賴于手勢的復雜性和目標手勢尺寸。另外，手勢的輸入方式和手勢復雜度之間(參見圖6(a))，手勢的輸入方式和目標手勢尺寸之間(參見圖6(b))都有顯著的交互效應，并且手勢的輸入方式和手勢復雜度之間的交互效應更強一些。總的來說，正面拇指傾向于繪制較大的并且復雜的手勢，而背面食指在繪制較小和較復雜的手勢時表現出一些優勢。

圖6 手勢尺寸比與不同的手勢復雜度、目標手勢尺寸的交互效應，誤差線表示95%的置信區間Fig.6 Interaction effect of gesture size ratio and gesture complexity and target gesture size,error bars represents 0.95 confidence interval

3.4.2 形狀度量

1) 閉合手勢的起點和終點之間的距離(閉合距離)。手勢的輸入方式和目標手勢尺寸在閉合手勢的距離上都沒有顯著的主效應。手勢的輸入方式和目標手勢尺寸在閉合手勢的距離上也沒有顯著的交互效應。正面拇指輸入和背面食指輸入產生距離的均值分別是0.25 cm和0.24 cm.

2) 繪制手勢與目標手勢的指示角差。手勢的輸入方式和目標手勢尺寸在指示角差上沒有顯著的主效應。正面拇指輸入和背面食指輸入產生的指示角差的均值分別是-4.38°和-3.58°.

3) 形狀距離。對于手勢的輸入方式，形狀距離有很強的主效應。正面拇指輸入和背面食指輸入產生形狀距離的均值分別是0.20 cm和0.24 cm.形狀距離對手勢的復雜度和目標手勢尺寸都很敏感。形狀距離測度隨手勢的復雜度增加而增加(參見圖7(a))，因為繪制更復雜的手勢會降低精確度。此外，形狀距離隨著目標手勢尺寸的增加而增加(參見圖7(b))。手勢的輸入方式和手勢復雜度沒有顯著的交互效應，而與目標手勢尺寸有顯著的交互效應。

圖7 形狀距離與不同的手勢復雜度、目標手勢尺寸的交互效應，誤差線表示95%的置信區間Fig.7 Interaction effect of shape distance and gesture complexity and target gesture size,error bars represents 0.95 confidence interval

從形狀距離特征來看，拇指與食指都適合簡單的較小的手勢。

3.4.3 主觀評估

我們發現在速度上有明顯的主效應(F1,11=16.18，p<0.01).拇指和食指的偏好均值分別是5.67和4.83.還發現準確度沒有明顯的主效應(F1,11=1，p=0.34).拇指和食指的偏好均值分別是5.83和5.75.用戶普遍認為，拇指可以實現比食指手勢輸入更快的速度，而在輸入精度上沒有差別。

3.5 討論

針對實驗開始前提出的問題作如下討論實驗結果。

問題1：正面拇指手勢和背面食指手勢的對比效果如何？

結論1：背面食指手勢的表現總體上要比正面拇指手勢的表現差。如圖4和6所示，背面食指手勢輸入更慢，準確性更差些。另一方面，正面拇指與背面食指在距離和角度差兩個特征上的差異并不明顯，甚至在尺寸比特征上，背面食指比正面拇指表現更好。因此，可以得出結論，雖然背面食指手勢總體表現不如正面拇指手勢，但在一些手勢特征細節，例如起點終點距離和角度差上具有相似的表現。

問題2：手勢的復雜度對正面拇指手勢和背面食指手勢之間的差異影響如何？

結論2：手勢的復雜度強烈影響正面拇指手勢和背面食指手勢之間的差異。正如表3中第三列所示，所有與復雜度相關的手勢特征對手勢復雜度都有很強的依賴性(p<0.01)。手勢的輸入方式和手勢復雜度之間在繪制時間(p<0.01)和尺寸比(p<0.01)上都有顯著的交互效應。另外，隨著手勢復雜度的增加，拇指與食指之間繪制時間差逐漸增加(圖4(a)).隨著手勢復雜度的增加拇指與食指之間尺寸比的差異在逐漸增加(圖5(a)).總之，背面食指手勢集的設計不要太復雜。

問題3：目標手勢的尺寸對正面拇指手勢和背面食指手勢之間的差異會造成怎樣的影響？

結論3：目標手勢的尺寸強烈影響正面拇指手勢和背面食指手勢之間的差異。和手勢的復雜度相似，繪制時間、尺寸比和形狀距離三個特征對目標手勢尺寸有很強的依賴性(p<0.01)。手勢的輸入方式和目標手勢尺寸之間在繪制時間(p<0.05)、尺寸比(p<0.05)和形狀距離(p<0.01)上都有顯著的交互效應。隨著目標手勢尺寸的增加拇指與食指之間在繪制時間(圖4(b))和手勢尺寸比(圖5(b))上的差異逐漸減小，但正面拇指與背面食指之間形狀距離的差異在逐漸增加(圖6(b)).總之，背面食指手勢輸入不需要太大的區域。

問題4：實驗者對正面拇指手勢和背面食指手勢的主觀評價是什么？

結論4：拇指比食指手勢輸入更快，而在準確度上并沒有明顯差異。和背面食指輸入相比，實驗者更喜歡正面拇指輸入。

4 總結

本文研究了單手手持設備交互中正面拇指手勢輸入與背面食指手勢輸入的異同。通過對實驗數據的記錄和分析，我們主要得出以下結論：

1) 通過繪制時間和形狀距離特征的分析，正面拇指比背面食指輸入手勢要快而且準確。但在某些特征細節上，例如閉合手勢起始點到終點的距離和指示角差特征，表現相當，甚至在尺寸比特征上稍遜于食指的表現。

2) 手勢的輸入方式(正面拇指與背面食指輸入)與手勢復雜度在一些特征上有很強的交互效應，例如繪制時間和尺寸比；與目標手勢尺寸在一些特征上也有很強的交互效應，例如繪制時間、尺寸比和形狀距離。背面食指手勢的設計不要太復雜，其所需的輸入區域也較小。

3) 實驗者普遍認為，設備正面拇指手勢比背面食指手勢輸入更快，但準確度相當，更喜歡手持設備的正面拇指輸入。

以上結論為手持設備的背面手勢交互提供了指導。本文也存在一些局限，例如本文研究的是坐姿條件下單手手持設備正面(單手拇指方式)與背面(單手食指方式)手勢輸入表現的異同，未來我們的研究可以擴展到行走狀態下以及其他手持設備交互方式。另外，在采集數據時，我們的實驗參與人群都是青年人，未來的研究還可以擴大到少年、中年和老年人上面。未來研究還可以針對不同設備大小進行手持設備正面與背面手勢輸入的對比研究。

：

[1] LI Y,GUAN ZW,CHEN YD,et al.Resarch on gesture-based human-computer interaction[J].Journal of System Simulation,2000,12(5):528-533.

[2] ZHAI S,KRISTENSSON P O,APPERT C.Foundational issues in touch-surface stroke gesture design[J].Foundations and Trends in Human-computer Interaction,2012,5(2):97-205.

[3] BAUDISCH P,CHU G.Back-of-device interaction allows creating very small touch devices[C]∥ACM CHI 2009,Boston.2009:1923-1932.

[4] DE LUCA A,VON ZEZSCHWITZ E,HU,et al.Back-of-device authentication on smartphones[C]∥ACM CHI,Paris.2013:2389-2398.

[5] LI K A,BAUDISCH P,HINCKLEY K.Blindsight:eyes-free access to mobile phones[C]∥ACM CHI,Florence.2008:1389-1398.

[6] SUGIMOTO M,HIROKI K.HybridTouch:an intuitive manipulation technique for PDAs using their front and rear surfaces[C]∥ACM MobileHCI,[S.l.]:ACM.2006:137-140.

[7] WOBBROCK J O,WILSON A D,LI Y.Gestures without libraries,toolkits or training:a $1 recognizer for user interface prototypes[C]∥ACM UIST,[S.l.]:ACM.2007:159-168.

[8] WIGDOR D,FORLINES C,BAUDISCH P.Lucid touch:a see-through mobile device[C]∥ACM UIST,[S.l.]:ACM.2007:269-278.

[9] YANG XD,MAK E,IRANI P,et al.Dual-surface input:augmenting one-handed interaction with coordinated front and behind-the-screen input[C]∥ACM MobileHCI,[S.l.]:ACM.2009:1-10.

[10] WOBBROCK J O,MYERS B A,AUNG H H.The performance of hand postures in front- and back-of-device interaction for mobile computing[J].International Journal of Human-Computer Studies,2008,66(12):857-875.

[11] BI XJ,CHELBA C,OUYANG T,et al.Bimanual gesture keyboard[C]∥ACM UIST,[S.l.]:ACM.2012:137-146.

[12] FUCCELLA V,ISOKOSKI P,MARTIN B.Gestures and widgets:performance in text editing on multi-touch capable mobile devices[C]∥ACM CHI,[S.l.]:ACM.2013:2785-2794.

[13] LI Y.Gesture search:a tool for fast mobile data access[J].ACM Symposium on User Interface Software and Technology,2010:87-96.

[14] MORRIS M R,HUANG A,PAEPCKE A,et al.Cooperative gestures:multi-user gestural interactions for co-located groupware[C]∥ACM CHI,[S.l.]:ACM.2006:1201-1210.

[15] ISOKOSKI P.Model for unistroke writing time[C]∥ACM CHI,[S.l.]:ACM.2001:357-364.

[16] CAO X,ZHAI S.Modeling human performance of pen stroke gestures[C]∥ACM CHI,[S.l.]:ACM.2006:1495-1504.

[17] ANTHONY L,VATAVU R D,WOBBROCK J O.Understanding the consistency of users' pen and finger stroke gesture articulation[J].Graphics Interface,2013:87-94.

[18] ANDERSEN T H,ZHAI S."Writing with music":Exploring the use of auditory feedback in gesture interfaces[C]∥ACM Trans on Applied Perception,[S.l.]:ACM.2010(3):

[19] BRAGDON A,NELSON E,LI Y,et al.Experimental analysis of touch-screen gesture designs in mobile environments[C]∥ACM CHI,[S.l.]:ACM.2011:403-412.

[20] TU H W,REN X S.Optimal entry size of handwritten Chinese characters in touch-based mobile phones[J].International Journal of Human-Computer Interaction,2012,29(1):1-12.

[21] REN X S,ZHOU X L.The optimal size of handwriting character input boxes on PDAs[J].International Journal of Human-Computer Interaction,2009,25(8):762-784.

[22] TU H W,REN X S,ZHAI S.Differences and similarities between finger and pen stroke gestures on stationary and mobile devices[J].ACM Trans on Computer-Human Interaction,2015,22(5):1-39.

[23] BLAGOJEVIC R,CHANG H H,PLIMMER B.The power of automatic feature selection:Rubine on steroids[J].Sketch Based Interfaces and Modeling,2010:79-86.

[24] RUBINE D.Specifying gestures by example[J].ACM SIGGRAPH Computer Graphics,1991,25(4):329-337.

[25] WOBBROCK J O,WILSON A D,LI Y.Gestures without libraries,toolkits or training:a $1 recognizer for user interface prototypes[C]∥ACM UIST,[S.l.]:ACM.2007:159-168.

[26] TU H W,REN X S,ZHAI S.Differences and similarities between finger and pen stroke gestures on stationary and mobile devices[J].ACM Trans on Computer-Human Interaction,2015,22(5):1-39.

[27] KURTENBACH G P,SELLEN A J,BUXTON W A S.An empirical evaluation of some articulatory and cognitive aspects of marking menus[J].Human-Computer Interaction,1993,8(1):1-23.