非接觸交互界面中三維空間操作區域分層技術研究

陳苗云　殷繼彬

摘要：利用 Leap Motion作為獲取手勢的硬件，并且在其垂直操作區域，通過獲取手勢高度信息，操作映射在屏幕上的目標任務，最終達到獲取交互層次區域的劃分目的。首先通過實驗得出用戶常用的交互空間區域，然后在該交互區域中進行分層區域劃分實驗，最后獲得對操作精度或時間要求較高的特殊區域范圍。通過實驗數據的分析得出以下結論：16層以下為用戶較容易操作的層次交互區域，并且可根據交互需求進行分層設置；16～20層的空間區域用戶較難操作，可以在交互設計中將不常用的交互任務設計在此層次區域內。由于操作任務的錯誤率非常高，所用時間也較多，20層以上的交互空間區域在交互設計中可不予考慮。

關鍵詞：Leap Motion；人機交互；手勢；交互層次區域

DOIDOI：10.11907/rjdk.173272

中圖分類號：TP311.5

文獻標識碼：A文章編號文章編號：16727800（2018）009003204

英文標題Research on Layered Technology of ThreeDimensional Operating Area in Noncontact Interface

——副標題

英文作者CHEN Miaoyun， YIN Jibin

英文作者單位（Faculty of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650500，China）

英文摘要Abstract：Leap Motion is employed as the hardware for gesture acquisition and in its vertical operation area， the mapped target selection task is operated on the screen by obtaining the height information of gesture， and ultimately achieve the purpose of partitioning the interactive level area. First， the user interaction area is obtained through previous experiments， and then the partition experiment is carried out in the interactive area. Finally， a special area with high operation accuracy or time requirement is obtained through experiments. Through the analysis of the experimental data， we draw the following conclusions that under the 16th floor it is easier for the user to operate on the level of interaction area， and interactive demands can be set according to interactive needs； it is difficult for users to operate from 16 to 20 layers， so interactive tasks that are not commonly used can be designed during these layers. The interactive space area above 20 layers should not be considered in the interactive design because the error rate and the time cost of the operation task is very high.

英文關鍵詞Key Words：leap motion；human computer interaction；gestures； interactive level area

0引言

如今，人機交互（Human Computer Interaction，HCI）[1]界面隨著硬件技術的發展越來越趨向自然，更加符合人們的日常操作習慣。無論在觸控界面、筆式界面還是基于視覺的交互界面，手勢（Gesture）[23]是反映其自然交互特征的典型技術之一。由于手勢比較直觀，比文字命令更容易記憶，所以本文將以手勢作為界面實驗獲取信息的方式。

手勢跟蹤與識別[4]為人機交互提供了新的拓寬輸入信息通道的方式。1983 年Grimes[5]在 AT&T; 最先取得了“數據手套”的專利，計算機可通過其獲取實驗者手的位置等相關信息；1998 年美國 MIT 媒體實驗室的Starner通過攝像頭直接采集手勢圖像，對美國手語中帶有詞性的40個詞匯隨機組成的短句子進行識別[6]。之后眾多研究者開始進行基于視覺信息的手勢識別研究，我國手勢識別研究起源于 863 項目“多功能感知機”的研究（19971999）[7]，該交互模式可通過Kinect[8]或Leap Motion[910]等設備跟蹤雙手加以實現。

然而，以上對于增加輸入帶寬的研究僅局限在當前單一的工作層界面上，而未進一步探索增加可交互界面的相關技術。因此，為了拓寬輸入信息帶寬，本文提出一種合理的層次區域劃分技術。具體設計見圖1，用戶可將手放在各個層次中，按垂直方向運動進行交互任務操作。現階段，很多用于手勢識別的硬件已應用于具體生活中，其中Leap Motion 手勢識別硬件具有精度高、反應速度快與數據處理速度快[11]等優點，因此將其作為本文實驗的硬件設備。如圖2所示為Leap Motion可識別的交互空間。

1相關研究

根據現階段交互硬件設備的劃分，可將人機交互中用于拓寬輸入信息通道的技術分為兩種：基于接觸式與非接觸式技術。

Leigh等[12]提出，由于計算機對每個用戶觸控接觸點可以精確識別，所以多個用戶可在互不干擾的情況下，對相同的電子交互界面操作交互任務，該技術對多人合作完成同一任務較適合；Ramos等[13]利用筆壓技術創建多個交互操作界面，根據壓力大小劃分交互層，以此拓寬輸入信息通道；Forlines等[14]設計一個可接觸式雙面電子交互桌面，將交互桌面底部也作為輸入參數獲取的交互區域。上述研究在人機交互的接觸式技術方面拓寬了輸入維度。

與接觸式技術相反的是，利用手勢識別技術，即在非接觸三維交互技術上，Guimbretiere等[15]增加了交互界面進行交互設計研究，利用手勢在多個顯示器界面的切換，達到多屏交互操作的目的；Aliakseyeu等[16]探索筆在不同界面層上進行不同任務操作，該技術主要采用“偏移校正”方法，以確保在各個層次中都能很好地控制指針進行交互任務操作。

2空間交互層次區域劃分實驗

為避免手臂因長時間懸空操作帶來的疲勞感，進而能夠將實驗采集的數據誤差降到最低，本文通過實驗得出用戶在三維空間的常用交互范圍，該范圍大約在84～320mm之間，可作為本文分層區域實驗的空間交互范圍。

2.1實驗設備及開發環境

實驗設備為臺式機一臺，Windows 7操作系統，4GB內存，實驗硬件為Leap Motion。本文實驗的軟件環境為Unity3d開發環境，實驗界面大小為1 000*800px，并使用C#腳本語言作為開發語言。

2.2實驗過程

本次共有12人參與實驗操作，其年齡在23～28歲之間，包括3名女士與9名男士，均慣用右手，且都能夠熟練使用Leap Motion硬件設備。實驗開始前，為每名實驗者介紹本次實驗具體操作方式，并給出10min時間供其學習與適應，在實驗者對實驗流程熟悉之后開始正式實驗。首先通過測試實驗得到需要測定的層數為16、18、20、22與24，實驗者進行以30次為一組的選擇任務操作，每人需完成3組實驗，所有實驗者共完成1 080次選擇任務操作。

2.3實驗設計

實驗界面背景為黑色，實驗空間交互范圍為Leap Motion上方84～320mm之內，用戶交互對象顏色正常狀態下顯示為白色，隨機出現的目標對象為綠色，被選中時顏色狀態為紅色。

實驗中會出現兩個可供交互的目標對象，其寬度為W（14.75，13.11，11.8，10.72，9.83，單位：mm）的目標選擇區域。其中，處在上方的目標對象為起始位置，下方的綠色目標對象為交互終止位置。如圖3所示為實驗初始界面，實驗過程中，實驗者在Leap Motion硬件的垂直方向，通過移動手的高度選擇目標任務，一旦手到達當前起始目標對象所在高度區域，并且目標顏色變為紅色，如圖5所示，此時按下按鍵開始計時。當起始位置的目標顏色變為白色時，將手快速移動到終止位置，并按下按鍵結束計時，此時跳轉到另一個實驗界面，重復上述實驗。在實驗過程中，通過手勢識別硬件在屏幕中呈現手的運動軌跡，并且以黃色反饋給實驗者，如圖4所示。實驗中需要記錄的數據包括錯誤率、時間與手的高度信息。

2.4實驗過程與實驗數據分析

在實驗得到的數據中，剔除時間數據中的78個異常和錯誤數據，運用數據分析軟件SPSS對相應數據進行單因素方差分析，得到結果如表1所示。時間（Time）方差分析表中的顯著性為0，說明各層時間方差在a=0.05水平上有顯著性差異。從圖6可以看出，時間在22層時呈快速增長趨勢；從圖7可以看出，在層數達到22層時，錯誤率已高達6%以上，因此20層及以上操作范圍在實際交互界面設計中可不作為交互區域考慮。綜合時間和錯誤率數據圖，得出以下結論：交互層數在16層時，錯誤率在1%以下，時間在1.2s左右，可將16層以下區域作為對交互精度和速度要求較高的操作任務活動范圍，而將在交互設計中不太常用的交互區域范圍放在16～20層之間。

3特殊操作區域實驗

在手勢識別的硬件可檢測區域中，可以找到一個對識別精度、速度及錯誤率要求非常高的范圍，用于將來進行特殊任務操作，每當手進入Leap Motion的檢測區域則會出現一個高度信息，并且該高度具有一定范圍，所以通過測試實驗可以得到相關數據信息，并且根據數據分析得出相應結論。

3.1實驗設計與實驗過程

實驗界面如圖8所示，本次實驗采用與實驗1相同的實驗者，實驗者每次通過實驗過程中界面上傳來的視覺信息反饋進行實驗操作。實驗開始時，點擊開始按鈕（START）開始實驗，實驗者每次將手放在Leap Motion的上方檢測區域，當看到界面中出現手的虛擬模型時，通過握拳確定當前手的高度，如圖9所示，然后按下Z按鍵記錄此時的高度數據信息，并且每完成一次操作，實驗界面中的Count數值加1，以此將完成的實驗次數反饋給實驗者，最后將手移出檢測范圍，按下結束按鈕（END），如此重復操作。一共有12名實驗者，每個實驗者需要操作任務30次，所以最終獲得的手勢高度數據共360條。

3.2實驗數據及結果分析

將實驗數據通過SPSS數據分析軟件進行處理，得到如圖10與表2所示的數據分析結果，以及圖11、圖12的數據分析結果。通過圖10發現KolmogorovSmirnov（K）a 中的p>0.05，并且原假設是手的高度信息服從正太分布，最后的決策結果是保留原假設，所以手的高度服從正態分布。具體描述信息如表2所示，并且取其95%置信區間的范圍大約為89～197mm，該范圍可作為交互場景中對交互精度和速度要求較高的常用及特殊功能交互區域。

4結語

對于人機交互界面中增加輸入信息通道的相關技術研究中，通常是從輸入參數方面考慮，包括觸控輸入到手勢的非接觸輸入等，而未系統地從交互界面的層數分層技術進行探究。本文通過兩個實驗，用戶將手放在Leap Motion硬件感應器上方，并且以坐姿狀態，利用手勢完成三維空間任務的選擇操作。為了選擇一個操作任務，手臂有時需要長時間懸空，容易產生疲勞感，從而影響實驗質量。為避免該情況的發生，必須找到一個適宜的三維空間范圍。之前已得到該范圍空間為84～320mm，作為實驗1的操作范圍，常用的操作交互設計可放在該區域內。通過實驗2可為特殊應用場景提供一個準確、快速的操作范圍區域，從而為對交互精度要求非常高的界面設計提供空間范圍的指導。從實驗1的結論可以得出，16層以下區域可作為交互應用中最常用的交互設計范圍，16～20層之間為交互設計中不太常用的交互區域范圍，20層以上操作范圍在交互層次區域設計中可不予考慮。因此，在非接觸交互界面中，三維空間操作區域的分層技術對于拓寬輸入信息帶寬是可行的。

參考文獻參考文獻：

[1]栗陽，關志偉，陳由迪，等.基于手勢的人機交互的研究[J].系統仿真學報，2000（5）：528533.

[2]JUDE A，POOR G M，GUINNESS D.Grasp，grab or pinch？ identifying user preference for inairgestural manipulation[C].In Proceedings of the 2016 Symposium on Spatial User Interaction（SUI '16），2016.

[3]BERTHELLEMY M，CAYEZ E，AJEM M，et al.Spotpad，locipad，chordpad and inoutpad：investigating gesturebased input on touchpad[C].Proceedings of the 27th Conference on Interaction HommeMachine（IHM '15），2015.