晃動環境下交互設備對操作績效和上肢肌肉活動的影響研究

楊坤華，張奇良，張鈺瑩，曲行達， 陶達

(深圳大學 人因工程研究所，深圳 518060)

1 引言

隨著信息技術的發展，帶有觸摸屏的信息顯示系統與人機交互設備越來越多地應用在各種交通運輸工具上，如汽車、船舶、飛行器等[1-3]。而交通運輸工具在移動行駛的過程中往往伴隨著晃動現象，這意味著駕駛員或操作員需要在晃動條件下執行人機交互任務。研究表明，晃動環境下人的生理和心理狀態與靜態下不同[4]。首先，人體長期處于晃動狀態，身體可能產生不適或眩暈感，其認知和行動的能力可能大幅度地下降[5]。其次，長期在晃動環境中工作，人的心理和生理的健康水平會降低[6]，且容易產生腰酸背痛問題[7-8]?；蝿訒谷嗽谶M行人機交互操作時分散注意力以保持身體平衡[9]，此時人需要額外的心理和肢體努力才能完成交互任務。例如，Tao等人[10]研究了在晃動環境下對觸摸屏手勢操作性能的影響。結果表明，晃動環境對用戶的心智負荷有顯著影響。Lin等人[11]研究了晃動對視覺績效的影響，研究發現晃動頻率和幅度對執行任務的反應時間、正確率和人的視覺疲勞都有顯著影響。Goode等人[12]的研究也調查了晃動狀態對觸屏車載戰斗管理系統可用性和工作負荷的影響。結果表明，晃動條件的劇烈程度會顯著影響觸屏設備信息輸入任務的績效。

交互設備也可能影響晃動環境中交互任務的績效與用戶的操作感受。隨著傳感器技術的日漸成熟，諸如微軟Kinect和Leap Motion等體感交互設備開始興起[13]。相比傳統的鼠標、軌跡球和觸摸屏交互設備，新型的體感交互設備能夠通過追蹤用戶的手指或手腕關節，讓用戶能徒手使用手勢操作與計算機中的目標進行非接觸式的交互[14]，從而用戶得以用更自然直接的方式與人機系統進行交互。先前的研究比較了幾種傳統交互設備在基本人機交互任務(指向任務和拖放任務)中的使用情況，而一些新型的手勢操控等體感交互設備則很少被研究。Chen的研究[15]評估了使用沉浸式虛擬現實(VR)、鼠標和觸屏對完成單向點擊任務、多向點擊任務和拖動任務的操作績效。結果表明VR比鼠標和觸屏產生更高的錯誤率和更長的任務完成時間。Jones等人[13]評估了在點擊任務中使用Leap motion和鼠標的情況，發現與鼠標相比，Leap motion會導致更長的任務完成時間、更高的錯誤率、更多的疲勞和更低的使用偏好得分。由于與計算機進行交互沒有物理上的接觸，新型交互設備的使用情況可能與傳統交互設備有著非常大的不同，且在晃動環境下執行交互設備有關任務的表現，相關研究仍不清楚。

此外，人機交互過程中的肌肉疲勞現象也是我們亟須關注的重要問題[16]。用戶操作這些交互設備，不僅可能導致上肢肌肉疲勞，長期情況下還可能會出現諸如肩頸酸痛、腕管綜合征等嚴重的上肢肌肉骨骼疲勞癥狀[17]。頻繁使用鍵盤和鼠標的用戶，因手腕關節進行長期地密集、反復和超負荷的活動，導致其上臂肌肉或關節出現不適以及疲勞，甚至可能出現麻痹、腫脹、痙攣等癥狀[18]。因此，研究交互設備對上肢肌肉疲勞的影響，對選擇合適的交互設備以及制定人機交互中上肢肌肉疲勞緩解措施有重要意義。

綜上所述，目前大部分研究基于靜態環境開展，對晃動這一交互場景的研究還比較匱乏；另外，體感交互等新型交互方式在晃動狀態下的可用性尚不清楚。因此，本研究擬通過模擬晃動環境下多種交互設備的操作情境，以探究不同交互設備在晃動環境下對任務績效和肌肉疲勞情況的影響，為晃動環境下交互設備的使用和配置以及晃動環境下人機交互任務中肌肉疲勞的檢測和干預措施提供參考依據。

2 對象與方法

2.1 對象

15名具有正?；虺C正視力，且具備正?；顒幽芰?、無肌肉骨骼相關疾病的在校大學生參與了此研究。所有參與實驗的受試者均為右利手。其平均年齡為22.1歲(標準差為1.9)。女性共5名，男性共10名。

2.2 方法

本實驗采用兩因素(3×4)組內設計方式。組內因子為晃動程度(3種類型：靜止，輕度晃動，中度晃動)和交互設備(4種類型：軌跡球，鼠標，Leap Motion，觸摸屏)。因變量包括交互操作績效(任務完成時間和錯誤率)，右手五塊上肢肌肉(指伸肌，橈側腕屈肌，肱二頭肌，三角肌，上斜方肌)的表面肌電信號特征值(積分肌電值iEMG)，主觀疲勞度及舒適度。其中，任務完成時間以每個實驗任務完成單次多向點擊或拖動的平均時間表示。錯誤率以任務完成過程中操作錯誤次數的比例表示。肌電方面，通過五個無線傳感器分別對右手上肢五塊肌肉的表面肌電信號進行采樣。主觀疲勞問卷采用了基于ISO 9241-9標準的主觀疲勞度與舒適度量表[13]來評估相應身體部位(手臂、手腕、肩部、手指和頸部)的疲勞程度和總體舒適度，各項指標以5分量表的形式進行評分。

本研究選用ISO 9241-411推薦的用于評估交互設備的基礎人機交互任務作為實驗任務[15]。包括多向點擊任務(圖1)和拖放任務(圖2)兩個基本任務。具體任務介紹如下：

多向點擊任務：任務要求受試者使用食指按順序依次點擊黃色圓形塊。在該任務中，16個圓形被均勻排列在直徑為20 mm的圓周上。黃色的圓形為受試者需要點擊的目標，其他圓形則為灰色。當受試者成功點擊相應目標后，該目標會由黃色變成灰色，下一個目標則由灰色變成黃色，等待受試者的下一次點擊。每種實驗組合條件下，每個多向點擊任務需重復點擊16次。若受試者在點擊中未能點中目標則被記錄一次錯誤。

拖放任務：該任務要求受試者使用食指選擇、拖動和放置目標，即將黃色的小方形拖入另一邊的藍色大方形中。當小方形被完全拖入藍色大方形并放下時，藍色大方形變灰色，該次操作被視為成功。隨后另一側的灰色大方形變成藍色，受試者再按同樣規則進行下一次拖放操作。每種實驗組合條件下，每個拖放任務需重復拖放操作16次。若受試者在一次拖放操作中將小方形放下在目標大方形外則被記錄一次錯誤。

圖1 多向點擊任務

圖2 拖放任務

2.3 實驗材料和流程

本實驗采用一個六自由度晃動實驗平臺模擬晃動環境，晃動參數設置見表1。實驗任務程序通過Visual Basic 6.0編制，采用23英寸戴爾觸摸屏顯示器呈現(分辨率1920×1080)，觸摸屏垂直放置。四種交互設備分別為：羅技M185無線兩鍵鼠標，Kensington CA94065有線軌跡球，第三代Leap Motion以及上述戴爾觸摸屏。表面肌電信號使用Ag/AgCl電極片采集信號，使用ErgoLab人機同步平臺系統實時記錄信號。

表1 晃動參數

實驗前，主試指示受試者坐在晃動平臺上進入練習階段。接著受試者在晃動環境下進行實驗操作。受試者被要求系好安全帶，并將座椅調整至自我感覺最舒適的位置，保持下背部緊貼座椅靠背。正式實驗過程中，受試者總共完成384次子任務(3種晃動程度×4種交互設備×2種交互任務×16次)，且要求盡快盡準確完成每個任務。受試者將在12種組合條件(3種晃動程度×4種交互設備)，分別完成按隨機順序呈現的2種交互任務，同步采集表面肌電信號。每種交互設備任務完成后，受試者將被要求完成主觀疲勞度及舒適度問卷，然后休息5 min以緩解可能產生的疲勞。隨后，在下一種晃動程度下完成實驗任務及問卷直至完成所有實驗任務。實驗室照明度為220lux，實驗時長約1.5 h。

2.4 數據處理和分析

表面肌電是一種微弱的生物電信號，需對采集后的原始信號作預處理。使用頻率為5 Hz和500 Hz的高通和低通濾波，帶阻濾波的截止頻率為50 Hz，使用時間窗口大小為100 ms的滑動均方根整流，肌電傳感器采樣率為1 024 Hz。重復測量方差分析用來分析晃動環境和交互設備對任務操作績效和肌肉活動的影響。球形檢定用來判斷數據是否符合球形假設，若數據違反球形假設，則使用經Greenhouse-Geisser校正的自由度和p值。實驗數據使用SPSS 22軟件進行分析，顯著性水平設為0.05。

3 結果

3.1 晃動狀態和交互設備對任務績效的影響

對于任務完成時間(表2)，晃動程度對多向點擊任務(F(2,28)=8.600，P=0.001)、拖放任務(F(2,13)=37.938，P<0.001)的完成時間均有顯著影響。交互設備對多向點擊任務(F(3,12)=172.539，P<0.001)、拖放任務(F(3,12)=177.950，P<0.001)的完成時間均有顯著影響。交互設備和晃動程度對多向點擊任務(F(6,9)=18.161，P<0.001)和拖放任務(F(6,9)=13.677，P<0.001)的完成時間均有顯著的交互作用(圖4、圖5)。

圖4 晃動程度和交互模式對多向點擊任務完成時間的交互作用

圖5 晃動程度和交互模式對拖放任務完成時間的交互作用

表2 晃動程度和交互設備對任務完成時間(ms)的影響

對于錯誤率(如表3)，晃動程度對多向點擊任務(F(2,28)=15.737，P<0.001)、拖放任務(F(2,28)=6.865，P=0.004)的錯誤率均有顯著影響。交互設備對多向點擊任務(F(3,42)=72.818，P<0.001)、拖放任務(F(3,12)=95.817，P<0.001)的錯誤率均有顯著影響。交互設備和晃動程度的交互作用對多向點擊任務(F(6,9)=5.509，P=0.012)，拖放任務(F(6,9)=4.791，P=0.018)的操作錯誤率均有顯著影響(圖6、圖7)。

圖6 晃動程度和交互模式對多向點擊任務錯誤率的交互作用

圖7 晃動程度和交互模式對拖放任務錯誤率的交互作用

表3 晃動程度和交互設備對任務錯誤率(%)的影響

3.2 主觀疲勞度及舒適度

圖8為交互設備對主觀疲勞度及舒適度的影響。交互設備對總體舒適度(F(3,42)=41.980，P<0.001)、頸部疲勞度(F(3,42)=15.215，P<0.001)、肩部疲勞度(F(3,42)=79.676，P<0.001)、手臂疲勞度(F(3,42)=55.361，P<0.001)、手腕疲勞度(F(3,42)=31.005，P<0.001)和頸部疲勞度(F(3,42)=16.975，P<0.001)均有顯著影響。數據表明，使用Leap Motion時，人的主觀疲勞度最高、總體舒適度最低，使用鼠標時則相反。使用觸摸屏和軌跡球時，除手指外的其他部位主觀疲勞度均相近，軌跡球的總體舒適度比觸摸屏低。此外，無論使用哪種交互設備，手臂疲勞度均為最高。使用Leap Motion和觸摸屏時，各上肢部位的主觀疲勞度由高到低依次為手臂、手腕、肩部、手指、頸部；使用鼠標和軌跡球時，各上肢部位的主觀疲勞度由高到低依次為手臂、手腕、手指、肩部、頸部。

圖8 交互模式對總體舒適度及主觀疲勞度的影響

3.3 晃動程度和交互設備對上肢肌肉活動指標的影響

表4為晃動程度和交互設備對五處肌肉積分肌電值(iEMG)的影響。晃動程度對指伸肌(F(2,28)=18.494，P<0.001)、肱二頭肌(F(2,28)=6.901，P=0.004)、三角肌(F(2,28)=5.104，P=0.013)和上斜方肌(F(2,28)=10.150，P<0.001)的iEMG存在顯著影響。交互設備對指伸肌(F(3,42)=41.828，P<0.001)、橈側腕屈肌(F(3,42)=19.625，P<0.001)、肱二頭肌(F(3,42)=33.835，P<0.001)、三角肌(F(3,42)=36.405，P<0.001)和上斜方肌(F(3,42)=30.001，P<0.001)的iEMG均有顯著影響。交互設備和晃動程度對指伸肌(F(6,84)=10.474，P<0.001)、肱二頭肌(F(6,84)=5.373，P<0.001)、三角肌(F(6,84)=3.505，P=0.004)和上斜方肌(F(6,84)=4.912，P<0.001)的iEMG均存在顯著的交互作用。

表4 晃動程度和交互設備對五處肌肉表面肌電信號的積分肌電值(iEMG)的影響

4 討論

隨著現代交通工具駕駛座艙內人機交互系統的更新發展，愈加多樣化的人機交互設備在晃動環境下得到應用。本研究旨在探討晃動環境下使用交互設備進行基礎人機交互操作的行為績效及主客觀測量。實驗結果表明，晃動和交互設備對人機交互過程中的操作績效、主客觀疲勞及舒適度和肌電均有不同程度的顯著影響。

4.1 晃動環境的影響

實驗結果表明，晃動顯著降低了用戶執行多向點擊和拖放任務的績效。這可能是因為晃動干擾了用戶對身體平衡和肢體運動(尤其是實驗任務中所要求的上肢定點指向運動)的控制，加重了他們生理和心理上的疲勞，進而降低了他們人機交互操作的績效。該結果與前人的研究結果一致[9,20-21]。如Lin等人也發現晃動程度對用戶的輸入設備(如鼠標、軌跡球和觸摸屏)操作績效均有顯著影響[11]。該發現表明在該實驗設置程度的晃動場景下應采取與靜止狀態不同的交互設備選用策略。相比多向點擊任務，晃動對拖放任務完成時間造成的影響更大，可能的原因是拖放任務使得用戶需持續地按住目標塊和保持食指穩定移動以完成任務。晃動幅度越大，需要保持穩定的努力程度就越高，從而導致操作時間的增加。相比拖放任務，晃動對多向點擊產生的錯誤率的更高，可能的原因是在點擊任務中用戶不必穩定選中目標物而只需要間斷性地保持點擊任務的執行，而晃動產生的負面效果削弱用戶在執行多向點擊操作時對設備或食指的控制精確度導致錯誤率增加。

與我們預期的相同，晃動明顯提高了用戶的上肢肌肉活動水平，該結論與之前的研究相同[21]。Hazel在研究全身振動訓練的實驗結果表明[22]，這種對全身晃動的擾動會引起反射性肌肉收縮，從而增加肌肉活動并有助于增加力量。這有助于解釋我們的結論，在執行人機交互任務時，上肢肌肉不僅要控制和保持任務要求的動作，也要與晃動帶來的相對運動作對抗，更高的肌肉活動水平更助于完成人機交互任務。相比靜止條件，晃動幅度增大到中度條件對頸部和上臂的肌肉影響更大，如三角肌，上斜方肌相對靜止狀態下的iEMG值分別上升了33%，31%。可能的原因是控制上臂肌肉穩定有利于使上肢受晃動影響而運動的幅度減小，從而提高對上臂及手指操作的精確度要求。

4.2 交互設備的影響

研究表明，交互設備對任務績效有顯著影響。其中用戶在使用Leap Motion執行兩種任務中的完成時間和錯誤率均比其他三種交互方式都高，這與之前的結果一致[13,23]?？赡艿脑蚴怯脩魧eap Motion和軌跡球的使用不太習慣或熟悉。而之前的研究也發現缺乏某項技術經驗的用戶在使用該技術的時候會遇到更多的困難[24]。盡管用戶在正式實驗前有充足的時間熟悉使用Leap Motion和軌跡球，他們可能并不會完全掌握且靈活熟練地使用這種新興交互設備。然而，單純通過用戶以往的交互設備使用頻率來解釋Leap Motion和軌跡球的績效是不充分的。Park等人[19]的研究表明，與基于鼠標的交互相比，徒手遠程指向交互的產生疲勞度更高，這種疲勞源于伸展和手臂懸空與屏幕進行交互所導致的。交互設備操作方式的不同也是導致Leap Motion和軌跡球績效表現較差的原因，如使用Leap Motion時，若要很好地點擊和控制目標塊，必須保持食指僵直且平緩地移動，這給多向點擊和拖放任務的完成帶來了許多困難。如果不能維持熟練的操作手勢，定位目標塊便變得困難。此外，當使用軌跡球完成多向點擊任務和拖放任務時，用戶需要使用中指或食指移動滾球以控制光標，使用拇指來多向點擊左鍵。在執行多向點擊動作時，保持滾球的靜止是一件比較困難的事情，這導致了更多操作失誤。相反地，當用戶使用觸摸屏和鼠標時，只需用手腕控制光標以及用食指多向點擊左鍵，這會使移動光標和多向點擊動作之間的切換更流暢。

相比傳統的三種交互模式，Leap Motion更容易引起上肢肌肉的疲勞，該結果也與用戶的主觀疲勞度一致。Park的實驗結果[19]也表明，用戶的主觀疲勞評分在所有部位(肩膀、上臂、前臂、手腕和手指)的“無支持的遠程指向”均高于“有支撐的鼠標指向”，這與我們的實驗結論一致?？赡艿脑蚺c用戶使用Leap Motion時的上肢的懸空和運動姿勢有關。使用Leap Motion要求用戶長時間將手部懸停于控制器上而肘部缺少支撐，上肢的懸停誘發對應肌肉持續發力，特別是對用于提肩的上斜方肌以及用于肩關節旋內的三角肌。相比其他三種交互設備，用戶在使用鼠標時的肌肉活動水平最低，主觀疲勞程度和總體舒適度也最高。因此從減輕人機交互操作過程中的上肢疲勞情況來看，鼠標是最好的選擇。結合晃動因素來看，在使用Leap Motion完成任務的過程中，用戶的三角肌、上斜方肌的iEMG值均隨晃動程度的升高呈現比其他肌肉較高的活動強度，該結論指導用戶若長期使用Leap Motion執行任務，應采取對手臂肌肉的按摩緩解措施以防止潛在的危害。

5 結論

本研究通過評估晃動程度和交互設備對兩種基本人機界面任務的交互操作績效、主觀感知疲勞和上肢肌肉活動情況的影響，為晃動環境下交互設備的可用性研究提供了基礎理論。結果表明晃動程度的增大都會降低人的交互操作績效，提高人上肢肌肉的活動水平，而交互設備對任務的操作績效和主觀感知疲勞也有顯著影響。未來研究可以通過調整晃動的幅度和頻率、采用多樣化的樣本來深入研討晃動環境下交互設備可用性的研究及其對引發的肌肉疲勞效應采用更全面評價體系。