眼動測量在人機界面作業優化評估系統中的應用

李晨輝　龐志兵　張艷君　鄒渝　李宏雷　翟霄飛

摘要：在傳統人機界面工效評估方法的基礎上，研究了眼動測量在人機界面交互工效評估應用方面的應用，分析了眼動測量在裝備研制、院校教學和部隊訓練的應用前景。將眼動測量引入人與裝備交互操作的過程中，檢測裝備操作員眼球的運動參數，量化評估裝備人機界面的優劣，為裝備人機界面的優化與設計提供科學依據。闡述了基于眼動測量的人機界面工效評估系統所實現的基本功能、系統軟硬件結構組成，并對系統的實驗應用領域進行了展望。

關鍵詞：人機交互；界面評估；眼動測量；工效評估

中圖分類號：TB 472，TP 391文獻標識碼：A文章編號：1672-7312（2017）01-0041-05

0引言

人機界面（Human Machine Interaction，HMI）作為裝備與操作員的交互窗口，實現了裝備信息的內部形式與操作員可以接受形式之間的轉換，是裝備整體設計中至關重要的部分，將直接影響到操作工效的提升和作戰效能的發揮[1-2]。視覺是人類認識世界和相互溝通的直接途徑。因此，視覺認知生理評估方法是非常有效的界面優劣評判方法。傳統的人機界面評估主要基于用戶自身的主觀回憶，在進行人機交互時用戶的思維活動難以得到客觀體現，測試結果也容易受到影響。相反，在人機交互的過程中，利用眼動跟蹤測量技術，觀測眼球的運動參數，量化評估人機界面設計與交互性的優劣，能夠將用戶的主觀影響有效消除，為界面優化提供客觀依據。此外，眼動跟蹤測量技術還可以在人機交互過程中觀測眼球的運動，提供客觀的、可以相互比較的、量化的度量標準，從而為選拔操作人員提供依據。近年來出現的的專家-新手范式（expertnovice paradigm），是將實驗人群分為專家組和新手組，采集2組人員的眼動數據，對比注視時間、注視點次數、掃視軌跡等指標的差異，用于發現專家高效、實用的掃視模式和新手的掃視缺陷，對于指導新手的技能訓練具有重要作用[3]。美國空軍將眼動測量系統應用于部隊訓練，能明顯提高訓練效果，及早糾正錯誤的掃視習慣。在F16B的15個訓練科目中，有10個應用眼動測量的訓練系統[4]。操作員的眼動模式越優、掃視規律越有效率則裝備操作績效越好。因此，裝備人機界面交互操作訓練時，加入眼動模式的指導，有助于新手掌握經驗操作員高效的眼動注意力分配規律，養成正確的掃視習慣，提高訓練效率，縮短訓練周期，為裝備訓練內容的制定與調整提供幫助。工程實踐表明，裝備存在的缺點和易發生的問題往往集中在人機界面上，會導致操作不便、維護困難等問題。在進行人機界面評估與優化的過程中，主要可分為2個方面：一是“機適應人”，在裝備研究設計階段，按照“設計-仿真-測試-修正”的閉環進行，采用大量的調研數據統計和操作員經驗統計分析等，人力物力消耗過大；二是“人適應機”，即在裝備定型使用階段，由于裝備可變空間縮小，必須盡量發揮人的可塑性特點，強化操作員的限制性訓練，以便更好地適應裝備，充分發揮裝備的作戰效能。同時，還要將裝備使用過程中發現的設計缺陷等問題反饋工業部門，以進一步優化武器裝備的設計與制造[5]。

1眼動測量技術及應用

人的眼球運動表現為在被觀察目標上一系列的停留點之間的快速跳動，通常分為3種類型，即注視、眼跳和追隨運動[6]。當注視停留點的時間超過100 ms時，稱為注視點。眼跳是注視點或注視方位的突然無意識改變。追隨運動是當被觀察物體與眼睛存在相對運動時，為了保證注視點的穩定，眼球會追隨物體移動。眼動測量是通過檢測眼球注視點位置和相對運動而實現對眼動軌跡的追蹤，記錄眼動的時間和空間數據，如注視時間、注視次數、眼跳潛伏期、回視次數、瞳孔大小及眼跳距離等。通過分析這些眼動數據，可獲得操作員視覺加工的信息選擇模式、認知特征，掌握其在裝備操作過程中的注意力分配、工作負荷狀態等信息[7]。眼動測量技術在人機界面和工效等方面的應用主要有以下4個方面。

1.1在人機界面設計中的應用

隨著裝備信息化程度的增強，人機界面溝通順暢與否與裝備效能的發揮緊密相聯。裝備操控面板的設計和布局應符合人的視覺特性，使信息顯示既便于接受又易于做出判斷。運用眼動技術研究裝備人機界面布局的優劣，分析其對裝備操作績效的影響，利用眼動設備對操作員操作過程中的眼動狀態進行測量，根據其眼動數據，分析界面布局對操作員認知的影響，為人機交互優化設計提供科學依據。

1.2在人員操作績效考核中的應用

研究發現，用專家掃視模式培訓過的新手比不用專家的掃視模式培訓的新手搜索績效要高。在研究操作員眼睛運動規律時，可利用眼動模式診斷操作缺陷和評價操作績效。另外，通過對比專家和新手裝備操作時的眼動模式，不僅可為評價操作績效提供參考，還可為制定操作員的培訓計劃提供依據。

1.3裝備操作員疲勞度檢測的應用

隨著裝備自動化程度的提升，操作員需要處理的信息量不斷增加，加重了其工作負荷。在操作裝備時，需要長時間集中精力監控各種控制儀表，極易引起機能、腦力和視覺疲勞，會造成武器裝備操作的失誤，直接影響到部隊的作戰訓練。研究發現，眨眼的頻率和工作任務的難度存在正相關性，如多任務的眨眼頻率比單一任務的眨眼頻率高。利用眼動技術對人機界面進行交互評估分析，推斷出視覺的疲勞程度，認知能力下降程度等，客觀地量化出相應的工作負荷量和疲勞度。

1.4裝備操作中人員分心現象的測量

操作員在操作裝備時，會受到警報聲響、人為因素、非人為因素等的影響，造成分心現象，嚴重時會降低操作績效，增加失誤率。利用眼動技術測量出操作員的分心現象（如當操作員視線長時間離開相關儀表就是最直接的操作分心指標），進行量化分析，以便及早發現操作分心現象。

2基于眼動測量的人機界面作業優化評估系統

2.1系統實現功能

裝備人機界面的評估與優化，實際上就是分析操作員與人機界面的信息顯示與控件布局等元素間的協調匹配度。由于不同的操控人員，對裝備內部結構的理解和操作技能水平是不同的，這將直接影響到從人機界面上獲取信息的能力，影響交互過程中的反應能力。基于視覺優先的原則，操作員必須具有有效的視覺信息采集方法，它將決定著后續信息加工的質量和動作行為的反應效果，是人與機器配合的基礎。視覺搜索是一種復雜的認知過程，具有較強的目的性。將眼動測量技術引入到人機界面評估與作業流程優化的研究過程中，充分發揮視覺搜索對人機界面評估與優化研究能力，研發出相應的評估實驗系統。該系統依據人機界面工效學設計標準與原則，運用眼動測量技術分析人機界面，為操作員提供的信息量和視認反應時間的定量關系，并將所采集的實驗數據與試驗人機界面模型相結合，對人機界面的視野設計、可視域、可觸域、控件布局等進行評估。同時，系統根據量化分析結果，研究人機界面設計缺陷或操作流程的問題，提出優化改進方案。

系統研究設計的目的主要是為了解決以下2個方面的問題。

2.1.1有效解決了客觀評估人機界面的問題

評估裝備人機界面的優劣，重點在于能夠保證視覺反應與操作反饋之間的協同，使操作員通過人機界面，迅速、準確了解裝備各類狀態參數和戰場環境信息等，高效地完成作戰任務。因此，通過對操作員的眼動狀態的測量分析，采集注視點在人機界面上的位置轉換、停留時間，通過移動序列記錄及軌跡描繪，來度量人機界面布局的有效性和合理性，盡量減少顯示視覺密度，增加視覺平衡感。利用所采集的注視熱點，直觀地反映操作員的眼動軌跡的空間分布，標記出注視時間在該區域的長短，根據眼動軌跡的跳動度，分析相關的影響因素，避免界面布局不一致等問題。

2.1.2有效解決了科學優化作業流程的問題

優化作業流程時，需要解決的關鍵問題就是輸入快速性、操作準確性、信息明確性和圖示標準性等。根據操作員眼動狀態，分析其注視、跳動的時隙和序列，結合作業流程進行對比分析，優化作業結構與流程。統計注視點平均數量和平均時間，以反應人機界面布局的合理性和顯示信息的難易度。在輸入快速性上，要盡量減少操作員的輸入動作，以提高其工作效率和出錯概率。在操作準確性上，為預防操作員的錯誤，優化作業步驟，盡量避免易錯、易混操作的相關性和交織性。在信息明確性和圖示標準性上，是在人機界面評估的基礎上，提出相應的改進方案，利用本系統對該方案進行模擬測試，評價界面改進對作業流程優化的影響。

在研究論證的基礎上，重點實現了以下功能。

1）記錄裝備人機界面操作流程記錄；

2）記錄操作員操縱過程中注視點數據集；

3）分析目視熱點區，以及與操作步驟的相關性；

4）提出人機界面可優化點建議；

5）提出在人機界面固定條件下操作員操縱優化流程；

6）對統計數據進行可視化描述等。

2.2系統結構組成

該系統采用半集成的軟硬結合方式，采用先進的眼動測量技術（商業產品），對操控人員的眼動狀態進行采集和復現，利用自研的分析軟件，將采集的數據與人機界面仿真模型相結合，分析設計缺陷和優化作業流程，并動態演算和顯示評估結果，建立相應的裝備人機界面評價指標體系，提出改進方案，并可進行復現測試。本系統主要組成結構如圖1所示。

該系統結合了眼動跟蹤測量技術和3D建模技術，在人機工程學、人工智能、數據挖掘的研究基礎上，依據操作員自身特點、操控能力以及視覺搜索與認知能力等行為特征，研究裝備人機界面布局的評估方法和優化原則。利用Mobile Eye系列眼動儀，實現對操作員在進行裝備人機界面或模擬人機界面作業過程中的雙眼視域、手部操作以及眼睛隨動過程等數據的采集與復現。利用系統控制臺和數據服務器，將所采集的數據進行歸類統計分析，根據操作員的眼動軌跡和相關參數，對人機界面布局和作業流程進行評估優化。

2.2.1系統硬件組成

該系統的硬件部分主要由眼動設備、多點觸控顯示屏、數據協議接口和服務器組成。眼動設備主要用于對操控人員的眼動軌跡進行采集。顯示屏主要用于人機界面仿真模型的動態顯示，以便于對人機界面進行評估和作業流程的優化。系統控制臺、數據協議接口和服務器用于處理、轉換和傳輸所采集的眼動數據，分析相應的注視、跳動、隨動軌跡與時間，熱點區與干擾區的大小、分布等。

2.2.2系統軟件結構

該系統的軟件部分由眼動設備控制軟件和人機界面評估與優化分析軟件（包括眼動數據統計模型、界面優化模型、場景仿真模型等）組成，其結構框圖如圖2所示。利用3D建模技術對裝備艙室結構，以及操作界面進行按比例縮放，構建出裝備顯示界面的仿真模型和模擬操作環境，同時還要加入相關的影響因素，如光線、氣象、噪聲等，拓展評估實驗的應用功能。

2.3系統應用展望

根據調研統計，早期的人機界面優化主要是問卷反饋和設計經驗的綜合體，能夠集中體現設計人員的思想，但卻弱化了操作員的感知體驗。近年來，眼動技術不斷發展，正在逐漸進入人機界面設計，并取得了良好的效果。本系統的研究與設計也正是基于此，重點是應用到裝備的研制與生產過程中，一是降低裝備或者系統技術支持的費用，縮短操作人員訓練時間；二是減少由于人機界面問題而引起的軟件修改和升級問題；三是使裝備的可用性增強，便于操作人員進行有效作業；四是幫助裝備設計者更深刻地領會“用戶為核心”的設計原則；五是在界面測試與評估過程中形成的評估標準和設計原則，對人機交互界面設計有著直接的指導作用。

因此，利用該系統可以有效提升裝備人機界面研究的能力，使其從傳統的經驗統計轉變為定量與定性相結合的研究模式。

2.3.1能夠為工業部門科研論證服務

武器裝備的信息化、自動化程度不斷提高，對人機界面的依賴程度越來越高。早期依靠武器裝備研發人員設計的人機界面，對裝備操控理解的角度與部隊操控人員的往往不同，會造成裝備操作使用的困難，嚴重制約著裝備作戰效能的發揮。為解決這類問題，工業部門通過派駐、調研等方法，到部隊一線了解和指導裝備的操作使用情況，但這并未從根本上解決問題。利用眼動測量技術，將裝備人機界面評估指標體系軟件化，實現對人機界面設計評估的自動化，并生成相應的經過量化和定性分析的評估方案報告，增強工業部門在裝備人機界面設計過程中指導的針對性。

2.3.2能夠為軍隊院校規范教學服務

軍隊院校在艙室裝備的教學中，以示范指導為主要方式，嚴格按照操作規范實施，制約了學員的主動性。通過裝備實踐教學，學員能夠掌握基本的作業流程，但操作步驟較為死板，與人機界面的協調匹配度不好，嚴重影響了人機適應性的發揮。利用眼動技術，監控學員的作業流程，通過交流研討，可以分析學員個體與艙室人機界面的協調匹配度，依據個人情況優化相應的作業流程，以提升裝備操作的效能，實現真正的個性化武器裝備教學實踐。

2.3.3能夠為作戰部隊科學訓練服務

艙室裝備定型生產后配發部隊，為盡快形成戰斗力，工業部門往往會派駐人員到部隊現場進行教學指導。目前，由于裝備操作規范在制定過程中，部隊參與度不高，在人機界面設計與作業流程制定方面存在著與部隊實際不相匹配的問題。另外，部隊裝備操控人員以士官為主，由于其知識結構和技能素養的差異，對裝備人機界面的掌握程度和對作業流程的理解程度會與工業部門所設想的存在較大差別。因此，該系統能夠對裝備標準的作業流程進行評估分析，形成優化的標準作業流程，再與部隊操控人員進行比對，分析個體差異，提出優化方案。最終，利用該系統在部隊的艙室裝備訓練中，形成對操控人員指導分析的閉環，使部隊具有裝備人機界面設計和作業流程優化的能力，能夠為工業部門反饋經過量化分析的改進方案，提升裝備升級改造的針對性。

3結語

人機界面交互性的評估已經逐漸形成了一系列的方法和技術體系，但總體來講，仍然以主觀評價為主要方法，而本系統的研究與開發，將基于眼動測量進行客觀量化評估方法引入到評估過程中，以人機界面為根據，利用眼動測量技術，科學構建艙室人機界面模型，進一步深入研究“人、機、環境”各因素間的相互關系，使評估結果更加客觀、易于解釋，同時對于容易出現的“漏判”和“誤判”問題，該系統提供的數據也成為重要評估的重要依據。根據系統的評估結果可使裝備界面設計更加人性化、科學化，使用戶的體驗能夠更加舒適，并快速地獲取相關信息，滿足人機適應性的要求。同時，人-機-環境系統工程實驗環境的建設是一項龐大的系統工程，需要依照科學構建的理論體系逐步建設，逐步實現體系實驗。研制基于眼動測量的人機界面交互工效評估系統是該體系建設中的重要內容之一，能夠為適應未來戰爭的裝備人機界面設計、裝備操作流程優化等提供科學的指導。

參考文獻：

[1]龐志兵，李宏雷，劉東，等.人-機-環境系統工程理論與核心軍事能力建設的問題研究[C]//第十一屆人-機-環境系統工程大會論文集.北京：電子工業出版社，2011.[2]龐志兵.防空兵人-機-環境系統工程[M].北京：防空兵學院，2000.[3]LIU Zhongqi，YUAN Xiugan.Comparison of expert and novice eye movement behaviors during simulated Landing flight[J].Space Medicine & Medical Engineering，2009，22（5）： 358-361.[4]Wetzel P A，Anderson K，Gretchen M，et al.Instructor use of eye position based feedback for pilot training[J].Human Factors and Ergonomics Society，1998，2（5）：5-9.[5]眼動追蹤技術的評價指標.基于眼動追蹤的戰斗機顯示界面布局的實驗評估[J].電子機械工程，2011，27（6）：50-53[6]龐志兵，張泳，李宏雷，等.人-機-環境系統工程實驗室建設研究[C]//第十次軍隊院校實驗室建設與發展學術研討會論文集.北京：國防工業出版社，2012.

[7]LU Tianjiao，LOU Zhenshan.Eye movement research of the pilots in different flying time of simulated orientation mission[J].Chin J Aerospace Med，December 2013，24（1）：12-17.

（責任編輯：梁清）