面向神經工效學的觸控顯示系統人機交互評價方法

董淵哲，李曉玲，姚磊，姜穎

（西安交通大學機械工程學院，710049，西安）

神經科學的快速發展使認知心理學研究轉向對大腦認知功能的探索，由此產生了神經工效學（neu－roergonomics）［1－3］。2012年，神經工效學技術認知研討會對神經工效學的范圍進行了界定，包括：自適應學習系統，團隊績效中的神經－行為同步性，遺傳和個體差異對決策制定的影響，警覺和注意力不足，中斷和多任務，仿真研究［4］。傳統工效學依賴于行為因素的心理學解釋，評價標準不統一，且難以避免主觀因素的影響。神經工效學則依賴人為因素的生物學解釋，在研究方法上繼承了神經科學，主要有神經成像方法（腦電、事件相關電位和腦磁等）和生理心理學（皮電、肌電、呼吸等）方法［5－6］，較傳統工效學更傾向于生理指標及神經系統的測量，并且更為客觀有效。目前，以EEG、ERP和FMRI技術測量認知過程的腦活動變化成為神經工效學領域的熱點和發展趨勢［7－8］，而 EEG 測量技術因其準確率高、實時表現性好、技術成熟的優點，被廣泛研究應用。

隨著顯控界面交互方式的日新月異，對界面的工效評價也日趨復雜多樣。傳統的機械式、電子式、模擬式顯控系統界面大多采用視聽覺感知、外設控制的方式進行人機交互，造成界面布局龐雜、信息注意分散和認知效率偏低，而觸控技術的出現，使得人機界面更加直觀、智能、人性化，提供了一種全新的人機交互體驗模式［9］。目前，很多科研組織都在此領域進行了廣泛研究，如美國的貝爾實驗室［10］，卡內基梅隆大學的交互系統實驗室［11］，斯坦福大學的人工智能研究中心［12］等。從電阻式觸屏到紅外式觸屏、從手持觸屏到大型人機交互觸屏、從傳統的單點觸屏到現在的多點觸屏，其技術在行業需求下成為顯控系統的主流，但如何對這種新型顯控方式進行科學的人機工效評價目前還沒有統一標準。針對傳統機電式、模擬式顯控方式的人機評價標準，因其自身易受主觀因素影響等缺陷，不能客觀評估觸控交互系統的人機工效。有研究表明，雙手直接觸控比鼠標輸入方式的作業績效（包括時間、錯誤率）有顯著優勢［13］。

本文結合最新的神經工效學成果，針對觸控式顯示系統的人機交互工效問題，提出了一種面向認知負荷和交互效率的多元評價方法，在認知負荷上，以θ波功率、近似熵作為評定指標；在交互效率上，以誤判率、間隔時間作為評定指標。以座艙儀表為例，設計了一套儀表顯控系統下兩種操控方式的對比實驗，記錄分析操作者的行為表現及腦電信號，從認知負荷和交互效率上對觸控顯示方式進行多元評價。

1 基于EEG的人機工效對比實驗

1.1 對比實驗設計和步驟

本實驗設計了一組模擬飛機座艙顯控系統的儀表界面，并對任務難度進行了漸進式劃分，同時搭建了2種操控方式（觸控、操控）實驗臺，由此記錄2組對比實驗下的操作表現及腦電信號。

圖1a、1b分別為觸控式和模擬式實驗臺。設計上采用50百分位人體模型，在Jack軟件中進行視域和雙手可及域校核（見圖2），使雙目視角為135°，雙手可及域達屏幕75%，并采用GL Studio（3.01版）編制儀表任務界面（見圖3）。

圖1 操控實驗臺

圖2 人因校核結果圖

圖3 儀表顯示界面

實驗選取10名（20±2）歲本科生作為被試者，被試者需熟悉任務要求，佩戴電極帽（見圖4），分別在兩個實驗臺上完成任務。同時，考慮到被試單、雙手操作的不同習慣，增設一組單、雙手觸控對比任務。

該流程共含6個任務（見圖5），各階段持續3min，間隔休息2min。在任務0，被試者閉目休息，采集平靜期腦電信號；在任務1～5，當指針進入危險區域時，被試者需觸控或操控儀表，使指針觸發后彈回初始位置并再次轉動。根據實際工程需求，任務共涵蓋3個儀表數量等級（3塊、6塊和12塊），3個指針轉速等級（慢速0.25rad/s，中速1rad/s，快速4rad/s），同一任務中，各指針轉速等級相同，初始位置不同，按一定順序依次轉動。實驗中采用屏幕錄像全程記錄被試者表現，并使用NeuroScan4.5設備實時采集EEG信號。

圖4 腦電信號采集

圖5 任務流程圖

1.2 評價指標的確定

在人機工效上，將神經工效學和傳統方法相結合，從認知負荷和交互效率兩方面來綜合評定：在認知負荷上，采用EEG技術測量與知覺認知和體力任務相聯系的腦活動的水平；在交互效率方面，則記錄被試者的操作表現作為評定依據，以誤判率和間隔時間作為指標。

在神經工效學中，EEG技術采集的信號由α波（0.5～13Hz）、β波（14～30Hz）、θ波（4～7Hz）及δ波（0.5～4Hz）組成［14］。其中，θ波能量在人體困倦時增多，是中樞神經系統抑制的表現，一般來講，任務難度越大，θ波能量越高。近似熵（ApEn）主要分析非線性腦電信號的復雜程度，理論上講任務難度越大，信號越復雜，近似熵值也越大［15－17］。因此，以θ波功率和近似熵（ApEn）作為指標來定量表征認知負荷程度。

在交互效率方面，記錄儀表操作中的總點擊數、誤點數、錯過數、總時間，并以誤判率（MR）和反應間隔時間（tR）作為評價指標，算法如下

式中：N為單個任務的總點擊數；N1為誤點數，即某指針未進入危險區或已從末端返回時，誤點該表盤的次數；N2為錯過數，即指針進入危險區并到達末端過程中未點擊的次數；T為單個任務的時間，為3min。

2 觸控儀表人機工效評價方法

2.1 認知負荷評價

信號采集后進行放大、去偽跡、A/D轉換和獨立成分分解［15］等處理，消除通道間的影響，并進行θ波功率及近似熵的計算。

2.1.1 θ波功率判定 對θ波（4～7Hz）進行頻譜分析和積分運算后，各階段功率值Pθ如圖6所示，各任務中觸控式的功率值均比模擬式的要低，平均降幅達24.7%。

在圖7中，同指針轉速等級（1rad/s）時，隨著儀表數目等級增大，觸控式和模擬式的功率值均逐漸增大；同儀表數量等級（6塊）時，隨著轉速等級增加，功率值逐漸增加至穩定。

圖7 單一變量下θ波功率對比

2.1.2 近似熵判定 對于有限長為n的一維時域腦電信號序列｛x（n）｝＝x（1），x（2），x（3），…，x（n），近似熵值可定義為［16］

根據實踐取m＝2，原始數據x（i）的標準差為0.1～0.2，如圖8，各任務階段觸控式實驗近似熵值均比模擬式要低，平均降幅達15.7%。

在圖9中，同轉速等級（1rad/s）時，隨著儀表數目增多，觸控式和模擬式近似熵值均先增再減，在6塊儀表時達到最大；同儀表數量等級（6塊）時，隨著轉速增加，模擬式近似熵逐漸增加，而觸控式近似熵先增加后趨于穩定。

圖8 近似熵對比

圖9 單一變量下近似熵對比

2.2 交互效率評價

2.2.1 誤判率分析 如圖10a所示，觸控式比模擬式儀表整體誤判率顯著降低。具體降幅如圖10b所示：在任務1、2、3階段，儀表數目少、任務難度低，平均降幅達92.2%；隨著難度增大，在任務4、5階段分別降低23.2%和49.9%，降幅下降；整個實驗中誤判率平均降低69.9%。

圖11為同儀表數量或轉速的誤判率對比。圖11a中，同轉速等級（1rad/s）時，儀表從3塊、6塊到12塊，模擬式的誤判率從36.9%開始逐漸增加，12塊儀表時達到最大，為73.7%；觸控式的誤判率在儀表數目少時較低，為2%左右，12塊儀表時則大幅增加，達36.9%。圖11b中，同儀表數量等級（6塊）時，轉速從0.25、1到4rad/s，模擬式的誤判率從8.9%開始遞增，在4rad/s達到最大，為84.8%；觸控式的誤判率在較低轉速下保持2%左右，到4rad/s時大幅增長到65.1%。

圖12a為同轉速（1rad/s）等級下單、雙手操作對比，表明雙手比單手整體誤判率較為降低。具體如圖12b，3塊、6塊儀表時誤判率降幅較大，平均達21.2%；12塊儀表時降幅較小，為5.2%；整體誤判率平均降低15.3%。

圖10 誤判率結果對比

圖11 單一變量時的誤判率對比

圖12 單雙手操作誤判率對比

2.2.2 反應間隔時間分析 如圖13a所示，觸控式儀表的反應間隔時間明顯縮短。具體縮短比率如圖13b所示：任務1中儀表數目少、難度低，反應間隔時間縮短比率為39.1%；任務2為5.2%，為最低值；任務3、4、5階段，模擬式間的反應隔時間持續遞增，最高達3.4s，觸控式的間隔時間則趨于穩定，在1.4s左右；整個實驗中觸控式的反應間隔時間平均縮短37.2%。

圖14為同儀表數量或轉速條件下的反應間隔時間對比。圖14a中，同轉速（1rad/s）等級時，儀表從3塊、6塊到12塊，模擬式和觸控式的間隔時間均先減后增，在6塊儀表時最短，分別為2.3s和1.4s。圖14b中，同儀表數量等級（6塊）時，轉速從0.25、1到4rad/s，模擬式和觸控式的間隔時間也先減后增，在1rad/s時最短，分別為2.3s和1.4s。

圖15a為同轉速（1rad/s）等級下單、雙手操作條件下的反應間隔時間對比，表明在間隔時間上雙手觸控反應更快。具體如圖15b所示，隨著任務難度等級增大，縮短比率先減再增，雙手比單手操作整體縮短比率平均達6.3%。

圖13 反應間隔時間對比結果

圖14 單一變量的反應間隔時間對比

圖15 單雙手操作間隔時間對比

2.3 相關分析

在理論上，當任務難度增大時被試者的負荷程度將增大，誤判率也將增大，因此，為進一步驗證EEG方法評價負荷程度的可行性，采用Pearson指數r為相關系數，分別計算了負荷程度指標近似熵、θ波功率與誤判率的相關性，可得模擬式實驗中近似熵和誤判率的相關系數r1＝0.820，θ波功率和誤判率的相關系數r2＝0.716；觸控式實驗中近似熵和誤判率的相關系數r3＝0.579，θ波功率和誤判率的相關系數r4＝0.609。

3 評價結果

（1）從儀表數量和轉速可以看出，在一定等級內，隨著任務難度增大，被試者的誤判率逐漸升高，θ波功率值和近似熵值逐漸增加；超過一定等級后，任務難度繼續增大，誤判率繼續升高，θ波功率值增加至穩定，近似熵值則先增再略減。相關分析表明，模擬式實驗中r1＝0.820，r2＝0.716，觸控式實驗中r3＝0.579，r4＝0.609，均驗證了EEG方法的可行性。同時反映了人自身具有一定的認知學習能力［18］，經過前期任務的適應，會相對改進效率，降低因任務難度增加帶來的認知負荷程度。

（2）對比整體實驗結果可以看出，引入觸控方式后，被試者操作誤判率平均降低69.9%、反應間隔時間平均縮短37.2%，這種交互效率的大幅提高得益于被試者認知負荷程度的下降，其中θ波功率和近似熵指標降幅達24.7%和15.7%，這體現了觸控式系統的高準確度和高靈敏度，也反映了觸控系統降低認知負荷的高效性。

（3）此外，雙手觸控比單手更具優勢，誤判率和間隔時間更低，但隨著任務難度增加，雙手操作的優勢會逐漸降低，反映了人在高難度任務下處理緊急任務的極限狀況。

4 結 論

本文通過觸控系統和模擬式系統下兩組對比實驗，引入神經工效學研究方法，分別從認知負荷和交互效率2個大方面、4個小指標（θ波功率、近似熵、誤判率、反應間隔時間）對觸控顯示系統的人機交互功效問題進行了研究，得到以下結論：無論在同等儀表數量還是同轉速等級任務下，觸控式儀表操控下的整體θ波功率值和近似熵值均明顯低于模擬式儀表系統，表明觸控式儀表顯示系統在降低認知負荷方面有很大優勢；觸控式儀表操控下的誤判率和反應間隔時間均明顯低于模擬式儀表系統，表明觸控式系統交互效率更高；在實驗中，θ波能量和近似熵越高，表明人體困倦程度及中樞神經系統抑制現象增強、腦電信號更加復雜，被試人機交互效率越低，說明神經工效學指標θ波功率和近似熵代表的認知負荷程度，是造成人交互效率（誤判率、反應間隔時間）變化的深層次原因，其作為神經工效學指標有著較強前瞻性和延展性。

［1］PROCTOR R，VU K.The cognitive revolution at age 50：has the promise of the human information－processing approach been fulfilled？［J］.International Journal of Human－Computer Interaction，2006，21（3）：253－284.

［2］PARASURAMAN R，RIZZO M.Neuroergonomics：the brain at work［M］.New York，USA：Oxford University Press，2007：3－12.

［3］SCHNELL T，POSTNIKOV A，HAMEL N.Neuroergonomic assessment of simulator fidelity in an aviation centric live virtual constructive（LVC）application［M］∥Lecture Notes in Computer Science：Vol 6780.Berlin，Germany：Springer，2011：221－230.

［4］PARASURAMAN R，BALDWINA C，KNOTT B，et al.Symposium：Neuroergonomics，technology，and cognition［J］.Work：A Journal of Prevention，Assessment and Rehabilitation，2012，41（S1）：5167－5171

［5］任衍具.神經工效學：工效學研究的新取向 ［J］.人類工效學，2011，17（3）：80－83.REN Yanju.Neuroergonomics：a new orientation of ergonomics research［J］.Chinese Journal of Ergonomics，2011，17（3）：80－83.

［6］HETTINGER L，BRANCO P，ENCARNACAO L，et al.Neuroadaptive technologies：applying neuroergonomics to the design of advanced interfaces［J］.Theoretical Issues in Ergonomics Science，2003，4（7）：220－237.

［7］STASI L，ANTOLI A，GEA M，et al.A neuroergonomic approach to evaluating mental workload in hypermedia interactions［J］.International Journal of Industrial Ergonomics，2011，41（3）：298－304.

［8］CAUSSE M，DEHAIS F，PERAN P，et al.The Effects of emotion on pilot decision－making：a neuroergonomic approach to aviation safety ［J］.Transportation Research：Part C，2013，33：272－281.

［9］ABRAHAM J.觸控的力量 ［J］.中國電子商情，2011，17（9）：59－60.ABRAHAM J.The power of touch［J］.China Electronic Market，2011，17（9）：59－60.

［10］JIN S，TIEFEL T，WOLFE R，et al.Optically transparent，electrically conductive composite medium ［J］.Science，1992，255（5043）：446－448.

［11］HARGRAVES I.Technology and touch［J］.Knowledge Technology ＆Policy，2007，20（4）：221－229.

［12］HANRAHAN P.A graphical sense of touch［J］.Communications of the ACM，2009，52（12）：89－89.

［13］FORLINES C，WIGDOR D，SHEN C，et al.Directtouch vs.mouse input for tabletop displays［C］∥Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.San Jose，CA，USA：ACM，2007：647－656.

［14］C ZHANG.Analysis of mental fatigue basing on power spectrum features of EEG ［J］.Space Medicine ＆Medical Engineering，2007，21（1）：35－39.

［15］FUNASE A，MOURI M，CICHOCKI A，et al.Suitable ICA algorithm for extracting saccade－related EEG signals ［J］.Neural Information Processing，2009（5863）：409－416.

［16］PINCUS S M.Approximate entropy（ApEn）as a complexity measure［J］.Chaos，1995，5（1）：110－117.

［17］PINCUS S M.Assessing serial irregularity and its implications for health ［J］.Ann N Y Acad Sci，2001，954（1）：245－267.

［18］MAJID B.Influence of simulation and real implementation skills on the cognitive learning aspects［C］∥3rd IEEE International Conference on Cognitive Infocommunications.Piscataway，NJ，USA：IEEE，2012：719－724.

［本刊相關文獻鏈接］

楊德偉，馮祖仁，張翔.新型三臂巡線機器人機構設計及運動分析.2012，46（9）：43－48.［doi：10.7652/xjtuxb201209009］曹志華，陸小龍，趙世平，等.電力鐵塔攀爬機器人的步態分析.2011，45（8）：67－72.［doi：10.7652/xjtuxb201108012］

張鄂，洪軍，李彥山，等.汽車人機界面人體上肢位姿建模與優化研究.2008，42（5）：546－550.［doi：10.7652/xjtuxb200805 008］

張鄂，洪軍，梁建，等.汽車人機接觸界面體壓分布的實驗與評價研究.2007，41（5）：538－542.［doi：10.7652/xjtuxb2007 05008］

吳華新，趙修斌.應用多劈模型的儀表著陸系統地形評估方法.2011，45（07）：82－88.［doi：10.7652/xjtuxb201107016］