基于腦電指標的指控系統人機界面評價研究

王大顏,瞿 玨，2

(1.空軍工程大學, 西安 710051； 2.西北工業大學 航空學院， 西安 710072)

1 引言

指控系統作為武器裝備操作控制和信息處理中心[1]，指控界面是指控系統的直觀顯示形式，是作戰人員進行信息認知加工、態勢識別、分析決策、命令輸入、任務執行等人機交互任務的主要場所[2-3]，其設計好壞直接影響著操作人員的反應時間，以及完成任務的績效[4]。在作戰環境中，任務種類多、強度大，對時效性和精確性要求較高[5]，留給操縱員的有效時間短[6]。如若指控界面的信息顯示及操控設計不合理，會使得操作人員的生理及心理狀態超出承受范圍，從而增加信息辨識、判斷及操作控制的難度[7]，導致人因操作失誤，威脅人員及裝備安全[4]。

以防空導彈為例，一般飛機、巡航導彈、彈道導彈等目標在其允射范圍內的決策時間只有幾秒鐘，當面對飽和攻擊時，戰勤人員需要閱讀的信息量非常大，一直處于高度警戒的狀態，認知負荷高，時間壓力大[7]，指控系統人機界面如果不能適應人的認知特性，滿足快速決策的人機交互需求[8]，顯然難以保證操作人員每次都能做出及時準確的決策，可能會錯過最佳作戰時機導致攔截失敗，甚至造成伊朗防空導彈誤擊烏克蘭客機這種災難性后果。在多目標、多任務、多信息的情況下，需要戰勤人員監視、閱讀大量信息并瞬間決策。優化武器裝備指控系統人機界面設計水平，有利于提高指控系統人機交互效率和可靠性，保證人員快速有效地獲取所需要的信息，并在有效的時間窗口內做出正確的決策提高裝備作戰效率。如何對武器裝備的人機界面進行科學評價，是當前武器系統人機界面設計與評價亟待解決的問題。

人機界面的評價方法分為主觀評價和客觀評價。主觀評價雖然能夠降低評價過程的繁瑣程度，能夠直觀的表現出被試人員使用界面的確切感受[9-11]，但不能給出評價規律，無法指導界面設計?？陀^評價能夠給出相應的評價數據，建立客觀的評價方法，拓展性強，有助于對不同種類的界面進行優化。

為了減少評價過程中的不確定性，研究人員將主客觀因素按照設計的方式進行組合進行界面的評價。李惠等[12]提出了一種基于QFD—PUGH的人機界面評價方法，該種方法運用層次分析法和QFD模型將主客觀因素融合，實現了對人機界面的綜合評價。饒東等[13]提出里一種基于多層次模糊理論的評價方法，在一定程度上降低了評價人員的主觀態度。孫林輝等[14]采用主觀量表和客觀眼動數據結合的方法評價英語學習類手機APP界面。鄭瑞凌等[15]利用腦電的多時空特征實現了對數字圖形界面認知負荷的評價，但是研究的重點是對不同數字界面下的認知負荷進行分類，并沒有明確指出具體腦電指標的變化。

通過腦機接口[16-18]可以測得操作人員的腦電數據，將操作人員的腦電信號和界面的操作行為進行匹配，進而分析比較兩者之間的關系，實現對操作人員操作行為和操作狀態的評價。因此，本文將在人機界面評價的過程中著重研究具體的腦電信號的變化，為指控系統人界面的設計提供更加細致的依據。

本文以地空導彈指控系統人機交互過程作為應用背景，對操作人員在不同的任務量、任務單元種類和時間壓力條件下的操作績效以及生理指標進行實驗研究。實驗以雷達界面作為實驗界面，圖標數量、關鍵圖標顏色和累積任務單元組成整體實驗后限定完成時間作為變量，進行指控系統人機界面的評價指標的研究。通過對實驗所得的腦電數據和行為數據進行處理和分析，確定在任務量、任務單元種類以及限定時間變化的情況下，操作績效的變化情況以及操作人員的腦電指標的變化特征，確定和環境變化緊密相關的腦電指標，豐富了人機界面的客觀評價指標體系，為人機界面的設計以及評價提供理論依據。

2 預實驗1：目標形狀的辨認

通過向被試展示不同形狀組合的實驗靶材，測試被試在這些靶材刺激下的正確反應時間，分析不同形狀對作業績效影響的差異性，確定顯示界面中圖標形狀的最佳顯示。

在SPSS中采用LSD多重檢驗比較法對5種不同形狀兩兩之間進行反應時間矩差分析，結果見表1。

表1 LSD多重檢驗

3 預實驗2：目標顏色的辨認

通過向被試展示不同顏色匹配的實驗靶材，測試被試在不同靶材刺激下的正確反應時間，分析顏色匹配對作業績效影響的差異性，確定顯示界面的最佳顏色匹配。

按照顯著性值對色彩組合進行差異性分組，即同組中的色彩匹配可以被認為反應時間無顯著差異，分組結果如表2所示。

表2 顏色匹配分組結果

分析表2可知：42種色彩搭配按照反應時間差異分為5組，其中組1的平均反應時間最短，即黑/黃、黑/綠2種色彩搭配的可識別性最好；組4和組5的平均反應時間最長，即灰/白、灰/黃2種色彩搭配的可識別性較差，黃/白、白/黃2種色彩搭配的可識別性最差；其余36種色彩搭配分布在組2和組3中，其反應時間分別為493 ms和568 ms。圖1為不同背景色反應時間的平均值的直方圖，由圖1可知，白色背景的平均反應時間最長，而黑色背景的平均反應時間最短?？梢?，以黑色為背景的顏色匹配的識別效率最優。

圖1 不同背景色的平均反應時間直方圖

總之，顯示界面背景/前景顏色匹配對反應時間的影響存在顯著的差異。通過對實驗數據的LSD多重檢驗，比較兩兩顏色匹配對反應時間的影響情況，分析后得出：同一背景色在不同前景色的搭配下對反應時間的影響顯著，其中黑/黃、黑/綠2種色彩搭配的辨識績效最優，黃/白、白/黃2種辨識績效最差。進一步對不同背景色的平均反應時間分析得出，黑色和藍色背景的反應時間明顯小于白色、黃色和灰色的反應時間。顯示界面色彩設計應優先選擇亮度水平較低的黑色作為背景色，黃色和綠色則作為目標色，必要情況下，紅色、灰色、白色和藍色也可作為目標色，而灰/白、灰/黃和黃/白、白/黃4種色彩匹配則應避免使用。因此，本實驗選取黃色、綠色、紅色和白色作為調整任務復雜度的顏色。

4 實驗方案

4.1 方案設計

實驗以雷達圖為背景，以矩形、三角形、圓形和五邊形圖標為搜索目標，通過改變搜索圖標數量體現任務單元任務量，通過改變搜索關鍵圖標顏色體現任務復雜度，累積任務單元組成整體實驗后限定完成時間來體現任務時間壓力，利用E-prime軟件進行實驗交互界面的設計并采集任務反應時間、任務出錯率或遺漏率，利用腦立方腦電設備采集腦電波輸出變化，并利用Matlab和Excel軟件進行數據分析。

任務量檢測：矩形、三角形、圓形和五邊形圖標總數分別為20、40、60三個量級，單個圖標個數區間分別為[3，7]，[8，12]，[13，17]，要求數出提示圖標個數，并做出選擇，每個量級做8個隨機任務單元，連續做2遍16次，圖標顏色為單色；

任務多單元檢測：矩形、三角形、圓形和五邊形圖標總數為60，單個圖標個數區間為[13，17]，圖標顏色為單色，雙色，四色三組，要求數出提示圖標個數，并作出選擇，各組做8個隨機任務單元，2遍16次；

任務時間壓力檢測：矩形、三角形、圓形和五邊形圖標總數60，單個圖標個數區間為 [13，17]，時間分為100 s、80 s、60 s三檔，要求盡最快速度數出提示圖標個數，并作出選擇，要求盡量各組做到8個隨機任務單元，2遍16次，圖標顏色為單色。

實驗過程中被試和數據采集過程如圖2所示。

圖2 被試和數據采集過程示意圖

4.2 實驗數據采集

實驗選取8名在校本科生與碩士研究生，被試年齡在20～24歲，且均具有良好的計算機使用經驗。被試均為右利手，視力正常，無色弱、色盲以及操作認知障礙。

實驗地點為指控艙人機實驗室，無外界環境干擾。實驗開始前，被試佩戴好實驗設備坐在人機實驗室中，實驗室中光線柔和且保持恒定，隔絕外界環境影響。被試按照如下步驟開始實驗：

1) 了解實驗目的，熟悉實驗流程；

2) 調整座椅和屏幕，找到舒適的操作位置，使被試眼睛與屏幕距離保持在0.5 m左右，視線與屏幕垂直且落在屏幕中央區域附近；

3) 根據試驗方案的設計，分別改變搜索圖標的數量、關鍵圖標的顏色以及限定完成任務的時間，進行3組不同的實驗，分別采集被試人員的腦電數據。

被試人員處于安靜腦立方腦電設備實驗過程中。該設備采集部分信號及其各參數對應變化趨勢如圖3、圖4所示。

圖3 單個腦電實驗數據采集樣本界面

圖4 單個腦電實驗數據采集樣本波形

5 實驗數據分析與處理

腦電數據處理方法主要包括：利用峰度、標準差、均值等時域特征方法，小波系數、頻譜等頻域特征方法以及信息熵理論方法。時域特征與頻域特征方法雖然能夠提取有效的腦電數據特征，但是這些數據特征無法直觀反應腦電信號的變化規律和復雜性[19]。近似熵在處理如腦電等非平穩信號方面具有獨特的優勢，能夠反應出數據中的隱含信息[20]，因此本文選擇近似熵算法進行數據處理。給定一個由N個數據組成的時間序列{x(n)}={x(1),x(2),x(3),…,x(N)}：

1) 時間序列上每連續t個數據都可組成一個t維矢量，即

{Xt(j)}=[x(j),(j+1),…,x(j+t-1)]

1≤j≤N-t+1

2) 設序列{Xt(j)}與序列{Xt(k)}的距離記為d[Xt(j),Xt(k)]，其含義為兩時間序列的矢量的每一對應位置元素的差值的絕對值的最大者，即

4) 計算所有時間序列與原時間序列相似性的平均值φt(w),即

5) 將維度增加至t+1維，重新進行步驟1至步驟4，類似可計算出φt+1(w)為

6) 近似熵定義如下：

5.1 任務量分析

本實驗任務單元任務量的安排，其顯示對應畫面如圖5，通過E-Prime軟件采集任務反應時間和任務執行錯誤數目數據導入Matlab軟件統計分析，得到結果如圖6所示。

圖5 不同任務量下的實驗展示畫面

圖6 不同任務量下的操作員反應時間、出錯率分析直方圖

由圖6可知：盡管被試人員出現不同的個體差異，但隨著任務單元任務量的增加，任務單元的總體的反應時間和出錯率會隨之增加，其中，隨著任務單元任務量級的增加，其平均反應時間同比相對增長74.1%和37.4%，平均出錯率同比相對增長110%和66.7%，說明任務單設置過程中，任務量(包括信息量和處理量)的增加會導致任務單元完成時效性和可靠性的降低，降低趨勢呈緩和趨勢。根據績效采集數據分析結果可知，隨著任務單元任務量的增加，任務單元的反應時間(主要執行時間)和出錯概率隨之提高，同時，根據被試人員實驗過程中的主觀感受，隨著任務單元任務量的提高，被試人員感覺越來越吃力，隨著時間的延續，有時甚至出現“眼花”而導致重新計數的情況。

利用Matlab和Excel軟件對腦電數據進行數據分析，對比腦電實驗數據結果和被試人員主觀感受，以及績效測量得到的任務單元反應時間和出錯率對比可以推測出它們之間的相互關系(圖7)。隨著任務單元任務量的增加，人體投入的心理努力增加，個體認知系統的心理活動總量增加，認知負荷增加，被試人員的任務反應時間增加，出錯率增加，表明任務單元執行的可靠性會隨著任務單元任務量的增加而出現降低；腦電信號測量得到的低頻的δ和θ波近似熵一致呈現降低趨勢，中高頻的β1、β2波近似熵一致呈現上升趨勢，同時，表征人體專注程度的超高頻的γ1和γ2波會出現降低趨勢。

圖7 任務量與腦電指標對應關系框圖

5.2 任務單元種類分析

實驗任務量的安排，其顯示對應畫面如圖8，通過E-Prime軟件采集任務反應時間和任務執行錯誤數目數據導入Matlab軟件統計分析，得到結果如圖9所示。

圖8 不同任務單元種類下實驗展示畫面

圖9 不同任務單元種類下的操作員反應時間、出錯率分析直方圖

由圖9可知：隨著任務單元種類的增加，被試人員的反應時間和出錯率呈現U形的趨勢，只針對任務界面元素區分顏色這一單個因素來講，任務界面元素特征單一很不利于信息特征提取，當然，并不是界面元素特征顏色越多越好，由實驗數據呈現趨勢可知，當任務界面元素區分顏色增多時反而會影響主任務信息特征的提取，由實驗數據呈現趨勢還可以得出：任務界面在呈現過程中在提高信息區分度的同時，應該保證信息區分過程中要主次分明，避免不必要的干擾。

利用Matlab和Excel軟件對腦電數據進行數據分析，對比腦電實驗數據結果和被試人員主觀感受，以及績效測量得到的任務單元反應時間和出錯率對比可以推測出它們之間的相互關系(圖10)。隨著任務單元種類的增加，人體投入的心理努力先呈增加趨勢，進而隨著種類的增加心理努力降低，個體認知系統的心理活動總量和認知負荷也呈現相同的變化。與此同時被試人員的任務反應時間和出錯率增加先增加后減少，表明任務單元執行的可靠性會隨著任務單元種類的增加不是呈正相關的關系，而是先呈正相關，后呈負相關。腦電信號測量得到的低頻的δ和θ波及α1、α2波近似熵一致呈現先降低后升高的趨勢，中高頻的β1、β2波近似熵一致呈現先上升后下降的趨勢，同時，表征人體專注程度的超高頻的γ1和γ2波會出現先降低后上升的趨勢，呈現“U”形?？赡艿慕忉屖菃卧N類的增多，目標之間的區分更加明顯，被試人員的專注度降低，但是隨著單元種類的增多，越來難以辨識目標，被試人員的專注度進一步提升。

圖10 任務單元種類與腦電指標對應關系框圖

5.3 任務單元時間壓力分析

根據實驗任務單元時間壓力的安排，其顯示對應畫面如圖11，采集任務反應時間和任務執行錯誤數目數據導入Matlab軟件統計分析，得到結果如圖12所示。

圖11 時間壓力下任務單元界面

圖12 時間壓力下操作員完成率、出錯率分析直方圖

由圖12可知：由于任務單元執行時間的減少，除個別情況外，被試人員對任務單元的完成率不同程度地降低，其平均降幅同比相對下降25.2%，16.9%，由于實驗過程中預先提示時間縮短造成的心理壓力，導致任務單元執行過程的出錯率在時間大幅降低的情況下出錯情況變得不穩定，總體呈上升趨勢。仔細對比任務單元的完成率和出錯率還會發現，部分被試人員在時間壓力的影響下存在以犧牲任務完成的正確性為代價來提高總的任務完成率的情況。實驗結果表明，在時間壓力影響下，任務單元的完成率與錯誤率具有不穩定傾向，其整體的完成率呈下降趨勢，錯誤率呈上升趨勢，壓縮完成時間帶來的時間壓力會降低任務完成的可靠性。任務單元時間壓力績效測量數據表明任務單元在時間壓力影響下，任務單元的完成率與錯誤率具有不穩定傾向，其整體的完成率呈上升趨勢，錯誤率呈下降趨勢，壓縮完成時間帶來的時間壓力會降低任務完成的可靠性。

利用Matlab和Excel軟件對腦電數據進行數據分析，對比腦電實驗數據結果和被試人員主觀感受，以及績效測量得到的任務單元反應時間和出錯率對比可以推測出它們之間的相互關系(圖13)。對應得到的腦電信號變化趨勢顯示腦電信號測量得到的中低頻的δ、θ以及α1、α2波近似熵大體呈現降低趨勢，中高頻的β1、β2波近似熵呈現上升趨勢，同時，表征人體專注程度的超高頻的γ1和γ2波會出現“倒U”。對于表征人體專注的γ波在時間壓力影響下出現先高后低現象，可能的解釋是適度的時間壓力有助于人體專注能力的提高，而過高的時間壓力則會導致專注程度的降低。

圖13 時間壓力與腦電指標對應關系

6 結論

1) 在進行顯示界面設計時，圖標形狀設計應優先考慮矩形，圓形和五邊形，其次是三角形，菱形應盡量避免使用。

2) 顯示界面色彩設計應優先選擇亮度水平較低的黑色為背景色，黃色和綠色為目標色，必要情況下，紅色、灰色、白色和藍色也可作為目標色，而灰/白、灰/黃和黃/白、白/黃4種色彩匹配應避免使用。

3) 操作人員在任務量和時間壓力變大的情況下腦電特征的變化相似，低頻的δ和θ波近似熵呈降低趨勢，中高頻的β1、β2波近似熵一致呈上升趨勢，但是隨著任務量的增加表征人體專注程度的超高頻的γ1和γ2波會出現降低趨勢，而隨著時間壓力的增大，表征人體專注程度的超高頻的γ1和γ2波會出現“倒U”形狀。操作人員在任務多單元情況下的腦電變化于前兩者有很大的不同。低頻的δ和θ波及α1、α2波近似熵一致呈先降低后升高的趨勢，中高頻的β1、β2波近似熵一致呈先上升后下降的趨勢，同時，表征人體專注程度的超高頻的γ1和γ2波會出現先降低后上升的趨勢，呈現“U”形。

4) 腦電指標的變化可以反映操作人員對于使用人機界面時感受的好壞,因此可作為操作人員操作界面認知狀態的評估依據，進而用腦電指標作為人機界面客觀的評價指標。面對易于操作的界面，操作人員的認知負荷較小，β1、β2波近似熵較低，低頻的δ和θ波及α1、α2波近似熵一致較高。反之，β1、β2波近似熵較高，低頻的δ和θ波及α1、α2波近似熵一致較低。所以，可以通過研究腦電參數的變化對界面易用性以及給操作人員帶來的認知負荷大小進行評價。