基于腦電功率譜密度的作業人員腦力負荷評估方法

張潔，龐麗萍，完顏笑如,*，陳浩，王鑫，梁晉

1.北京航空航天大學 航空科學與工程學院，北京 100083 2.中國船舶工業綜合技術經濟研究院 船舶人因工程實驗室，北京 100081

隨著科學技術的發展，人-機系統中人的作用更多地趨于高級決策和監控，使得現代人-機系統中體力勞動不斷減少而腦力勞動不斷增加，作業人員往往處于較高的腦力負荷狀態。研究表明，較高的腦力負荷會引起快速疲勞、失誤增加和決策錯誤，是導致人因事故的重要原因；過低的腦力負荷會造成人力等資源浪費、引起厭惡感，導致作業績效下降[1]。因此，作業人員腦力負荷的評估是人因工程領域一項重要的研究課題，對鐵路司機、飛行員等危險崗位顯得尤為重要。

腦力負荷的測量方法主要有主觀測評法、行為績效測評法和生理測評法[2-3]。主觀測評法和行為績效測評法由于具有時間滯后性等特點[4]，難以應用于腦力負荷狀態的實時評估。基于生理信號的腦力負荷監測由于客觀性、實時性和較小的任務侵入性等優勢日益成為研究熱點[5-6]。采用的生理信號主要有3大類：腦電信號(EEG)、眼電信號(EOG)和心電信號(ECG)[7-8]。其中，分析腦電指標隨腦力負荷變化的特點及規律并采用數學算法建立腦力負荷評估模型是腦力負荷研究中使用最多的方法[9-10]。

Garrett等[11]開展了基于線性、非線性和特征選擇方法的EEG信號分類模型研究，結果表明非線性分類方法建模效果優于線性分類方法建模效果。基于EEG信號的非線性分類方法中，支持向量機(SVM)和神經網絡(NN)被廣泛關注。目前，NN模型是一個黑箱子模型，其推理過程和推理依據無法解釋，其理論和算法仍需進一步完善和提高。SVM模型由于具備推導過程清晰、可避免陷入局部最優值、性能好的優勢吸引了眾多學者研究[12-15]。然而，現有研究關于利用EEG信號建立基于SVM的分類模型研究中未仔細討論模型參數確定方法，傾向于單個角度評價模型效果。因此，在MATB-Ⅱ平臺上通過設置航空情境任務的不同喚醒頻次誘發低負荷、中負荷和高負荷情境，記錄被試在不同腦力負荷水平下的NASA任務負荷指數(NASA-TLX)量表數據和EEG信號，通過NASA-TLX數據的重復測量方差分析結果驗證實驗任務設計的合理性，通過傅里葉變換提取EEG信號的功率譜密度特征，采用SVM建立基于功率譜密度的腦力負荷評估模型，并進一步利用網格搜索法優化模型參數，利用多指標評價模型效果。

1 實驗方法

1.1 被 試

實驗的被試為16名北京航空航天大學的研究生(年齡(23.4± 0.8)歲，15名男性，1名女性)，身體健康，右利手，視力或矯正視力正常，記為Sub 1～Sub 16。為確保實驗腦電數據的客觀性，要求被試在實驗前24 h內保證充分的睡眠及良好的精神狀態，不飲用含有咖啡因、酒精的飲料，不服用任何藥物。實驗前，對被試進行實驗任務培訓，使被試充分了解實驗流程，熟悉任務操作。

1.2 實驗測量

1.2.1 實驗任務

采用基于多任務航空情境操作的MATB-Ⅱ平臺實現系統監控任務、追蹤監控任務、通信監控任務和資源管理任務[16]，并采用萊仕達飛行搖桿、鍵盤和鼠標完成與MATB-Ⅱ平臺的人機交互。通過不同的任務喚醒頻次設計3個實驗水平：低負荷、中負荷和高負荷。低負荷、中負荷及高負荷水平下，每種任務分別呈現1、12、24次。為了平衡練習和疲勞效應，實驗采用拉丁方設計。

MATB-Ⅱ平臺任務界面如圖1所示。

圖1 MATB-Ⅱ平臺任務界面Fig.1 Task interface of MATB-Ⅱ

1.2.2 主觀測評方法

采用的主觀測評法為NASA-TLX量表。被試通過填寫NASA-TLX量表從腦力需求、體力需求、時間需求、努力程度、業績等級和受挫程度這6個評價維度測評自身腦力負荷值。

采用NASA-TLX量表評價腦力負荷包括以下主要過程[2]：

1) 要求被試認真閱讀NASA-TLX量表6個維度的詳細說明，并根據自身實際情況對各維度進行評分。

2) 采用兩兩比較的方法，要求被試選出每對中對腦力負荷貢獻更多的維度，確定NASA-TLX量表各維度對總腦力負荷的權重。

3) 總腦力負荷值為6個維度的加權平均值。分值越高表示腦力負荷越大。

1.2.3 腦電采集系統

采用國際腦電圖學會標定的10-20電極導聯定位標準[17]，利用Neuroscan Neuamps系統(Synamps2,Scan4.3,EI Paso,USA)采集32導聯腦電(FP1、FP2、F7、F3、FZ、F4、F8、FT7、FC3、FCZ、FC4、FT8、A1、T3、C3、CZ、C4、T4、A2、TP7、CP3、CPZ、CP4、TP8、T5、P3、PZ、P4、T6、O1、OZ、O2)，同時記錄垂直眼電(VEOG)和水平眼電(HEOG)。在線參考電極設為單側乳突(A1)，離線分析轉換參考為雙側乳突(A1、A2)的平均[18]。實驗過程中要求各導聯阻抗均小于5 kΩ，采樣率為1 000 Hz，記錄帶寬為0.1～200 Hz。腦電采集系統如圖2所示。

圖2 腦電采集系統Fig.2 EEG acquisition system

1.3 實驗流程

根據生物鐘時間表及主觀問卷調查，確定實驗時間為上午9:00～12:00[19]。被試到達實驗室，先接受實驗培訓，之后佩戴腦電帽。實驗準備工作完畢，先進行靜息實驗，之后按著拉丁方設計順序依次開展3種不同腦力負荷水平實驗，同時記錄所有實驗的EEG信號。每一水平的腦力負荷實驗結束后，均要求被試填寫NASA-TLX量表，并適當休息。實驗流程如表1所示。

表1 實驗流程Table 1 Experimental process

2 建模及評估方法

2.1 SVM原理

SVM是建立在統計學習理論中結構風險最小化原理基礎上的一種機器學習算法，通過核函數將數據投影到一個特征空間進而尋找最優超平面以建立模型，在解決小樣本、非線性問題中具有一定的優勢[20-21]。SVM的學習能力和泛化能力受核函數及參數影響。高斯核函數(RBF)由于其映射維度廣、決策邊界多樣和表現穩定等優點，被廣泛應用于基于SVM的分類研究[22]。因此，選用RBF核函數開展個體腦力負荷模型研究，懲罰系數C和核函數參數gamma的優化選擇是建立個體腦力負荷評估模型的重要步驟之一。考慮到網格搜索法具有可得到全局最優解的優點[22-23]，利用網格搜索法確定個體腦力負荷評估模型的C和gamma。

2.2 腦電特征提取

(1)

式中：P為功率譜密度；X為EEG信號；F為快速傅里葉變換；F*(X)為F(X)的共軛；fs為采樣頻率，這里取1 000 Hz；n為EEG信號采樣點個數，這里取1 024。

(2)

式中：Pf為頻率f下的功率譜密度值；fα、fβ、fθ、fδ分別為α、β、θ和δ節律頻率范圍。其中：

(3)

圖3展現了低負荷、中負荷和高負荷下16名被試平均能量的腦電地形圖。可知，隨著腦力負荷增加，4種節律的能量均不斷增大，且低負荷和中負荷之間的變化相較于中負荷和高負荷之間的變化更明顯，這可能與不同腦力負荷水平下任務喚醒頻次設計有關。

圖3 4種節律能量的腦電地形圖Fig.3 EEG maping of four rhythm activities

2.3 建模準備

為建立個體腦力負荷評估模型，個體數據庫由單個被試3種腦力負荷實驗的120個EEG特征(30個電極點×4維能量特征)和腦力負荷標簽組成，其中，低負荷標記為0，中負荷標記為1，高負荷標記為2。以75%∶25%的比例隨機劃分個體數據庫為訓練集和測試集，并利用式(4)對訓練集和測試集分別進行歸一。利用四折交叉驗證得到可靠穩定的模型，利用測試集評估模型效果。

(4)

2.4 模型評估

分類模型最常用的性能度量之一為正確率。考慮到正確率只能反映單個分類閾值下的建模結果，采用正確率、受試者工作特征(ROC)曲線和ROC曲線下的面積(AUC)兩種分類模型性能度量以更充分全面地展現模型效果。

正確率是分類正確的樣本數占樣本總數的比例[20]。ROC曲線以真正例率(TPR)為縱坐標、假正例率(FPR)為橫坐標，描述了靈敏度和特異度與分類閾值的關系[20]，越靠近左上角，模型越可靠。AUC是ROC曲線的衡量指標[20]，AUC越大，模型整體效果越佳。

由于本研究為三分類模型，采用宏平均受試者工作特征(Macro-ROC)曲線和Macro-ROC曲線下的面積(Macro-AUC)描述多分類模型效果。

3 結果與分析

3.1 主觀測評

NASA-TLX量表數據分析結果如下：

1) 低負荷、中負荷和高負荷下，NASA-TLX得分分別為39.8±15.0、51.5±10.0和63.7±8.2。這表明隨著實驗設計腦力負荷水平增加，NASA-TLX得分均值不斷升高，標準差不斷降低。

2) 重復測量的方差分析表明，負荷水平對NASA-TLX得分的主效應具有統計學意義(F=35.587，p<0.001)。事后最小顯著性差異(LSD)法分析表明，低負荷水平的NASA-TLX得分顯著低于中負荷水平(p<0.001)和高負荷水平(p<0.001)；中負荷水平的NASA-TLX得分顯著低于高負荷水平(p<0.001)。

上述結果表明該實驗成功地誘發了不同的腦力負荷情境，為后續生理數據的分析奠定基礎。

3.2 參數優化

由2.1節可知，SVM有兩個關鍵參數，分別為C和gamma。通過四折交叉驗證和網格搜索分別確定16名被試個體腦力負荷評估模型的優化參數。其中，C的網格搜索序列為{0.01,0.05,0.1,0.5,1,5,10,50,100,500,1 000,2 000,3 000,4 000,5 000,6 000,7 000,8 000,9 000,10 000}，gamma的網格搜索序列為{0.000 01,0.000 05,0.000 1,0.000 5,0.001,0.005,0.01,0.05,0.1,0.5,1,5,10,20,30,40,50,60,70,80}。進一步考慮到實際應用方便，通過對16名被試個體腦力負荷評估模型的網格搜索結果進行疊加平均以確定一組適用于多被試的優化參數。

最終確定個體腦力負荷評估模型的統一優化參數為C=3 000、gamma=0.000 1，如圖4所示，其中正確率為由四折交叉驗證的平均驗證正確率。

圖4 SVM網格搜索結果與統一優化參數Fig.4 SVM grid search results and unified optimization parameters

3.3 建模結果

在C=3 000、gamma=0.000 1的參數設置下，分別建立16名被試的個體腦力負荷評估模型。模型正確率如表2所示，Macro-ROC曲線如圖5所示，Macro-AUC如表3所示。

表3 個體腦力負荷評估模型Macro-AUCTable 3 Macro-AUC of subject-specified mental workload discrimination models

圖5 個體腦力負荷評估模型Macro-ROC曲線Fig.5 Macro-ROC curves of subject-specified mental workload discrimination models

由表2可知：

表2 個體腦力負荷評估模型效果Table 2 Modeling results of subject-specified mental workload discrimination

1) 個體腦力負荷評估模型訓練集正確率在0.969 5～1.000 0之間，平均值為0.994 3，標準差為0.009 3。測試集正確率在0.887 9～0.993 1之間，平均值為0.966 5，標準差為0.029 8。總體來看，個體腦力負荷評估模型正確率遠遠大于概率水平33%。

2) 個體腦力負荷評估模型之間的模型效果不同，其中，被試5和被試14的模型分類正確率最高，被試3的模型分類正確率最低，這可能與個體對任務負荷的感知差異等因素相關。

由圖5和表3可知：

1) 個體腦力負荷評估模型的Macro-ROC曲線大多十分靠近左上角(完美分類點為FPR=0、TPR=1)。由于Macro-ROC曲線越靠近左上角，模型越可靠，被試3的模型可靠性相對最低，其次是被試13。

2) 個體腦力負荷評估模型的Macro-AUC在0.957 3～0.999 8之間，平均值為0.991 0，標準差為0.011 4。除Macro-ROC曲線中觀察到的現象外，可觀察到被試1的模型可靠性相對最高，其次是被試4。

綜合多指標的模型評價結果表明針對16名被試的個體腦力負荷評估模型均取得了較佳的建模效果。值得說明的是，建立的評估模型均基于MATB-Ⅱ平臺的EEG信號，考慮真實作業環境任務的復雜性和多變性，針對跨任務的腦力負荷評估技術仍值得進一步的研究。

4 結 論

綜合采用主觀測評法和腦電測量法，在MATB-Ⅱ平臺對16名被試分別開展了低、中、高腦力負荷水平下的實驗測量和個體腦力負荷評估模型的建模研究，結果表明：

1) 通過設置MATB-Ⅱ平臺航空情境任務喚醒頻次可誘發不同的腦力負荷情境。

2) 即使EEG信號存在較大的個體差異性，基于EEG的多被試個體腦力負荷評估模型可以實現SVM優化參數統一，極大地方便了實際應用。確定16名被試個體腦力負荷評估模型的統一優化參數為C=3 000、gamma=0.000 1。

3) 針對16名被試建立的個體腦力負荷評估模型，訓練正確率達到0.994 3±0.009 3，測試正確率達到0.966 5±0.029 8，Macro-AUC達到0.991 0±0.011 4。總體看來，利用EEG信號和SVM建立腦力負荷評估模型為作業人員腦力負荷的客觀評估提供了一種高精度的新方法。