基于機器學習的飛行員腦力負荷評估研究進展

王煜文， 王 盛， 韓明秀， 牛海軍， 柳忠起， 劉 濤*

(1. 北京航空航天大學生物與醫學工程學院， 北京 100191； 2. 上海航空電器有限公司，上海 201100)

1 引言

腦力負荷(Mental Workload， MWL)也被稱為心理負荷、精神負荷或認知負荷[1]。 目前對腦力負荷的定義存在多種理解，Young 等[2]認為腦力負荷是為滿足客觀和主觀的業績標準而付出的注意力的大小。 從認知心理學來看，腦力負荷可以從任務轉換或注意力分配的角度加以框定[3]。

在動態和不確定的環境中，駕駛飛機極具挑戰性[4]。 飛行員需執行多種任務，如控制飛行軌跡，監測飛行參數，與空中交通管制員溝通以及識別潛在危險等，多種任務的執行增加了飛行員的注意力資源分配難度，從而導致飛行員過高的腦力負荷[5]。 高腦力負荷導致的視覺和聽覺注意力、工作記憶以及執行能力下降，極大地增加了飛行員在執行飛行任務中做出錯誤決策的概率[6]。程道來等[7]研究表明，人為失誤導致的飛行事故占總體飛行事故的70%～80%。 因此，有必要對飛行員的腦力負荷進行科學的評估。 可靠的腦力負荷量化方法不僅有助于提高飛行安全，也可用于飛行訓練以及座艙視覺顯示界面的優化設計[8]。

飛行員腦力負荷測量方法有生理測評法、主觀測評法、作業績效評估法以及綜合測評法[9-11]。與其他測評方法相比，生理測評指標具有客觀性、實時性以及連續性等優點，因此受到了國內外研究學者的關注[12]。

目前已有很多較經典的腦力負荷預測模型，如倒U 型模型[13]、Siegel-Wolf 時間壓力模型[14]以及多資源理論模型[15]等。 在過去的幾年中，機器學習在神經科學中的應用迅速增加。 機器學習能夠幫助神經科學家提高醫學診斷以及腦機接口等領域的預測性能，同時可以更準確地確定變量間是否可以相互預測[16]。 通過采集作業人員的生理信號，基于機器學習方法評估腦力負荷已成為近年來的研究熱點[17-20]。 本文針對使用腦電(Electroencephalogram， EEG)、心電(Electrocardiography， ECG)以及多生理信息，基于機器學習對飛行員腦力負荷評估的方法進行綜述和探討。

2 生理測評法

生理測評法通過檢測作業人員某些生理指標的變化來反映腦力負荷的改變。 生理測評法的指標按照所涉及的生理器官功能分為三大類，分別是與大腦、心臟以及眼睛相關的生理指標[8，21]，如EEG、ECG 以及眼電(Electrooculogram， EOG)等。

2.1 腦電評測法

被動式腦機接口(passive Brain Computer Interface， pBCI)可以識別和連續監測人的各項基礎認知功能狀態[22]，為更直接評估飛行員的腦力負荷提供了一種便捷的途徑。 因腦電設備具有無創、便攜、運行成本低以及操作簡單等優點，在腦機接口(BCI)中應用最為廣泛[23]。

有研究者基于自發腦電信號，使用θ 波、α 波和β 波的頻域特征作為腦力負荷的神經標記[5]，發現低負荷到高負荷的轉變與頂葉部位的α 波段功率的降低和額葉部位的θ 波段功率增加有關[24]；β 波段和γ 波段能量的增加則與更高的任務需求相關[25]。 基于誘發腦電的事件相關電位(Event-Related Potentials， ERPs)，完顏笑如等[26]發現在模擬飛行環境中，當腦力負荷較高時，額葉的失匹配負波(Mismatch Negative， MMN)會增強，而顳葉MMN 會降低。 Miller 等[27]發現晚正電位(Late-Positive Potentials，LPP)振幅隨著腦力負荷的增加而顯著降低。

2.2 心電評測法

基于ECG 信號對飛行員進行腦力負荷監測的常用指標有但不限于心率(Heart Rate， HR)和心率變異性(Heart Rate Variability， HRV)[28]。人們普遍認為任務難度的增加會導致HR 的增加，因此，心血管反應可以用來評估飛行員的腦力負荷[29]。 但HR 的變化不僅與腦力負荷有關，還與緊張和疲勞等其他因素相關[5]。 HRV 也是評估腦力負荷的重要指標[30]，HRV 的時域指標心搏間期(Interbeat Interval， IBI)應用較多，其次是采樣周期內相鄰NN 間期之差大于50 ms 的百分比(percentage of NN50 intervals， pNN50)，NN 間期的標準差( Standard Deviation of the NN Intervals， SDNN)以及相鄰NN 間期差值的均方根(the Square Root of the Mean of the Sum of the Squares of Difference Between Successive NN Intervals Differences， RMSSD)；HRV 的頻域指標低頻/高頻(Low Frequency/High Frequency， LF/HF)比值應用最為廣泛，其次是高頻、低頻和中頻指標[31]。 已有研究發現，在模擬和真實飛行環境中，隨著腦力負荷的增加，飛行員的HRV 會隨之減小[5]。

2.3 眼電評測法

通過EOG 信號可以獲取相應的眼指標。 在飛行員腦力負荷研究中，常用指標有:眨眼頻率(Blink Frequency， BF)、 瞳孔直徑( Pupil Dilation， PD)以及注視時間(Fixation Duration，FD)等[32]。 Marquart 等[33]研究表明，BF 隨著腦力負荷的增加而增加，隨著視覺工作負荷的增加而減少。 BF 對中等或較大的負荷變化比較敏感，但當飛行任務時間較長時，使用BF 評估腦力負荷并不可靠[34]。 PD 對腦力負荷的微小變化高度敏感，隨著腦力負荷的增加而增加，但是PD 的測量需要較高精度的眼動追蹤設備，且光線變化和強度等因素會嚴重影響PD 對腦力負荷的敏感度[35]。 FD 與腦力負荷呈正相關，且對腦力負荷具有敏感性和診斷性，但是高密度視覺環境、信息呈現的頻率以及任務時長也會影響FD[36]。

3 基于機器學習的腦力負荷評估

3.1 基于腦電信號的腦力負荷評估

基于EEG 信號對飛行員進行腦力負荷監測的實驗大多數是在模擬飛行環境下進行[37]，從Wilson 等[38]開始，腦電設備開始應用于在真實的飛行環境。 基于腦電信號的腦力負荷評估方法總結如表1 所示。

表1 基于腦電信號的腦力負荷評估方法總結Table 1 Summary of mental workload assessment methods based on EEG signals

在模擬飛行環境中，Blanco 等[8]發現，通常線性判別分析(Linear Discriminant Analysis，LDA)具有最好的分類性能，個性化的特征集和分類器組合可以最大限度地提高分類準確率；在預測飛行任務復雜性中，相比使用單個通道，綜合利用不同通道的腦電特征，21 名受試者中有17 名受試者保持或提高了分類性能。 Kakkos 等[39]在2D 和3D 模擬飛行實驗中，使用LDA 作為基分類器，利用隨機子空間集成(Random Subspace Ensemble， RSE)方法[40]對3 級腦力負荷進行分類，分類準確率均為82%。 在3D 模擬飛行環境中，Pei 等[41]使用隨機森林(Random Forest， RF)對低、中、高腦力負荷進行分類，探索了不同頻段、不同特征組合、不同特征選擇與融合方法對腦力負荷識別的影響。 結果發現，使用傅里葉變換提取的頻域特征進行分類準確率更高(77.79%)；在5個波段中，γ 波表現出的分類性能最好；在Fisher分數(Fisher Score， F-score)和隨機鄰近嵌入(Stochastic Proximity Embedding， SPE)2 種特征選擇方法中，僅F-score 方法提高了分類精度； 與使用單一特征相比，采用組合特征，分類精度總體上有所提高；使用F-score 特征選擇和特征融合后，所有受試者的分類準確率均有提升。

Lee 等[42]通過Berlin 腦機接口工具箱[43]對腦電信號進行預處理，綜合考慮了EEG 信號的頻域、時域和空間信息，以及EEG 信號記錄時間長的特點，提出了一種多特征塊的卷積神經網絡( Multiple Feature Block-based Convolutional Neural Network， MFB-CNN)來識別模擬飛行環境下飛行員的疲勞、腦力負荷、分心以及正常等4 種心理狀態。 在離線分析中，使用4 次兩折交叉驗證得到了75%的正確率，在偽在線分析[44]中，疲勞、工作負荷和分心的檢測精度分別為72%、72%和61%。

在真實飛行環境中，Dehais 等[24]采用兩種方法對飛行員高低兩種負荷水平進行分類:①當僅使用連續信號時，利用兩對正則化的共空間模式(Common Spatial Patterns， CSP)計算δ，θ，α 以及β 4 個波段頻率功率特征，使用收縮線性判別分析(shrinkage Linear Discriminant Analysis， sLDA)算法進行分類，正確率為70%；②但當同時使用ERPs 和事件相關的頻域特征，然后使用最小冗余最大相關(minimum Redundancy Maximum Relevance， mRMR)特征選擇算法選擇20 個特征作為sLDA 分類器的輸入后，其分類準確率并未超過50%。

基于多屬性任務模擬(Multi-attribute Task Battery， MATB)平臺，張潔等[45]提出基于腦電功率譜密度和支持向量機(Support Vector Machine，SVM )的腦力負荷評估方法，經網格搜索方法對SVM 進行參數優化后，對低、中、高腦力負荷的平均分類準確率達到了96.65%。 大多數關于腦力負荷的研究都局限于單一任務，Ke 等[46]使用遞歸特征消除算法[47]計算預測值與測試集任務難度之間的相關系數，然后挑選出n-back 任務和MATB 任務中最顯著的特征子集，使用SVM 算法作為回歸模型，使用受試者執行n-back 任務的數據作為訓練集，來預測受試者在執行MATB 任務時的腦力負荷。

在自動增強型座艙空氣管理系統(Automatic enhanced Cabin Air Management System， ACAMS)中模擬人機交互任務，針對相同受試者在不同日期的EEG 信號特征分布不同的問題，Yin 等[48]使用自適應堆疊去噪自編碼器(Stacked Denoising Autoencoder， SDAE)，實現了對高、低兩種負荷水平的分類。 在相同的數據集上，Yang 等[49]將3層SDAE 和Bagging 集成分類方法相結合，同時為提高基分類器的識別性能，將顯著局部信息[50]作為SDAE 中一個額外隱含層，最后形成了ELSDAE 模型，實現了對高低兩種負荷水平的分類。針對數據類別不均衡的問題，Cui 等[51]提出了一種基于動態SMOTE[52]的多層感知機(Multilayer Perceptron， MLP)模型，實現了對腦力負荷的分類識別。

3.2 基于心電信號的腦力負荷評估

在模擬飛行環境中，Hannula 等[53]采集了14名現役飛行員駕駛大黃蜂攔截戰斗機時的心電數據和飛行相位，將平均心臟搏動間期和飛行相位作為人工神經網絡(Artificial Neural Network，ANN)和多元線性回歸(Multilinear Regression，MLR)模型的輸入，發現ANN 模型的分類準確率的平均絕對誤差為11.4%，比MLR 模型的平均絕對誤差減少了13%～23%。

Xi 等[54]基于兩名飛行員駕駛Bell205 直升機執行目標跟蹤任務時的ECG 數據，根據目標運動速度，將跟蹤任務設置為3 個級別。 在ECG 數據集較小的情況下，使用遷移學習(Transfer Learning， TL)[55]方法預測飛行員腦力負荷。 該研究首先使用1～40 Hz 帶通濾波器預處理，然后經過離散傅里葉變換和連續小波變換，分別得到ECG 的頻譜圖和尺度圖，并將其作為AlexNet 模型[56]的輸入。 研究對比分析了2種遷移學習方法:①將預訓練好的AlexNet 模型作為特征提取器，使用SVM 進行分類；②對已經訓練好的 AlexNet 模型進行微調( finetuning)[57]。 結果發現，當使用尺度圖作為模型的輸入時，方法1 比方法2 的準確率更高。

3.3 基于多生理信息的腦力負荷評估

腦力負荷具有多維性，單一生理指標可能只對其中一個或幾個維度敏感，無法全面評估腦力負荷[1]。 雖然大多數生理指標能夠反映腦力負荷的變化，但并非適用所有任務情景。 采用多種方法或指標替代單一的方法或指標對腦力負荷進行評估已成為工效學界評估腦力負荷的發展趨勢[58]。 與其他生理信號相比，EEG 信號直接反映了大腦皮層的活動，可以為腦力負荷評估提供較為準確的信息[59]，但是EEG 容易受到眼電、肌電以及電子設備等噪聲干擾。 為彌補EEG 信號的不足，研究人員采用多生理信息的方法對腦力負荷進行評估，例如:基于EEG與ECG、呼吸速率或皮膚電等生理信息對腦力負荷進行評估。 基于多生理信息的腦力負荷評估方法總結如表2 所示。

表2 基于多生理信息的腦力負荷評估方法總結Table 2 Summary of mental workload assessment methods based on multiple physiological indexes

在模擬飛行環境下，Han 等[60]基于EEG 和外周生理信號(ECG、呼吸以及皮膚電)，利用正則化的線性判別分析(regularized Linear Discriminant Analysis， rLDA)實現了對疲勞、分心、腦力負荷的分類。 Oh 等[61]基于EEG、ECG、作業人員表現數據以及NASA-TLX 量表，使用集成分類器評估飛行模擬器中作業人員在不同挑戰水平下的腦力負荷，使用Bagging、Boosting、 Stacking 以及Voting 4 種集成分類方法，分別獲得了88%、95.7%、94%和97.44%的分類準確率。 Han 等[62]基于多模態生理信號搭建多模態深度學習(Multimodal Deep Learning， MDL)網絡，實現了對飛行員分心、腦力負荷、疲勞和正常4 種腦狀態的分類識別。 在MDL 模型中，首先使用卷積神經網絡(Convolutional Neural Network，CNN)提取EEG 信號特征，使用長短時記憶(Long Short Term Memory， LSTM)網絡提取外周生理信號特征，然后將CNN 和LSTM 輸出的特征合并，并將其輸入到全連接層中，最后通過Softmax 函數實現分類。

針對多顯示界面多飛行任務下的飛行員腦力負荷評估問題，衛宗敏[63]基于貝葉斯判別分析(Bayes Discriminant Analysis， BDA)方法，提出了腦力負荷評估的多維綜合評估模型，并將該模型與基于單一指標、2～5 種指標的模型進行對比分析。 結果表明，該多維綜合評估模型分類正確率最高，平均分類正確率達到82.22%。 在儀表監控任務中，Fan 等[64]提取枕區EEG 指標和ECG指標，構成了多維原始樣本數據，使用主成分分析(Principal Component Analysis， PCA)對原始多維樣本進行降維，使用SVM 對腦力負荷進行分類，其分類準確率為80%。

Wilson 等[65]使用EEG、EOG、ECG 以及呼吸信號，基于ANN 模型實時評估了7 名受試者在執行MATB 任務時的腦力負荷，對基線、低難度任務以及高難度任務的分類正確率分別達到了85%、82%和86%。 但是研究并未考慮生理數據的日間變化對受試者狀態的影響。 針對該問題，Christensen 等[66]使用ANN、LDA 和SVM 分別對受試者當天和日間的負荷進行評估，結果發現，3種分類器的分類準確率均遠超過50%以上，但都受到日間數據的負面影響。 通過增加訓練集中不同日期的數據和預測當天少量數據兩種方法提高了模型的分類準確率和泛化性能，兩種方法對日間數據的分類準確率都達到了80%以上。

4 討論

對比分析生理測評法中的各項指標，結果發現，相對于使用某一種生理信息，基于多生理信息對腦力負荷評估可以獲得更高的分類精度，但是并非越多的生理信息就可以獲得越高的分類精度。 與單獨使用EEG 相比，當同時使用EEG、ECG 和呼吸信號時，并不能顯著改善基于EEG 信號的分類準確率[59]；Hogervost 等[67]也發現，使用EEG 評估腦力負荷效果最好，其次是眼部相關指標和外周生理指標，結合EEG 和眼指標的分類正確率最高，略高于90%，但是僅使用Pz 通道的EEG 信號其分類效果就可達86%。

在空間、成本或其他資源受限的情況下，使用多生理傳感器可能不切實際，EEG 可能是飛行員腦力負荷監測的首選生理信號，特別是隨著能夠嵌入標準頭盔或帽中無需導電凝膠的干電極系統應用越來越廣泛。 在真實飛行環境中，大幅減少電極的數量，將其集成在飛行員的頭盔中，可以為飛行員提供更好的舒適性。 但缺點是無法使用ICA 來識別EEG 信號中的偽跡，例如:眨眼、眼漂、頭動、肌電以及心電等偽跡。 一種解決方法是使用黎曼偽影子空間重構(riemannian Artifact Subspace Reconstruction， rASR)方法[68]對腦電信號進行預處理，該方法對眼電偽跡比較敏感，且能夠保留更多的感興趣成分，能夠有效提高EEG 信號的信噪比。

基于傳統機器學習方法對飛行員腦力負荷進行評估，LDA 具有較好的分類性能，通過組合不同的特征，為每名飛行員構建個性化的特征子集以及使用集成分類的方法，可以提高模型的分類性能。 不同于傳統機器學習中手動提取特征的方法，深度學習方法可以從原始信號中自動提取特征。 綜合考慮EEG 信號時域、頻域以及空間信息，或者基于多生理信息，并根據任務和生理信號特點，構建合適的深度學習模型，有可能獲得比傳統機器學習更高的分類精度[69]。 但是深度學習方法的缺點是沒有統計理論基礎，其可解釋性不強，且調參過程耗時較長。

大多數腦力負荷分類算法對指定日期的單個受試者的腦力負荷識別已獲得了較高的精度。 但是生理數據的日間變化和受試者間差異是需要考慮的問題。 對于單個受試者不同日期的腦力負荷，通過增加訓練集中受試者其他日期的數據，或者使用少量當日數據對已訓練好的模型進行校正，可以提高模型的泛化能力和精度。 遷移學習不僅廣泛應用于文本情感分類、圖像分類以及多語言文本分類中[55]。 在腦力負荷分類識別中，當訓練數據樣本較少時，可以將已經訓練好的網絡作為特征提取器或者使用fine-tuning 的方法進行分類；遷移學習也可用于提高受試者間腦力負荷分類器性能[70]。

目前，大多數關于腦力負荷的研究都是基于單一任務，在真實飛行環境中，飛行員可能需要執行多種任務，所以構建能夠跨任務評估腦力負荷的模型非常必要。 Zhang 等[18]提出了一種深度遞歸與三維卷積神經網絡(Recurrent and 3D Convolutional Neural Networks， R3DCNN)的級聯結構模型，在無先驗知識的情況下，跨n-back 和算術兩種不同任務對高低腦力負荷進行評估。 Ke等[46]構建的模型實現了跨n-back 和MATB 任務對腦力負荷進行評估。 在飛行員執行飛行任務過程中，飛行員的腦力負荷水平、緊張以及焦慮等狀態可能也會同時發生變化，在開發狀態監測算法時，需要考慮到不同狀態的交叉影響，使算法具備更強的魯棒性和泛化能力[71]。

5 結語

準確評估飛行員的腦力負荷水平對減少人為失誤、保障飛行駕駛安全、優化人機界面設計以及飛行員的選拔與培訓等具有重要意義。 本文對使用生理測評法，基于機器學習對飛行員腦力負荷評估的研究現狀進行了回顧，對比分析了不同生理信號或使用不同機器學習算法評估飛行員腦力負荷的準確率。 采用多生理信息評估腦力負荷更為精準，但是在資源和空間受限的條件下，EEG是最優的選擇；使用傳統機器學習方法對腦力負荷評估時，選擇合適的特征選擇算法或者使用集成分類方法有助于獲得更高的分類準確率；根據生理信號和任務特點，構建合理的深度學習網絡模型結構，可以獲得高于傳統機器學習的分類準確率。

在未來，基于機器學習構建飛行員腦力負荷評估模型時，解決以下3 個問題有助于將構建的模型應用于真實的飛行環境中:①去除EEG 信號在真實飛行環境中的偽跡，提取EEG 信號有用信息；②提出更高精度的在線腦力負荷實時分類算法；③構建能夠跨日間、跨受試者以及跨任務的飛行員腦力負荷模型。