多生理信號融合的飛行員腦力負荷分類研究

薛金娜，王長元，吳恭樸

(1.西安工業大學 計算機科學與工程學院,西安 710021;2.西安工業大學 光電工程學院,西安 710021)

腦力負荷(Mental Workload,MWL)是指在進行認知任務或思維活動時所需的心理資源和認知負擔,反映了大腦在執行任務時的工作量和壓力程度[1]。飛行員腦力負荷的研究對飛行安全和任務效率產生深遠影響。了解和監測腦力負荷是確保飛行員決策準確和避免事故的關鍵因素。此外,這項研究有助于改善工作負荷管理、人因工程和疲勞管理,以提高飛行員的性能和決策質量[2-3]。隨著技術不斷發展,對腦力負荷的研究有助于推動智能飛行系統的發展,以滿足未來航空需求。因此,飛行員腦力負荷研究對于航空業的整體運行至關重要。

統計學方法主要是通過主成分分析(Principal Component Analysis,PCA)、線性判別分析(Latent Dirichlet Allocation,LDA)及支持向量機(Support Vector Machine,SVM)等對腦電圖信息和心率等進行分析研究判斷腦力負荷程度[4-6]。例如文獻[7]采用主成分分析法減少技術從心率變異率(Heart Rate Variability,HRV)參數和腦電圖中提取特征在起飛和著陸階段對工作負載水平進行分類,提高了基于分類精度的分類器性能評估,表明了在HRV特征下有助于區分飛行員腦力負荷水平,但準確率僅達到70%,還有待于進一步提高。文獻[8]提出了基于腦電信號獨立特征分量與操作任務相結合的腦力負荷分類方法,分別使用了LDA、KNN(K-Nearest Neighbor)、SVM多種分類器進行比較。使用獨立分量方法進行信號獲取,使得在腦力負荷分類過程中各分類方法準確率普遍提高了22%左右。證實了獨立分量方法獲取腦電信號的有效性。文獻[9]使用腦電圖(electroencephalogram,EEG)和功能近紅外光譜(functional Near-Infrared Spectroscopy,fNIRS)進行信息融合互補,通過評估特征之間的互補程度和選擇最有效的融合子集提高了分類性能。但基于混合的fNIRS和EEG數據對于腦力負荷分類任務相對較為復雜。

近年來,受到快速發展的深度學習的影響,基于深度學習的腦力負荷檢測分類研究方法得到較多的關注。這類方法主要是將大量的訓練樣本數據輸入到神經網絡模型中,學習訓練操作員任務難度與精神狀態及腦力負荷程度的關系。文獻[10]使用了灰狼優化算法(Grey Wolf Optimization,GWO)和深度神經網絡組成的復合框架對不同難度的工作任務進行了估計,提出雙向長期記憶和長期短期記憶相結合的深度混合模型對不同任務程度的腦力負荷進行了分類,其分類效果對于后期腦力負荷的相關研究具有較大的參考價值。文獻[11]通過設計有限長單位沖激響應(Finite Impulse Response,FIR)濾波器,使其功率譜密度的曲線被耦合成腦力負荷的四種指標。提出了一個深度稀疏收縮自動編碼器網絡學習不同腦力負荷特征,并給出了操作員精神狀態的識別結果。研究結果表明,該模型在局部特征提取和腦力負荷狀態檢測方面具有較好的性能。文獻[12]通過研究測量操作者模擬機器人手術任務中的眼動注視熵特征來預測任務難度對腦力負荷引起的注視熵程度,結果證明注視熵隨著任務難度的增加而增加。但視覺行為因外部環境及被試者的個體主觀因素而使得腦力負荷的間接評估存在一定的誤差。

目前對于腦力負荷的研究主要局限于單個生理信息上,而其他生理信息對于腦力負荷的影響容易被忽略;通過注視熵進行腦力負荷狀態分析易受光照環境等因素的影響。針對上述問題,文中提出了從腦電、心電(Electrocardiogram,ECG)、肌電(Electromyography,EMG)等多生理信號入手,規避基于圖像的判別手段,多方面獲取腦力負荷敏感特征,進行多信息融合,建立深度神經網絡決策模型。受自然語言處理的啟發,該模型以卷積神經網絡為基礎,引入transformer中位置編碼、多頭注意力機制及編碼器部分,使得生理信號特征被充分提取及放大,能夠較大的獲得全局映射信息,確保腦力負荷判別分類準確率。

1 數據預處理及特征提取方法

1.1 數據預處理

根據腦電信號的相關特征[13-17],選用了14個電極通道數據,其中有兩個通道A1和A2為零勢能電位不參與模型輸入。剩下的通道分別為前額葉Fp1、Fp2;額葉F4、F8;中央區C3、Cz、C4;頂葉Pz、P4;枕葉O1、Oz、O2。選擇的電極分布如圖1所示。

圖1 選擇的電極分布位置

心電采集設備采樣率為1 024 Hz,根據相關研究選取參考標準電極位置[18]。肌電設備采樣率為512 Hz,電極位置選用了背部的斜方肌。在獲得原始的生物電信號后,首先對腦電、心電和肌電進行50 Hz陷濾波與歸一化(Normalized Least Mean Square,NLMS)自適應濾波降噪[19],其次降采樣到 128 Hz,最后得到最終輸入模型的時域數據量分別是原有信號數據量的1/2,1/8,1/4。

1.2 特征提取

進行基于腦電的腦力負荷分類研究中,主要使用腦電信號的不同特征進行相關性研究。EEG特征可分為頻率、時間、線性和非線性四大類。不同腦電波段的功率譜密度(Power Spectral Density,PSD)可作頻域特征處理[20]。時域特征主要是統計特征(均值、標準差、偏度和峰度);線性特征中文中選取自回歸系數;非線性特征主要使用近似熵(Approximate Entropy,ApEn)和Hurst指數。下面將對不同特征進行詳細分析。

1.2.1 頻域特征

腦電的頻域特征中最主要的特征是頻譜功率譜密度。功率譜密度是指光譜能量隨時間的分布,其總功率可以通過對頻譜分量隨時間的積分或求和計算。本次采用自相關序列的快速傅里葉變換(Fast Fourier Transform,FFT)計算PSD[21]。

1.2.2 線性特征

自回歸系數作為一種重要的線性特征被用于腦電任務的估計。在腦電信號分析中,自回歸(Auto Regression,AR)模型得到了廣泛的應用[22]。對于時間序列分析,AR模型作為一種線性回歸模型,在這種模型中,觀測的未來預測是基于當前和一個或多個以前的測量結果進行的AR模型的參數稱為自回歸系數。

1.2.3 非線性特征

腦電信號的非線性特征主要包含了近似熵和Hurst指數,它們與腦電的規律性和相似性有關[23-24]。

1) 近似熵

近似熵(ApEn)用于測量時間序列數據的規律性。時間序列數據的規律性。它使用對數似然法計算使相似的數據模式在下一個時間步中保持接近。下一個時間步。高度規則的數據產生的ApEn分數較小、而規律性較低的數據則會產生較大的ApEn分數。為了計算ApEn考慮一個時間序列s(n),n=1,2,…,N,長度為N.根據該序列,可以創建一個長度為 (N-m+ 1) 的序列m和序列向量x(i)=s(i),s(i+1),…,s(i+m-1),i=1,…,N-m+1的時間序列s(n)。相關積分用(1)表示。

(1)

其中Θ為Heaviside階躍函數,r是由時間序列中振幅的標準差定義的固定參數。數據模式的對數似然性可用變量Θm(r)和Θm+1(r)表示,其公式分別為

(2)

(3)

ApEn為

ApEn(m,r,N)=Θm(r)-Θm+1(r),

(4)

2) Hurst指數

Hurst指數(H)用于量化時間序列的自相似性和長期置信強度。它也被稱為縮放范圍統計(R/S)。Hurst指數(H)的廣義形式為

(5)

式中:T為時間序列數據的跨度;R和S分別代表前n個樣本的極差和標準差;H的取值范圍為0～1。如果H=0.5,則表示時間序列沒有相關性。對于長期反相關,H在0～0.5之間,而對于長期相關,H在0.5～1之間。

1.2.4 時域特征

腦電通道的時域特征主要表現為均值、標準差、偏態和峰度等統計特征[25-27]。

平均值:平均值是通過對每個通道的所有EEG數據樣本的振幅值取平均值來計算的。它反映了該通道數據的整體集中趨勢。

標準差:標準差是用來衡量每個樣本相對于每個通道平均值的偏差。對腦電信號的各個通道進行標準差計算,可以了解數據的離散程度和波動性。

偏度:偏度用來描述分布的不對稱程度。在一個信道中的所有樣本均勻分布在均值附近時,這種分布被稱為對稱分布。在均值對稱分布的情況下,中位數和眾數具有相同的值。偏度的值可告訴我們數據是向左偏斜還是向右偏斜。

峭度:峭度用來衡量通道數據相對于正態分布的均值而言是重尾還是輕尾。如果通道數據具有高峭度,表示數據集中的值比正態分布更集中,有更多的極端值,可能存在噪聲。

2 結合多頭注意力機制的腦力負荷分類模型

2.1 數據集

根據飛行效果將飛行實驗的腦力負荷狀態分為高負荷和低負荷兩類。腦電數據、心電數據和肌電數據進行同步采集。飛行實驗分為不同的任務強度,不同任務強度所處的時間段不同,因此以時間切片進行數據樣本劃算,將不同時間段的腦力負荷狀態數據進行整理,構成本次實驗的數據集。

2.2 網絡模型

腦力負荷決策模型的搭建受到了自然語言處理的啟發,在自然語言處理中,特征提取與放大工作后會有多個連續的卷積模塊和多個連續的全連接模塊,這種操作在同樣在使用深度神經網絡進行信號的過程中是比較常見的[28-30]。將Transformer的部分網絡模型結構與卷積神經網絡(CNN)相結合,可以對不同程度的腦力負荷狀態進行分類。

2.2.1 Transformer

Transformer[31-32]是一種基于注意力機制的神經網絡架構。其核心思想是去計算一句話中的每個詞對于這句話中所有詞的相互關系,用此來反應不同詞之間的關聯性及重要程度,以此為依據調整每個詞所占權重,進而得到一個更加全局的表達。使用了Attention機制,將序列中的任意兩個位置之間的距離縮小為一個常量,Atention層能夠一步到位捕捉到全局的聯系,相比之下,循環神經網絡(RNN)需一步步遞推才能捕捉到,這是Attention層的明顯優勢。Transformer結構如圖2所示。

圖2 Transformer結構圖

模型搭建中主要使用到Transformer中的位置編碼(Positional Encoding)、多頭注意力(Multi-Head Attention)和編碼器部分。

1) 位置編碼

Transformer與傳統的卷積和遞歸神經網絡的不同之處在于,它使用一種新的位置編碼機制來捕獲輸入數據的時間序列信息。將各種頻率的正弦和余弦函數嵌入到歸一化輸入序列中以進行編碼,正弦函數編碼如式(6)所示,余弦函數編碼為

(6)

(7)

其中,pos表示數據在滑動窗口中的位置,并且J是特征空間中的第j維。編碼器的輸入是位置碼加上相同維度的輸入數據的總和,如式(8)

Xe-in=x′+PE。

(8)

每個數據點的位置碼是固定的并且具有任意可縮放的長度,這確保了使用輸入序列的模型并行訓練。

2) 多頭注意力

為了使模型集中于在編碼階段為輸入時間序列信息分配不同的權重,通常使用注意力機制來量化它們之間的依賴關系。注意力分數確定了在未來預測中應關注與時間序列中的時間片相對應的信息的程度,并且可以使用注意力函數的縮放點積來計算注意力分數為

(9)

式中:Q,K和V分別是數據序列、鍵值和權值。為了擴展自注意機制對不同數據的注意能力,Transformer采用了多頭注意力機制,是將輸入數據的Q,K,V進行線性變化來映射到不同的空間,對每組數據分別進行注意力計算,并將結果進行拼接。其計算為

(10)

3) 編碼器

編碼器由N=6個相同層的堆棧組成,每個層包含兩個子層。每個編碼器層由兩個剩余的子層初始化,這兩個子層將查詢輸入連接到前一層的輸出,然后,每個層被歸一化。每個子層的輸出為

Output=LayerNorm(y+Sublayer(y)),

(11)

式中:子層(y)實現子層y的功能。為了更好地促進殘差連接,模型中的所有子層,包括嵌入層,都會產生維度輸出。

2.2.2 基于CNN+Transformer的腦力負荷分類模型

多生理電信號融合的飛行員腦力負荷分類研究中,主要是通過改進Transformer中的多頭注意力機制,同時結合卷積神經網絡進行腦力負荷分類研究。

腦力負荷決策研究模型如圖3所示。神經網絡部分搭建了改進的Transformer結構,主要以一維卷積和全連接層為核心。

圖3 腦力負荷決策模型

1) 卷積神經網絡單元

CNN模塊被賦予原始時間序列數據的子序列,而注意機制模塊被賦予子序列的中點值。注意機制模塊的輸入序列比CNN模塊的輸入序列長,并且它覆蓋分支中的CNN模塊輸入。CNN模塊的輸出特征與注意機制模塊的輸出特征逐元素相乘,并且每個特征的重要性通過其相對于其他特征值的值來反映。

2) 類Transformer模塊搭建

在Transformer結構的改進部分中,去掉了原有的Embedding,Linear和輸出部分的Softmax激活函數,保留了特征提取與放大部分,使其能夠對序列數據進行操作,圖4展示了研究所使用的類Transformer結構。

圖4 類Transformer結構圖

卷積模塊使用了連續的最大池化、Dropout、一維卷積和激活層。從輸入端到輸出端池化層的核大小均為2,一維卷積核數量分別為2n(n=7,6,5,4,3),卷積操作的步長均為1。全連接部分使用了連續的五個全連接層,各層的全連接神經元個數分別為2n(n=4,3,2,1)。

3 實驗設計及方法

3.1 實驗平臺及數據采集設備

3.1.1 實驗平臺

飛行員腦力負荷分類研究實驗平臺部署主要由六軸運動的飛行模擬器平臺一臺DELL計算機、三臺高清顯示屏(分辨率為2 560×1 440)、生理電信號信號同步采集設備,實驗平臺部署如圖5所示。模擬飛行平臺包含了顯示器、飛行搖桿和主機等。模擬飛行采用DCS World數字戰場游戲,使用可免費駕駛的由俄羅斯蘇霍伊設計制造的戰機進行模擬飛行操作。

圖5 實驗平臺部署圖

3.1.2 數據采集設備

實驗使用北京津發科技股份有限公司提供的 ErgoLAB 人機環境同步平臺腦電測量系統,該系統所配置的腦電設備為水電極腦電系統,以濕海綿作為傳導介質,該腦電帽部分電極如圖6所示。

圖6 腦電電極端口分布圖

所選用的心電設備是ErgoLAB ECG無線心電傳感器,該傳感器主要記錄心臟從感應刺激至趨于平靜,這一周期產生的電信號波動。該設備對被試的操作影響較小,抗干擾能力強。設備如圖7所示,無線心電傳感器配有三個電極,在穿戴時需使用導電電極貼片接觸被試皮膚。其中,圖7(a)為無線心電傳感器,7(b)為連接對應方式,紅色和藍色電極主要負責提取皮膚兩點的心電電位差,黑色為參考電極。

圖7 心電采集設備及連接圖

所選用的肌電設備是ErgoLAB EMG無線肌電傳感器。設備如圖8 所示,無線心電傳感器配有三個電極,在穿戴時需使用導電電極貼片接觸被試皮膚。其中,圖8(a)為無線肌電傳感器,8(b)為連接對應方式。

圖8 無線肌電傳感器及連接示意圖

3.2 實驗對象

實驗招募了6名被試者,年齡在23～25歲之間,BMI 指數在22～26之間,參與實驗的人員在近 1 年內沒有用服用過精神類藥物,沒有接受過心理疾病問題相關治療,沒有先天性肢體殘疾,沒有語言表達障礙。所有被試人員均簽署了知情同意書后進行實驗,為確保被試人員的安全,實驗在室內模擬器上進行。被試者都被告知了實驗的具體內容,完全了解實驗過程中采集到的生理數據將如何使用,并且每個參與者都是自愿參與實驗,實驗數據在監督下剔除了個人識別信息,只保留對實驗有具體作用的數據。

3.3 實驗設計

腦力負荷是飛行員為完成飛行任務所付出的認知決策能力,也可以理解為飛行員在當前狀態下,為完成飛行任務所承受的認知決策負荷。在相關研究的文獻中,操控腦力負荷可以通過圍繞飛行員的信息處理能力和付出的注意資源兩個方面實現量化分析。本次實驗設計從這兩方面出發,在五邊飛行基礎飛行航線上增加了隨機觸發的視覺注視類任務,用被試人員在較高強度的信息處理能力評判腦力負荷程度。信息處理強度表示在單個作業任務時間內工作人員所需要進行信息處理的總量或操作過程中信息的繁忙程度,即執行腦力工作實際有多忙。信息處理強度越高,操作員腦力負荷程度越強,反之則越低。考慮到不同的操作員對信息的處理能力不同,可以對比真實的飛行數據與五邊飛行航線的差距,即飛行精度來確定不同信息處理能力的操作員腦力負荷程度。五邊飛行航線如圖9所示。

圖9 五邊飛行航向圖

3.4 實驗流程

實驗流程如圖10所示。原始信號在輸入分類模型之前使進行了兩次濾波操作,分別為50 Hz陷濾波降低工頻干擾,NLMS自適應濾波剔除嚴重偏離均值的噪聲。

圖10 實驗流程圖

3.5 研究方法

研究同時設置了若干對照組,分別從模型輸入內容和模型結構等方面進行對比。輸入源對照組是在預處理基礎上將其分為兩組,一組直接將預處理過的三種生理信號輸入模型;另一組將腦電的頻率、時間、線性和非線性與心電和肌電信號一起輸入模型,比較兩種輸入腦電信號模式在模型上的差異。模型結構對照組是對模型進行刪減以考察不同結構對分類準確率的貢獻大小。

4 結果分析

腦力負荷決策分類研究中,與神經網絡相關的實驗均采用 500 個 epoch 作為單次實驗的訓練批次,每個實驗均進行10次訓練。單次訓練的最高準確率為單次實驗中的最大值;單次訓練平均準確率時為單次實驗最后50個 epoch 中統計平均值。500個epoch訓練深度神經網絡在傳統方法中是不夠的,但能夠實現快速訓練以降低訓練成本。另一方面,研究同樣做了10次106個epoch訓練對照,發現模型平均判別準確率在104個 epoch 后穩定在 98.79%便出現停滯,雖然比前者的最佳判別準確率而言提升 0.26%,平均判別準確率提升4.49%,但兩者訓練耗時相差20倍,這種投入產出比與研究的初衷相違背,故后續所展示的結果均以500個epoch作為訓練批次數。

研究首先對比了在神經網絡模型訓練過程中使用交叉驗證對模型性能的影響,實驗結果如圖11所示,是模型不同訓練批次的準確率和損失。在沒有使用10-fold交叉驗證時,模型在某一次訓練中獲得了96.78%的最高分類準確率,10 次實驗的平均準確率為91.86%,測試集平均準確率為 93.17%;使用了交叉驗證后最高分類準確率提升至98.47%,10次實驗的平均準確率為 94.27%,測試集平均準確率 96.45%。如果僅使用ECG和EMG信號作為模型輸入得到的最高分類準確率為73.41%,平均分類準確率為71.06%。

圖11 實驗結果對比圖

值得關注的是,研究過程中發現模型能夠在很短的時間內完成訓練,無論是否使用了交叉驗證,判別準確率都能在第150個epoch附近達到90.0%以上,同時損失值也能在150個epoch前快速下降,統計發現平均每個 epoch 耗時約為2 s。這一特性意味著能夠以較短的時間快速實現模型訓練,為后期研究模型針對不同個體差異的動態調整提供了可能。

以往研究中僅使用單一的腦電通道可以獲得很高的準確率,為了對比使用單一腦電通道與本研究所選用的腦電通道簇在分類準確率差異,研究添加了對照組,如圖12所示。圖12(a)為使用不同通道在模型上的分類準確率,其中“All”表示使用了上文中提到的 12 個通道。研究發現在結合ECG 和 EMG 信號后僅使用單一腦電通道也能做到85%以上的分類準確率,但如果不結合 ECG 和 EMG 信號,那么單一通道的分類準確率普遍在80%以下。

圖12 實驗對照組準確率

為了驗證 Transformer 模塊和卷積模塊在判別任務中展現出的不同效果,添加了對照組。圖12(b)是完整模型,Transformer+Dense,Conv+Dense 在是否使用 ECG 與EMG信號下的分類準確率。研究結果發現,使用 ECG 和 EMG 信息能顯著提升模型分類準確率,模型的完整程度與分類準確率存在正相關,同時 Transformer 結構對分類準確率貢獻要比卷積結構大。

由于研究發現Transformer結構對模型判別準確率有較大的貢獻,將模型從中間層輸出觀察Transformer結構對輸入信號進行的變化,發現通過該結構的信號特征得到了放大,同時將信號的值域控制在了較小的范圍,并且對信號進行了歸一化。Transformer對信號波動特征的提取和放大可能是模型判別準確率能夠高于其他方法的原因之一。

使用不同波段的腦電信號用于低負荷與高負荷分類任務也是常見的操作之一,通過濾波器將原始信號中不同波段分離出來,輸入模型進行分類。研究同樣設置了相關對照組用于對比不同波段腦電信號作為模型輸入的分類準確率。表1展示了不同波段腦電信號在是否附加 ECG 和 EMG 信號條件下的分類準確率。

表1 不同頻段腦電信號在模型上的分類表現

前人在研究高負荷分類的過程中使用了多種方法,包括選用不同類型的熵,多種波段腦電信號的線性組合等手段。表2展示了本研究所得結果與其他相關研究結果所得準確率的對比。

表2 與其他方法判別準確率對比

5 結 論

探討了深度神經網絡在 EEG,ECG 和 EMG 多信號輸入的高負荷檢測模型性能,參考了自然語言處理中 Transformer 模型結構。通過原有結構進行修改,最終能達到96.54%的準確率。研究發現使用多種生理信號的腦力負荷檢測模型要比使用單一生理信號模型的準確率高。前者在不對數據進行額外處理時仍能保持在一個令人滿意的識別準確率,同時發現使用多種生理信號作為模型輸入時候的魯棒性更強。

討論了ECG和EMG數據對模型判別準確率的影響,發現上述兩類生理信號對本次所使用的模型提升判別準確率而言是不可或缺的。研究對Transformer與連續的一維卷積結構貢獻度大小進行了對比。發現前者對模型性能的貢獻要大于后者,但如果希望模型的判別準確率能夠提升的話,一維卷積操作是不可或缺的。

研究對比了他人部分分類方法在本次數據集上的效果,發現先前研究者在高負荷判定的結論仍然具有很高的參考意義,他們在生物電信號類型選擇和 EEG 通道選擇上的結論有效地減少了本研究的工作量。