基于注意力機制的飛行學(xué)員疲勞分類網(wǎng)絡(luò)研究

王乾壘，熊仁和，王在俊，周 超

(1. 中國民用航空飛行學(xué)院飛行技術(shù)與飛行安全重點實驗室，四川 廣漢 618307；2. 中國民用航空飛行學(xué)院空中交通管理學(xué)院，四川 廣漢 618307)

1 引言

近年來，通過腦電圖、腦磁圖、功能磁共振成像等技術(shù)將腦電(Electroencephalography，EEG)信號轉(zhuǎn)化為數(shù)字信號，結(jié)合計算機編程語言和人工智能、數(shù)據(jù)挖掘、模式識別等領(lǐng)域的先進(jìn)技術(shù)，是一種探究人體生理信息的常用方法[1-4]。在2017-2019年的36起通用航空事故中，有25起是由人因?qū)е拢渲性陲w行訓(xùn)練中人為原因?qū)е碌氖鹿视?1起[5]。疲勞是人因中重要的一種，因此對飛行學(xué)員的精神疲勞識別及分類是預(yù)防飛行訓(xùn)練事故的重要步驟。采集飛行學(xué)員飛行前后的腦電信號，將精神疲勞進(jìn)行分類，可探究飛行學(xué)員的疲勞程度，評估其精神狀態(tài)是否適合飛行訓(xùn)練，從而實現(xiàn)飛行安全監(jiān)測關(guān)口前移。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)已被證明可用于區(qū)分神經(jīng)生理學(xué)特征，將其應(yīng)用于腦電信號分類也得到了廣泛的研究[6-10]。在JOHN THOMAS等人[11]的研究中，采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行波形級別分類，并采用支持向量機的算法進(jìn)行腦電圖級別分類，該系統(tǒng)分類的準(zhǔn)確率為83.86%；SUNHEE HWANG等人[12]提出了一種使用卷積神經(jīng)網(wǎng)絡(luò)的新型情感識別方法，此方法在數(shù)據(jù)集為15位受試者記錄的62通道腦電信號上表現(xiàn)出卓越的性能，平均準(zhǔn)確率為90.41%；QUAN LIU等人[13]的研究中，通過原始腦電圖識別相關(guān)活動，設(shè)計了具有多種不同架構(gòu)的深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，其中受過最佳訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型達(dá)到了93.50%的準(zhǔn)確率；XIAOYAN WEI等人[14]的研究中，提出了一種新的三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)使用3D內(nèi)核構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測腦電數(shù)據(jù)的不同階段時，準(zhǔn)確率超過了90%；JONGMIN LEE等人[15]的研究中，使用混合方法自適應(yīng)更新線性分類器，從零訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)生成標(biāo)簽信息，達(dá)到了92%的準(zhǔn)確率；KANG YUE等人[16]收集了各種視覺疲勞水平的腦電信號，采用基于卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的聯(lián)合時空特征提取方案評估視覺疲勞分類，該模型可以學(xué)習(xí)聯(lián)合時頻空間特征以自動區(qū)分疲勞水平。實驗結(jié)果表明，目前腦電信號分類模型中分類效果最好的是卷積神經(jīng)網(wǎng)絡(luò)[17]。上述研究中針對不同的應(yīng)用領(lǐng)域，使用卷積神經(jīng)網(wǎng)絡(luò)分類所需要提取的腦電信號都達(dá)到了較高的準(zhǔn)確率，并證明了卷積神經(jīng)網(wǎng)絡(luò)在腦電信號分類中的優(yōu)勢。

飛行學(xué)員的情景意識與訓(xùn)練安全直接關(guān)聯(lián)[18]，為了守住民航的生命線，保障飛行學(xué)員的安全，本研究從人因入手，從精神疲勞角度探索飛行學(xué)員的情景意識水平。已有研究表明，目前使用卷積神經(jīng)網(wǎng)絡(luò)對腦電信號分類表現(xiàn)出了良好的性能，可將該技術(shù)應(yīng)用于飛行學(xué)員的精神疲勞分類，探究其精神狀態(tài)水平，從而判斷是否適合飛行訓(xùn)練。但飛行學(xué)員數(shù)量龐大，現(xiàn)有的神經(jīng)網(wǎng)絡(luò)無法較快地得出分類結(jié)果，因此本研究采用注意力機制對與精神疲勞程度無關(guān)的信息進(jìn)行抑制，并充分利用通道間的相關(guān)性，增強卷積神經(jīng)網(wǎng)絡(luò)對通道間信息的理解能力，以較快的速度和較高的準(zhǔn)確率分類出飛行學(xué)員的精神疲勞狀態(tài)。

2 精神疲勞與飛行安全

飛行學(xué)員的精神疲勞分為三種：瞬時疲勞、累積疲勞和晝夜節(jié)律疲勞。疲勞可通過以下方式[18]表現(xiàn)出來：飛行航跡不準(zhǔn)確；未應(yīng)答管制人員通話來電；未能正確執(zhí)行例行任務(wù)，甚至遺忘；進(jìn)入短暫或長時間睡眠狀態(tài)。當(dāng)飛行學(xué)員在飛行訓(xùn)練過程中受到精神疲勞影響時，會產(chǎn)生以下情況：注意力受損，在駕駛過程中易受到無關(guān)因素干擾，進(jìn)而出現(xiàn)注意力無法集中的現(xiàn)象；身體協(xié)調(diào)能力下降，影響操作精準(zhǔn)性；記憶力下降，造成思維能力受限，導(dǎo)致飛行事務(wù)處理能力減弱；精神狀態(tài)不佳，遺漏執(zhí)行部分飛行程序。總之，飛行學(xué)員在精神疲勞狀態(tài)下，容易做出錯誤的飛行操作，尤其不能及時處理飛行中遇到的特殊情況[19-20]。

由于飛行學(xué)員學(xué)習(xí)與訓(xùn)練的特殊性，學(xué)員難免會產(chǎn)生精神疲勞。精神疲勞會對飛行訓(xùn)練安全造成一定的影響，及時發(fā)現(xiàn)飛行學(xué)員精神狀態(tài)變化并加以恰當(dāng)?shù)母深A(yù)，能很大程度降低事故發(fā)生風(fēng)險。因為腦電信號可以直接反映人類心理狀態(tài)的實際狀況[21]，腦機接口技術(shù)已用于心理狀態(tài)分類。采用腦機接口技術(shù)采集并分析飛行學(xué)員在飛行前的腦電信號，識別出心理狀態(tài)中的精神疲勞并將其分類，把結(jié)果反饋給飛行教員，為判斷飛行學(xué)員是否適合飛行訓(xùn)練提供生理依據(jù)。

3 卷積神經(jīng)網(wǎng)絡(luò)與注意力機制

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)最重要的特征就是稀疏連接、權(quán)值共享和等變表示。這些特征使得卷積神經(jīng)網(wǎng)絡(luò)的性能相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有較大提升，圖1為經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖1 經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、激活層、池化層和全連接層組成。卷積層使用一組卷積核執(zhí)行多次轉(zhuǎn)換，卷積運算將圖像或者序列分成小片來提取局部相關(guān)特征，從而使其能夠?qū)W習(xí)合適的特征[22]。非線性激活層會為特征映射增加非線性因素，這種非線性為不同的響應(yīng)生成了不同的激活模式，有助于學(xué)習(xí)圖像及序列中的語義差異。激活層的輸出常通過池化層進(jìn)行下采樣，這有助于減少網(wǎng)絡(luò)要學(xué)習(xí)的參數(shù)數(shù)量，防止過擬合，并擴大感受野，還能保證輸入不隨幾何變形而發(fā)生變化。

3.2 注意力機制

注意力機制的靈感來自人的注意力策略，其核心邏輯是“從關(guān)注全部到關(guān)注重點”。注意力機制本質(zhì)上是一系列分配系數(shù)，也就是一系列權(quán)重參數(shù)[23]。注意力機制常與卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶(Long Short-Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)結(jié)合使用，也可單獨使用。

圖2 注意力機制實現(xiàn)過程

圖2為注意力機制的實現(xiàn)過程，其原理類似于尋址過程，輸入序列X=[x1，x2，x3，…，xn]，令Key=Value=X，則可給出如式(1)的分布

ai=softmax(s(Xi，q))

(1)

其中，ai為注意力分布(概率分布)，s(Xi，q)為注意力打分機制。注意力分布ai可以解釋為在上下文查詢q時，第i個信息受關(guān)注的程度。由于不同因素對結(jié)果影響存在差異，對不同因素加權(quán)求和得到注意力輸出，式(2)

(2)

在卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機制，能有效解決輸入較長序列時，模型難以習(xí)得合理向量表征這一問題。

4 A-EEGNet：融合注意力機制的精神疲勞分類網(wǎng)絡(luò)

針對飛行學(xué)員精神疲勞特性，本文提出一種融合注意力機制的精神疲勞分類網(wǎng)絡(luò)，取名為A-EEGNet(Attention-Electroencephalography Net)，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，網(wǎng)絡(luò)參數(shù)如表1所示。

圖3 A-EEGNet結(jié)構(gòu)圖

表1 網(wǎng)絡(luò)參數(shù)

4.1 骨干網(wǎng)絡(luò)

網(wǎng)絡(luò)的骨干部分主要由3個卷積層、2個池化層和3個BN(Batch Normalization)層構(gòu)成。第一個卷積層的卷積核尺寸為(1×64)，卷積核的長度為數(shù)據(jù)集采樣頻率(512Hz)的1/8 。經(jīng)卷積過后能輸出包含不同帶通頻率的尺寸為20×152的腦電信號特征映射。之后使用SELU(縮放指數(shù)線性單元)進(jìn)行正則化，其輸出的均值不但更接近0，方差也更接近單位方差1。相比于其它激活函數(shù)在卷積神經(jīng)網(wǎng)絡(luò)自然語言處理任務(wù)中具有更強的正則化性能，且能提高網(wǎng)絡(luò)的收斂速度。

在網(wǎng)絡(luò)訓(xùn)練的過程中，網(wǎng)絡(luò)參數(shù)的變化將導(dǎo)致內(nèi)部結(jié)點數(shù)據(jù)分布發(fā)生變化，這一過程會對網(wǎng)絡(luò)特征提取造成影響。為抑制此過程需不斷對上層網(wǎng)絡(luò)進(jìn)行調(diào)整，使其能夠適應(yīng)輸入數(shù)據(jù)的分布變化。此方法易使網(wǎng)絡(luò)訓(xùn)練陷入梯度飽和區(qū)。為此，本文在部分線性層和非線性層之間加入了BN層以抑制內(nèi)部結(jié)點數(shù)據(jù)分布變化對網(wǎng)絡(luò)的影響。

為了減少需要擬合的參數(shù)，在第一個BN層過后緊接著使用卷積核尺寸為(20×1)的深度可分離卷積進(jìn)行空間濾波。更為特殊的是，將其應(yīng)用于腦電信號時，此操作可以使模型高效地習(xí)得針對特定頻率的空間濾波器。經(jīng)過平均池化層處理后所得特征映射依然存在許多無用信息，本文使用一個注意力模塊對無用信息進(jìn)行抑制，增大有用信息的權(quán)重以提高網(wǎng)絡(luò)的效率。

平均池化層對樣本進(jìn)行降采樣以提高網(wǎng)絡(luò)訓(xùn)練速度。本文的模型輸入尺寸為(1×20×151)，經(jīng)過一系列的卷積和池化過后，最終通過全連接層輸出(1×1×4)的張量作為分類模塊的輸入。

4.2 注意力模塊

本研究在卷積神經(jīng)網(wǎng)絡(luò)中加入了注意力模塊，在減少信息丟失的同時通過權(quán)重分配對無用信息做到最大抑制。

為獲取通道之間的全局信息，將第一個平均池化的輸出作為注意力模塊的輸入，并利用全局平均池化將信息壓縮為一個實數(shù)，隨后通過兩個全連接層組成瓶頸結(jié)構(gòu)，對通道數(shù)進(jìn)行壓縮和還原。第一層以16為壓縮比，將通道維度從16壓縮至1，通過非線性激活后再使用一層全連接將通道維度進(jìn)行還原，緊接著使用Sigmoid函數(shù)獲得[0，1]之間的歸一化權(quán)重。最后通過Scale(縮放)對每個通道特征進(jìn)行加權(quán)。此過程對貢獻(xiàn)大的通道特征賦予大權(quán)重，反之賦予小權(quán)重，確保降低無用信息對網(wǎng)絡(luò)后端分類準(zhǔn)確度影響的同時，高度保留了信息特征的完整性。

5 實驗及分析

5.1 數(shù)據(jù)集介紹

5.1.1 飛行學(xué)員Fatigue-EEG數(shù)據(jù)集

飛行學(xué)員Fatigue-EEG數(shù)據(jù)集來源于中國民用航空飛行學(xué)院飛行員飛行訓(xùn)練前后所采集的腦電數(shù)據(jù)。數(shù)據(jù)采集對象為隨機選取的18～24歲的12名飛行學(xué)員，每個對象的采集時長約為15分鐘，所有腦電信號的采集頻率都為512Hz，導(dǎo)聯(lián)數(shù)為32，復(fù)采樣頻率為100Hz，信號被劃分為1.51s每段，每段作為一個樣本。在通過必要的去噪聲以及濾波處理后，對3種精神疲勞及非疲勞狀態(tài)進(jìn)行標(biāo)注。

5.1.2 SEED-VIG數(shù)據(jù)集

SEED-VIG數(shù)據(jù)集是2002年上海交通大學(xué)針對疲勞駕駛問題的腦電公開數(shù)據(jù)集[24]。數(shù)據(jù)的采集實驗持續(xù)約2小時，要求采集對象通過油門和方向盤控制車輛的正常行駛，并通過SMI眼動追蹤眼鏡記錄他們的眼動情況。

將數(shù)據(jù)的采樣頻率設(shè)置為200Hz/s，總共1416000個采樣點，導(dǎo)聯(lián)數(shù)量為17個。根據(jù)Perclos指數(shù)將數(shù)據(jù)分為清醒、疲勞和嗜睡三類。Perclos為眨眼、閉眼的時間和占眨眼、注視、掃視、閉眼時間和的占比。

5.2 數(shù)據(jù)預(yù)處理

由于SEED-VIG數(shù)據(jù)集官方已對其進(jìn)行過預(yù)處理，因此本文只對飛行學(xué)員Fatigue-EEG數(shù)據(jù)集進(jìn)行預(yù)處理。

不同事件在腦部的反應(yīng)區(qū)域不同，腦電中與疲勞有關(guān)的信號主要表現(xiàn)在4-30Hz頻段。因此，在進(jìn)行復(fù)采樣和分段過后，采用了4-30Hz帶通濾波器對樣本進(jìn)行濾波，并使用快速ICA算法去偽跡，快速ICA算法步驟如下：

對目標(biāo)信號XN×M={X1，X2，X3…XN}進(jìn)行中心化，使其變?yōu)榫禐榱愕男盘朲，再對Z進(jìn)行白化得到信號Y。由于ICA分離的各個變量獨立時負(fù)熵最大，由此可得分離矩陣W的表達(dá)公式

在深刻的竊視中揭幕，讓一切虛偽、丑惡和見不得人的東西暴露在陽光下，讓真善美沁入人們的心田。這時，何必去在乎那份尷尬？

(3)

對式(3)構(gòu)造求解目標(biāo)函數(shù)，式(4)

F(W)=E[Yg(WTY)]+βW

(4)

其中g(shù)為G的導(dǎo)數(shù)，使用牛頓迭代法進(jìn)行求解，迭代過程為式(5)：

(5)

迭代函數(shù)收斂得到目標(biāo)結(jié)果W，通過此算法能提高信號的信噪比，并去除其它電信號對分類精度的影響。

5.3 標(biāo)注原則

腦電信號可以根據(jù)其頻率特性分為δ波、θ波、α波、β波、γ波五種波[25]。當(dāng)人腦處于疲憊狀態(tài)時，與思維活動相關(guān)的β波會明顯減少。為對疲勞類型進(jìn)行評估，首先計算β波的相對能量Eβ，式(6)

(6)

其中Eall為樣本的總能量。再對θ波與α波的平均功率之和與β波平均功率的比值K((α+θ))/β進(jìn)行計算[26-28]，式(7)和式(8)

(7)

(8)

根據(jù)不同疲勞狀態(tài)在Eβ與K(α+θ)/β兩個參數(shù)上的表現(xiàn)，對每一個樣本進(jìn)行劃分。圖4、圖5、圖6、圖7為四種疲勞狀態(tài)的特征表現(xiàn)。

圖4 瞬時疲勞特征表現(xiàn)

圖5 累積疲勞特征表現(xiàn)

圖6 晝夜節(jié)律疲勞特征表現(xiàn)

圖7 正常狀態(tài)特征表現(xiàn)

5.4 實施細(xì)節(jié)

5.5 實驗結(jié)果

本文使用K折交叉驗證法對網(wǎng)絡(luò)模型進(jìn)行評估，其中K取值為12，式(9)為準(zhǔn)確率的計算方法。

(9)

網(wǎng)絡(luò)對飛行學(xué)員Fatigue-EEG數(shù)據(jù)集中4種精神疲勞狀態(tài)的平均分類準(zhǔn)確率達(dá)到了84.12%，見圖8。

表2 分類準(zhǔn)確率結(jié)果

為證明網(wǎng)絡(luò)模型的優(yōu)劣性，本文將模型與其它疲勞分類方法進(jìn)行了比較。

表3 對比結(jié)果

由表2可知，與近年文獻(xiàn)[29-31]中采用的EEG-Conv-R、SVM、Bi-LSTM模型相比，本文方法在飛行學(xué)員精神疲勞狀態(tài)4分類任務(wù)上的準(zhǔn)確率有所提高。

將去除掉注意力模塊的網(wǎng)絡(luò)作為Baseline，在飛行學(xué)員Fatigue-EEG數(shù)據(jù)集上通過matplotlib對二者的訓(xùn)練過程進(jìn)行可視化，圖8和圖9分別展示了A-EEGNet和Baseline的訓(xùn)練過程。

圖8 A-EEGNet訓(xùn)練過程

圖9 Baseline訓(xùn)練過程

由可視化結(jié)果可得，注意力模塊能有效提升識別準(zhǔn)確率與網(wǎng)絡(luò)收斂速度。A-EEGNet比Baseline的識別準(zhǔn)確率高10.54%，引入注意力模塊后，收斂速度也明顯優(yōu)于Baseline。

A-EEGNet為一個輕量網(wǎng)絡(luò)，為了驗證其效果，本文使用NVIDIA Jetson Nano為平臺對網(wǎng)絡(luò)模型性能進(jìn)行了探究，表4為NVIDIA Jetson Nano的配置說明。

表4 NVIDIA Jetson Nano硬件配置

使用飛行學(xué)員Fatigue-EEG數(shù)據(jù)集為測試數(shù)據(jù)集，在時長為2小時的運行測試中，NVIDIA Jetson Nano能達(dá)到平均27samples/s的速度，證明了網(wǎng)絡(luò)模型可以方便地部署到移動設(shè)備和各種嵌入式設(shè)備中，圖10為每一時段的計算速度。

6 結(jié)論

本文提出了一種融合注意力機制的飛行學(xué)員分類網(wǎng)絡(luò)。在卷積神經(jīng)網(wǎng)絡(luò)中引入注意力機制，增大關(guān)鍵信息的權(quán)重占比，有效提高了網(wǎng)絡(luò)的特征提取能力，彌補了傳統(tǒng)方法在腦電疲勞分類任務(wù)上易受無用信息影響的缺陷。用深度可分離卷積減少了網(wǎng)絡(luò)模型的計算量，使網(wǎng)絡(luò)滿足了移動設(shè)備和嵌入式設(shè)備的計算要求。實驗表明，在飛行學(xué)員疲勞狀態(tài)分類任務(wù)中，注意力機制的引入使得網(wǎng)絡(luò)在訓(xùn)練過程中能更快地收斂且提高了分類精度。對比其它算法，本文方法在分類準(zhǔn)確率上有較大提升。