基于集成SDAE和EEG的跨被試認知工作負荷識別

鄭展鵬，尹 鐘

(上海理工大學 光電信息與計算機工程學院，上海 200093)

現代計算機技術在各種先進指令和自動化系統中有著廣泛應用，通常需要人類操作員協作智能機器體共同完成若干安全關鍵任務。在人機系統中，由于人類認知能力有限，操作員認知工作負荷(Cognitive Workload，CW)的過載會增加事故發(fā)生的概率。關于CW的一種定義可表述為[1]：“完成腦力任務需求，所占用操作員的工作記憶容量或資源的比率”。人類有限的工作記憶容量的下降與高CW水平密切相關。尤其在一些安全性要求極高的決策環(huán)境中，例如載人航天[2]、醫(yī)療和緊急應用[3]、核電站[4]等領域，對CW水平的一種精確評估為實時優(yōu)化操作員功能狀態(tài)奠定了基礎，進而減少由人類因素造成的事故。

監(jiān)測CW的方法主要包括自我評估、輔助任務性能和神經生理信號。早期的主觀評價方法為NASA-TLX(NASA Task Load Index，NASA-TLX)指標[5]。短期無法得到可信賴的評分，但輔助任務的實施又額外增加了操作員的負擔。備受歡迎的神經生理測量主要包括腦電圖(Electro Encephalo Gram，EEG)、心電圖(Electro Cardio Gram，ECG)[6]等。由于CW變化與大腦皮質活動緊密相連，且EEG具有非平穩(wěn)性、無侵入性、高分辨性等優(yōu)點，因此EEG被廣泛應用[7]。有研究工作表明，基于單個被試的腦電數據分類可取得較高分類精度[8]。基于不同被試的腦電數據，分類器的性能受到損失[9]，這主要是由于不同被試腦電數據的分布和特征空間不同所導致的。

本文目的是提出一種有效的跨被試、多分類模型，能夠適用于多個個體的腦電數據分布。為了從一組個體中提取個性化腦電特征，堆疊多個自動編碼器(Auto Encoder，AE)構成一個堆疊去噪自動編碼器(Stacked Denoising Auto Encoder，SDAE)。基學習器SDAE的權重通過局部信息保留(Locality Preservation Projection，LPP)層計算。引入Q-statistics評估所有基學習器的多樣性，尋找新的特征子集。利用超限學習機(Extreme Learning Machine，ELM)融合基學習器的腦電抽象。最后，通過與傳統算法的比較來證明所提出模型的優(yōu)勢。

1 材料和方法

1.1 腦電數據庫描述

本研究采用兩組不同的認知任務腦電數據庫用來驗證提出的CW模型的有效性[10-11]，記為Task 1和Task 2，分別由8位(標簽為A～H)和6位(標簽為I～N)健康被試執(zhí)行。對于每一個任務，每一位被試均參與兩次相同階段的實驗。實驗需求設置基于自動化增強型密封艙空氣管理系統(Automation-enhanced Cabin Air Management System，AutoCAMS)[12]，要求被試手動控制安全關鍵過程控制條件，旨在維持4個子系統的空氣質量(如溫度、壓強、濕度和二氧化碳濃度)。通過編程失效子系統和執(zhí)行器靈敏度的數量導致任務需求產生變化，同時記錄每位被試的腦電信號。其中，低負荷(LCW)、中負荷(MCW)和高負荷(HCW)被用來表示3種認知工作負荷狀態(tài)。

1.2 數據預處理和特征提取

根據國際10-20系統，選擇其中11個通道做進一步分析，即F3、F4、Fz、C3、C4、Cz、P3、P4、Pz、O1和O2。以500 Hz采樣，通過一個4階巴特沃斯濾波器和獨立變量分析預處理采集腦電信號，其目的是消除肌肉和眼電噪聲。腦電信號被分成2 s無重疊片段。最終，Task 1和Task 2分別獲得2 700和1 450個腦電片段。對于一個通道的一個片段，theta、alpha、beta和gamma頻帶的功率頻譜密度，過零點率(Zero-crossing Rate，ZCR)、香農熵(Shannon Entropy，SE)、峰度(Kurtosis)、偏斜度(Skewness)、峰值(Peak)、標準偏差(Standard Deviation，SD)、均方根(Root of Mean Square，RMS)、波形因子(Shape Factor，SF)、波峰因子(Crest Factor，CF)和脈沖指數(Plus Index，PI)等特征基于快速傅里葉變換計算得到。同樣，文中也計算了左右大腦皮層的頻譜密度功率差。對于每一個腦電片段，總共11×14+16=170個腦電特征被提取。單通道Spearman正負相關系數如圖1所示。

圖1 特征時間歷程和目標負荷水平間Spearman相關系數

1.3 集成SDAE模型

基學習器SDAE，其輸入層和第一隱層間的權重由LPP映射層計算得到。給出N1個D維腦電樣例，將其映射到低維特征表示，如式(1)所示。S用來評估兩個樣例間的相似性(S=1，相似；S=0，不相似)。轉換矩陣由最小化目標函數計算得到

zi=ATxi

(1)

(2)

在下列方程中，D是S的對角矩陣，A為對應的特征向量

L=D-S

(3)

XLXTA=λXDXTA

(4)

SDAE的深度結構通過堆疊AE而構成。為了消除噪聲抽象，添加去噪層，第H隱層高水平特征表示被計算為

(5)

(6)

被試的CW水平由監(jiān)督層計算如下

(7)

其中，V和bv表示輸出權重和偏置。SDAE的最優(yōu)參數基于反向傳播算法實現。

引入Q-statistics來評估基學習器的多樣性。一對學習器Ei和Ej的Q值為

(8)

其中，Nij表示樣例正確或錯誤分類的個數。對于n個SDAE，平均值為

(9)

得到新的特征子集Str，見式(10)和式(11)

(10)

UpdateStr={E(k)|n*k=1， 2≤n*≤n}

(11)

其中，基學習器的輸出表示為E(k)。

訓練ELM分類器，目的是最小化正則化誤差。

(12)

其中，g表示激活函數；v表示輸出權重；常量C用來平衡擬合誤差。因此，最終的集成輸出為

(13)

考慮到ELM的嶺回歸問題，將向量I/C添加到ggT的對角線上，E-SDAE的一般框架如圖2所示。

圖2 E-SDAE框架

表1 任務1中SAE、ELM和E-SDAE的階段平均測試分類性能

表2 任務2中SAE，ELM和E-SDAE的階段平均測試分類性能

表3 模型的平均測試精度

2 結果與分析

對于Task 1，2 700×8×2=43 200個樣例來自8位被試，帶有相同個數的負荷水平。對于Task 2，一位被試包含580、435和435個樣例，分別表示3種負荷水平，總共1 450×6×2=17 400個樣例。注意到訓練集和測試集的劃分基于留一被試范式，即一位被試的數據用于測試，剩余被試的數據用于訓練。需要注意的是，基學習器的最優(yōu)超參數分階段性計算。對于圖3(a)和圖3(b)，Task 1最優(yōu)參數為10和85個隱元；Task 2為15和5個隱元。對于圖3(c)和圖3(d)，兩個任務最優(yōu)隱元個數分別為390和6。最小二乘支持向量機(Least Square Support Vector Machine，LSSVM)，正則化參數分別設置為2-8和2-12。k近鄰(k-Nearest Neighbor，KNN)分類器的k值分別設置為39和50。人工神經網絡(Artificial Neural Networks，ANN)的隱節(jié)點分別為120和430。對于SAE，Task 1兩層隱元個數分別為35和85，Task 2分別為95和40。總之，以上模型的最優(yōu)參數基于交叉驗證和網格搜索法得到。

兩個任務計算得到的精度(Accuracy)，靈敏度(Sensitivity)，特異度(Specificity)，查準率(Precision)，陰性預測值(Negative Predicting Value，NPV)如表1和2所示。這里，LCW看作正類，MCW和HCW看作負類。根據14位被試結果，E-SDAE優(yōu)于SAE和ELM。從表3看出，E-SDAE和其他7個算法的性能度量表明E-SDAE實現最大的精度。根據t檢驗，發(fā)現E-SDAE顯著優(yōu)于其他模型(p<0.05)。

E-SDAE的主要計算代價是訓練復雜結構特征，如表4所示，其中hm、n、c和l分別表示激活函數、批量大小、單樣本梯度和迭代次數(本實驗中，n=25)。E-SDAE的復雜度高于其他算法，是因為其他算法簡單的模型架構僅與對應隱元相關。另外，也記錄了相關文獻關于CW分類問題的研究(表5)，從定性的角度分析，因為不同被試的腦電分布，E-SDAE在實現多類、跨被試分類任務時存在挑戰(zhàn)。對于睡眠[13]、閱讀[14]、駕駛[15]、Stroop任務[16]，對應分類器都表現出良好分類性能。同樣是跨被試CW識別任務，相比于轉換深度信念網絡模型[17]，E-SDAE表現出了良好的泛化能力。

圖3 被試平均分類結果基于基學習器

表4 傳統算法的計算復雜度

表5 已有文獻中認知工作負荷識別結果對比

3 結束語

本文提出一種跨被試認知工作負荷評估器E-SDAE，利用SDAE過濾腦電特征，旨在發(fā)現腦電時間歷程的動態(tài)特性。經Q-statistics處理后，得到新的特征子集，輸入給ELM來提高模型整體泛化性。E-SDAE的分類性能在兩個數據庫均已表現，在兩個任務上分別獲得三分類的精度0.635 3和0.674 7。雙側t檢驗表明與帶有最佳參數的傳統分類器相比，該模型性能顯著性提高(p<0.05)。對于高維腦電特征，E-SDAE的運行時間和計算復雜度是可以接受的。不足的一面是腦電樣例少，結果表明該算法不能有效辨別負荷水平，需要增加被試個數來驗證所提出的模型；另一面是選擇的特征提供了不完美的精度，表明高維腦電特征對獨立被試分類問題的敏感。今后將進一步將深度學習和集成學習結合進行研究，以便更好地解決跨被試認知工作負荷分類問題。