基于腦電和眼動信號的人機交互意圖識別

王崴，趙敏睿，高虹霓，朱帥，瞿玨,2,*

1. 空軍工程大學 防空反導學院，西安 710051 2. 西北工業大學 航空學院，西安 710072

提高飛行器人機交互系統對飛行員的意圖感知和狀態識別能力是飛行器人機交互智能化的關鍵目標之一[1]，可為自適應飛行器人機交互系統設計提供理論依據和技術支持，并減少操作過程中的人為差錯[2]。人機交互意圖指的是用戶在進行計算機系統操作時的目標和期望，傳統人機交互意圖識別方法主要依靠腦電信號或眼動信號。

腦機接口(Brain-Computer Interface, BCI)是腦電信號的應用形式，可在人腦與外部設備建立通信關系，進而通過大腦控制外部設備[3-5]。BCI已經應用在醫學[6]、神經生物學[7-8]和心理學[9-10]等領域。運動想象(Motor Imagery, MI)腦電圖(Electroencephalogram, EEG)具有靈活、非侵入性、環境要求低和分辨率高的特點，因此MI是BCI廣泛應用的形式之一[11]。運動想象過程中EEG信號的頻帶功率會隨MI任務的內容變化，這被稱為事件相關的同步化和去同步化(Event Related Synchronization/Desynchronization, ERS/ERD)[12]，ERS/ERD的產生與內部或外部事件相關，當人的一側肢體進行運動或進行運動想象時，大腦對側的感覺運動區μ節律和β節律能量減少，同側運動感覺區μ節律和β節律能量增加。這種規律使得ERS/ERD控制外部設備或進行運動想象意圖識別成為可能[13]。蔣貴虎等基于固有時間尺度分解和支持向量機(Support Vector Machine, SVM)算法對第3屆BCI競賽的Dataset Ⅲa數據集和第4屆BCI競賽的Dataset 2a數據集進行了分類，最終分類結果分別達到94.65%和90.63%[14]。徐寶國等設計實驗通過MI控制機械臂完成連續抓取任務，成功率達到85%[11]，但這些意圖識別方式都僅依賴腦電信號，沒有融合眼動信號的優點，識別準確率有待進一步提高。

研究表明，視覺通道提供給人80%以上的外界信息[15]，近年來，有許多學者依據人的視覺行為對用戶人機交互意圖進行研究。Deng和Gu利用眼動數據分析用戶的行為意圖和情感體驗[16]，趙其杰等通過檢測眼睛與頭部動作確定用戶交互意圖，其中注視意圖關注區域正確率為92%[17]。此外，眼動追蹤還廣泛應用于用戶交互行為分析[18]、用戶視覺搜索分析[19]和視覺刺激興趣分析[20]等領域，這些方法僅依靠眼動信號，沒有融合腦電信號，未能充分利用腦電信號對人腦認知狀態的分析。

近年來，很多學者嘗試將多生理信息進行融合，以期提高人的搜索意圖、動作意圖或認知狀態識別準確率。Park等融合腦電和眼動信號對人在視覺搜索過程中的隱式交互意圖進行識別，發現融合腦電和眼動信號識別準確率比依靠單一生理信號準確率高5%左右[21]。Postelnicu等融合眼動、腦電和手勢特征對6自由度機械臂進行操控，結果顯示，可用性量表(System Usability Scale, SUS)分數高于平均水平[22]。謝平等融合腦電、心電和肌電信號對駕駛疲勞進行評估，結果表明多生理特征融合識別準確率明顯高于單獨生理信號識別率[23]；融合腦電信號與肌電信號對動作模式進行識別，結果表明，腦肌電融合信號識別正確率為98%，高于單純依靠腦電特征識別的準確率75%[24]。這說明多生理信號融合可提高對人認知和意圖的識別準確率，但上述研究未涉及人機交互意圖識別。

綜上，本文提出了基于腦電、眼動信號特征融合并引入決策層融合的人機交互意圖識別方法，可在用戶進行人機交互時進行意圖識別。具體實現過程為：采集用戶腦電和眼動信號進行特征提取；采用模式識別算法對生理信號特征進行分類識別；對分類器分類算法進行決策級融合得到最終結果，設計用戶意圖誘發實驗，驗證方法可行性。本文還比較了不同腦電特征提取方法和不同機器學習算法對識別準確率的影響。

1 多生理信號特征提取

1.1 腦電信號特征提取

1.1.1 基于小波變換的腦電信號特征提取

小波變換(Wavelet Transform, WT)采用聯合時間-尺度對原始信號進行分析，通過隨機改變頻率窗和時間窗同時獲得較好的時間分辨率和頻率分辨率，適用于處理非平穩信號，如腦電信號。

現有研究表明，運動想象的ERS/ERD特征主要出現在α波、β波和γ波3個波段，因此這3個頻段的腦電波被廣泛應用于運動想象評估。本文擬通過提取小波能量系數和小波熵作為腦電信號特征。

本文選用Daubechies 4小波基函數對采樣頻率為128 Hz的腦電信號s(t)進行3層離散小波變換，s(t)的離散小波變換定義為

〈s(t),φj,k〉j,k∈Z

(1)

(2)

式中：l′為小波分解層數；Al′為低頻分量；Dj為不同頻率下的細節分量，具體頻帶范圍如表1所示。

表1 各子帶信號對應頻率范圍Table 1 Frequency range of sub-band signals

各子帶對應近似系數cAl′，小波系數cDj。單一尺度下小波能量Ei定義為該尺度下小波系數的平方，因此，總小波能量的定義為

(3)

(4)

小波熵可反映原信號在不同空間分布的有序程度，因此可用于定量描述原信號在時域上的能量分布特征。

1.1.2 基于共空域模式的腦電信號特征提取

共空域模式(Common Spatial Patterns, CSP)算法在基于ERS/ERD的腦電信號分析中被證明十分有效，但CSP模式算法是針對二分類問題提出的，因此針對多分類問題，需要對CSP算法進行改進，對任意2類進行一一比較。CSP通過對原始信號進行空間投影，找到最佳投影方向，滿足第1類信號在某方向方差最大，第2類信號方差最小，得到2類差別最大的投影方向。

設E為去除直流成分處理后的腦電信號矩陣，維數為N×T，其中N為腦電數據通道數目，T為每個通道的采樣點數。則腦電數據的平均協方差矩陣為

(5)

式中：trace(EET)為矩陣EET的跡。平均協方差矩陣之和為

Cc=C1+C2

(6)

對Cc采用特征值分解，有

(7)

I=PCcPT

(8)

式中：I為單位矩陣。對C1、C2進行變換，有

Si=PCiPTi∈{1,2}

(9)

式中：S1、S2有相同的特征向量，且對應的特征值和為1，換言之，在S1最大特征值的方向上，S2特征值取得最小；反之，在S1最小特征值的方向上，S2特征值達到最大。

若

S1=Bλ1BT

(10)

則有

(11)

投影矩陣W為

W=BTP

(12)

式中：B為任意與λi(i∈{1,2})乘法相容的矩陣。可以看出，W為N×N階矩陣，原始信號E通過投影，得到新信號

Z=WE

(13)

選取經過W投影的信號前n行和后n行共2n行新信號進行如下變化，得到最終特征值：

(14)

式中：Zj為矩陣Z的第j行；var(Zj)為Zj的方差。

對3類信號中每2類都采用CSP進行處理，可得3個投影矩陣W，對每個矩陣W前后各選取4個最佳方向，共8個最佳方向，可得3×8=24維特征向量。然后采用Fisher判別法進行降維，可將24維特征向量降為3維特征向量。此處最佳方向的選取數量和降維后特征向量的維數選取是依據反復實驗確定的，選取了分類效果最好的參數。最后，采用貝葉斯分類器，根據先驗概率思想對降維后的特征進行分類：

(15)

式中：P(yi)為標簽為i的數據先驗概率；P(yi|f)為特征為f的樣本屬于第i類的后驗概率；P(f|yi)為第i類樣本產生特征f的似然比。分類結果為后驗概率最大的i；C為數據類型總數。

1.2 眼動信號特征提取

本文采用RED-M型眼動儀采集眼動數據，采樣頻率可達60 Hz。眼動特征可以反映用戶的眼動行為。本文中采集了注視點X坐標(Fixation pointXcoordinate,FX)、注視點Y坐標(Fixation pointYcoordinate,FY)、瞳孔直徑(Pupil Diameter, PD)、注視時間(Fixation Time, FT)和眼跳幅度(Saccade Amplitude, SA)5個生理特征進行分析。由于眼動指標反映的認知狀態并不完全確定，因此，本文所提到的眼動指標和認知狀態的關系僅對類似實驗環境和實驗任務有效。

FX和FY表征用戶在進行人機交互時的注視點X方向和Y方向的坐標，可以反映用戶在屏幕上的注視點位置[24]。

PD可作為反映用戶實時認知負荷的指標之一，當認知負荷增大時，瞳孔直徑增大；反之，瞳孔直徑減小，因此該指標可反映用戶認知狀態[25]。

FT可反映用戶對視覺信息處理的難易程度，當用戶面對復雜信息時，處理時間會加長[26]，因此該指標可反映用戶的認知狀態。

SA通常反映為注視點之間跳動幅度，可反映用戶對視覺信息的難易程度，當用戶對視覺信息進行粗加工時，眼跳幅度較大；反之，當用戶對視覺信息進行精加工時，則眼跳幅度較小[27-28]，因此可以反映用戶的認知狀態。

2 基于SVM-DS的數據融合分析

2.1 SVM分類算法

SVM分類算法是一種基于統計學習理論的機器學習分類算法，與普通尋優算法追求經驗風險最小不同，SVM算法通過追求結構化風險最小提高了算法的泛化能力，最小化經驗風險和置信范圍，較好地解決了小樣本條件下模式識別算法中的過學習、模型選擇、維數災難和非線性問題。該算法的基本思想是找到使2類之間分類間隔最大的最優分類平面。

設樣本集為

D={(x1,y1),(x2,y2)，…,(xl,yl)}

xi∈R,yi∈{+1,-1}

(16)

式中：l為樣本數目。則分類平面為n維超平面，可表示為

〈w,x〉+b=0

w∈Rn,b∈R,x=[x1x2…xl]

(17)

則分類間隔為2/‖w‖，顯然，‖w‖取最小值時，分類間隔達到最大。因此，求最大分類間隔可轉化為求如下的約束優化問題

(18)

當問題線性可分時，解向量w*即支持向量，SVM的分類功能由支持向量決定。支持向量機即描述最優分類超平面的決策函數，可表示為

f(x)=sgn(〈w*,x〉+b)

(19)

當問題線性不可分時，通常采用將樣本非線性變換投影到高維空間的方法，使樣本在這個高維特征空間可分，根據Mercer條件，此時決策函數為

(20)

式中：K1(x,xi)為核函數；αi為拉式乘子。

2.2 D-S證據理論

D-S證據理論是Dempster提出，由Shafer完善的一種不精確推理方法，可用于處理不確定信息，且需要的條件比貝葉斯概率論更弱。該理論不但能處理由不精確先驗知識產生的不確定性，而且可以處理由不知道產生的不確定性。

設Θ為識別框架，m為區間[0,1]上的可信度分配函數，也稱Mass函數，表示證據支持事件A發生的程度。m(?)=0，且滿足

(21)

對于?{A,B,C}?Θ，根據Dempster合成規則，Θ上任意2個Mass函數m1、m2的合成方法為

(22)

(23)

對于?A?Θ，根據Dempster合成規則，Θ上任意有限個Mass函數m1,m2,…,mn的合成方法為

m(A)=(m1⊕m2⊕…⊕mn)(A)=

(24)

(25)

2.3 決策級融合的人機交互意圖識別

決策級融合的流程如圖1所示，首先對采集到的生理信號進行預處理和特征提取，得到對應生理信號的特征向量，然后對腦電和眼動信號特征向量分別采用分類器進行分類，最后將各分類器分類結果采用D-S證據理論進行融合，得到決策層融合結果。

圖1 基于SVM-DS理論的決策級人機交互意圖識別原理圖Fig.1 Diagram of decision-level human-computer interaction intention recognition based on SVM-DS theory

假設A1,A2,…,Ak為k種認知意圖，通過n類生理信號進行了分類，則識別框架為

Θ={A1,A2,…,Ak}

(26)

每一種生理信號特征的識別算法對各類型意圖可信度分配函數為

mi(A1,A2,…,Ak,Θ)=

(piqi1,piqi2,…,piqik,1-pi)

i=1，2，…,n；j=1，2，…,k

(27)

式中：pi為第i種生理特征識別算法正確率；qij為第i種生理特征識別判定樣本為第j種認知意圖的可信度。

對于識別框架Θ中任意認知意圖Aj，采用多生理特征分類結果的Dempster決策規則為

m(Aj)=(m1⊕m2⊕…⊕mn)(Aj)

j=1,2,…,k

(28)

由式(27)、式(28)和式(23)可得

(29)

(30)

式中：算法正確率pi通常可取訓練集樣本正確率，采用D-S決策級融合交互意圖判別方法不僅可以輸出未知樣本的類別，還可以輸出樣本屬于每一類的概率。D-S證據理論中可信度分配賦值問題通過機器學習算法訓練得到的總體分類正確率得到了有效直觀的解決。

3 實驗與結果分析

3.1 實驗設置

為驗證所提出的人機交互意圖識別方法的科學性和有效性，需要采集用戶在進行人機交互時的腦電和眼動數據。本文招募男性用戶22人(其中2人因數據采集率低于50%不能作為有效受試者)，年齡范圍為18～22歲(均值M=22.3，標準差SD=1.8)。在實驗前每位用戶都熟悉了實驗流程和注意事項并簽署了知情同意書。

實驗環境如圖2所示，實驗中保持窗簾關閉，每次實驗只允許實驗用戶和操作人員進入并關閉其他電子設備，以消除光線變化和其他電磁信號的干擾。實驗設備包括DELL計算機、RED-M型眼動試驗儀(SMI Company, Berlin, Germany)和Neuroscan NuAmps 32導腦電儀(Synamps2, Scan4.3, EI Paso, USA)。眼動信號采樣頻率為60 Hz；顯示器分辨率為1 280 pixel×1 024 pixel， 屏幕亮度為300 cd/m2；被試用戶與屏幕距離大約60 cm，被試用戶雙眼與屏幕中心大致處于同一高度。腦電儀電極分布采用10-20國際標準導聯系統，選取左側乳突為參考電極，中前額葉為接地電極，采集垂直和水平2個通道眼電信號，采樣頻率為250 Hz，進行50 Hz陷波和0.05～10 Hz在線帶通濾波，并確保電極阻抗小于5 kΩ，采集信號后對肌電和眼電偽跡進行剔除，電極具體位置如圖3所示。

本文采用經典運動想象實驗范式，如圖4所示，操作想象開始前屏幕呈現“放松”字樣，持續2 s，被試用戶放松心情準備開始；隨后屏幕呈現“準備”字樣，持續1 s，提示用戶準備開始操作想象；接下來，屏幕呈現操作界面，實驗界面如圖5所示，用戶操作包括“向左移動”“向右移動”和“發射導彈”，需要進行用戶操作想象時圖標會轉變為黃色，用戶根據提示的不同進行不同的操作想象。每次操作想象總時間為9 s。

圖2 實驗環境Fig.2 Experimental environment

圖3 電極位置Fig.3 Physical location of electrodes

圖4 運動想象實驗范式Fig.4 Experimental paradigm of motor imagery

圖5 運動想象實驗界面Fig.5 Experimental interface of motor imagery

3.2 結果分析

在3.1節的實驗中，本文采集了注視點X坐標(FX)、注視點Y坐標(FY)、瞳孔直徑(PD)、注視時間(FT)和眼跳幅度(SA)5項眼動參數，將FX與FY合成一類特征，作為注視點位置特征。將提取到的被試用戶4類眼動特征作為算法分類依據，將20名受試對象的眼動數據進行預處理和特征提取后60%作為訓練集，40%作為測試集，用SVM算法進行操作想象分類，分類準確率如表2所示。從表2中可以看出，眼動指標數目越多，識別準確率越高，且注視點位置特征對準確率影響更大。這說明注視點位置特征可較好反映用戶的意圖，但由于實驗中注視點不穩定，因此需要結合其他眼動特征提高識別可靠性。本文選取的5項眼動特征對認知意圖實驗的準確率可達87.42%， 說明眼動指標的選取是有效的。

為了探究不同機器學習方法和數據預處理方法對人機交互意圖識別的影響，本文選取SVM、WT+SVM、CSP+SVM、CSP+Fisher這4種方法對20名受試者腦電數據集進行識別，60%作為訓練集，40%作為測試集，最終得到每名受試者識別準確率如圖6所示，圖中縱坐標為腦電數據處理方法，橫坐標為分類準確率(Accuracy, ACC)，P1～P20為受試者編號。可見對于不同受試者，算法識別的準確率與標準差略有不同。識別算法的識別結果如表3所示，CSP+SVM算法識別準確率顯著高于另外3種算法(假設檢驗顯著性水平P<0.05)，且這種方法的標準差最小，說明該算法的敏感性低，泛化能力強，適合對腦電數據進行處理。表3中前2～4列為采用SVM算法對腦電的分類結果，從識別準確率看，同樣采用SVM算法的條件下，采用WT方法和采用CSP方法平均識別準確率均顯著高于不采用特征提取方法的平均準確率(方差分析F(2,57)=18.35,P=0.000 3<0.05)。表3中后2列為同樣采用CSP特征提取方法對腦電數據的識別結果，從識別準確率看，SVM算法的識別準確率顯著高于Fisher算法識別準確率(F(1,39)=9.016,P=0.004 7<0.05)。

表2 不同特征組合下的眼動分類預測準確率

圖6 不同受試者識別準確率Fig.6 Recognition accuracy of different participants

表3 不同腦電處理方法下的平均分類預測準確率

本文對于腦電數據采用CSP+SVM方法進行預處理后對SVM算法進行訓練，對于眼動數據進行特征提取，選取注視點位置(FX&FY)、瞳孔直徑(PD)、注視時間(FT)和眼跳幅度(SA)4類眼動特征采用SVM算法進行訓練，采用交叉對比法確定SVM算法參數，訓練集識別結果見表4。

由D-S理論，本實驗中3種認知意圖構成一個識別框架Θ={左移,右移,發射導彈}，采用表4中20名受試者樣本平均值作為識別準確率，則有{p1,p2}={0.874,0.770}，眼動和腦電識別方法由不知道而產生的不確定性為{m1(Θ),m2(Θ)}={0.126,0.230}。將與訓練樣本對應的測試樣本分別進行SVM算法單獨分類和基于D-S理論的決策級融合分類，識別結果如表5所示。

實驗結果表明，測試樣本識別率較訓練樣本有所下降，但降幅不大，眼動數據準確率下降0.99%， 腦電數據識別準確率下降0.72%，這表明SVM算法具有較強的泛化能力。比較眼動與腦電數據識別準確率，發現眼動數據識別準確率顯著高于腦電數據識別準確率(P<0.005)，說明眼動數據對人機交互意圖識別準確率高于腦電數據。基于D-S證據理論對數據進行決策級融合后識別準確率最高可達96.03%，平均識別準確率可達92.34%， 高于僅依靠眼動或腦電數據的識別準確率，且數據識別準確率標準差僅為1.82， 表明基于D-S理論的數據融合方法對樣本敏感性低，泛化能力強，驗證了D-S理論在多生理信息的意圖識別方面有優勢，從圖6和圖7中也可看出基于D-S證據理論的決策級融合方法具有準確率高、對樣本敏感性低、泛化能力強的特點，可用于下一步飛行器和武器系統人機交互系統自適應設計。

表4 訓練集腦電和眼動數據識別準確率

表5 基于D-S理論的分類識別準確率

圖7 不同腦電處理方法識別準確率Fig.7 Recognition accuracy of different EEG processing methods

4 結 論

1) 采用眼動信號特征越多，識別準確率越高，采用(FX&FY)&瞳孔直徑&注視時間&眼跳幅度組合的人機交互意圖識別準確率可達87.42%。

2) 4種腦電特征提取方法中，CSP+SVM方法識別人機交互意圖準確率最高，平均準確率可達76.81%。

3) 提出了基于D-S證據理論的腦電眼動信息融合人機交互意圖識別方法，能夠識別用戶的人機交互意圖，平均準確率可達92.34%。基于D-S證據理論的腦電眼動信息融合人機交互意圖識別方法具有準確率高、泛化能力強的特點。

[21] PARK U, MALLIPEDDI R, LEE M, et al. Human implicit intent discrimination using EEG and eye movement[C]∥ International Conference on Neural Information Processing, 2014: 11-18.