基于多特征融合的多分類運動想象腦電信號識別研究

駱金晨，姜 月，胡秀枋，鄒任玲,2*

(1.上海理工大學 醫療器械與食品學院,上海 200093;2.民政部神經功能信息與康復工程重點實驗室 ，上海 200093)

腦-機接口(Brain-Computer Interface,BCI)將人類的意圖轉換為控制信號，實現人腦與外部設備之間建立信息交流與控制[1]。該系統在輔助控制[2]、疾病康復[3-4]、生活娛樂[5]等領域均有著廣泛的應用前景。而BCI技術實現的關鍵依賴于腦電信號的高識別率，因此腦電信號(Electroencephalogram,EEG)提取方法的優化是目前BCI研究的重點,尤其基于運動想象腦電信號特征提取和分類器的優化識別。

近幾年來，多特征融合因能表征更多的有效腦電信息而成為多分類運動想象的研究熱點之一。其中代表性的有: Sreeja等[6]提出一種基于稀疏表示的分類方法來對運動想象腦電信號進行多分類識別，該方法直接從分段的運動想象數據中計算小波能量并構造字典，使用來自字典的稀疏表示進行分類，獲得了90%的平均正確率。陸振宇[7]等人提出一種基于多特征融合的運動想象腦電分類方法，提取AR模型系數、小波包熵差和方差作為特征，經LDA獲得91.43%的識別準確率。KWON-WOO H[8]等人提出了一種通過膠囊網絡(CapsNet)學習EEG的各種屬性來實現運動想象腦電信號分類方法，實驗驗證了CapsNet優于卷積神經網絡(CNN)和其他傳統機器學習方式，并獲得了78.44%的平均正確率。鄒曉紅[9]等人提出一種基于局部均值分解(LMD)和多尺度熵(MSE)相結合的腦電信號分類識別方法，將6維的融合特征向量作為SVM的輸入，相比于采用傳統的共空間模式(Common Spatial Pattern,CSP)特征提取算法和AR特征提取算法，最優識別率能達到85.21%。

在閱讀相關文獻的基礎上,本研究提出在EMD基礎上與希爾伯特(Hilbert Transform，HT)相結合的希爾伯特-黃變換(Hilbert-Huang Transform，HHT)，獲得重構前三階內蘊模態函數(Intrinsic Mode Function,IMF)能量、邊際譜熵，用“一對一”共空間模式(OVO-CSP)獲得空間域特征，選取近似熵(Approximate Entropy)、模糊熵(Fuzzy Entropy)和樣本熵(Sample Entropy)作為非線性動力學特征，將組合的時-頻-空-非線性融合特征向量采用主成分分析(Principle Component Analysis,PCA)降維，后作為優化后SVM分類器的輸入，獲取算法仿真識別率,來驗證本研究方法在四分類腦電信號識別研究的可靠性。整個算法流程圖(見圖1)。

圖1 算法流程圖Fig.1 Flow chart of algorithm

1 實驗源數據

實驗數據采用2005年第三屆國際BCI競賽中由Graz科技大學提供的腦電數據(data set IIIa)，共采集了三名受試者的腦電信號，k3b，k6b和l1b。以第一位受試者k3b作為本次研究對象。在實驗采集過程中，受試者以放松狀態坐在椅子上，分別執行想象左手、右手、腳或舌頭動作，提示是隨機出現的，實驗由至少6輪組成，每輪試驗40次，四種提示在每輪中分別被顯示10次。如圖2所示，試驗開始后，前2 s為安靜狀態，在t=2 s時，有一個聲音刺激表明實驗開始，十字形“+”出現，從t=3 s，一個向左、向右、向上或向下的箭頭被顯示1 s，同時，要求受試者分別想象左手、右手、舌頭或腳部運動，直到箭頭在t=7 s時消失。信號采用Neuroscan公司的64通道腦電放大器進行記錄，采集通道為其中的60個通道，信號采樣率為250 Hz,采用陷波濾波器進行1-50 Hz信號濾波。

圖2 實驗范式的時序圖Fig.2 Experimental paradigm sequence diagram

2 特征提取方法

特征提取對于多分類運動想象識別有著至關重要的影響。本研究進行左手、右手、舌頭、腳的運動想象四分類數據特征提取，其采用的特征提取方法是分別提取時-頻特征、空間域特征以及非線性動力學特征后進行多特征融合處理。

2.1 希爾伯特-黃變換

HHT因具有完全自適應性優勢，非常適合分析非線性、非平穩的EEG信號。本研究采用EMD基礎上與希爾伯特(Hilbert Transform，HT)相結合的希爾伯特-黃變換融合算法，主要由經驗模態分解 (Empirical mode decomposition, EMD)和 HT算法組成[10]。將預處理后的EEG信號經EMD分解生成IMF，再進行Hilbert譜分析得到每個IMF的能量譜和邊際譜熵[11]。

HHT對預處理后的腦電信號x(t)的處理步驟如下[12-13]：

(1)找出x(t)的所有極值點并進行插值，計算包絡線平均值：

(1)

(2)用x(t)減去包絡線平均值m1(t)得到疑似IMF分量h1(t)，判斷h1(t)是否符合IMF兩個條件，若條件符合，則將h1(t)視為一個IMF分量c1(t)，若不符合，將h1(t)代替x(t)重復上述步驟k次找出c1(t)，用x(t)減去c1(t)得到一個去掉高頻成分的新信號r1(t)。

r1(t)=x(t)-c1(t)

(2)

(3)將r1(t)看做是x(t)，重復上述步驟，由此x(t)可表示為一組IMF和一個殘余項和

(3)

(4)將每一個IMF進行Hilbert變換得到相應的Hilbert譜疊加得到EEG信號的Hilbert譜，其Hilbert變換為：

(4)

2.2 CSP優化擴展

采用“一對一”(One Versus One，OVO)方法對CSP算法做多分類擴展[14]。采用OVO-CSP方法對四分類運動想象腦電信號進行空域特征提取。該方法將多分類拆分為若干個二分類問題，故對用于二分類的CSP傳統算法具體實現過程做說明。

(1)求兩類數據的空間協方差矩陣

(5)

(6)

(3)對混合空間協方差矩陣按式進行特征值分解、白化處理得具有相同特征向量的S1和S2，再對特征向量S1和S2分別進行特征值分解處理。

S1=Bλ1BTS2=Bλ2BT

(7)

B是S1和S2共同的特征向量，特征值之和為1。

(4)構建空間濾波器后對腦電信號矩陣Ei濾波得Zi，將Zi進行如下運算后作為特征值：

(8)

其中p=1,2,....,2m(2m

2.3 近似熵

采用近似熵作為非線性動力學特征之一，是基于近似熵具有量化EEG信號的規律性和不可預測性優勢,可以表示EEG信號的復雜度，反映信號中新信息發生的可能性大小[16]。近似熵對預處理后EEG信號x(t)的處理步驟如下：

(1)對N維原始信號時間序列為等時間間隔采樣，重構m維向量X(1),X(2),...,X(N-m+1)，其中X(i)=[u(i),u(i+1),...,u(i+m-1)]。

(2)對于i=1,2,...,N-m+1，統計滿足以下

滿足條件的向量個數

(9)

(3)定義

(10)

(4)則可將近似熵定義為

ApEn=Φm(r)-Φm+1(r)

(11)

式中通常設置參數m=2或m=3，m=3能更細致地重構系統的動態演化過程；r值主要取決于應用場合，通常選擇r=0.2*std(std為時間序的標準差)。

2.4 模糊熵

采用模糊熵作為非線性動力學特征之一，模糊熵是于沐涵等[17]人針對提取熵值不連續問題而提出的一種改進算法，在繼承樣本熵優點的同時，減少對時間序列長度的依賴性。其因具有較好的連續性和魯棒性，可有效用于腦電時間序列的分析中。模糊熵對預處理后腦電信號x(t)的處理步驟如下：

(1)給定的N維信號時間序列與近似熵相同，定義相空間維數為m(m

X(i)=[u(i),u(i+1),...,u(i+m-1)]-u0(i)

(12)

(2)引入模糊關系函數A(x)，并計算

(13)

(14)

(4)則可將模糊熵定義為

FuzzyEn=lnΦm(r)-lnΦm+1(r)

(15)

2.5 樣本熵

采用樣本熵作為非線性動力學特征之一，是Richman等[18]人基于樣本熵是在近似熵的基礎上改進而來的一種新的統計族，它是一種衡量信號時間序列復雜度的算法[19]。樣本熵對預處理后腦電信號x(t)的處理步驟如下：

(16)

(3)令k=m+1，重復樣本熵的第一步和第二步，可得

(17)

(4)則可將樣本熵定義為

(18)

3 運動想象腦電信號的處理

3.1 預處理

腳部運動想象與中央的Cz區域相關，其頻率段為7～8 Hz和20～24 Hz，舌頭運動想象與C3、C4較接近，其頻率段為10～11 Hz。本研究通過相關的計算值貢獻，確定使用24、25、28(C3)、31(Cz)、34(C4)、41共六個通道數據。采用FIR等波紋濾波器分別對包含180次的試驗樣本進行7～30 Hz帶通濾波。本次試驗選取每次8 s試驗中的4～7 s數據進行研究是因為3 s以前的EEG信號與運動想象無關，并且與受試者的反應時間發生重疊。左右手運動想象時預處理后的六個通道信號(見圖3)。

3.2 特征提取與融合

(1)將每次試驗的6個通道的原始數據經EMD分解，以某次試驗第一個通道的EMD分解情況為本次特征提取對象，該通道的IMF的波形(見圖4a)，可明顯看出能量主要集中在前三階IMF。因EMD具有完備性，為避免出現特征維數過高的情況，可將EMD分解后信號進行重構處理。該信號前三階IMF正向重構后波形，重構后的信號包含絕大部分有用腦電信號(見圖4b)。將得到的6維能量特征向量F1=[E1,E2,E3,E4,E5,E6]進行Hilbert變換，得到時頻譜和邊際譜，并計算邊際譜熵，得到每次樣本的6維邊際譜熵特征向量F2=[S1,S2,S3,S4,S5,S6]。Hilbert譜對時間積分的Hilbert邊際譜圖(見圖5)，可明顯看出每個頻率點的累積幅值分布，較準確的反應了信號的實際頻率成分。

圖3 左手運動想象的預處理后信號Fig.3 Preprocessed signal of left hand movement imagination

圖4 EMD分解得到IMF和 IMF1至IMF3正向重構后信號Fig.4 EMD decomposition to IMF and IMF1 to IMF3 are forward reconstructed

(2)使用OVO-CSP算法提取多空域特征值，分別對 “左手與右手”、“左手與舌頭”、“左手與腳”、“右手與舌頭”、“右手與腳”和“舌頭與腳”6個組合進行CSP處理，獲得 48維特征向量，即F3=[f1,f2,f3,...,f48]。

(3)使用近似熵、模糊熵跟樣本熵作為本研究的非線性動力學特征。三種算法中的嵌入維數m和相似容限值r的參數設分別設為2和0.50，獲得3維非線性動力學特征向量，即F4=[ApEn,FuEn,SamEn]。180次樣本近似熵、模糊熵跟樣本熵的對比圖(見圖6)，可以看出藍色的近似熵整體值偏低，綠色的模糊熵相對偏高，且同一熵值在不同樣本之間的差異也較明顯，證明將其作為特征向量是可行的。

時-頻、空間域和非線性動力學特征向量融合成63維特征向量F，高維特征向量由于容易出現“維數災難”，且不利于后期分類器分類，故需要通過降維來剔除對分類貢獻值較小的特征向量，本次試驗把特征向量貢獻率設置為85.00%，將特征向量F經PCA降維得到16維新的特征向量。

圖5 HHT邊際譜圖Fig.5 HHT marginal spectrum

圖6 三種非線性動力學特征對比圖Fig.6 Comparison of three nonlinear dynamics characteristics

4 基于SVM的腦電信號分類識別

目前，運動想象識別分類主要采用(Linear discriminant analysis,LDA)線性判別分析和SVM兩種方法[20]，有文獻表明，基于參數尋優的SVM在單次運動想象識別分類中的效果較好[21]。本研究選取了網格搜索算法(Grid Search，GS)、遺傳算法(Genetic Algorithm，GA)、粒子群優化算法(Particle Swarm Optimization，PSO)三種SVM尋優法進行對比研究。

基于GS尋優法得到的GS-SVM多分類參數選擇結果等高線(見圖7)，不同的懲戒因子C與核參數g組合得到不同的準確率，當懲戒因子C為2.00，核參數g為0.35時可取得最大分類準確率為81.70%。基于GA尋優法得到的GA參數尋優適應度曲線(見圖8a)，從圖中可以看出隨著迭代次數的不斷增大，適應度即分類準確率也在不斷增加，最佳適應度在進化至45代后趨于穩定，當懲戒因子C約為2.56、核參數g約為0.29時最優，可得最大分類準確率為91.70%。基于PSO尋優法得到的PSO參數尋優適應度曲線(見圖8b)，從圖中可以看出最佳適應度隨著進化代數的不斷增加而增加，在36代后趨于穩定，在進化至200代時迭代結束，當懲戒因子C約為8.50、核參數g約為24.45時最優，可得到最大分類準確率為93.00%。

圖7 多分類GS-SVM參數選擇結果(等高線圖)Fig.7 Multi-class GS-SVM parameter selection results (contour map)

圖8 GA參數尋優適應度曲線圖和PSO參數尋優適應度曲線圖Fig.8 GA parameter optimization fitness curves and PSO parameter optimization fitness curve

將數據集中的k6b、l1b和k3b三個受試者數據經多特征提取融合后，分別送入GS-SVM、GA-SVM、PSO-SVM分類算法中識別分類。實驗顯示PSO-SVM的識別準確率最高，其最大分類準確率為93.30%，故選取PSO-SVM為本研究的最終識別分類算法。三種參數尋優算法下的識別率對比情況(見表1)。

表1 三種參數尋優算法下的識別率Table 1 Recognition rates of three parameter optimization algorithms %

5 結論與分析

為了驗證本研究提出算法的有效性，一是以BCI2005 Data set IIIa的k3b數據集為例進行驗證，二是通過運動想象腦電采集實驗獲得四名受試者數據進行驗證。

對k3b數據使用PSO-SVM分別對單一特征、兩兩組合特征、三組合特征和四組合特征進行識別分類結果(見表2)，當四種特征結合時，識別率達到了89.90%，但該特征向量維數過高，易造成“維數災難”，而本研究采用的多特征融合方法，達到了93.30%的準確率，明顯高于其它15種方法，驗證了將多特征融合與PSO-SVM結合作為多分類腦電信號識別的有效性。

表2 不同特征的識別率對比Table 2 Comparison of recognition rates of different features %

采用美國Neuro Scan公司的腦電信號采集系統進行運動想象腦電采集實驗，共獲得四名身體健康的受試者腦電數據，包括2名男生和2名女生，分別記作A、B、C、D。實驗一天內完成，將實驗分兩輪進行，每人每輪進行100次運動想象，其中想象左手拍籃球、右手拍籃球、舌頭動、右腳踢足球各25次，構成四組各200次樣本的數據集，選擇140個樣本為訓練集，60個樣本為測試集。將四名受試者數據經多域特征融合處理后分別送入OVO-SVM、GS-SVM、GA-SVM、PSO-SVM、ELM不同分類器識別，實驗結果可以看出基于多特征融合的PSO-SVM取得四名受試者平均識別率為72.96%，在五種分類器中識別率最高(見圖9)。

圖9 多分類數據使用不同分類器識別率對比圖Fig.9 Comparison of multi-class data using different classifier recognition rates

利用EMD、HHT、OVO-CSP、近似熵、模糊熵和樣本熵進行多域特征提取，獲取EEG信號的時-頻域、空間域和非線性動力學特征信息，后經PCA降維后，將多特征融合向量送入PSO-SVM算法中分類。利用國際標準數據集BCI2005 Data set IIIa提供的四分類腦電數據使用本文提出的算法，最終得到93.30%的識別率。通過兩種具體方式驗證了多特征融合及PSO-SVM分類算法的有效性，為便攜式腦機接口提供了一種新思路。本研究不僅對非穩定、非線性類信號的分析研究具有一定的借鑒意義，而且對于腦電信號與其它多生理電信號融合研究也具有一定的參考價值，未來可增加誘發腦電的刺激種類，引入其他類型的信號，以獲得多種待識別的模式。