基于PSD特征的FBCCA腦電信號識別方法

張學軍, 楊京儒

(1.南京郵電大學電子與光學工程學院, 南京 210023; 2.南京郵電大學柔性電子(未來技術(shù))學院, 南京 210023)

腦機接口(brain computer interface,BCI) 是指通過檢測大腦活動時產(chǎn)生的腦電波,實現(xiàn)大腦直接與外部設(shè)備進行通信和控制,而大腦外周神經(jīng)和肌肉不參與外部設(shè)備的互動[1-2]。BCI系統(tǒng)首先對被試在不同的認知任務(wù)下的腦電信號進行相關(guān)的特征提取,再對提取出來的特征通過相關(guān)的分類器進行分類,最后根據(jù)分類的結(jié)果生成控制命令,將控制命令發(fā)送給被控對象,實現(xiàn)腦控外部設(shè)備的功能[3-4]。因此,腦機接口在醫(yī)療康復等方面有著重要的應用[5]。除傳統(tǒng)的功能恢復和嚴重運動障礙患者的神經(jīng)康復領(lǐng)域,BCI系統(tǒng)還被廣泛應用于環(huán)境控制、運動娛樂和情緒識別[6-7]。而在腦機接口中,低成本、無創(chuàng)傷的頭皮腦電(electroencephalogram,EEG)受到研究者們的廣泛關(guān)注[8]。與其他非侵入性神經(jīng)成像方法,如功能性近紅外光譜、功能性磁共振成像、腦磁圖等相比,腦電圖具有時間分辨率高、易于獲取、成本低等優(yōu)點[9]。

在基于腦電圖的腦機接口研究中,有幾種常用的無創(chuàng)電生理信號源可作為腦機接口系統(tǒng)的控制信號,如穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential,SSVEP)[10]、皮層慢電位[11]、事件相關(guān)同步[12]、P300誘發(fā)電位[13]。其中,SSVEP是EEG中最常見的一種神經(jīng)生理信號,與其他電生理信號源相比,基于SSVEP的BCI具有較高的信息傳遞率(ITR)、信噪比(SNR)和分類精度[14]。

SSVEP是指當用戶在受到按照一定頻率(一般大于4 Hz)閃爍的目標刺激時,在用戶大腦的枕葉區(qū)產(chǎn)生的與刺激頻率一致的準周期振蕩電平信號。一般基于SSVEP的BCI包含多個命令,每個命令對應一個特定頻率的刺激。因此,用戶可以通過連續(xù)注視不同的目標刺激來輸出命令[15]。

在檢測和提取SSVEP的特征中,常見的算法有離散傅里葉變換[16]、短時傅里葉變換[17]、功率譜密度分析(power spectral density,PSD)[18]、典型相關(guān)分析(canonical correlation analysis,CCA)[19]等,其中CCA具有效率高、信噪比好、實現(xiàn)簡單、學科間可變性低、可以使用諧波頻率、不需要訓練要求等優(yōu)點[20]。

在標準CCA方法的基礎(chǔ)上,近年來提出了一些擴展的CCA的方法,如CCA系數(shù)聚類分析、基于單個模板的CCA[21]、多路CCA[22]和濾波器組的典型相關(guān)分析(filter bank canonical correlation analysis,FBCCA)等。Lee等[23]發(fā)明了一種基于FBCCA的自適應窗口SSVEP分類方法,有效地提高了SSVEP信號的識別準確率。但通過標準CCA和FBCCA進行SSVEP的特征提取與分類時,比較的是一組選定導聯(lián)的SSVEP信號和參考信號之間的相關(guān)性系數(shù),并沒有充分利用每個導聯(lián)的單獨特性。

使用PSD分析來進行SSVEP的特征提取雖然能夠完整利用單個導聯(lián)的特性,但是存在噪聲影響大,沒有利用導聯(lián)組整體特性,識別準確率低的問題。

為了提高SSVEP特征提取的準確率,充分利用每個導聯(lián)的單獨特性與導聯(lián)組的整體特性,提出一種基于PSD的FBCCA穩(wěn)態(tài)視覺誘發(fā)電位腦電信號識別方法。為驗證基于PSD特征的FBCCA腦電信號識別方法的效果,通過采集8名被試的SSVEP腦電信號,對采集到的腦電信號使用基于PSD特征的FBCCA腦電信號識別方法進行分類實驗。同時使用PSD、CCA、FBCCA的方法對采集到的腦電信號進行分類處理與比較?；赑SD特征的FBCCA腦電信號識別方法可以提高SSVEP識別的普適性與準確率,為腦機接口系統(tǒng)控制設(shè)備的實際應用領(lǐng)域提供了一種新的思路。

1 基于PSD的FBCCA目標識別算法

1.1 信號預處理

采集到的SSVEP信號需要經(jīng)過預處理來去除噪聲,提高后續(xù)的分類準確率。因為采集的SSVEP信號刺激頻率均處于5～17 Hz,為減少后續(xù)分析時諧波分量的丟失,因此首先將采集到信號通過4～90 Hz的帶通濾波器進行濾波。同時為了降低系統(tǒng)工作時的工頻干擾,將處理過的信號再經(jīng)過一個50Hz陷波濾波器進行濾波。

1.2 典型相關(guān)性分析

CCA 屬于多元統(tǒng)計學,能夠研究變量對之間的相互關(guān)系,通過對變量之間的互協(xié)方差矩陣的研究來定量反映兩組指標之間的整體相關(guān)性。CCA方法是針對兩組多維變量信號X、Y,找到一組矢量WX、WY,使得x=XTWX,y=YTWY并且X和Y的相關(guān)性最大。而對于WX和WY,存在如式(1)所示的關(guān)系。

(1)

式(1)中:ρ為相關(guān)性,當ρ取最大值時,即可求得WX和WY的最大典型相關(guān)系數(shù)。

將CCA應用于SSVEP信號的分析時,一般將X設(shè)定為一組多導聯(lián)的腦電信號,而Y設(shè)定為一組對應的參考信號。

(2)

式(2)中:Nh為諧波數(shù)量;f為對應刺激頻率;t為時間。

可以通過計算得出多導聯(lián)腦電信號和參考信號的最大典型相關(guān)系數(shù),而最大典型相關(guān)系數(shù)所對應的頻率就是 SSVEP 信號的識別結(jié)果。

1.3 濾波器組典型相關(guān)分析

FBCCA是針對CCA算法在分析SSVEP信號時會忽略諧波分量而進行改進的算法。FBCCA首先通過具有不同通帶的N個帶通濾波器對原始腦電信號進行子帶分解,濾波器分解出的子帶分量為XSBn,其中n為濾波器對應序號,n=1,2,…,N。再對每一個子帶分量分別應用標準CCA處理,得到子帶分量與所有刺激頻率對應的參考信號之間的相關(guān)值Yfk,其中,k為參考信號對應序號,最后通過計算得出N個相關(guān)值組成的相關(guān)向量ρk,可表示為

(3)

再通過ρk計算出所有子帶相關(guān)性系數(shù)的加權(quán)平方和Wρk,可表示為

(4)

式(4)中:w(n)為對應子帶分量的權(quán)值,其中n∈[1N],

w(n)=n-a+b

(5)

式(5)中:a、b為調(diào)參系數(shù),當a取1.25,b取0.25時,可以使FBCCA分類準確率達到最大[23]。

對應不同的參考信號k,求出最大的Wρk,其所對應的頻率就是 SSVEP 信號的識別結(jié)果。

1.4 功率譜密度分析

PSD分析是針對在SSVEP中不同刺激頻率使用戶產(chǎn)生頻率不同的響應的這一特點所設(shè)計的。

假定有K個不同頻率的刺激信號,它們的刺激頻率分別是f1、f2,…,fK。對預處理完的SSVEP信號進行快速傅里葉變換,求取到信號的功率譜密度P(fk),其中k=1,2,…,K。

通過給定頻率fk的功率譜密度P(fk)與其n個相鄰的頻率的功率譜密度的比值計算出SSVEP信號的信噪比SNK(fk),計算公式為

(6)

式(6)中:n的取值為偶數(shù);s為頻率分辨率,s=采樣率/采樣點數(shù);q為中間變量。

將求取出的SNK(fk)進行比較,其中,最大的SNK(fk)對應的頻率fk即認定為SSVEP信號的識別結(jié)果。

1.5 基于PSD的FBCCA目標識別算法

為功率譜密度均值圖1 基于PSD的FBCCA的目標識別算法流程圖Fig.1 Flow chart of target recognition algorithm of FBCCA based on PSD

步驟1SSVEP腦電信號采集。由于SSVEP響應主要在枕葉視覺區(qū),因此采集O1、OZ、O2、PO3、POZ、PO4、PO5、PO7這8個導聯(lián)。

步驟2SSVEP腦電信號預處理。將采集到的腦電信號進行預處理,首先將采集到信號通過4～90 Hz的帶通濾波器進行濾波。再將處理過的信號再經(jīng)過一個50 Hz陷波濾波器進行濾波。

步驟3濾波器組進行子帶分解。采用的帶通濾波器組有9個子頻帶,其中第n(n=1,2,…,9)個子頻帶為從[(n-1)10+5] Hz頻率開始,到90 Hz結(jié)束。在實現(xiàn)帶通濾波時,每個子帶在通帶兩側(cè)增加2Hz的額外帶寬。將經(jīng)過預處理的SSVEP腦電信號放入濾波器組進行子帶分解。

步驟4FBCCA分析。根據(jù)刺激頻率設(shè)置參考信號,參考信號的諧波數(shù)量設(shè)置為90/f取整。通過式(4)計算出信號與參考信號的所有子帶相關(guān)性系數(shù)的加權(quán)平方和Wρk,再根據(jù)對應不同參考信號的Wρk進行大小排序,找出最大的3個Wρk對應的參考信號頻率f1、f2、f3,并記錄下它們Wρk為Wρ1、Wρ2、Wρ3。

(7)

表對應可信度Cl增值的對比結(jié)果Table 1 Comparison results of to the increase of credibility Cl

2 實驗數(shù)據(jù)

2.1 實驗范式設(shè)計

實驗采用黑白色塊翻轉(zhuǎn)的穩(wěn)態(tài)視覺刺激誘發(fā)范式。利用E-prime實現(xiàn),分辨率為 1 920×1 080 像素,刷新率為144 Hz的顯示器作為輸出。屏幕背景為白色,刺激色塊大小為300×300像素。在每次刺激開始前,為受試者提供注視點,并給予受試者足夠的休息時間。

當受試者準備完成后,由受試者主動按下鍵盤。為了防止受試者肢體移動所帶來的肌電影響,在受試者按下按鍵后,系統(tǒng)會在之后5～10 s后的隨機時間段里,在注視點處放出刺激色塊。刺激色塊的閃爍頻率為5、6、7、8、9、11、13、17 Hz隨機出現(xiàn)。在一輪刺激中,每種刺激頻率均會出現(xiàn)5次,一共給予受試者40次刺激,每次刺激時長為5 s。在一次刺激結(jié)束后,為防止受試者出現(xiàn)視覺疲勞等情況,系統(tǒng)將進入為受試者提供注視點的界面。等待受試者準備完成,按下按鍵后再進入下次的刺激階段。

實驗共招募8名視力或是矯正視力正常的健康被試(S1～S8)。被試者的年齡均處于22～24歲。每名被試在接收實驗時均保證睡眠充足,精神狀態(tài)良好。實驗開展時,保證處于安靜的環(huán)境。被試需要在實驗進行過程中保持舒適坐姿,與顯示器保持0.5～1 m的距離。實驗場景如圖2所示。

圖2 實驗場景Fig.2 Experimental scene

在采集SSVEP信號時,要求被試盡量保持平靜并減少眨眼、咀嚼等肌肉運動活動。每名受試者進行兩輪實驗,每輪實驗間為受試者提供至少1 h的休息時間,直到受試者得到充分的休息為止。

2.2 信號采集

實驗采用Neuroscan公司生產(chǎn)的腦電64-256導腦電采集系統(tǒng),電極帽采用Neuroscan的Quik-Cap64導電極帽。信號采樣率設(shè)定為1 kHz,電極分布按照國際標準的10-20電極安放法放置,電極編號如圖3中字母與數(shù)字所示。實驗一共采集枕葉區(qū)的O1、OZ、O2、PO3、POZ、PO4、PO5、PO6這8個導聯(lián)的腦電信號。采集導聯(lián)分布如圖3中橢圓圈出部分所示。

字母與數(shù)字為電極編號,如P2、PO4、F1等;橢圓圈出部分為采集導聯(lián)分布圖3 采集導聯(lián)分布示意Fig.3 Distribution diagram of acquisition channels

為了去除肌電、眼電,還采集了M1、M2、VEOU、VEOL、HEOL、HEOR這6個特殊導聯(lián)。腦電采集軟件采用Curry7,在完成原始信號采集后,使用Curry7完成原始信號中的肌電、眼電的去除。

3 實驗結(jié)果分析

3.1 比較方法介紹

為了驗證所提方法,設(shè)置以下3種方法來處理同一數(shù)據(jù)集作為對比。

(1)功率譜密度分析的方法(PSD),直接提取出SSVEP信號中的功率譜密度特征,選取和刺激頻率相匹配的幾個特定的頻段的功率信息,通過對不同頻段的功率譜密度的大小進行比較,最后完成對實驗信號的分類。

(2)典型相關(guān)性分析(CCA)的方法,直接對SSVEP信號進行典型相關(guān)性分析,計算出信號與參考信號間的相關(guān)系數(shù),完成信號的分類。

(3)濾波器組典型相關(guān)性分析(FBCCA)的方法,先將SSVEP信號投入設(shè)置好的濾波器組中,提取出包含相關(guān)諧波特征的子帶,再使用CCA來計算出子帶信號與參考信號間的相關(guān)系數(shù),最后求取所有子帶和參考信號的相關(guān)性系數(shù)的加權(quán)平方和,完成信號的分類。

實驗對比的參考標準主要為信號的分類準確率與信息傳輸率。

3.2 分類準確率分析

實驗的計算在MATLAB R2020a環(huán)境中進行。8名受試者均進行了兩次實驗,共采集到640組實驗信號。為了充分驗證所提出的針對SSVEP信號識別算法的有效性,將采集到的實驗信號通過0.5、1、1.5、2、2.5、3 s的時間窗,時間窗截取設(shè)置為有效實驗信號2.5 s處,前后對稱截取對應時間長度。對通過時間窗截取的實驗信號分別通過PSD的方法、CCA、FBCCA和FBCCA與PSD分析結(jié)合的目標識別方法進行分類處理,統(tǒng)計受試者在不同時間窗長度的平均識別準確率,結(jié)果如圖4所示。

圖4 不同時間窗長度識別準確率比較Fig.4 Comparison of recognition accuracy of different time window lengths

從圖4可以看出,FBCCA與PSD分析結(jié)合的目標識別方法擁有最高的平均分類準確率。在時間窗較短時,0.5 s時,FBCCA與PSD分析結(jié)合的目標識別方法的準確率為66.47%,優(yōu)于CCA的62.61%和FBCCA的63.98%。并且與PSD分析方法的67.02%準確率結(jié)果相近。在時間窗長度為1 s時,FBCCA與PSD分析結(jié)合的目標識別方法的準確率為86.61%,優(yōu)于PSD分析方法的81.17%,CCA的76.23%和FBCCA的77.75%。而在時間窗較長時,3 s時,FBCCA與PSD分析結(jié)合的目標識別方法的準確率要大幅優(yōu)于CCA和PSD分析的方法,且略優(yōu)于FBCCA的方法,準確率達到94.78%。

在時間窗長度較短時,實驗信號依然能夠保存較完整的功率譜特征,如圖5所示,對刺激頻率為5 Hz,時間窗長度為0.5 s時OZ導聯(lián)的信號進行功率譜分析,可以看到其功率譜密度特征仍十分明顯。

圖5 刺激頻率5 Hz,時間窗0.5 s的OZ導聯(lián)功率譜密度Fig.5 Power spectral density of OZ channel with stimulation frequency of 5 Hz and time window of 0.5 s

因此FBCCA與PSD分析結(jié)合的目標識別方法能夠保證在短時間窗情況下依然有較高的分類準確率。而在時間窗長度較長時,FBCCA擁有很高的識別準確率,保證了FBCCA與PSD分析結(jié)合的目標識別方法在長時間窗下的識別準確率。

將時間窗長度固定為3 s,統(tǒng)計不同刺激頻段的實驗信號在功率譜密度分析的方法、CCA、FBCCA和FBCCA與PSD分析結(jié)合的目標識別方法進行分類處理后的平均準確率,結(jié)果如圖6所示。

圖6 3 s時間窗的識別準確率與刺激頻率的關(guān)系Fig.6 Relationship between recognition accuracy of 3 s time window and stimulation frequency

從圖6可以看出,在低頻段部分,這4種算法都有較高的識別準確率,但隨著刺激頻率的升高,只有FBCCA與PSD分析結(jié)合的目標識別方法依然保持較高的識別準確率。這是因為隨著刺激頻率的升高,SSVEP的響應峰值會有所降低,只用PSD分析的方法不能很好的從信號中分辯出響應的頻率特征。而FBCCA與PSD分析結(jié)合的目標識別方法通過FBCCA分析,能夠?qū)㈨憫l率鎖定在3個頻段,再使用PSD分析,因此能夠得到較好的分類結(jié)果。

3.3 信息傳輸率分析

計算這4種方法的信息傳輸率ITR[24], 計算公式為

(8)

式(8)中:T為時間窗長度;N為參與分類的刺激頻率數(shù);Pc為分類準確率。

由于每個被試的注意轉(zhuǎn)移時間不同,因此計算ITR時使用的實際為SSVEP信號時長加0.5 s的注意轉(zhuǎn)移時間。

經(jīng)過計算,4種分類方法和時間窗長度對應的ITR如表2所示。

表2 不同時間窗長度對應的ITR比較Table 2 Comparison of ITR corresponding to different time window lengths

當SSVEP信號長度為1 s時,FBCCA與PSD結(jié)合的目標識別方法的ITR達到80.90 bit/min,比PSD、CCA和FBCCA均有較大提升。

4 結(jié)論

(1)針對傳統(tǒng)的CCA和FBCCA進行SSVEP的特征提取與分類時,沒有充分利用每個導聯(lián)的單獨功率譜密度特征信息;而使用PSD分析沒有利用導聯(lián)組整體特性的缺點,提出一種基于FBCCA與PSD分析的SSVEP識別算法,此算法利用FBCCA尋找到與目標SSVEP信號相似的參考信號,根據(jù)參考信號選擇對應的濾波器組,讓目標信號經(jīng)過濾波器組,來降低噪聲的影響,最后通過PSD分析來鎖定最終的響應頻率,完成SSVEP信號分類的方法。

(2)實驗結(jié)果表明,本文算法在針對較短時間窗的SSVEP進行分類時,即可達到很好的分類效果。在時間窗口長度為0.5 s時,本文算法就能達到66.47%,優(yōu)于PSD、CCA和FBCCA的分類準確率。針對刺激頻率的變化,此算法可以在刺激頻率為5～17 Hz保證較高的識別準確率與穩(wěn)定性。同時此算法在時間窗口長度達到1 s時,信息傳輸率可以達到80.90 bit/min。表明所提出的一種基于FBCCA與PSD分析的SSVEP識別算法適用于SSVEP信號的分類,可以進一步提高分類的準確率,有較強的穩(wěn)定性,能夠達到較高的信息傳輸率。為SSVEP腦-機接口在分類準確率和穩(wěn)定性提高等方面提供了實驗借鑒。