廣義任務(wù)相關(guān)成分分析的SSVEP研究

韓 丹，董艷清，高程昕，曹 銳

太原理工大學(xué) 軟件學(xué)院，山西 晉中 030600

腦機(jī)接口（brain-computer interface，BCI）系統(tǒng)指在大腦與外部環(huán)境之間構(gòu)建起一條信息傳輸通道，用戶的意圖可以通過腦電信號（electroencephalogram，EEG）反映出來，然后通過系統(tǒng)把它轉(zhuǎn)換成所需要的輸出形式加以利用[1-2]。BCI 已在醫(yī)療、教育、生活以及科研等領(lǐng)域取得了階段性進(jìn)展，另一個(gè)熱點(diǎn)領(lǐng)域是BCI 字符拼寫器，其可以幫助患有嚴(yán)重運(yùn)動障礙（例如肌萎縮側(cè)索硬化癥）的患者通過拼寫器與大腦進(jìn)行交流，而無需肌肉活動[3]。因此，BCI 字符拼寫器的研究對于患者們正常生活和無障礙交流具有重要意義。

當(dāng)用戶受到固定閃爍頻率的視覺刺激時(shí)，誘發(fā)大腦神經(jīng)元產(chǎn)生的EEG 頻率與所受刺激頻率同步，導(dǎo)致相應(yīng)頻率及其諧波的振幅增強(qiáng)，產(chǎn)生穩(wěn)態(tài)視覺誘發(fā)電位（steady-state visual evoked potential，SSVEP）[4]。近年來，基于腦電信號的SSVEP 字符識別系統(tǒng)由于信息傳輸率高（information transfer rate，ITR）、穩(wěn)定性強(qiáng)和用戶操作簡單等優(yōu)勢[5]，成為近年BCI 研究領(lǐng)域中最熱門的應(yīng)用方向之一。SSVEP-BCI 拼寫系統(tǒng)的實(shí)現(xiàn)通常是在靜態(tài)背景下不同位置輸出不同的閃爍刺激頻率來對應(yīng)某個(gè)指令，如用于腦控打字的字母信息等[6]。

基于SSVEP-BCI的算法可分為無監(jiān)督方法和有監(jiān)督方法[7]。無監(jiān)督方法以即插即用的方式識別刺激頻率，如Chen等人[8]提出的典型相關(guān)分析（canonical correlation analysis，CCA）及其濾波器組擴(kuò)展[9]等，以正余弦信號作為參考信號，首次被用于在沒有校準(zhǔn)的情況下進(jìn)行SSVEP 檢測，然而較高的準(zhǔn)確率需要長時(shí)間持續(xù)刺激，會導(dǎo)致用戶視覺疲勞，并且ITR 會有所降低。基于監(jiān)督的方法通常利用個(gè)體的訓(xùn)練數(shù)據(jù)來構(gòu)建其模板和空間濾波器，如Nakanishi等人[10]提出的任務(wù)相關(guān)成分分析（task-related component analysis，TRCA）可以通過最大限度地增強(qiáng)SSVEP-BCI試驗(yàn)之間的可重復(fù)性與SSVEP信號的信噪比（signal-to-noise ratio，SNR），從而提高分類性能，是目前SSVEP分類的主要方法之一，然而在短時(shí)間窗口（time window，TW）下存在識別率較低的問題[11-12]。而在SSVEP 的在線BCI 應(yīng)用中，時(shí)間窗口的魯棒性對于SSVEP 中頻率識別的具有重要意義。此外，有監(jiān)督方法多數(shù)情況下性能優(yōu)于無監(jiān)督方法，但前者的采集數(shù)據(jù)和訓(xùn)練過程過于繁瑣、耗時(shí)。例如由于電極位置、環(huán)境和患者狀態(tài)的變化，癱瘓患者在日常生活中使用SSVEP-BCI 時(shí)記錄EEG 可能無法作為SSVEP 檢測算法的驗(yàn)證數(shù)據(jù)，從而導(dǎo)致BCI系統(tǒng)的低效。如果能夠利用用戶的校準(zhǔn)數(shù)據(jù)，并與無監(jiān)督的SSVEP 檢測算法相結(jié)合，那么分類器就能以較低的訓(xùn)練成本實(shí)現(xiàn)高性能。

因此，本研究針對SSVEP-BCI提出了一種廣義任務(wù)相關(guān)成分分析方法（generalized task-related component analysis，GTRCA），充分利用校準(zhǔn)數(shù)據(jù)、測試數(shù)據(jù)和預(yù)定義數(shù)據(jù)的相關(guān)性來提高字符識別準(zhǔn)確率和信息傳輸率。本文使用清華大學(xué)腦機(jī)接口研究組提供Benchmark 公開數(shù)據(jù)集來評估算法性能。

1 相關(guān)工作

1.1 任務(wù)相關(guān)成分分析

TRCA[10]是用于提高單獨(dú)校準(zhǔn)的SSVEP-BCI 在不同數(shù)據(jù)長度下的性能。算法理念是在空間過濾后最大化任務(wù)相關(guān)組件的可重復(fù)性。其基本假設(shè)是一個(gè)生成模型，其信號模型如下：

其中，x(t)是觀察值，s(t)是任務(wù)相關(guān)分量，n(t)是任務(wù)無關(guān)分量，a1,j和a2,j是任務(wù)相關(guān)組件的混合系數(shù)，Nch是通道數(shù)。s(t)可以通過在空間濾波后最大化試驗(yàn)間協(xié)方差來估計(jì)，h1和h2是指相同任務(wù)下的不同試驗(yàn)：

為了解決優(yōu)化問題，添加了有限方差的二次約束：

然后，可以從廣義瑞利商問題推導(dǎo)出TRCA 空間濾波器：

之后提出的ensemble TRCA 是一種基于TRCA 的集成目標(biāo)識別方法，它采用了一種集成技術(shù)來構(gòu)成最終的空間濾波器：

其中，m表示方法所采用的濾波器組，Nc表示目標(biāo)類數(shù)。由于有Nc個(gè)視覺刺激的單獨(dú)校準(zhǔn)數(shù)據(jù)，因此可以獲得Nc個(gè)不同的空間濾波器。理想情況下，它們應(yīng)該彼此相似，因此可以使用一個(gè)集成的空間濾波器進(jìn)行后續(xù)研究。之后研究中濾波器組技術(shù)已在文獻(xiàn)[10]中得到驗(yàn)證，也可以提高基于TRCA的方法的性能。

1.2 標(biāo)準(zhǔn)典型相關(guān)性分析

CCA 是一種探索兩組多維變量之間潛在相關(guān)性的統(tǒng)計(jì)方法。它計(jì)算兩個(gè)多維隨機(jī)變量A∈Rn×m1和B∈Rn×m2之間的最大相關(guān)性，其中n和m1（或m2）是行號和列號。通過優(yōu)化兩個(gè)權(quán)重向量u∈Rm1×1和v∈Rm2×1來最大化相關(guān)性。優(yōu)化問題可以寫成以下方程：

讓x=Au和y=Bv，上述等式結(jié)果使得皮爾遜相關(guān)系數(shù)corr(x,y)最大化。集合X和Yf表示多通道EEG信號和SSVEP參考信號。令X=A且Yf=B，上述方程式可以計(jì)算腦電信號和參考信號之間的最大相關(guān)性。參考信號由下面公式構(gòu)成：

公式中，fk表示刺激頻率，F(xiàn)s表示采樣率，N表示采樣點(diǎn)數(shù)量，Nh表示SSVEP 信號的諧波數(shù)。由于CCA算法受到SSVEP 的非高斯背景噪聲和諧波的影響，因此其不能充分利用SSVEP的信息。

1.3 平方相關(guān)和

平方相關(guān)和SSCOR[13]是對多視圖數(shù)據(jù)的CCA的推廣。就像前面提到的TRCA 一樣，SSCOR 也是基于個(gè)體的訓(xùn)練數(shù)據(jù)，SSCOR的原始公式是：

其中，所有訓(xùn)練試驗(yàn)組合之間的相關(guān)性的二次和在空間濾波器上最大化。在文獻(xiàn)[13]中，為了更好地適應(yīng)SSVEP目標(biāo)檢測任務(wù)的要求和特征，作者將其應(yīng)用為一個(gè)新的約束優(yōu)化問題。表示為所有訓(xùn)練試驗(yàn)的平均值，新的優(yōu)化問題顯示為：

其中，C(0,j)表示均值Γi0與訓(xùn)練試驗(yàn)Γij之間的交叉協(xié)方差，C(0,0)和C(j,j)為自協(xié)方差矩陣。空間濾波器通過優(yōu)化單個(gè)的SSVEP 模板來學(xué)習(xí)一個(gè)公共的SSVEP 表示空間。SSCOR對SSVEP響應(yīng)子空間的投影提高了嵌入在記錄的EEG 數(shù)據(jù)中的SSVEP 分量的信噪比以提高性能。

2 數(shù)據(jù)與方法

2.1 數(shù)據(jù)集

刺激范式是SSVE-BCI 系統(tǒng)中一個(gè)重要的部分。一個(gè)良好的刺激范式具有操作簡單、性能穩(wěn)定、產(chǎn)生高質(zhì)量的SSVEP信號等特點(diǎn)。本文使用清華大學(xué)腦機(jī)接口研究組提供的Benchmark公開數(shù)據(jù)集進(jìn)行研究。

數(shù)據(jù)集收集了35 名健康被試的SSVEP-BCI 記錄，實(shí)驗(yàn)時(shí)，屏幕上顯示了一個(gè)5×8的字符矩陣，包含40個(gè)以不同頻率（8～15.8 Hz，間隔0.2 Hz）閃爍的字符，如圖1所示。對每個(gè)被試的數(shù)據(jù)來說，由6 組實(shí)驗(yàn)組成，每個(gè)實(shí)驗(yàn)包含40 個(gè)試驗(yàn)，對應(yīng)于以隨機(jī)順序顯示的40 個(gè)字符。每個(gè)實(shí)驗(yàn)開始時(shí)都有一個(gè)視覺提示，該提示在屏幕上出現(xiàn)了0.5 s。受試者被要求在提示時(shí)間內(nèi)盡快將目光轉(zhuǎn)移到目標(biāo)上。所有的刺激開始在屏幕上同時(shí)閃爍，持續(xù)5 s。在刺激偏移之后，屏幕在下一次試驗(yàn)開始之前空白0.5 s。收集的腦電圖數(shù)據(jù)被下采樣到250 Hz，并根據(jù)每個(gè)試驗(yàn)分為6 s的數(shù)據(jù)。數(shù)據(jù)集的更詳細(xì)描述在文獻(xiàn)[14]中給出。

圖1 聯(lián)合頻率和相位調(diào)制方法的40個(gè)刺激目標(biāo)Fig.1 40 stimulus targets for combined frequency and phase modulation methods

2.2 數(shù)據(jù)預(yù)處理

圖2 電極位置分布Fig.2 Distribution of electrode positions

為了使所提出方法在時(shí)間窗口內(nèi)更有效地學(xué)習(xí)頻率相關(guān)信息并且降低肌電、自發(fā)腦電等背景噪聲的影響，本研究選用六階零相位Chebyshev I 型無限脈沖響應(yīng)（IIR）濾波器[16]對數(shù)據(jù)進(jìn)行6 Hz 到90 Hz 之間的帶通濾波[17]。

由于數(shù)據(jù)長度對于單獨(dú)校準(zhǔn)的SSVEP-BCI至關(guān)重要[18]，因此采用的EEG數(shù)據(jù)樣本通過給定不同的時(shí)間窗口Nl（范圍從0.2 s 到1 s，間隔為0.1 s）來進(jìn)行選取，如圖3所示。本文提取試驗(yàn)刺激開始0.5 s后的數(shù)據(jù)，并考慮視覺通路引起的140 ms 延遲，選取采樣數(shù)據(jù)范圍為[0.64，0.64+Nl]。

圖3 腦電數(shù)據(jù)選取過程Fig.3 EEG data selection process

2.3 GTRCA

本文提出了一種廣義任務(wù)相關(guān)成分分析的方法來應(yīng)用于SSVEP-BCI字符拼寫系統(tǒng)。方法通過確定一個(gè)線性變換，最大化多組變量集合之間的相關(guān)性來提高SSVEP-BCI 的分類性能。圖4 為GTRCA 的SSVEP 目標(biāo)識別過程。

圖4 GTRCA算法示意圖Fig.4 Schematic diagram of GTRCA algorithm

（3）測試信號Xn與參考信號Yn之間的；其中n=1,2,…,Nf，Nf是刺激目標(biāo)頻率的個(gè)數(shù)。

之后，通過多組相關(guān)計(jì)算分析得到：一個(gè)刺激目標(biāo)頻率n在不同的投影向量之間計(jì)算的相關(guān)向量，包含了的i個(gè)相關(guān)系數(shù)，i=1，2，3，4，如公式所示：

其中，corr(a,b)表示計(jì)算兩個(gè)向量a和b之間的皮爾遜相關(guān)系數(shù)。本文通過實(shí)驗(yàn)將加權(quán)相關(guān)系數(shù)ρn進(jìn)一步組合分析作為目標(biāo)識別的特征：

公式中，選用符號函數(shù)sign(·)充分保留來自負(fù)相關(guān)系數(shù)的區(qū)別性信息，以便于后續(xù)的分析。最后，頻率為n的測試樣本試驗(yàn)的目標(biāo)字符T識別公式如下：

從而得到最后字符識別分類結(jié)果。GTRCA方法主要通過計(jì)算三組數(shù)據(jù)的不同空間濾波器特征w，即單個(gè)模板之間的濾波器、單個(gè)模板與參考信號之間以及測試信號與參考信號之間的濾波器，將這些空間濾波器特征結(jié)合多通道腦電信號等數(shù)據(jù)進(jìn)行的多組相關(guān)計(jì)算從而得到多組皮爾遜相關(guān)系數(shù)，之后最大化相關(guān)的系數(shù)而得到最后字符分類結(jié)果。加入的個(gè)體模板數(shù)據(jù)結(jié)合了個(gè)體特異性特征，從而提高了SSVEP 檢測性能。加入?yún)⒖夹盘柨色@得額外信息進(jìn)而增強(qiáng)模型的魯棒性并且減少了校準(zhǔn)時(shí)間，這對于實(shí)際的BCI應(yīng)用至關(guān)重要。

2.4 評價(jià)指標(biāo)

本研究使用兩個(gè)參數(shù)來評估SSVEP-BCI 的性能：識別準(zhǔn)確率和信息傳輸率。其中準(zhǔn)確率P被定義為正確識別樣本數(shù)與總識別樣本數(shù)的比值：

其中，n表示正確樣本數(shù)，m表示總樣本數(shù)。ITR 考慮了準(zhǔn)確率和時(shí)間長度之間的權(quán)衡，ITR單位定義為每分鐘比特?cái)?shù)（bit/min）[19]：

其中，N和T是SSVEP類的數(shù)量和選擇的平均時(shí)間，T包括注視時(shí)間和注視移動時(shí)間。原始離線實(shí)驗(yàn)中的注視移動時(shí)間為0.5 s。P是最后的分類精度，同時(shí)管理預(yù)測精度和信號持續(xù)時(shí)間之間的權(quán)衡，以便實(shí)現(xiàn)最大ITR。

在性能評估中，本文選擇使用留一交叉驗(yàn)證法，以每個(gè)被試者的單個(gè)EEG 數(shù)據(jù)塊作測試集，其余數(shù)據(jù)作訓(xùn)練集，這個(gè)過程重復(fù)6次。本文計(jì)算不同時(shí)間窗下的平均準(zhǔn)確率和信息傳輸率指標(biāo)來評估所提方法的性能。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 不同方法的對比實(shí)驗(yàn)

為充分評估本文所提出方法在公開數(shù)據(jù)集Benchmark 的SSVEP 字符識別性能，將GTRCA 與TRCA、SSCOR和CCA方法在不同時(shí)間窗下的所有被試的平均準(zhǔn)確率和信息傳輸率進(jìn)行比較。比較實(shí)驗(yàn)中，所選通道、數(shù)據(jù)等均保持一致。

如圖5所示，結(jié)果表明GTRCA在平均準(zhǔn)確率和ITR方面表現(xiàn)出最佳性能，在所有時(shí)間窗口下的性能都優(yōu)于其余三種方法，圖中誤差條表示標(biāo)準(zhǔn)誤差。GTRCA在時(shí)間窗為1 s時(shí)平均準(zhǔn)確率最高達(dá)到了（90.7±4.71）%，在0.8 s時(shí)平均信息傳輸率最高達(dá)到了（188.46±18.69）bit/min。在短時(shí)間窗0.2 s 時(shí)，GTRCA 的平均準(zhǔn)確率比TRCA 方法的高5.33%，平均ITR比TRCA方法的高20.1 bit/min。表1 展示四種方法在時(shí)間窗口為0.9 s 時(shí)的所有被試平均準(zhǔn)確率和ITR結(jié)果。

表1 TW為0.9 s時(shí)四種方法的被試平均準(zhǔn)確率和ITRTable 1 Mean accuracy and ITR of subjects for four methods when TW is 0.9 s

圖5 不同時(shí)間窗下四種方法的被試平均準(zhǔn)確率和ITRFig.5 Average accuracy and ITR of subjects for four methods under different time windows

3.2 訓(xùn)練數(shù)據(jù)塊數(shù)的影響

本文對四種方法的分類性能如何隨訓(xùn)練數(shù)據(jù)塊數(shù)量變化進(jìn)行了研究。由于只考慮訓(xùn)練數(shù)據(jù)塊數(shù)量的影響，實(shí)驗(yàn)時(shí)需要時(shí)間窗口大小保持一致，通過圖5 可以觀察出時(shí)間窗為0.9 s時(shí)，準(zhǔn)確率和信息傳輸率結(jié)果相對較高，因此時(shí)間窗口設(shè)定為0.9 s，以便于后續(xù)實(shí)驗(yàn)觀察分析。在有6組數(shù)據(jù)且使用留一交叉驗(yàn)證的基礎(chǔ)上，通過將訓(xùn)練塊的數(shù)量從5個(gè)逐步降低到2個(gè)來記錄觀察四種方法的分類準(zhǔn)確率。

結(jié)果如圖6所示，從圖中可以觀察到當(dāng)時(shí)間窗口不變時(shí)，隨著訓(xùn)練塊數(shù)量的增加，各方法的平均準(zhǔn)確率均有不同程度增加，并且也觀察到在訓(xùn)練集少的情況下，本文方法依然表現(xiàn)出比其他方法更穩(wěn)健的性能。

圖6 TW為0.9 s時(shí)不同訓(xùn)練塊數(shù)的方法準(zhǔn)確率Fig.6 Accuracy of methods with different number of training blocks when TW is 0.9 s

3.3 通道數(shù)的影響

為了進(jìn)一步評估四種方法的分類性能，本文比較了四種方法在不同通道數(shù)下的平均分類準(zhǔn)確率。除了枕區(qū)的九個(gè)通道（Pz、PO5、PO3、POz、PO4、PO6、O1、Oz、O2），本文還進(jìn)行了其他通道數(shù)量的實(shí)驗(yàn)：包括中央枕部3 通道（Oz、O1 和O2），5 通道（PO5、PO6、Oz、O1 和O2），7通道（PO5、PO3、PO4、PO6、O1、Oz、O2）。

本文將TW同樣設(shè)置為0.9 s。圖7所示為這四種方法在使用不同通道數(shù)時(shí)的平均分類準(zhǔn)確率。結(jié)果表明當(dāng)時(shí)間窗口保持不變時(shí)，隨著通道數(shù)量的增加，各方法的平均準(zhǔn)確率均有不同程度增加，并且在所有通道數(shù)都一樣的情況下，所提出的GTRCA 方法都表現(xiàn)出最好的分類效果。

圖7 TW為0.9 s時(shí)不同通道數(shù)的方法準(zhǔn)確率Fig.7 Accuracy of methods for different number of channels when TW is 0.9 s

3.4 單因素重復(fù)測量方差分析

本文對GTRCA與比較方法中性能較好的TRCA 進(jìn)行了單因素重復(fù)測量方差分析（one-way repeated measures，ANOVA）。當(dāng)發(fā)現(xiàn)顯著的主效應(yīng)(p＜0.05)時(shí)，使用Bonferroni校正進(jìn)行F檢驗(yàn)的事后比較。統(tǒng)計(jì)分析在SPSS Statistics 25（IBM，Armonk，NY，USA）中進(jìn)行。如表2 所示，單因素重復(fù)測量方差分析結(jié)果表明，兩種方法在所有時(shí)間窗的平均準(zhǔn)確度存在顯著差異。對于ITR，類似地觀察到兩種方法之間的存在統(tǒng)計(jì)學(xué)差異。

表2 不同時(shí)間窗口GTRCA和TRCA 性能的統(tǒng)計(jì)分析結(jié)果Table 2 Results of statistical analysis of GTRCA and TRCA performance at different time windows

因此，在基準(zhǔn)數(shù)據(jù)集上，GTRCA 方法結(jié)果的性能顯著優(yōu)于標(biāo)準(zhǔn)TRCA 方法的性能，證明了GTRCA 在SSVEP頻率識別方面的有效性和可行性。

3.5 濾波器組分析

濾波器組分析的目標(biāo)是將SSVEP數(shù)據(jù)分解為子帶分量，更有效地提取嵌入諧波分量中的獨(dú)立信息，提高SSVEP的檢測。濾波器組分析方法主要包括三個(gè)過程：（1）子帶分解，（2）每個(gè)子帶信號的特征提取，以及（3）目標(biāo)識別。首先，濾波器組分析使用具有不同通帶的多個(gè)濾波器進(jìn)行子帶分解。本研究的濾波器組選擇在[6 Hz～90 Hz]頻率范圍內(nèi)，設(shè)計(jì)覆蓋SSVEP 分量上限頻率相同的5 個(gè)(Nb)諧波頻段的子帶。如圖8所示，該設(shè)計(jì)有多個(gè)具有不同帶寬的濾波器來覆蓋所有SSVEP數(shù)據(jù)及其諧波。

圖8 濾波器組設(shè)計(jì)策略Fig.8 Filter bank design strategy

經(jīng)過濾波器組分析后，采用特征提取方法應(yīng)分別用于每個(gè)子帶分量。計(jì)算所有子帶分量對應(yīng)的相關(guān)值的加權(quán)平方和作為目標(biāo)識別的特征：

其中，m為子頻帶的索引。在公式中為所計(jì)算的兩組數(shù)據(jù)之間的最大相關(guān)系數(shù)，子帶分量的權(quán)值定義如下：

其中，a和b是使分類性能最大化的常數(shù)。本文將a和b的值分別設(shè)為1.25和0.25。

本文檢驗(yàn)了四種方法在不同時(shí)間窗的濾波器組方法的性能，如圖9 所示，圖中誤差條表示標(biāo)準(zhǔn)誤差。從圖中觀察到每種方法采用濾波器技術(shù)后，字符識別平均準(zhǔn)確率、ITR與圖5原有方法的相對比有所提高，并且本文所提出的方法仍優(yōu)于其他四種方法，表明本文方法在SSVEP字符識別分類具有良好穩(wěn)定的性能。

圖9 不同時(shí)間窗的濾波器組方法平均準(zhǔn)確率和ITRFig.9 Accuracy and ITR of filter bank methods with different time windows

4 結(jié)束語

本文提出了一種GTRCA 方法，最大化單個(gè)訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)、預(yù)定義的正弦余弦信號三組數(shù)據(jù)之間的相關(guān)性，充分利用訓(xùn)練數(shù)據(jù)和預(yù)定義的正弦余弦信號的先驗(yàn)知識獲得空間濾波器以提高SSVEP 的識別性能。在Benchmark數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明所提出的GTRCA方法識別準(zhǔn)確率和信息傳輸率明顯優(yōu)于所比較的方法，尤其是在考慮到有限的訓(xùn)練數(shù)據(jù)時(shí)，即在采用更短時(shí)間窗口、更少電極或更少訓(xùn)練塊的情況，此外，濾波器技術(shù)也適用于GTRCA，F(xiàn)BGTRCA 算法性能較GTRCA有明顯提高。

本文只考慮了基于GTRCA的方法中的線性變換以及最大相關(guān)系數(shù)對應(yīng)的權(quán)重向量，然而腦電信號是非線性和非平穩(wěn)的，在未來將探索GTRCA 非線性和更多有效的權(quán)重向量，這可能會進(jìn)一步提高分類性能，使更多基于SSVEP-BCI的潛在應(yīng)用成為現(xiàn)實(shí)。