基于相頻特性的穩態視覺誘發電位深度學習分類模型

林艷飛 臧博宇 郭嶸驍 劉志文 高小榕

①(北京理工大學信息與電子學院 北京 100081)

②(清華大學醫學院 北京 100084)

1 引言

腦-機接口(Brain Computer Interface, BCI)是一種融合神經科學、電子信息科學、控制科學及計算機科學等多學科領域的全新人機交互方式，通過將大腦活動所包含信息轉化為可以直觀識別和使用的信息，令大腦與外部環境進行直接通信。幫助喪失行動能力的患者與外界進行交流是BCI系統的主要用途之一，目前主要以基于穩態視覺誘發電位(Steady-State Visual Evoked Potential, SSVEP)的腦電拼寫來輔助使用者進行交流。SSVEP信號由固定頻率的視覺閃爍刺激所誘發，表現為與刺激相對應頻率和倍頻的近似正弦信號。SSVEP具有信噪比相對較高、信號穩定性強、易于分析等多種優勢。通過事先將按照不同頻率閃爍的視覺刺激與相應的字符進行關聯，使用者即可通過觀看目標視覺刺激誘發出相應的SSVEP信號，并通過算法分析得出被誘發SSVEP信號的頻率和與其相對應的語義。同時，還可通過控制視覺閃爍刺激的相位進一步擴展SSVEP信號的類別數量，減小刺激頻率間隔，從而使基于SSVEP信號的腦電拼寫系統更加貼近實用。因此基于SSVEP信號的BCI系統其性能很大一部分依賴SSVEP信號的分類準確率。

在現有研究中，用于SSVEP信號分類任務的方法主要基于典型相關分析算法(Canonical Correlation Analysis, CCA)。2007年，林中林等人[1,2]開創性地將CCA算法用于SSVEP分類中，為后續基于CCA的SSVEP分析奠定了基礎。作為一種相關算法，CCA算法僅需要提前獲知視覺閃爍刺激的頻率即可設置用于相關計算的模板信號，從而對采集到的SSVEP信號進行分析分類。在此基礎上，更多改進算法被不斷提出。2014年，Nakanishi等人[3]在基于SSVEP的腦電拼寫系統中應用了多通道CCA算法。2015年，Chen等人[4,5]提出了濾波器組CCA(Filter Bank Canonical Correlation Analysis,FBCCA)算法，提高了基于SSVEP的BCI系統性能。同年，Yin等人[6]根據SSVEP之間的典型相關性，提出了變異削弱CCA(CCA-Reducing Variation, CCA-RV)算法，用于動態確定分析窗長，并將該算法用于控制外部機械臂[7]。2018年，Yang等人[8]將空時均衡技術引入SSVEP分類并進一步改善了分類效果。然而CCA算法作為一種無監督分類方法，在信號受到外界較大干擾時性能會出現明顯下降，無法學習到腦電信號中除SSVEP以外其他可能提供判別信息的成分，也無法針對受試者的個體差異進行針對性優化，因此近些年來有監督算法逐漸被應用于SSVEP信號的分類任務之中，深度學習作為目前最強大的有監督學習方法之一，也受到了廣大研究人員的關注。

近些年來，得益于強大的非線性計算能力和數據驅動的自動特征提取學習能力，深度學習在諸多領域取得了成功實踐。目前基于深度學習的SSVEP信號分類模型主要以卷積神經網絡(Convolutional Neural Network, CNN)為主。2014年Bevilacqua等人[9]使用CNN提取SSVEP空域和頻域特征進行分類，并應用于虛擬導航系統中。2017年Kwak等人[10]比較了不同方法對控制外骨骼條件下采集的SSVEP數據的分類效果，結果表明CNN具有更加魯棒和準確的解碼能力。2018年Attia等人[11,12]使用CNN結構對經過快速傅里葉變換(Fast Fourier Transform, FFT)的SSVEP數據進行分類，取得了良好的分類效果。2018年El-Fiqi等人[13]則通過與典型相關分析、支持向量機等傳統方法的對比驗證了深度CNN的優越性。Aznan等人[14]則設計了一種基于1維卷積的CNN模型，并應用于干電極設備采集的SSVEP數據上，在跨受試測試中性能優越。2019年西安交通大學的杜光景等人[15]則在CNN模型中引入Inception結構用于SSVEP分類，在短時SSVEP分類和魯棒性上表現良好。在目前基于CNN結構的SSVEP信號分類模型中，部分采用原始信號數據作為輸入，對頻率隱式特征的學習提取不夠充分；部分模型采用頻譜圖、功率譜圖或時頻譜圖等形式作為輸入，但僅利用了頻域幅值信息，對相位信息利用不足。

因此，本文提出了一種相位學習及頻率增強分類網絡(Phase Learning & Frequency attention Network, PLFA-Net)，實現跨受試情況下(用戶獨立模型)對SSVEP信號數據的有效分類。PLFA-Net模型中針對SSVEP信號的相頻特性設計了相位學習結構和頻率特征增強結構，從而實現對相位特征的學習和對頻率信息的增強，提高SSVEP信號的分類效果。

2 數據集及預處理

2.1 BETA公開數據集

本實驗采用清華大學提供的BETA公開SSVEP數據集[16]。該SSVEP公開數據集的刺激范式采用虛擬鍵盤設計，包含40種類頻率的刺激，頻率從8.0Hz遞增到15.8Hz，步長0.2Hz，并且使用了0,0.5π, π和1.5π 4種相位對刺激范式進行調制。其刺激范式界面如圖1所示，其中圖1(a)為虛擬鍵盤圖，圖1(b)為各虛擬鍵位所對應的刺激頻率和相位信息。刺激范式使用68.6 cm、刷新率為60 Hz的LED顯示器播放。

BETA公開SSVEP數據集共包含70位受試者的數據，平均年齡25歲，所有受試者視力正?；虺C正視力正常，在實驗前均簽署了知情同意書。實驗符合赫爾辛基宣言，得到了清華大學倫理委員會的認可。

對于每位受試，共進行4個Block的測試，每個Block包含40個trial，每個trial對應40個目標中的隨機一個進行閃爍。腦電數據使用Neuroscan公司生產的64導聯SynAmps2記錄儀進行采集，導聯分布遵從國際系統的標準化電極位置，數據采集期間各導聯阻抗低于10 kΩ。記錄儀的初始采樣率為1000 Hz，所采集的數據經過50 Hz陷波、0.15～200 Hz的硬件濾波和3～100 Hz的2次軟件濾波處理。濾波處理后按照刺激標記位置對數據進行了試次劃分，每個試次包含刺激前0.5 s、刺激時長和刺激后0.5 s的腦電信號數據，其中對于前15位受試者，刺激時長為2 s，對于其他受試者刺激時長為3 s。在劃分結束后還對數據進行了降采樣處理，采樣率從1000 Hz降至250 Hz。

2.2 數據預處理

對于BETA公開SSVEP數據集，本實驗使用其中刺激時長為3 s的受試者數據，即后55位受試的數據，并對數據集進行了清洗，剔除了其中幅度超過±100μV的受試者數據。限于數據量、網絡模型結構、采樣率和FFT處理后頻率分辨率等因素的限制，在實驗驗證過程中選擇了每位受試者全部4個Block數據的40個刺激中的8種類刺激信號數據，所選數據頻率和相位為8.6Hz, 9.6Hz + 0.5π,10.6Hz +π, 11.6Hz + 1.5π, 12.6Hz, 13.6Hz + 0.5π,14.6Hz +π, 15.6Hz + 1.5π。腦電數據使用帶通FIR濾波器進行濾波，濾波范圍為6～50 Hz，濾波器使用基于Matlab的EEGLAB工具箱實現。

對于所使用64導聯的SSVEP腦電數據，本文使用了后腦頂葉區域和枕葉區域附近的共30個導聯電極(導聯序號34-42及44-64)。鑒于深度學習模型對于數據量的需求，對于導聯挑選后的數據通過2次數據劃分實現數據擴充增強，在去除刺激前和刺激后0.5 s的數據后，以1.5 s長度的時間窗按照0.5 s步長對刺激時長進行2次數據劃分。

其次，對于擴充增強后的數據集，對每個導聯的信號進行FFT處理，取其單邊頻率信息，并分別提取實部頻率信息和虛部頻率信息組成實部向量和虛部向量，并按照原本導聯順序對各個導聯的實部向量和虛部向量進行排列，其基本形式如圖2所示。網絡使用的原始信號長度為1.5 s，采樣率為250 Hz，因此原始信號的采樣點數為375。由于信號傅里葉變換幅度的共軛對稱性，只需查看前一半點數的結果即可。本文對原始信號進行了375點的FFT，最終輸入網絡的FFT頻率點數為一半，即188。

由于本文所提出的PLFA-Net為用戶獨立模型，因此在預處理的最后步驟，將所有受試者的數據進行拼接，組成跨受試的SSVEP信號數據集。對于數據標簽，將其轉換為獨熱編碼(One-Hot)形式以便于網絡進行訓練、驗證和測試。

3 基于相頻特性的分類模型設計

3.1 相位信息學習模塊

目前SSVEP信號的誘發范式除使用頻率調制外，為了增加可分的種類還對范式進行了相位調制，使SSVEP信號帶有頻率和相位兩種類的特征。因此在對使用相頻調制閃爍刺激范式誘發的SSVEP信號進行分類時，應該考慮其相位特性。基于此，在模型中設計了相位特征學習結構。

相位特征學習結構主要包括一個卷積層，其結構如圖3所示。該卷積層針對預處理后的頻域數據設計，對于每一個導聯所具有的實部向量與虛部向量，使用大小為(2, 1)的卷積核進行無填充卷積，通過賦予實部向量與虛部向量不同的權重實現網絡模型對于SSVEP信號相位特征的學習。

3.2 頻率特征增強模塊

圖1 BETA公開SSVEP數據集刺激范式界面

圖2 FFT處理示意圖

圖3 相位特征學習模塊示意圖

在幅頻特性上，SSVEP信號作為一種節律同化信號，在與視覺閃爍刺激相同的頻率及其諧頻成分上具有較高能量，一般基頻成分能量最高，諧頻成分能量較低。同時SSVEP信號中刺激相近頻率成分也可能具有較高能量，對分類效果造成干擾。因此在模型中，引入了計算機視覺模型中的空間注意力模塊。

空間注意力模塊(Spatial Attention Module,SAM)由Woo等人[79]在2018年提出，空間注意力主要聚焦在2維矩陣圖像中對于分類提供較多信息的部分，本文將其引入到腦電信號處理。該模塊主要由1個最大池化層、1個平均池化層、1個連接層和1個卷積層組成，基本結構如圖4所示。對于輸入數據，沿著通道維度計算最大池化和平均池化，兩者可分別獲得輸入數據的細節信息和背景信息。對于兩類池化的結果按通道維度使用連接層進行拼接，再使用卷積核數量為1的卷積層將兩類池化計算的結果進行聚合，計算出最終的空間分布權重矩陣，即空間注意力圖。通過將計算得到的空間注意力圖與輸入數據進行逐元素的點乘計算，得到增強矩陣。再將增強矩陣與輸入數據相加，得到最終的輸出結果，實現按照空間注意力分布對輸入數據中的判別性成分進行放大。對于SSVEP信號的頻域數據，通過引入空間注意力模塊可以使網絡模型更加關注目標頻率成分，減少其他無關信息對分類造成的干擾。

3.3 網絡整體結構

PLFA-Net模型整體結構如圖5所示，主要包括4個模塊：相位學習模塊、頻率特征增強模塊、空頻特征提取模塊和分類輸出模塊，具體參數細節如表1所示。需要說明的是，本網絡模型所處理的數據集輸入維度為60×188，共包含8個類別，表1及下文所提及的參數均針對該輸入數據進行設置。

第1個模塊為相位學習模塊，其作用如3.1節所述，用于學習SSVEP數據的相位特征。該模塊主要包含了輸入層、1個重塑層、1個2維卷積層和1個批歸一化層。重塑層用于對輸入的腦電數據進行維度變換，將其由2維轉換為符合2維卷積層輸入要求的3維形式，擴展維度為通道維度。隨后2維卷積層對轉換后的數據進行卷積，大小設置為(2, 1)，步長為(2, 1)。批歸一化層對卷積后的數據按通道維度進行歸一化處理，緩解梯度消失、梯度爆炸和過擬合問題。隨后使用ReLU激活函數對歸一化后的數據進行非線性計算。

圖4 頻率增強(空間注意力)模塊示意圖

第2個模塊為頻率特征增強模塊，其作用如3.2節所述，用于針對第1個模塊輸出數據進行判別信息增強。該模塊主要包括1個2維最大池化層(MaxPooling2D)、1個2維平均池化層、1個連接層(Concatenate)、1個2維卷積層、1個逐元素相乘層(Multiply)和1個相加層(Add)。2維最大池化層和2維平均池化層沿著輸入數據的通道維度進行池化計算，連接層將池化結果按通道維度進行拼接。2維卷積層中卷積核大小為(5, 5)，對拼接后的池化結果進行卷積運算，將兩種池化的結果進行聚合，并使用Tanh激活函數進行非線性計算，得出空間注意力圖，即權重矩陣。再通過逐元素相乘層對輸入數據和權重矩陣進行乘法運算，得到增強矩陣。最后使用相加層對增強矩陣和輸入數據進行相加，實現判別成分的放大。

第3個模塊為空頻特征提取模塊，其作用為對相頻信息增強后的數據進行空域和頻域特征提取，主要包含1個2維卷積層、1個批歸一化層和1個2維最大池化層。2維卷積層卷積核大小設置為(5, 5)，步長為(1, 1)，同時對空域和頻域兩個維度進行卷積，從而實現對空域信息和頻域特征信息的提取。隨后使用批歸一化層對數據進行歸一化，使用ReLU激活函數進行非線性計算。最后使用2維最大池化層對數據進行降維，池化窗大小為(2, 2)，緩解過擬合，增加網絡模型的魯棒性。

圖5 PLFA-Net模型整體結構圖

表1 PLFA-Net模型詳細結構及參數設置

第4個模塊為分類輸出模塊，其作用為對經過之前所有模塊處理后的特征數據進行分類和輸出，主要包括1個展平層和3個全連接層。展平層用于將空頻特征提取模塊所輸出的最終特征圖進行向量化，展平為1維特征向量。隨后兩個全連接層對展平后的1維特征向量進行特征組合計算，其中第1個全連接層的神經元數量為512，第2個全連接層的神經元數量設置為256，激活函數均使用ReLU函數。最后一個全連接層為輸出層，神經元數量與數據類別一致為8，激活函數使用Softmax函數，其輸出為網絡模型判決為各類別的決策概率值。

除上述主要網絡層外，在空頻特征提取模塊最后使用了空間隨機失活機制，從而對網絡進行正則化，減緩過擬合問題，隨機失活概率為0.5。最大范數約束也用于除去頻率特征增強模塊以外的所有卷積層和全連接層，用于在訓練過程中約束其權重大小，約束值為0.5。PLFA-Net模型中所有參數的初始化方法均采用He Uniform隨機初始化。

3.4 網絡訓練參數設置

PLFA-Net模型使用默認參數設置的Adam優化器進行訓練，使用交叉熵作為損失函數，批次梯度下降的批次大小參考已有研究設置為64。此外，在PLFA-Net模型的訓練過程中使用了學習率衰減機制和早停機制。在訓練過程中，當驗證數據集的損失連續5次迭代沒有下降時，學習率會減半。早停機制會監測驗證數據集的損失，當其連續20次迭代沒有出現下降時，訓練過程將會自動停止。

PLFA-Net模型使用基于Tensorflow后端的Keras API完成編程實現，使用英偉達RTX 2070 GPU顯卡進行并行加速計算，GPU顯卡對應CUDA版本10，cuDNN版本7.6。

4 模型性能分析

4.1 實驗結果

對于經過預處理后的SSVEP信號數據集，采用5折交叉驗證對PLFA-Net模型的性能進行測試，同時在訓練過程中訓練數據集的10%會作為驗證數據集供早停機制對模型訓練進行監測。

本實驗中，用于衡量模型對SSVEP信號分類性能的指標主要包含兩種，分別是分類準確率(Accuracy, ACC)和ROC曲線下面積(Area Under the Curve, AUC)。PLFA-Net模型在5折交叉驗證中的性能表現如表2所示。

從表2可見PLFA-Net模型在每折均具有較好的分類準確率，5折交叉驗證平均準確率達到了80%以上，平均AUC高于0.97，說明PLFA-Net模型在使用跨受試數據集的情況下性能良好。對于所使用的8種頻率SSVEP信號，PLFA-Net具有較為穩定的分類性能表現，能夠在跨受試的情況下學習到SSVEP信號的公共相頻特征，完成對不同頻率、不同相位SSVEP信號的分類任務。

表2 5折交叉驗證PLFA-Net模型分類結果

4.2 算法對比

本文還使用CCA方法對所使用的SSVEP信號進行了計算分類，并與PLFA-Net模型進行了效果對比。CCA方法所使用的數據預處理步驟除未經FFT處理外與PLFA-Net完全相同。圖6展示了CCA算法與PLFA-Net模型在5折交叉驗證中的性能對比結果，可見PLFA-Net模型分類性能優于CCA算法。使用重復測量方差分析進行驗證，結果表明該差異具有顯著性(ACC: F (1, 4) = 19.573, p <0.05; AUC: F (1, 4) = 10.586, p < 0.05)。

圖7則展示了CCA算法和PLFA-Net模型對于不同頻率相位SSVEP信號分類的性能對比結果?？梢奝LFA-Net模型在低頻SSVEP信號分類中準確率低于CCA算法，但在高頻SSVEP信號分類中性能則明顯優于CCA方法，同時效果較為穩定。

以上結果表明，PLFA-Net模型作為一種有監督的深度學習方法，相比CCA算法能夠更好地從已有數據中進行特征的學習，而非依照固定的對比模板進行匹配，使其較為貼合實際數據。同時對比結果表明PLFA-Net模型在不同頻率的分類效果上更加穩定，具有更好的魯棒性。

4.3 訓練集增強

在數據清洗中發現SSVEP誘發良好的受試者占比有限，因此通過訓練得到的PLFA-Net模型，在一定程度上會受到誘發效果較差的受試者數據影響。如2.3節所提，傳統方法一般按照刺激的頻率與相位信息構造標準正弦匹配模板，通過計算標準正弦模板與真實數據的相關性來進行分類。因此，本文參考CCA算法的標準模板，通過構造仿真SSVEP信號對原有的訓練數據集進行數據增強，觀察對PLFA-Net模型性能的影響。仿真SSVEP信號包含刺激頻率的基頻、2倍頻及3倍頻，同時按照-20 dB的信噪比添加高斯白噪聲，表達式如式(1)所示：

其中，r1,r2,r3為取值范圍0.5～1.5的均勻分布隨機數，A為信號幅度，f為刺激頻率，p為刺激相位，n為噪聲。

在4.1節的5折交叉驗證基礎上，將預處理后的仿真SSVEP數據加入訓練數據集，對PLFA-Net模型進行訓練，增加等同于5位受試者的數據量。其結果與未經過訓練集數據增強的PLFA-Net模型對比如圖8所示。

由圖8發現經過仿真數據增強后，PLFA-Net模型性能具有一定提升。使用重復測量方差分析進行驗證，表明該差異具有顯著性(ACC: F (1, 4) =12.785, p < 0.05; AUC: F (1, 4) = 11.269, p < 0.05)。結果表明在訓練數據集中增加一定的標準仿真SSVEP數據，有助于增強跨受試的SSVEP分類模型性能。

圖9則展示了經過仿真數據增強后，PLFA-Net模型在不同頻率相位上的分類性能差異，可以發現在大部分頻率相位中PLFA-Net模型的性能都得到了一定的提升，進一步驗證了結論。

4.4 分析討論

圖6 CCA與PLFA-Net 5折交叉驗證性能對比示意圖

圖7 CCA與PLFA-Net各頻率相位SSVEP分類準確率對比示意圖

圖8 PLFA-Net與訓練集數據增強的PLFA-Net 5折交叉驗證性能對比圖

圖9 PLFA-Net與訓練集數據增強的PLFA-Net各頻率相位分類準確率對比示意圖

SSVEP信號由外界固定頻率的視覺刺激誘發而成，其在低頻段(如8～11 Hz頻段)所誘發的SSVEP信號幅值往往較強，而隨著刺激頻率的增加，SSVEP幅值會出現相應下降。而CCA算法的原理是根據已知頻率相位去構造標準正弦匹配模板，它只關注特定頻率，所以在SSVEP信號幅值強的低頻段表現好，而在幅值低的高頻段表現差。但是在實驗過程中不只存在SSVEP成分，例如自發腦電與可能出現的事件相關電位等都在8～11Hz的低頻段有分布。PLFA-Net中的頻率特征增強部分是由神經網絡自主學習感興趣的頻率部分，不局限于某一特定頻率段特征。因此由圖7可以看出其在8個頻率中的表現較為穩定，但由于不同受試低頻處的腦電噪聲干擾不同，特征增強部分的關注部分可能會出現偏差，而不像CCA固定的關注目標頻率，由于這一可能的原因，PLFA-Net在低頻處的表現會較差。針對這一問題可能的解決方法，一是通過其他預處理的手段盡可能去除這些EEG背景噪聲，二是去尋找其他受EEG背景噪聲干擾較小的頻率學習機制。

5 結論

本文提出了一種用戶獨立模型的SSVEP信號分類的網絡模型PLFA-Net。首先概述了基于SSVEP信號的BCI系統應用價值，并介紹了現有的傳統方法和深度學習方法在SSVEP信號分類任務中存在的不足；其次詳細介紹了本文所提出的PLFA-Net模型的設計原理和具體結構；隨后通過公開的BETA SSVEP腦電數據集，對網絡進行了性能驗證，包括SSVEP信號數據的預處理方法、PLFA-Net分類結果和與CCA方法的對比分析，驗證和說明了PLFA-Net模型在SSVEP信號分類任務中的良好性能。