基于松散型WNN 的運動想象腦電信號解碼研究

胡秀枋，何 爽，鄒任玲，張一凡，毛晨罡，黃 鑫，李 丹，曹 立

（1 上海理工大學健康科學與工程學院，上海 200093； 2 上海市第六人民醫院，上海 200233）

0 引 言

腦機接口技術（Brain－Computer Interface，BCI）是一種腦部神經和外部設備直接進行交互的系統，可以達到直接控制外部設備的目的［1－2］，目前已應用于睡眠與癲癇的檢測［3－5］、抑郁癥識別和情感識別［6－7］以及運動想象［8］等方面。 其中，運動想象腦電信號解碼在實時BCI 應用中有重要的臨床意義。

目前，基于運動想象腦電信號解碼很熱門，取得較大的進展。 其中，Andrade 等學者［9］使用主成分分析法對特征值進行處理，并使用支持向量機（Support Vector Machine，SVM）進行單次試驗的左右手抓球分類，得到了70%的平均準確率。 劉沖等學者［10］利用SVM 對二分類數據集進行分類，得到的分類準確率為82.86%。 WANG 等學者［11］提出支持向量機－典型相關分析－信道選擇算法（SVMCCA－CS），對二分類的數據集選擇權重最大的通道，平均準確率可達80.03%。 但深度學習也逐漸被大量應用在腦電信號的解碼中。 Tang 等學者［12］基于EEG 的時空特征，建立5 層卷積神經網絡模型對左手和右手的二分類MI EEG 進行解碼，得到了86.41%的平均準確率。 Shahtalebi 等學者［13］基于CNN 提出一種Siamese 結構，對四分類的平均準確率為73.21%。 Chen 等學者［14］提出一種濾波器組空間濾波和時空卷積神經網絡（FBSF－TSCNN）的方法，其中FBSF 模塊將原始信號轉換為合適的EEG表示，TSCNN 對其進行分類，并提出了一種新的分段訓練策略，平均準確率有一定的提高。

松散型的小波神經網絡（Wavelet Neural Network，WNN）是將小波分析和神經網絡分開計算再進行組合，在故障的模式識別、時間序列預測等方面應用比較成熟。 本文提出將松散型小波神經網絡（Wavelet Neural Network，WNN）應用于運動想象多分類的解碼研究中，使用雙樹復小波提取腦電信號特征，為神經網絡提供特征向量，進行訓練，完成分類，討論解碼效果。

1 數據集描述及預處理

1.1 數據集描述

數據集是格拉茨科技大學所提供的BCI Competition IV 的數據集2a［15］。 該數據集包含有9個受試者的EEG 數據，采樣頻率為250 Hz，為四分類數據集，其中分別為左手、右手、腳和舌頭。 單個受試者訓練與測試共計進行了576 次試驗，每類動作想象均為144 次。

在t ＝0 s 時，屏幕上出現十字并伴隨嗶（Beep）的一聲，提醒受試者開始準備；在t ＝2 s 時，屏幕上出現指向不同方向的箭頭，分別指向左、右、下或上（對應于左手、右手、雙腳或者舌頭四個動作中的一個），在屏幕上停留的時間為1.25 s，并沒有進行反饋。t ＝6 s 時，運動想象任務結束，持續時間為3 s左右。 受試者有短暫的休息時間，并等待下次實驗的開始。 單次實驗的實驗范式如圖1 所示。

圖1 運動想象實驗范式時序圖Fig. 1 MI experimental paradigm timing diagram

1.2 數據集預處理

由于數據的通道名的缺失，按照國際10／20 系統的方式對信號進行命名。 受試者在執行運動想象任務包括想象肢體或者舌頭上的運動存在ERS 和ERD現象，且主要存在于alpha （8 ～12 Hz）和beta （13 ～30 Hz）［16］。在特征提取前，對信號進行簡單的預處理，首先提取有效的腦電信號即3～6 s 的腦電數據和去除眼電通道的數據，對信號進行8～30 Hz 的帶通濾波，以此提高信號的信噪比，并進行重參考等操作。

2 特征提取及分類器

2.1 特征提取

雙樹復小波變換（Dual－tree Complex Wavelet Transform，DTCWT）是Kingsbury［17］在2001年提出的一種對離散小波變換的改進的小波變換，是對小波變換的延伸。 彌補了離散小波變換移位方差、方向性差和缺乏相位移動等缺點，通過二叉樹結構的兩路濾波器對信號進行分解與重構，其中包括實部與虛部，可以想象為2 個并行的小波變換，如圖2 所示。 圖2 中，h0（n） 和h1（n） 表示共軛正交濾波器對，g0（n） 和g1（n） 表示共軛積分濾波器對，↓2 表示隔點采樣。 虛部的采樣信號為實部二抽取所丟失的值。 函數表達式為：

圖2 雙樹復小波結構Fig. 2 Dual－tree complex wavelet structure

其中，φ（t） 是輸入信號，φh（t） 和i φg（t） 分別是復小波的實部與虛部。

提取特征時，使用Python 中的DTCWT 庫將腦電信號分解為4 個級別。 對每個復小波系數計算平均值、DTCWT 系數的平均功率、標準差和子帶比，將其進行組合構建特征矩陣。 因此得到的特征矩陣大小為22×4×5（通道數×特征×DTCWT 系數），將其轉換為1×440 的矢量進行分類。

2.2 松散型小波神經網絡

小波神經網絡（Wavelet Neural Network，WNN）是將小波分析與人工神經網絡相結合而提出的一種網絡結構。 主要是使用非線性的小波基取代了通常的非線性函數，解決了一般神經網絡結構的一些非線性優化問題。 WNN 是Zhang 等學者［18］于1992年提出的基于小波分析的神經網絡，使用小波函數作為超參數。 WNN 是一種基于小波分析理論和小波變換的多分辨率的人工神經網絡。 小波神經網絡的輸出值計算公式為：

其中，φ表示小波函數；x表示輸入向量；m表示輸入數量；λ表示隱藏層的數量；ω表示網絡權重。

松散型WNN 中，將小波分析和神經網絡分開計算再進行組合，前者為神經網絡輸入特征向量，二者緊密相連，卻又相對獨立，具體結構如圖3 所示。 隨著深度學習技術的不斷發展，適當增加隱藏層的深度可讓松散型WNN 與緊密型WNN 性能相差無幾。

圖3 松散型WNNFig. 3 Loose WNN

3 結果與分析

本研究硬件環境采用16 GB 內存（RAM），AMD Ryzen 5 4600H 處理器的筆記本，編程語言為Python3.6，DTCWT 庫為0.12.0。

3.1 不同分類器的比較

每位受試者在WNN 中的準確率見表1。 同時，利用SVM 和LGBM 兩種經典的機器學習算法作為WNN 的對比實驗，選出最優的分類器。

表1 基于DTCWT 的不同分類器解碼結果Tab. 1 Decoding results of different classifiers based on DTCWT

由表1 可知，使用小波神經網絡對腦電信號的解碼效果最優，平均準確率達到了76.03%，比支持向量機的平均準確率高10.19%，比LGBM 的平均準確率高11.91%。 其中，WNN 中最高準確率比SVM和LGBM 分別高9.09%和12.38，最低準確率比SVM和LGBM 分別高11.15%和14.27%。 在3 種分類器中，WNN 在9 位受試者中的表現均屬于最佳，每位受試者的準確率均高于SVM 和LGBM。 因此，WNN與SVM 和LGBM 相比，整體的分類性能更優越，是分類效果更好的分類算法，應用在不同的個體上波動范圍更小，是一種有效的分類算法。

3.2 與現有方法的比較

為了驗證WNN 的有效性，將在WNN 中得到的分類結果與現有方法的分類準確率進行了比較，具體結果見表2。

表2 與現有方法的比較結果Tab. 2 Comparison results with existing methods

由表2 可以看出，本文方法僅有A06 的準確率低于EEGNet；FBSF＋TSCNN 中只有A01 和A09 高于所提出的方法；Siamese NN 中也只有3 位受試者高于本文提出的方法，即A01、A06 和A09；多特征＋CNN 中A01、A02、A03 和A06 高于本文提出的方法，但其它5 位受試者都比本文方法低。 其中，本文所提出的算法的最低準確率均高于其它4 種方法，最大準確率只比多特征＋CNN 低0.02%。 另外在各個方法中A01、A03、A07 和A08 的準確率均高于其他幾位受試者。 各方法的分類識別準確率如圖4 所示，從中可以看出，相比于其他文獻中的解碼方法，本文方法的平均準確率更高，達76.03%；解碼效果更好，具有一定的優勢，符合當前分類結果的主流趨勢。

圖4 各方法四分類識別準確率Fig. 4 Accuracy of each method IV classification recognition

4 結束語

本文提出將松散型小波神經網絡應用于運動想象腦電信號的分類當中。 DTCWT 作為常規神經網絡的前置手段，為神經網絡提供特征向量。 使用DTCWT 對預處理后的腦電信號進行分解，對分解后的復小波系數進行特征提取，計算平均值、平均功率、標準差和子帶比，構建特征向量并送入到神經網絡進行分類，可以一定程度上提高運動想象的分類準確率，最終在BCI Competition IV 2a 得到的平均準確率為76.03%；與不同分類器比較，WNN 分類效果較好。 在此基礎上，和現有的EEGNet、FBST ＋TSCNN 及多特征融合＋CNN 等方法進行了比較分析，結果良好。 因此，基于DTCWT 的松散型小波神經網絡在運動想象分類中是有效的，為運動想象解碼研究提供了一種新的方法。