一種深度小波過程神經(jīng)網(wǎng)絡(luò)及在時(shí)變信號(hào)分類中的應(yīng)用

張振　許少華

摘 ?要： 針對多通道非線性時(shí)變信號(hào)分類問題，提出一種基于稀疏自編碼器的深度小波過程神經(jīng)網(wǎng)絡(luò)（SAE-DWPNN）。通過構(gòu)建一種多輸入/多輸出的小波過程神經(jīng)網(wǎng)絡(luò)（WPNN），實(shí)現(xiàn)對時(shí)變信號(hào)的多尺度分解和對過程分布特征的初步提取;通過在WPNN隱層之后疊加一個(gè)SAE深度網(wǎng)絡(luò)，對所提取的信號(hào)特征進(jìn)行高層次的綜合和表示，并基于softmax分類器實(shí)現(xiàn)對時(shí)變信號(hào)的分類。SAE-DWPNN將現(xiàn)有過程神經(jīng)網(wǎng)絡(luò)擴(kuò)展為深度結(jié)構(gòu)，同時(shí)將深度SAE網(wǎng)絡(luò)在信息處理機(jī)制上擴(kuò)展到時(shí)間域，擴(kuò)展了兩類模型的信息處理能力。該網(wǎng)絡(luò)可提取多通道時(shí)序信號(hào)的分布特征及其結(jié)構(gòu)特征，并保持樣本特征的多樣性，提高了對信號(hào)時(shí)頻特性和結(jié)構(gòu)特征的分析能力。文中分析了SAE-DWPNN的性質(zhì)，給出了綜合訓(xùn)練算法。以基于12導(dǎo)聯(lián)ECG信號(hào)的7種心血管疾病分類診斷為例，實(shí)驗(yàn)結(jié)果驗(yàn)證了模型和算法的有效性。

關(guān)鍵詞：?時(shí)變信號(hào);模式分類;小波過程神經(jīng)網(wǎng)絡(luò);深度SAE網(wǎng)絡(luò);學(xué)習(xí)算法

中圖分類號(hào)： TP183????文獻(xiàn)標(biāo)識(shí)碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.022

【Abstract】： Aiming at the problem of multi-channel nonlinear time-varying signal classification， a deep wavelet process neural network based on sparse self-encoder （SAE-DWPNN） is proposed. By constructing a multi-input/?multi-output wavelet process neural network （WPNN）， multi-scale decomposition of time-varying signals and preliminary extraction of process distribution features are realized; By superimposing a SAE depth network after the WPNN hidden layer， the extracted signal features are synthesized and represented at a high level， and the time-varying signals are classified based on the softmax classifier. The SAE-DWPNN extends the existing process neural network into a deep structure， and expands the deep SAE network into the time domain in the information processing mechanism. It improves the information processing capabilities of the two models. The network can extract the distribution characteristics and structural features of multi-channel time series signals， and maintain the diversity of sample features， which improve the analysis ability of signal time-frequency characteristics and structural features. In this paper the properties of SAE-DWPNN is analyzed and a comprehensive training algorithm is given. Taking the classification of seven cardiovascular diseases based on 12-lead ECG signals as an example， the experimental results verify the validity of the model and algorithm.

【Key words】： Time-varying signal; Pattern classification; Wavelet process neural network; SAE deep network; Learning algorithm

0??引言

非線性系統(tǒng)多通道時(shí)變信號(hào)分類一直是智能信息處理領(lǐng)域研究的一個(gè)重要問題[1]。由于受多種非線性擾動(dòng)因素、信號(hào)間的耦合作用以及噪聲的影響，使得信號(hào)樣本往往具有非線性、非平穩(wěn)等特性，呈現(xiàn)多峰、伸縮、漂移、含噪聲等特征[2]。完整提取時(shí)變信號(hào)的分布特性，在模型機(jī)制上反映多通道信號(hào)分布的結(jié)構(gòu)特征、時(shí)間依賴和關(guān)聯(lián)性，對于復(fù)雜信號(hào)的分析具有重要意義。

針對時(shí)空維信息處理和時(shí)變信號(hào)過程特征的提取及表示問題，何新貴提出了過程神經(jīng)網(wǎng)絡(luò)（Process Neural Network，PNN）的概念和模型[3，4]。PNN的結(jié)構(gòu)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同之處在于其輸入和連接權(quán)等都可以是時(shí)變函數(shù)，神經(jīng)元內(nèi)增加了一個(gè)對于時(shí)間效應(yīng)的聚合算子，在機(jī)制上可同時(shí)表達(dá)多種影響因素的共同作用和對時(shí)間效應(yīng)的累積。該模型以輸入層和過程神經(jīng)元隱層之間的連接權(quán)函數(shù)矩陣來抽取和表示時(shí)變信號(hào)樣本的過程特征，通過對樣本集的學(xué)習(xí)形成對信號(hào)特征的記憶和存儲(chǔ)。在時(shí)變信號(hào)分類[5，6]、非線性系統(tǒng)過程模擬[7]、狀態(tài)預(yù)測[8，9]等領(lǐng)域獲得成功應(yīng)用。鐘詩勝等針對過程信號(hào)時(shí)頻特性分析問題，建立了一類小波過程神經(jīng)元（Wavelet Process Neuron，WPN）和小波過程神經(jīng)網(wǎng)絡(luò)（Wavelet?Process Neural Network，WPNN）[10]。該模型結(jié)合了PNN對時(shí)變信號(hào)的分析能力及小波變換良好的時(shí)頻局域化性質(zhì)，將過程神經(jīng)元的激勵(lì)函數(shù)取為小波基函數(shù)，隱層和輸出層閾值由小波的平移與伸縮參數(shù)所替代，實(shí)現(xiàn)了對信號(hào)時(shí)頻特征更強(qiáng)的學(xué)習(xí)能力和更高的預(yù)測精度[11]。目前，在PNN的研究和應(yīng)用中還存在一些困難，主要包括：現(xiàn)有各類PNN是一種淺層結(jié)構(gòu)模型，對復(fù)雜時(shí)變信號(hào)特征的提取、表征和高層次綜合能力不足;在訓(xùn)練樣本集規(guī)模較小或?qū)ο到y(tǒng)變換特征的表達(dá)不完備的情況下，存在泛化能力不穩(wěn)定的情況。隨著深度學(xué)習(xí)理論的發(fā)展，一些新的可用于時(shí)變信號(hào)分析的神經(jīng)網(wǎng)絡(luò)模型不斷被提出，例如，深度卷積神經(jīng)網(wǎng)絡(luò)[12]、深度遞歸網(wǎng)絡(luò)[13]、深度循環(huán)網(wǎng)絡(luò)[14]、Markov鏈[15]等，在機(jī)制上對時(shí)間序列信號(hào)的分類具有良好的適應(yīng)性。如果將PNN信息處理機(jī)制與深度學(xué)習(xí)理論相結(jié)合，則可為解決上述PNN問題提供一種新的方法。

本文針對非線性系統(tǒng)時(shí)變信號(hào)分類問題，提出了一種稀疏自編碼器深度小波過程神經(jīng)網(wǎng)絡(luò)（Sparse Auto Encoder Deep WPNN，SAE-DWPNN）。該模型中，多通道時(shí)變信號(hào)的過程特征及其組合關(guān)系由WPNN輸入層與WPN隱層之間的連接權(quán)函數(shù)矩陣進(jìn)行初始抽取和表示，該矩陣同時(shí)也構(gòu)成了信號(hào)樣本分布特征的記憶存儲(chǔ)單元。將WPN隱層的輸出作為深度SAE網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)WPNN單元與SAE深度結(jié)構(gòu)之間的信息傳遞，并通過深度SAE網(wǎng)絡(luò)進(jìn)一步進(jìn)行信號(hào)特征的高層次抽象、組合，形成顯著的分類特征，最后由softmax分類器實(shí)現(xiàn)對時(shí)變信號(hào)的模式分類。在SAE-DWPNN學(xué)習(xí)算法設(shè)計(jì)中，采用按信息處理單元、分段初始化網(wǎng)絡(luò)參數(shù)的策略。首先以隨機(jī)梯度下降算法實(shí)現(xiàn)對WPNN權(quán)值參數(shù)的賦初值訓(xùn)練，然后以無監(jiān)督逐層初始化算法實(shí)現(xiàn)對深度SAE網(wǎng)絡(luò)參數(shù)的賦初值，最后以有監(jiān)督BP算法對SAE-DWPNN的全體參數(shù)進(jìn)行微調(diào)。以基于12導(dǎo)聯(lián)ECG信號(hào)的7種心血管疾病分類為例進(jìn)行實(shí)驗(yàn)，正確識(shí)別率為85.76%，取得了良好結(jié)果。

1??小波過程神經(jīng)網(wǎng)絡(luò)

1.1??小波過程神經(jīng)元

小波過程神經(jīng)元（WPN）由過程輸入信號(hào)加權(quán)，時(shí)間、空間二維聚合和小波函數(shù)激勵(lì)輸出等三部分運(yùn)算組成。結(jié)構(gòu)如圖1所示。

1.2??小波過程神經(jīng)網(wǎng)絡(luò)

小波過程神經(jīng)網(wǎng)絡(luò)是由若干個(gè)WPN按一定的拓?fù)浣Y(jié)構(gòu)和信息變換流程組成的網(wǎng)絡(luò)模型，隱層激活函數(shù)采用小波函數(shù)?？紤]3層前向結(jié)構(gòu)的WPNN，設(shè)輸入層有個(gè)n單元，隱層由m個(gè)WPN組成，輸出層1個(gè)單元，則網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2??深度小波過程神經(jīng)網(wǎng)絡(luò)

2.1??小波稀疏自編碼器

小波稀疏自編碼器（Wavelet Sparse Auto Encoder，WSAE）是將小波神經(jīng)網(wǎng)絡(luò)與稀疏自編碼器結(jié)合的一種網(wǎng)絡(luò)模型。該模型將小波函數(shù)作為稀疏自編碼器的激勵(lì)函數(shù)，同時(shí)增加小波神經(jīng)網(wǎng)絡(luò)所特有的伸縮參數(shù)和平移參數(shù)。結(jié)構(gòu)如圖3。

2.2??深度小波過程神經(jīng)網(wǎng)絡(luò)

DWPNN由多輸入/多輸出WPNN、WSAE網(wǎng)絡(luò)結(jié)構(gòu)、softmax分類器等3個(gè)信息處理單元堆棧而成。每一信息單元的輸出為下一信息單元的輸入，網(wǎng)絡(luò)結(jié)構(gòu)和信息傳遞關(guān)系如圖4。

由式（7），利用WPNN的對時(shí)間維信息的變換機(jī)制和WSAE深度學(xué)習(xí)框架所具備的特征學(xué)習(xí)能力，使SAE-DWPNN具備了更好的對時(shí)變信號(hào)的特征辨識(shí)和分類能力。

3??DWPNN學(xué)習(xí)算法

DWPNN的學(xué)習(xí)過程分為3個(gè)階段：第1階段，進(jìn)行WPNN單元連接權(quán)參數(shù)的賦初值訓(xùn)練;第2階段，以WPNN隱層節(jié)點(diǎn)的輸出作為WSAE深度網(wǎng)絡(luò)的輸入，進(jìn)行網(wǎng)絡(luò)參數(shù)的賦初值學(xué)習(xí)，并對softmax分類器參數(shù)賦初值;第3階段，采用BP算法實(shí)現(xiàn)對SAE-DWPNN的全體參數(shù)進(jìn)行整體調(diào)優(yōu)。

3.3 ?SAE-DPNN參數(shù)的整體調(diào)優(yōu)

通過WPNN連接權(quán)參數(shù)賦初值訓(xùn)練和基于無監(jiān)督貪婪學(xué)習(xí)的WSAE逐層初始化訓(xùn)練，SAE-?DPNN中的各項(xiàng)參數(shù)均已賦初值，在此基礎(chǔ)上，根據(jù)訓(xùn)練集樣本函數(shù)的類別標(biāo)簽，采用BP算法實(shí)現(xiàn)對DAE-DPNN全體參數(shù)的整體調(diào)優(yōu)。

4??實(shí)驗(yàn)與結(jié)果分析

4.1??訓(xùn)練數(shù)據(jù)集

心電圖（electrocardiogram，ECG）信號(hào)反映人體心臟電位的變化，具有多峰、周期、非平穩(wěn)和背景噪聲等特點(diǎn)，不同心血管疾病具有不同的信號(hào)分布特征。本實(shí)驗(yàn)所用數(shù)據(jù)集來自中國心血管疾病數(shù)據(jù)庫（CCDD）中12導(dǎo)聯(lián)的ECG信號(hào)樣本，采樣頻率為500?Hz，每條記錄時(shí)間為6s左右，采樣時(shí)間序列長度為640。樣本帶有心拍分割標(biāo)記，并標(biāo)注了專家對疾病的診斷結(jié)果。在候選樣本中，刪除標(biāo)記模糊、時(shí)長不足、數(shù)量很少的樣本，確定其中7類共21196個(gè)樣本構(gòu)成數(shù)據(jù)集。樣本分布見表1中的疾病名稱和樣本數(shù)。

表1中，房性心動(dòng)過速和房顫伴快速心室率樣本數(shù)較少，采用數(shù)據(jù)增強(qiáng)方法。利用Sym8小波基函數(shù)將原始心電信號(hào)進(jìn)行10層小波分解，采用極大極小閾值估計(jì)法[17]確定閾值。將分解后的高頻信號(hào)與低頻信號(hào)重構(gòu)，分別得到300和551個(gè)新的信號(hào)樣本。原始信號(hào)樣本與新的信號(hào)樣本混合在一起，共同參與網(wǎng)絡(luò)模型的訓(xùn)練和測試。

4.2??實(shí)驗(yàn)和結(jié)果分析

在實(shí)驗(yàn)中，經(jīng)對比分析，SAE-DWPNN網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)設(shè)置見表2。WPN激勵(lì)函數(shù)取為在時(shí)、頻域局部特性均較好的Morlet母小波，其它神經(jīng)元激勵(lì)函數(shù)均取為sigmoid函數(shù)。

采用本文第3節(jié)建立的訓(xùn)練算法，基于樣本集進(jìn)行SAE-DWPNN網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)。實(shí)驗(yàn)硬件環(huán)境為Intel（R） Xeon（R） Gold 5118 CPU@2.30?GHz，實(shí)驗(yàn)平臺(tái)為MATLAB R2016b。在訓(xùn)練中，WPNN的迭代次數(shù)設(shè)為1000，SAE深度網(wǎng)絡(luò)迭代次數(shù)為500，全體參數(shù)調(diào)優(yōu)BP算法迭代次數(shù)為1000，學(xué)習(xí)率均取為0.25。采用4折交叉驗(yàn)證法，將數(shù)據(jù)集劃分為4份，依次選擇其中1份為測試集，剩余3份為訓(xùn)練集，重復(fù)4次實(shí)驗(yàn)，統(tǒng)計(jì)分類結(jié)果，取4次識(shí)別率的平均值。實(shí)驗(yàn)結(jié)果對訓(xùn)練集的平均正確識(shí)別率為95.28%，測試集的平均正確識(shí)別率為85.76%，這在12導(dǎo)聯(lián)ECG長信號(hào)識(shí)別中是一個(gè)較好的結(jié)果。7類信號(hào)具體識(shí)別情況如表3（混淆矩陣）所示。

作為方法對比，本文選擇三層小波神經(jīng)網(wǎng)絡(luò)[18]，網(wǎng)絡(luò)結(jié)構(gòu)為12-120-1，隱層激勵(lì)函數(shù)取Morlet小波函數(shù);雙隱層過程神經(jīng)網(wǎng)絡(luò)[19]，網(wǎng)絡(luò)結(jié)構(gòu)為12-60-?120-1，選擇三角函數(shù)基為正交基，基函數(shù)項(xiàng)數(shù)為32;深度SAE網(wǎng)絡(luò)，設(shè)置7層深度結(jié)構(gòu)，以softmax為分類器進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)采用相同的訓(xùn)練集和測試集，取準(zhǔn)確率、精確率、召回率和F1-score為評(píng)估標(biāo)準(zhǔn)。分類識(shí)別結(jié)果如表4所示。

由表4知，SAE-DWPNN方法的分類結(jié)果優(yōu)于其他模型，這是由于本文方法綜合了小波過程神經(jīng)網(wǎng)絡(luò)對時(shí)間信號(hào)時(shí)頻特性和結(jié)構(gòu)特征的提取能力、SAE深度網(wǎng)絡(luò)對特征的高層次綜合及對類別屬性關(guān)聯(lián)能力，改善了PNN訓(xùn)練因隨機(jī)賦初值使得目標(biāo)函數(shù)易陷入局部極值或產(chǎn)生梯度彌散的問題，因此取得了較好的實(shí)驗(yàn)結(jié)果。

5??結(jié)論

本文針對非線性系統(tǒng)復(fù)雜時(shí)變信號(hào)模式分類問題，提出和建立了一種新型深度小波過程神經(jīng)網(wǎng)絡(luò)。該模型在信息處理機(jī)制上融合了深度學(xué)習(xí)框架所具有的特征提取與特征高層次綜合能力、較好的泛化和學(xué)習(xí)性質(zhì)，以及過程神經(jīng)網(wǎng)絡(luò)所具有的可同時(shí)表達(dá)時(shí)變系統(tǒng)多種影響因素的共同作用和對時(shí)間效應(yīng)的累積等性質(zhì)，可實(shí)現(xiàn)對時(shí)間過程信號(hào)的直接分類處理，提高了網(wǎng)絡(luò)對系統(tǒng)輸入輸出之間復(fù)雜關(guān)系的映射能力，為時(shí)變過程信號(hào)的分類判別處提供了一種新的分析方法和建模工具。

參考文獻(xiàn)

Gao J， Murphey Y L， Zhu H. Multivariate time series prediction of lane changing behavior using deep neural network[J]. Applied Intelligence， 2018， 48（10）： 3523-3537.

Martin L， Lars K， Amy L. A review of unsupervised feature learning and deep learning for time-series modeling[J]. Pattern Recognition Letters， 2014， 42： 11-24.

何新貴， 梁久禎. 過程神經(jīng)元網(wǎng)絡(luò)的若干理論問題[J]. 中國工程科學(xué)， 2000， 2（12）： 40-44.

何新貴， 梁久禎， 許少華. 過程神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其應(yīng)用[J].?中國工程科學(xué)， 2001， 3（4）： 31-35.

Xu Shaohua， Liu Kun， Li Xuegui. A fuzzy process neural network model and its application in process signal classification[J]. Neurocomputing， 2019， 331： 1-8.

Liu Kun， Xu Shaohua， Feng Naidan. A radial basis probabilistic process neural network model and corresponding classification algorithm[J]. Applied Intelligence， 2019， 49： 2256-?2265

許少華， 何新貴. 一種基于過程神經(jīng)元網(wǎng)絡(luò)的非線性動(dòng)態(tài)系統(tǒng)辨識(shí)模型及應(yīng)用[J]. 信息與控制， 2010， 39（2）： 158-?163.

劉志剛， 許少華， 肖佃師， 等. 極限學(xué)習(xí)脊波過程神經(jīng)網(wǎng)絡(luò)及應(yīng)用[J]. 電子科技大學(xué)學(xué)報(bào)，?2019，?48（01）：?110-116.

吳淑玲， 許少華， 張強(qiáng). 一種級(jí)聯(lián)過程神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)預(yù)測模型及其應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用， 2011， 47（11）： 145-148.

鐘師勝， 李洋. 基于小波過程神經(jīng)網(wǎng)絡(luò)的飛機(jī)發(fā)動(dòng)機(jī)狀態(tài)監(jiān)視[J]. 航空學(xué)報(bào)， 2007， 28（1）： 68-71.

Ding Gang， Zhong Shisheng， Li Yang. Time series prediction using wavelet process neural network[J]. Chinese Physics B， 2008， 17（06）： 1998-2003.

Pyakillya B， Kazachenko N， Mikhailovsky N. Deep Learning for ECG classification[J]. Journal of Physics： Conference Series， 2017， 913（1）.

Kim S S， Hasegawa-Johnson M， Chen K. Automatic recogni tion of pitch movements using multilayer perceptron and time-?delay recursive neural network[J]. IEEE Signal Processing Letters， 2004， 11（7）：?645-648.

劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

Chang P C， Lin J J， Hsieh J C. Myocardial infarction classi fication with multi-lead ECG using hidden Markov models and Gaussian mixture models[J]. Applied Soft Computing， 2012 （10）.

Yu L L， Tan B X， Meng T X. The automatic classification of ECG based on BP neural network[J]. Advanced Materials Research， 2010 （121）.

孔玲軍. Matlab小波分析超級(jí)學(xué)習(xí)手冊[M]. 北京：?人民郵電出版社， 2014：?296-313.

梁曄， 郝潔， 石蕊. 基于小波神經(jīng)網(wǎng)絡(luò)的數(shù)字信號(hào)調(diào)制方式識(shí)別[J]. 吉林大學(xué)學(xué)報(bào)（理學(xué)版）， 2018， 56（02）：?382-388.

許少華， 何新貴， 尚福華. 基于基函數(shù)展開的雙隱層過程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用[J]. 控制與決策， 2004（01）：?36-39+48.