基于SAE的深度過程神經(jīng)網(wǎng)絡(luò)模式識別與預(yù)測

祁威 許少華

摘 要：非線性復(fù)雜時變信號模式分類是信號處理和人工智能研究領(lǐng)域的重要課題。將稀疏自動編碼器（SAE）與過程神經(jīng)網(wǎng)絡(luò)（PNN）棧式疊加，構(gòu)建了一種深度過程神經(jīng)網(wǎng)絡(luò)模型（DPNN）。在傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)無監(jiān)督逐層初始化與梯度下降相結(jié)合的算法基礎(chǔ)上，通過引入一種時變輸入信號和連接權(quán)函數(shù)，基于一組正交函數(shù)基，建立DPNN的綜合訓(xùn)練算法。DPNN模型可保持樣本特征的多樣性，有效提高對信號結(jié)構(gòu)特征的提取能力和不同類別樣本特征的區(qū)分度。將傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)在信息處理機制上擴展為時間域，實現(xiàn)對時變信號直接分類處理，應(yīng)用于心腦血管疾病的預(yù)測分析和處理取得了良好結(jié)果。

關(guān)鍵詞：稀疏自動編碼器；過程神經(jīng)網(wǎng)絡(luò)；深度過程神經(jīng)網(wǎng)絡(luò)；非線性時變信號；模式識別

DOI：10.11907/rjdk.173282

中圖分類號：TP301

Abstract：The classification of nonlinear complex time-varying signals is an important aspect of signal processing and artificial intelligence. Deep process neural network model is constructed by stacking sparse automatic encoders and process neural networks in this paper. We establish the depth process neural network integrated with training algorithm by introducing a time-varying input signal and connection weight function based on a set of orthogonal function base expansion algorithm. Based on the algorithm of unsupervised layer initialization of traditional depth neural network and gradient descent， DPNN model can maintain the diversity of sample characteristics and effectively improve the extraction of signal structure characteristics and different types of sample characteristics of the distinction.At the same time the traditional depth of neural network in the information processing mechanism is expanded into the time domain to achieve direct classification processing of time-varying signals， cardiovascular and cerebrovascular disease prediction， The cardiovascular and cerebrovascular disease prediction was analyzed and processed， and good results are obtained.

Key Words：sparse automatic encoder； process neural network； SAE depth process neural network； nonlinear time-varying signal； pattern recognition

0 引言

心腦血管疾病的發(fā)生與人的各項生理指標息息相關(guān)，其發(fā)病原因復(fù)雜多樣，給心腦血管疾病的預(yù)測帶來了困難，許多學(xué)者對此進行了研究。劉力生[1]研究表明，高血壓是心腦血管疾病的主要誘因之一，血壓升高會增加心腦血管疾病發(fā)病概率；謝華[2]提出血脂變化對心腦血管疾病發(fā)病有一定影響；吳碩琳等[3]研究發(fā)現(xiàn)，血糖是影響心腦血管病發(fā)病的風(fēng)險因素之一。心腦血管疾病預(yù)測模型也經(jīng)歷了從統(tǒng)計分析模型到機器學(xué)習(xí)預(yù)測模型的發(fā)展過程，宋志剛[4]建立了基于LM算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型，實驗表明該模型對疾病的預(yù)測有一定效果；鄢華[5]通過對受限波茨曼機和深度置信神經(jīng)網(wǎng)絡(luò)的研究，提出了基于跳轉(zhuǎn)馬爾科夫鏈蒙特卡羅算法的模式集算法。

對心腦血管疾病預(yù)測時，時變信號常常受隨機因素、噪聲信號以及一些不確定因素影響，特別是多變量系統(tǒng)多個信號的組合過程特征呈現(xiàn)出高度的復(fù)雜性。深度自動編碼器[6]具有優(yōu)異的特征學(xué)習(xí)能力，訓(xùn)練難度可通過基于無監(jiān)督學(xué)習(xí)的逐層初始化算法策略有效克服。但現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)模型中，在機制上無法實現(xiàn)對時變過程信號的直接分析處理。PNN模型[7]對連續(xù)時變系統(tǒng)的泛函逼近能力較強，具有連續(xù)性和解能力。本文將SAE與PNN結(jié)合，以SAE為網(wǎng)絡(luò)結(jié)構(gòu)深度單元，通過棧式疊加方式建立網(wǎng)絡(luò)各隱層之間的信息變換和傳遞關(guān)系，構(gòu)建一種DPNN預(yù)測和模式識別模型。

1 過程神經(jīng)網(wǎng)絡(luò)

1.1 過程神經(jīng)網(wǎng)絡(luò)原理

PNN具有時空二維信息處理能力，其輸入和連接權(quán)等都可以是時變函數(shù)，神經(jīng)元內(nèi)增加了一個時間效應(yīng)[8]的聚合算子，在機制上可同時表達為多種影響因素的共同作用和對時間效應(yīng)的累積。PNN一般由輸入層、過程神經(jīng)元隱層、非時變神經(jīng)元隱層和輸出層構(gòu)成。PNN拓撲結(jié)構(gòu)如圖1所示。

1.2 過程神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)算法

本文采用基于函數(shù)正交基展開[9]的PNN學(xué)習(xí)算法。PNN輸入與輸出關(guān)系為：

2 稀疏自動編碼器

2.1 稀疏自動編碼器原理

深度神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的高層特征[10]學(xué)習(xí)能力，通過無監(jiān)督學(xué)習(xí)的逐層初始化算法克服訓(xùn)練難度，通過訓(xùn)練學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)對復(fù)雜函數(shù)的逼近。

SAE是深度神經(jīng)網(wǎng)絡(luò)模型的一種，SAE要求輸出盡可能等于輸入，并且它的隱藏層必須滿足一定的稀疏性，即隱藏層不能攜帶太多信息，所以隱藏層對輸入進行了壓縮，并在輸出層中解壓縮。為了保證隱藏層的稀疏性，自動編碼器的代價方程[11]加入了一個稀疏約束項：

3 基于SAE的深度過程神經(jīng)網(wǎng)絡(luò)

3.1 原理

在PNN深度結(jié)構(gòu)構(gòu)建中，以SAE為網(wǎng)絡(luò)結(jié)構(gòu)深度單元，通過棧式疊加[15]方式，構(gòu)成由時變過程信號輸入層、過程神經(jīng)元隱層、稀疏自編碼器深度結(jié)構(gòu)單元、分類器輸出單元組成的深度過程神經(jīng)網(wǎng)絡(luò)模型。

網(wǎng)絡(luò)模型拓撲結(jié)構(gòu)如圖3所示。

3.2 學(xué)習(xí)算法

為訓(xùn)練DPNN，在學(xué)習(xí)算法設(shè)計中采用將時變輸入信號和連接權(quán)函數(shù)用一組正交函數(shù)基表示的方法，降低過程神經(jīng)元時空聚合運算的復(fù)雜性。

對于DPNN的整體學(xué)習(xí)問題，結(jié)合現(xiàn)有PNN訓(xùn)練方法，采用無監(jiān)督逐層初始化[6]與有教師示教相結(jié)合的算法策略，在訓(xùn)練機制上保證對各類樣本特征的提取和高層次組合能力，以及深度網(wǎng)絡(luò)的學(xué)習(xí)效率。

（3）SAE賦初值訓(xùn)練。

①將PNN模型的各個過程神經(jīng)元隱層節(jié)點的輸出作為稀疏自動編碼器的輸入；

②依據(jù)式（8）計算誤差E和迭代次數(shù)M。如果E<ε或s>M則轉(zhuǎn)步驟（3）。

③依據(jù)式（9）和式（10），通過逐層初始化與梯度下降法[16]修正SAE權(quán)值與閾值，轉(zhuǎn)步驟（2）。

（4）BP分類器參數(shù)賦初值。

（5）采用BP算法進行DPNN全體參數(shù)微調(diào)。

4 實驗仿真及結(jié)果分析

4.1 數(shù)據(jù)集選取

心腦血管疾病的預(yù)測既重要又復(fù)雜，論文數(shù)據(jù)來源于Andras Janosi、William Steinbrunn、Matthias Pfisterer等在1998年收集的數(shù)據(jù)集文件（http：//archive.ics.uci.edu/ml/datasets/Heart+Disease）。

該數(shù)據(jù)集包括年齡、性別、血糖等計76項指標，每條數(shù)據(jù)都有嚴格的數(shù)據(jù)格式。論文選取預(yù)測所需9項指標：年齡、性別、靜息血壓、血脂、空腹血糖、靜息心電圖（正常的、有ST-T波異常）、最大心率、胸部疼痛類型（典型的心絞痛、不典型心絞痛、非心絞痛、無癥狀）、峰值運動ST段的斜率。設(shè)置模型的期望輸出為5：無風(fēng)險、低危、中高危、高危和確診。按3∶1的比例劃分訓(xùn)練集和測試集，選取數(shù)據(jù)集中的8 501條數(shù)據(jù)作為DPNN模型的訓(xùn)練數(shù)據(jù)集，另外選取2 834條數(shù)據(jù)作為模型的測試數(shù)據(jù)集。

4.2 數(shù)據(jù)預(yù)處理

對于患者一月內(nèi)的靜息心電圖，采用OpenCV表示成HOG特征向量[17]形式；胸部疼痛類型分別用00、01、10、11表示。

4.2.1 數(shù)據(jù)集擴展

由于DPNN模型層數(shù)較多，隨著學(xué)習(xí)能力增強，DPNN模型參數(shù)的個數(shù)也會增加。為避免因小樣本問題而產(chǎn)生的過擬合現(xiàn)象，本文利用“加噪”方法[18]擴充數(shù)據(jù)集，獲得大樣本數(shù)據(jù)，提高DPNN模型的泛化能力，增強模型算法的魯棒性。

4.2.2 數(shù)據(jù)集數(shù)據(jù)歸一化

原始數(shù)據(jù)經(jīng)過數(shù)據(jù)歸一化[19]處理后，數(shù)據(jù)映射到0-1范圍內(nèi)，消除了指標的量綱影響。數(shù)據(jù)歸一化公式如下：

式（13）中，max為指標數(shù)據(jù)的最大值，min為指標數(shù)據(jù)的最小值。

4.2.3 數(shù)據(jù)集正交函數(shù)基表示

將患者一月內(nèi)的9項指標分別用一組正交Legendre函數(shù)基表示，取正交函數(shù)基系數(shù)作為DPNN模型輸入。

4.3 模型建立與仿真

在構(gòu)建DPNN模型中，過程神經(jīng)元隱層的節(jié)點個數(shù)、SAE深度結(jié)構(gòu)的隱層數(shù)和節(jié)點數(shù)以及稀疏參數(shù)是重要的模型參數(shù)，對應(yīng)選取9項指標確定模型的輸入層節(jié)點個數(shù)為9，對應(yīng)5個分類期望輸出確定模型的節(jié)點個數(shù)為5的softmax輸出層；輸入函數(shù)和權(quán)函數(shù)展開為Legendre基函數(shù)，基函數(shù)個數(shù)為60；神經(jīng)元的激勵函數(shù)為非線性映射能力很強的Sigmod函數(shù)；最大訓(xùn)練次數(shù)為10 000，訓(xùn)練誤差為0.001；設(shè)置非稀疏懲罰項為0.05以保證DPNN模型的稀疏性。

4.3.1 模型仿真與結(jié)果分析

分別設(shè)置不同過程神經(jīng)元隱層的節(jié)點個數(shù)、SAE深度結(jié)構(gòu)的隱層數(shù)和節(jié)點數(shù)，比較預(yù)測率，確定DPNN結(jié)構(gòu)，實驗結(jié)果如表1所示。

由表1可知，PNN隱層節(jié)點數(shù)、基函數(shù)個數(shù)、SAE深度隱層層數(shù)、SAE深度隱層節(jié)點數(shù)增加到一定限度時，模型的預(yù)測率不再增加，反而減小。當(dāng)PNN隱層節(jié)點數(shù)為20、SAE隱層層數(shù)為15、SAE隱層節(jié)點數(shù)為200、非稀疏懲罰項和稀疏目標為0.05時，模型的預(yù)測率最高。DPNN

模型訓(xùn)練誤差曲線如圖4所示。

DPNN模型經(jīng)過7 316次訓(xùn)練后，DPNN收斂準確率達97.6%；相同樣本下與BP神經(jīng)網(wǎng)絡(luò)、PNN和SAE對比[20]，可知DPNN效果較好，對比結(jié)果如表2所示。

對表2分析發(fā)現(xiàn)，4種預(yù)測模型的預(yù)測率高低順序為：BP模型

5 結(jié)語

建立以SAE為深度結(jié)構(gòu)單元的新型DPNN模型，提高了時變信號過程特征的提取、表示、高層次綜合能力和不同類別樣本特征之間的區(qū)分度，實現(xiàn)了對時變信號的直接分類處理。建立時變信號基于正交函數(shù)基展開，融合無監(jiān)督算法與有教師示教算法的DPNN綜合訓(xùn)練方法，有效改善了因隨機賦初值使得訓(xùn)練目標函數(shù)易陷入局部極值或產(chǎn)生梯度彌散的問題，提高了網(wǎng)絡(luò)的泛化能力。改進后的識別模型對模式識別有較好效果。

參考文獻：

[1] 劉力生，龔蘭生，王文，等.降壓治療對中國腦血管病患者腦卒中再發(fā)預(yù)防的多中心隨機雙盲對照臨床研究[J].中華心血管病雜志，2005（7）：613-617.

[2] 謝華，徐丹鳳，陳艷秋，等.亞麻籽油對高脂誘導(dǎo)肥胖小鼠血糖和胰升血糖素樣肽-1分泌影響的研究[J].中國糖尿病雜志，2015，23（4）：356-359.

[3] 吳碩琳，石玉芝，王春雪，等.高齡腦卒中患者糖代謝異常對不良預(yù)后的影響[J].中華老年心腦血管病雜志，2014，16（2）：163-166.

[4] 王炳萱.LM優(yōu)化算法和神經(jīng)網(wǎng)絡(luò)預(yù)測控制在非線性系統(tǒng)中的研究[D].太原：太原理工大學(xué)，2016.

[5] 蘇寶星.基于深度學(xué)習(xí)的醫(yī)學(xué)圖像模式分類研究[D].金華：浙江師范大學(xué)，2016.

[6] 豐曉霞.基于深度學(xué)習(xí)的圖像識別算法研究[D].太原：太原理工大學(xué)，2015.

[7] 許少華，何新貴，劉坤，等.關(guān)于連續(xù)過程神經(jīng)元網(wǎng)絡(luò)的一些理論問題[J].電子學(xué)報，2006（10）：1838-1841.

[8] 許少華，何新貴.基于函數(shù)正交基展開的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].計算機學(xué)報，2004（5）：645-650.

[9] 許少華，何新貴，尚福華.基于基函數(shù)展開的雙隱層過程神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用[J].控制與決策，2004（1）：36-39，48.

[10] 鄧俊鋒，張曉龍.基于自動編碼器組合的深度學(xué)習(xí)優(yōu)化方法[J].計算機應(yīng)用，2016（3）：697-702.

[11] 李衛(wèi).深度學(xué)習(xí)在圖像識別中的研究及應(yīng)用[D].武漢：武漢理工大學(xué)，2014.

[12] CHENG LUNG HUANG，JIAN FAN DUN.A distributed PSO-SVM hybrid system with feature selection and parameter optimization[J]. Applied Soft Computing Journal，2007（6）：157-160.

[13] ELEANOR A CURRAN，MARIA J STOKES. Learning to control brain activity： a review of the production and control of EEG components for driving brain-computer interface （BCI） systems[J].Brain and Cognition，2003（3）：1524-1531.

[14] 尹征，唐春暉，張軒雄.基于改進型稀疏自動編碼器的圖像識別[J].電子科技，2016（1）：124-127.

[15] KARL SJOSTRAND，MICHAEL SASS HANSEN，HENRIK B LARSSON，et al. A path algorithm for the support vector domain description and its application to medical imaging[EB/OL]. http：//www.doc88.com/p-6731225518170.html.

[16] BINGHUANG CAI，XIA JIANG.A novel artificial neural network method for biomedical prediction based on matrix pseudo-inversion[J].Journal of Biomedical Informatics，2013（2）：68-72.

[17] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：1154-1165.

[18] A HYVRINEN， E OJA.Independent component analysis： algorithms and applications[J]. Neural Networks，2000（6）：156-162.

[19] MUHAMMAD TAHIR AKHTAR，WATARU MITSUHASHI，CHRISTOPHER J. Employing spatially constrained ICA and wavelet denoising， for automatic removal of artifacts from multichannel EEG data[J]. James，Signal Processing，2011（2）：297-301.

[20] YOUNG SUP HWANG，SUNG YANG BANG.An efficient method to construct a radial basis function neural network classifier[J]. Neural Networks，1997（8）：86-90.

[21] 秦勝君.基于稀疏自動編碼器的微博情感分類應(yīng)用研究[J].廣西科技大學(xué)學(xué)報，2015（3）：36-40.

（責(zé)任編輯：杜能鋼）