基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)的模擬電路故障診斷*

王 洪,牛曉靈

(平頂山工業(yè)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系,河南 平頂山 467001)

基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)的模擬電路故障診斷*

王 洪*,牛曉靈

(平頂山工業(yè)職業(yè)技術(shù)學(xué)院計(jì)算機(jī)系,河南 平頂山 467001)

為了提高模擬電路故障診斷的準(zhǔn)確率,提出了一種基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)(l2-RESN)的模擬電路故障診斷方法。l2-RESN在ESN的約束優(yōu)化函數(shù)中引入l2正則化因子,推導(dǎo)帶正則化因子的ESN輸出權(quán)重計(jì)算公式,避免傳統(tǒng)的ESN算法因矩陣奇異而降低模型泛化能力。實(shí)驗(yàn)結(jié)果表明,相比于支持向量機(jī)(SVM)和標(biāo)準(zhǔn)ESN,l2-RESN的診斷準(zhǔn)確率分別提高1.11%和18.34%。證明l2-RESN能夠有效提高模擬電路診斷的準(zhǔn)確性。

模擬電路;故障診斷;神經(jīng)網(wǎng)絡(luò);拉格朗日函數(shù)

模擬電路因存在著模型的非線(xiàn)性、器件的容差性以及故障模式的多樣性等因素,傳統(tǒng)的故障診斷方法已經(jīng)不適合對(duì)其進(jìn)行準(zhǔn)確的診斷。近些年來(lái),隨著人工智能技術(shù)的快速發(fā)展,神經(jīng)網(wǎng)絡(luò)[1-2]、支持向量機(jī)[3-4]、D-S證據(jù)理論[5]等智能算法先后應(yīng)用于模擬電路的故障診斷,取得了一定的研究成果。其中,回聲狀態(tài)網(wǎng)絡(luò)(ESN)作為一種新型的遞歸神經(jīng)網(wǎng)絡(luò),其隱含層的權(quán)值通過(guò)隨機(jī)方式預(yù)先生成,而只有輸出層權(quán)值系數(shù)需要訓(xùn)練得到,具有穩(wěn)定性好、網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練速度快和非線(xiàn)性映射能力強(qiáng)等優(yōu)點(diǎn),已經(jīng)在時(shí)間序列預(yù)測(cè)[6-8]、話(huà)務(wù)量預(yù)測(cè)[9]、故障預(yù)測(cè)[10]等領(lǐng)域得到了應(yīng)用。目前,回聲狀態(tài)網(wǎng)絡(luò)在模擬電路故障診斷方面還處于初步研究階段,相關(guān)研究成果相對(duì)較少。文獻(xiàn)[11-12]分別將集成思想和時(shí)間窗函數(shù)引入ESN,并將其應(yīng)用于模擬電路故障診斷中。

對(duì)于ESN而言,過(guò)少的隱節(jié)點(diǎn)會(huì)造成欠擬合現(xiàn)象,降低ESN模型預(yù)測(cè)的準(zhǔn)確性,因此需要增加ESN的隱節(jié)點(diǎn)數(shù)目,但是過(guò)多的隱節(jié)點(diǎn)會(huì)造成過(guò)擬合現(xiàn)象,引起輸出權(quán)值矩陣出現(xiàn)奇異,從而導(dǎo)致求解無(wú)效現(xiàn)象,降低ESN模型的泛化能力。理論和實(shí)驗(yàn)已經(jīng)證明[13-14],l2正則化能夠有效地避免過(guò)擬合問(wèn)題。為此,本文將l2正則化因子引入ESN輸出權(quán)重矩陣計(jì)算公式中,標(biāo)準(zhǔn)測(cè)試電路的實(shí)驗(yàn)結(jié)果證實(shí)了改進(jìn)方法在模擬電路故障診斷中的有效性。

1 l2正則化回聲狀態(tài)網(wǎng)絡(luò)

1.1 ESN模型

ESN的狀態(tài)方程可以表示成如下形式:

u(k+1)=f(Winx(k+1)+Wuu(k))

(1)

t(k+1)=βu(k)

(2)

式中:x(k)∈RM、u(k)∈RL和t(k)∈R分別表示輸入變量、狀態(tài)變量和輸出變量。Win∈RL×M、Wu∈RL×L和β∈RL分別表示輸入矩陣、儲(chǔ)備池內(nèi)部連接矩陣和輸出權(quán)重矩陣,L表示內(nèi)部連接層節(jié)點(diǎn)數(shù)。Win和Wu通過(guò)隨機(jī)方式產(chǎn)生并保持常數(shù)不變。

式(2)可以表示成矩陣形式為,

Hβ=T

(3)

式中:

H=[u(1)u(2) …u(N)]T

(4)

T=[t(1)t(2) …t(N)]T

(5)

式中:N表示狀態(tài)變量數(shù)量,式(3)中的權(quán)重矩陣β可以按式(6)計(jì)算,

(6)

式中:H?表示H的Moore-Penrose廣義逆矩陣[15]。

1.2l2-RESN

為了解決ESN學(xué)習(xí)中的過(guò)擬合問(wèn)題,避免出現(xiàn)奇異矩陣,需要在經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)中尋求折衷,為此,需要對(duì)ESN進(jìn)行如下約束優(yōu)化:

(7)

式中:p=1,2,…,N,λ為l2正則化因子,用于調(diào)節(jié)經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)。βi為連接內(nèi)部層第i個(gè)節(jié)點(diǎn)的權(quán)重,β=[β1β2…βN]T。ε=[ε1ε2…εN]T為誤差。為了求解上述式(7)的優(yōu)化問(wèn)題,需要建立如下拉格朗日函數(shù),

(8)

式中:w=[w1w2…wN]為拉格朗日權(quán)值,H和T如式(4)和式(5)所示。

對(duì)式(8)中的各變量求偏導(dǎo),然后令偏導(dǎo)數(shù)為零,則得到如下結(jié)果,

(9)

對(duì)于被預(yù)測(cè)樣本x的二分類(lèi)問(wèn)題,決策方程為

(10)

對(duì)于被預(yù)測(cè)樣本x的多分類(lèi)問(wèn)題,決策方程為

(11)

式中:gi(x)為第i個(gè)輸出節(jié)點(diǎn)的輸出,且g(x)=[g1(x),…,gm(x)]T。

整理后,得l2-RESN算法流程為:

步驟2 隨機(jī)產(chǎn)生輸入矩陣Win和儲(chǔ)備池內(nèi)部連接矩陣Wu。

步驟3 計(jì)算內(nèi)部層輸出矩陣H。

H=[u(1)u(2) …u(N)]T

(12)

(13)

步驟5 當(dāng)有新的輸入變量x到來(lái)時(shí),按照式(1)計(jì)算h(x)。

h(x)=u(Nx)

(14)

步驟6 將h(x)代入式(10)或式(11)得到分類(lèi)結(jié)果。

2 基于l2-RESN的模擬電路故障診斷

模擬電路的故障診斷主要包括故障特征提取和故障類(lèi)型分類(lèi)兩部分,則基于l2-RESN的模擬電路故障診斷流程整理如下:

步驟1 采集模擬電路輸出的原始信號(hào),利用小波分解等方法提取能夠反映電路故障的特征。

步驟3 利用訓(xùn)練好的l2-RESN診斷電路故障。

3 故障診斷實(shí)例

3.1 實(shí)驗(yàn)數(shù)據(jù)

以模擬和混合信號(hào)測(cè)試標(biāo)準(zhǔn)電路中的CTSV濾波電路作為診斷實(shí)例,電路如圖1所示。

圖1 CTSV濾波電路

電路中每個(gè)無(wú)源器件的標(biāo)稱(chēng)值如圖1所示,電阻和電容均具有±5%容差。假設(shè)電路中的無(wú)源器件發(fā)生單故障,故障模式包括硬故障和軟故障兩種,對(duì)于軟故障,設(shè)定元件偏離其標(biāo)稱(chēng)值的±50%。設(shè)置電路出現(xiàn)的硬故障種類(lèi)為9種,軟故障種類(lèi)為8種,連同電路無(wú)故障時(shí)的狀態(tài),則17種故障狀態(tài)Fi(i=1,2,…,17)和無(wú)故障狀態(tài)F0如表1所示。

表1 電路故障類(lèi)型(F0無(wú)故障)

采用Pspice仿真待測(cè)電路,給電路輸入端施加一幅度為1 V,頻率為1 kHz的正弦電壓信號(hào)。設(shè)置采樣頻率為40 kHz,對(duì)每種故障狀態(tài)進(jìn)行71次蒙特卡洛仿真,對(duì)每次響應(yīng)輸出采集512個(gè)數(shù)據(jù)點(diǎn),進(jìn)行4層db5小波分解,利用近似系數(shù)和細(xì)節(jié)系數(shù)的能量構(gòu)成五維特征向量,作為故障特征參數(shù)集合。

將樣本分為3部分,前31次蒙特卡洛仿真得到的558個(gè)樣本作為訓(xùn)練樣本集,另20次蒙特卡洛仿真得到的360個(gè)樣本作為參數(shù)優(yōu)化樣本集,用于優(yōu)化故障診斷模型的參數(shù),最后20次蒙特卡洛仿真得到的360個(gè)樣本作為測(cè)試樣本集。

3.2 參數(shù)選擇

為了證明本文提出方法的有效性,利用支持向量機(jī)(SVM)和標(biāo)準(zhǔn)回聲狀態(tài)網(wǎng)絡(luò)(ESN)作為對(duì)比方法,其中SVM采用OSU-SVM工具箱提供的函數(shù)。

圖2 識(shí)別準(zhǔn)確率

對(duì)于SVM,懲罰參數(shù)C和核參數(shù)γ影響著故障診斷的準(zhǔn)確率,對(duì)于ESN,儲(chǔ)備池內(nèi)部神經(jīng)元個(gè)數(shù)L需要人為確定,對(duì)于l2-RESN,正則化因子λ和儲(chǔ)備池內(nèi)部神經(jīng)元個(gè)數(shù)L影響著識(shí)別準(zhǔn)確性。為此,利用網(wǎng)格搜索法確定不同方法的最優(yōu)參數(shù),對(duì)于SVM,分別令C和γ={2-24,2-23,…,224,225},根據(jù)網(wǎng)格搜索法求出每一對(duì)C和γ對(duì)應(yīng)的用于優(yōu)化模型參數(shù)樣本的識(shí)別準(zhǔn)確率。同理,對(duì)于ESN,令L={100,200,…,2 000},對(duì)于l2-RESN,分別令λ={2-24,2-23,…,224,225}和L={100,200,…,2 000},計(jì)算識(shí)別準(zhǔn)確率。則SVM、ESN和l2-RESN 3種方法對(duì)參數(shù)優(yōu)化樣本的識(shí)別準(zhǔn)確率如圖2所示,參數(shù)尋優(yōu)結(jié)果如表2所示。

表2 參數(shù)尋優(yōu)結(jié)果

3.3 實(shí)驗(yàn)結(jié)果

對(duì)于SVM、ESN和l2-RESN 3種方法,利用訓(xùn)練樣本和表2所示的參數(shù)建立故障診斷模型,對(duì)測(cè)試樣本進(jìn)行測(cè)試,3種方法對(duì)測(cè)試樣本的分類(lèi)準(zhǔn)確率如表3所示。

由表3可以看出,ESN方法的平均診斷準(zhǔn)確率為75.83%,SVM和l2-RESN的平均診斷準(zhǔn)確率分別為93.06%和94.17%,本文提出的l2-RESN的診斷結(jié)果優(yōu)于ESN和SVM,尤其對(duì)于故障F1、F2、F9,RESN的診斷準(zhǔn)確率最高,說(shuō)明將正則化因子引入ESN后,可以有效提高ESN診斷模型對(duì)不同故障的識(shí)別準(zhǔn)確率,從而證明本文方法的有效性。

表3 不同方法的診斷正確率 單位:%

4 結(jié)論

本文提出了一種新的模擬電路故障診斷方法。為了解決傳統(tǒng)ESN診斷法容易產(chǎn)生奇異矩陣,繼而影響模型泛化能力,降低故障診斷準(zhǔn)確性的問(wèn)題,提出了一種基于l2-RESN的模擬電路故障診斷方法。對(duì)標(biāo)準(zhǔn)濾波電路進(jìn)行測(cè)試診斷,相比于SVM和傳統(tǒng)的ESN,本文提出的l2-RESN方法的診斷結(jié)果優(yōu)于ESN和SVM,實(shí)驗(yàn)結(jié)果證明了本文提出方法的有效性。

[1] Zhao Dongsheng,He Yuzhu. A Novel Binary Bat Algorithm with Chaos and Doppler Effect in Echoes for Analog Fault Diagnosis[J]. Analog Integrated Circuits and Signal Processing,2016,87(3):1-14.

[2] 周柏清,王劉濤,任勇軍. FMM神經(jīng)網(wǎng)絡(luò)結(jié)合CART的感應(yīng)電動(dòng)機(jī)故障診斷方法[J]. 電子器件,2016,39(4):993-999.

[3] Hongzhi Hu,Shulin Tian,Qing Guo. The Application of HIWO-SVM in Analog Circuit Fault Diagnosis[J]. International Journal of Pattern Recognition and Artificial Intelligence,2015,15(1):1-10.

[4] 馮志剛,王茹,田豐. 基于MVRVM回歸和RVM二叉樹(shù)分類(lèi)的自確認(rèn)氣動(dòng)執(zhí)行器故障診斷算法[J]. 傳感技術(shù)學(xué)報(bào),2015,28(6):843-849.

[5] Hong Zhu. Fault Diagnosis for Analog Circuits Based on D-S Evidence Theory and PSO Neural Network[J]. Computer Measurement and Control,2013,13(1):1-6.

[6] Shu Xian Lun,Xian Shuang Yao,Hong Yun Qi. A Novel Model of Leaky Integrator Echo State Network for Time-Series Prediction[J]. Neurocomputing,2015,159(3):58-66.

[7] Lun S X,Lin J,Yao X S. Time Series Prediction with an Improved Echo State Network Using Small World Network[J]. Acta Automatica Sinica,2015,41(9):1669-1679.

[8] Xiaomin Xu,Dongxiao Niu,Ming Fu. A Multi Time Scale Wind Power Forecasting Model of a Chaotic Echo State Network Based on a Hybrid Algorithm of Particle Swarm Optimization and Tabu Search[J]. Energies,2015,8(11):12388-12408.

[9] Filippo Maria Bianchi,Simone Scardapane,Aurelio Uncini. Prediction of Telephone Calls Load Using Echo State Network with Exogenous Variables[J]. Neural Networks,2015,71(3):204-213.

[10] Simon Morando,Samir Jemei,Daniel Hissel. Predicting the Remaining Useful Lifetime of a Proton Exchange Membrane Fuel Cell using an Echo State Network[J]. International Discussion on Hydrogen Energy and Applications,2014,1(1):1-9.

[11] 彭喜元,郭嘉,王建民. 基于隨機(jī)子空間與多儲(chǔ)備池的分類(lèi)方法[J]. 儀器儀表學(xué)報(bào),2011,32(11):2487-2492.

[12] 郭嘉,雷苗,彭喜元. 基于相應(yīng)簇回聲狀態(tài)網(wǎng)絡(luò)靜態(tài)分類(lèi)方法[J]. 電子學(xué)報(bào),2011,39(s1):14-18.

[13] 張文林,張連海,牛銅. 基于正則化的本征音說(shuō)話(huà)人自適應(yīng)方法[J]. 自動(dòng)化學(xué)報(bào),2012,38(12):1950-1957.

[14] José M Martínez-Martínez,Pablo Escandell-Montero. Regularized Extreme Learning Machine for Regression Problems[J]. Neurocomputing,2011,74(17):3716-3721.

[15] Huang Guangbin,Zhu Qinyu,Siew Chee Kheong. Extreme Learning Machine:Theory and Applications[J]. Neurocomputing,2006,70(1):489-501.

AnalogCircuitFaultDiagnosisBasedonl2RegularizationEchoStateNetwork*

WANGHong*,NIUXiaoling

(Department of Computer,Pingdingshan Industrial College of Technology,Pingdingshan Hen’an 467001,China)

In order to improve analog circuit fault diagnosis accuracy,an analog circuit fault diagnosis algorithm based onl2regularization echo state network(l2-RESN)is proposed.l2regularization factor is introduced into ESN constrained optimization function. ESN output weight computation formula with regularization factor is deduced,which avoids the problem of reducing the model generalization ability due to singular matrix. Experiment result shows that,comparing with support vector machine(SVM)and standard ESN,l2-RESN fault identification accuracy rate increases 1.11% and 18.34% separately. The result indicates thatl2-RESN improves analog circuit diagnosis accuracy effectively.

analog circuit;fault diagnosis;neural network;lagrange function

10.3969/j.issn.1005-9490.2017.05.044

項(xiàng)目來(lái)源:河南省科技廳重點(diǎn)科技攻關(guān)項(xiàng)目(152102310463)

2016-07-18修改日期2016-09-09

TN710

A

1005-9490(2017)05-1283-04

王洪(1975-),女,副教授,主要研究方向?yàn)橛?jì)算機(jī)控制與仿真,whteacher@163.com。