負(fù)相關(guān)算法在模擬電路故障診斷中的應(yīng)用

摘 要：傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)泛化能力較差，易于陷入局部最優(yōu)。為此，提出并將基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成應(yīng)用于模擬電路故障診斷的研究。實(shí)驗(yàn)結(jié)果表明：基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成比單個(gè)子網(wǎng)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成更能有效地泛化能力。

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) 負(fù)相關(guān)學(xué)習(xí) 分類 模擬電路故障診斷

中圖分類號(hào)：TP806.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2012）12（a）-0127-01

BP神經(jīng)網(wǎng)絡(luò)是一種在分類和預(yù)測(cè)中應(yīng)用非常廣泛的方法，但是BP神經(jīng)網(wǎng)絡(luò)方法存在著泛化能力差，易于陷入局部最優(yōu)等缺點(diǎn)。而神經(jīng)網(wǎng)絡(luò)集成則是對(duì)多個(gè)子神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行組合，而差異度較大的子網(wǎng)絡(luò)可以使集成具有很好的泛化能力，為此，本文引入負(fù)相關(guān)學(xué)習(xí)算法，旨在增大子神經(jīng)網(wǎng)絡(luò)的差異度以改善集成后網(wǎng)絡(luò)系統(tǒng)的性能。

1 神經(jīng)網(wǎng)絡(luò)集成算法

1.1 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成算法簡(jiǎn)介

在1996年，Krogh為神經(jīng)網(wǎng)絡(luò)集成下了一個(gè)定義：即“神經(jīng)網(wǎng)絡(luò)集成是用有限個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)同一個(gè)問(wèn)題進(jìn)行學(xué)習(xí)，集成在某輸入示例下的輸出由構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該示例下的輸出共同決定”。

1.2 實(shí)現(xiàn)方法

對(duì)神經(jīng)網(wǎng)絡(luò)集成實(shí)現(xiàn)方法的研究主要集中在兩個(gè)方面：即怎樣將多個(gè)神經(jīng)網(wǎng)絡(luò)的輸出結(jié)論進(jìn)行結(jié)合以及如何生成集成中的個(gè)體網(wǎng)絡(luò)。

1.2.1 結(jié)論生成方法

當(dāng)神經(jīng)網(wǎng)絡(luò)集成用于分類器時(shí)，集成的輸出通常由個(gè)體網(wǎng)絡(luò)的輸出投票產(chǎn)生，通常采用絕對(duì)多數(shù)投票法或相對(duì)多數(shù)投票法。理論分析和大量試驗(yàn)表明：后者優(yōu)于前者。因此，在對(duì)分類器進(jìn)行集成時(shí)目前大多采用相對(duì)多數(shù)投票法。

1.2.2 個(gè)體生成方法

在生成個(gè)體網(wǎng)絡(luò)的方面，最重要的兩個(gè)技術(shù)是Boosting和Baggaging。區(qū)別在于兩者的訓(xùn)練集的選擇方式的不同：前者的訓(xùn)練集選擇是獨(dú)立的，而后者訓(xùn)練集的選擇依賴于前一輪學(xué)習(xí)結(jié)果。

2 負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)集成算法

而負(fù)相關(guān)學(xué)習(xí)法則立足于通過(guò)在神經(jīng)網(wǎng)絡(luò)集成中各子神經(jīng)網(wǎng)絡(luò)的誤差函數(shù)中引入一個(gè)相關(guān)性懲罰項(xiàng)來(lái)并行訓(xùn)練這些子網(wǎng)絡(luò)。也就是說(shuō)，每個(gè)子神經(jīng)網(wǎng)絡(luò)訓(xùn)練的目的是使得整個(gè)神經(jīng)網(wǎng)絡(luò)集成取得最好的訓(xùn)練結(jié)果。

負(fù)相關(guān)學(xué)習(xí)算法主要流程：設(shè)有一組訓(xùn)練數(shù)據(jù)和其對(duì)應(yīng)的期望輸出。選取第n個(gè)測(cè)試樣本以及對(duì)應(yīng)的期望輸出進(jìn)行學(xué)習(xí)。

Step1根據(jù)各子網(wǎng)絡(luò)輸出計(jì)算出集成神經(jīng)網(wǎng)絡(luò)的輸出

Step2定義帶有懲罰項(xiàng)的誤差函數(shù)

其中λ為調(diào)節(jié)懲罰強(qiáng)度的參數(shù)（0≤λ≤1）

Step3使用BP算法和Step2中提到的新的誤差函數(shù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)并調(diào)整權(quán)值。

3 實(shí)驗(yàn)與分析

客觀世界信號(hào)的本質(zhì)決定了模擬電路無(wú)處不在和不可替代性。模擬電路測(cè)試和故障診斷無(wú)法回避，開展相關(guān)的理論和方法研究尤為重要。本文利用基于負(fù)相關(guān)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)集成對(duì)采集的故障信息進(jìn)行了模式識(shí)別。

現(xiàn)對(duì)于采集有五組數(shù)據(jù)，分別是：r1p（實(shí)際值大于標(biāo)稱值），r1m（實(shí)際值小于標(biāo)稱值），c1p（實(shí)際值大于標(biāo)稱值），c1m（實(shí)際值小于標(biāo)稱值），normal（正常）。將上述數(shù)據(jù)送入負(fù)相關(guān)算法的神經(jīng)網(wǎng)絡(luò)中進(jìn)行分類。

表1分別是BP神經(jīng)網(wǎng)絡(luò)和λ=0.5時(shí)負(fù)相關(guān)神經(jīng)網(wǎng)絡(luò)的分類結(jié)果。

從實(shí)驗(yàn)結(jié)果上看，負(fù)相關(guān)網(wǎng)絡(luò)的識(shí)別正確率要高于BP神經(jīng)網(wǎng)絡(luò)。

4 結(jié)論

本文通過(guò)分析傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成的不足，引出用負(fù)相關(guān)學(xué)習(xí)算法，并將其應(yīng)用于模擬電路故障診斷。實(shí)驗(yàn)結(jié)果表明：基于負(fù)相關(guān)學(xué)習(xí)法的神經(jīng)網(wǎng)絡(luò)集成比單個(gè)子網(wǎng)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)集成，能有效地提高其泛化能力。但負(fù)相關(guān)學(xué)習(xí)法中的懲罰系數(shù)的選取將影響神經(jīng)網(wǎng)絡(luò)集成的泛化能力。因此，如何快速選擇合適的懲罰系數(shù)是下一步要解決的問(wèn)題。

參考文獻(xiàn)

[1]彭種，樊銳，劉強(qiáng).基于人工神經(jīng)網(wǎng)絡(luò)的電路故障診斷專家系統(tǒng)[J].系統(tǒng)：幾程與電子技術(shù)，2002，24（10）：116-119.

[2]徐敏.神經(jīng)網(wǎng)絡(luò)集成在圖書剔舊分類中的應(yīng)用[J].計(jì)算機(jī)工程，2006，32（20）：210-212.

[3]Liu Yong，Yao Xin.Simultaneous Training of Negatively Correlated Neural Networks in an Ensemble[J].IEEE Transactions on Systems，Man and Cybe Metics-PartB，1999，26（6）：716-725.

[4]Liu Y，Yao X.Ensemble Learning via Negative Correlation[J].Neural Networks，1999，12（10）：1399-1404.

[5]閻平凡，張長(zhǎng)水.人工神經(jīng)網(wǎng)絡(luò)與模擬進(jìn)化計(jì)算[M].北京：清華大學(xué)出版社，2000.