模擬電路故障的深度學習融合模型診斷方法

王應晨,段修生,2,單甘霖

(1.陸軍工程大學，河北 石家莊 050003;2.石家莊鐵道大學，河北 石家莊 050003)

0 引言

隨著電子裝備的日益復雜以及機器學習方法逐漸成熟,如何保障復雜電子裝備的可靠運行以及發生故障后快速、準確的診斷一直是研究的熱點[1]。電子電路是電子裝備的核心，其可靠性直接影響電子裝備的可靠性，作為電子電路的重要組成部分，模擬電路的故障診斷具有重要意義。目前，傳統的智能學習算法在模擬電路故障診斷領域得到了廣泛應用[2-3]，但仍存在3個固有的缺陷：①診斷性能很大程度上取決于專家經驗所提取特征的質量；②在不同的診斷問題中選擇敏感的特征費時費力；③神經網絡(neural network,NN)和支持向量機(support vector machine,SVM)等屬于淺層學習模型，即只有一次非線性變換,難以有效學習復雜的非線性關系[4]。因此，有必要構建自動學習特征和精確故障診斷的深度學習架構。

為了克服淺層模型的缺點，Hinton首先提出了深度學習并引起了廣泛的關注，在圖像分類[5]、人臉識別[6]、語音識別[7]等領域得到了有效應用。深度學習可以自動從原始數據學習敏感而有價值的特征，強大的非線性映射能力以及多隱層使其與ANN，SVM 等淺層學習模型相比，能夠更加有效，靈活地學習故障診斷問題中的復雜關系。對于一維數據的建模問題，堆棧自編碼機(stacked autoencoder,SAE)和深度信念網絡(deep belief network,DBN)2種主要的深度學習模型，并逐漸在故障診斷中得到應用[8-9]。然而，這些應用仍然存在2個主要局限性：①沒有考慮正確處理實際情況下存在的噪聲，而且去噪方法需要專業的經驗；②標準的深度學習算法存在誤差振蕩，收斂速度慢。

為了能夠在提取特征的同時對信號進行去噪，并有效提高網絡的收斂速度和穩定性，本文提出了基于降噪自動編碼器和自適應高斯深度信念網絡的融合模型來構建故障診斷系統。

1 深度學習基本原理

1.1 降噪自編碼器

降噪自編碼器(denoising autoencoder, DAE)是對普通自動編碼器(autoencoder,AE)的有效改進[10]，為使AE 隱含層學習到的特征更具魯棒性，在訓練樣本中加入隨機噪聲來污染輸入數據，之后送到網絡中進行編碼和解碼，DAE從損壞的數據來重建未損的數據，以此提高模型的抽象能力，得到對原始數據更加魯棒的表達。

圖1 降噪自編碼器的編碼和解碼過程Fig.1 Encoding and decoding process of DAE

圖1說明了DAE的結構與訓練過程，圖中，h=(h1,h2,…,hd)為隱含層特征向量；z=(z1,z2,…,zD)為由隱含層得到的原始輸入的重構。訓練的主要目標是最小化重構誤差，定義為

(1)

1.2 高斯深度信念網絡

高斯深度信念網絡(Gaussian DBN，GDBN)是通過層疊幾個高斯受限玻爾茲曼機(Gaussian restricted botlzmann machine, RBM)構建的[11]。具有3個堆疊的GRBM的GDBN的體系結構如圖2所示。

圖2 GDBN結構Fig.2 Structure of GDBN

在RBM中，各節點是二進制值，而故障信號是連續數值，二元單位RBM不能很好地模擬。因此本文采用GRBM，將二進制的可視層節點值替換為具有高斯分布的連續實數，使輸入層能夠接受連續型信號，隱含層仍采用服從伯努利分布的二值神經元節點，高斯受限玻爾茲曼機的能量函數為[12]

(2)

式中：wij為可見單元v與隱藏單元h之間的權重；ai和bj分別為它們的偏置；n和m分別為可視層和隱含層單元的數量?；谠撃芰亢瘮担玫?v,h)聯合概率為

(3)

由于隱藏層和可視層內部沒有連接，同一層節點間是相互獨立的，當給定可見單元狀態v時，隱含層第j個單元hj的激活概率為

(4)

同理，可視單元vi的激活概率為

(5)

式中：σ=1/(1+e-x)是sigmoid函數;N(μ,σ2)表示均值為μ，方差為σ2的高斯分布，為了使模型實現更簡單，輸入數據的每個分量通常被歸一化為零均值和單位方差。

GRBM的訓練采用由 Hinton 提出的CD算法[13]：利用吉布斯采樣從訓練樣本的任一狀態出發，按照式(4)計算出隱含單元的概率；然后，固定隱含單元，按照式(5)重構出可視單元。這樣,得到模型參數θGRBM={wij,ai,bj}的近似調整規則:

(6)

，

(7)

Δbj=ε(〈hj〉data-〈hj〉recon)，

(8)

式中：〈·〉data為由樣本數據決定的期望；〈·〉recon為重構數據的期望;ε為學習率。

為了更好地訓練GRBM,通常將訓練樣本分為多個規模較小的子集,對每個子集訓練完之后,再更新模型參數。

2 自適應GDBN

學習率是影響GDBN收斂速度和提取特征性能的決定性因素[13]。標準GRBM基于對比散度(CD)的快速學習算法中采用全局的學習率來對網絡進行訓練，一旦選定，學習率在整個訓練過程中保持不變，自適應性差。如果學習率過大，很可能會越過最優值，在局部最優點附近來回跳動；而如果學習率過小，優化的效率可能過低，算法長時間無法收斂，所以學習率對于算法性能至關重要。

為了獲得更好的故障診斷性能并加速網絡的學習過程，在傳統DBN算法基礎上，引入一種基于重構誤差的自適應學習率算法，可以在訓練每一步自適應調整學習速率。重構誤差是RBM學習規則中應用最廣泛的判斷標準，定義為

(9)

可以在GRBM訓練規則中的每個時期調整學習速率。動態調整學習率為

(10)

式中：εold為原來的學習率;εnow為更新后的學習率;Δ=Errold-Errnow，η∈(0,1)為增減因子。對比連續的重構誤差Errnow與Errold，當重構誤差減小時，加大學習率；當誤差增大時，則減小學習率。

3 融合模型

深層神經網絡在構造時非常強調模型的混合，目前的深度學習模型大都是由一些簡單相同的基本模型構建，不能同時充分利用不同基礎模型的優點。因此，為了進一步提高模型的特征學習能力，有必要結合不同深度學習模型，設計一種混合模型。受限玻爾茲曼機和自編碼器是構成深度神經網絡的基本單元，文獻[14]指出，自編碼器擅長對數據進行擴充，而受限玻爾茲曼機擅長對數據進行投影，并基于這一區別提出了基于DBN和SAE的融合模型，較好地解決了作曲家分類問題，也由此證明了參數傳遞在自編碼器和深度置信網絡這2個模型間是可行并有效的。

由1.1可知，降噪自編碼器可以從損壞的輸入中學習有用的信息并從隱含層重建干凈的數據，具有保持原始數據的可恢復性的作用，這對于初級特征的提取非常重要[15]。對于網絡第1層而言，將數據映射到一個高維空間可以增加數據的可分性，而在這個投影過程中的可恢復性可以保證投影結果的相對穩定，而受限玻爾茲曼機投影的結果依賴于隱節點的概率分布[14]。因此以降噪自編碼器為模型來構建第1層網絡，學習原始振動數據的魯棒重構。

在本文中，通過結合DAE和DBN的優勢進一步提高特征學習能力, 具體而言，DAE用于處理原始信號的隨機噪聲并學習低層特征，DBN基于所學習的低層特征來學習深層特征。

4 基于深度學習融合模型的故障診斷方法

基于DAE和自適應GDBN的融合模型的故障診斷模型如圖3，其步驟可總結如下：

本文使用的是來自200個地震臺站、采樣率為100Hz的三分量加速度數據。首先，將加速度數據轉換為地震解析碼格式，并用100為因子進行抽取，將抽樣頻率減少到1Hz。抽取的過程并不是必須的，但可用來減少計算時間。然后，將抽取的加速度的每個分量k（t）轉換為位移A（t）。這個轉換通過使用遞歸數字濾波器和機械地震儀的頻率響應對k（t）進行兩次積分完成。

(1) 利用傳感器獲取電子裝備電路在不同故障狀態下的監測信號，對其預處理，作為網絡的輸入；

(2) 建立單隱層的降噪自編碼器對輸入故障數據進行訓練，提取低層故障特征；

(3) 將DAE的隱含層作為第1個GRBM的可視層，建立多隱層自適應高斯深度信念網絡，無監督逐層預訓練，提取故障深層特征；

(4) 微調整個網絡，將深度網絡提取到的特征輸入Softmax分類器進行訓練，反向微調整個網絡參數，最終輸出故障類別，完成故障診斷。

圖3 改進的故障診斷模型Fig.3 Flow chart of improved fault diagnosis model

5 仿真校驗

5.1 故障電路

選擇ITC97中Elliptical Filter電路作為實驗電路，其電路圖和元器件標稱職如圖4所示。

分別設置電路中R2,R6,C1,C5的元件值相對標稱值上升和下降50%作為電路故障，如表1所示，加上電路的正常狀態，共9種電路故障狀態。

圖4 Elliptical Filter電路Fig.4 Electric circuit of Elliptical Filter

元器件C1/nFC5/nFR2/kΩR6/kΩ故障值1.334.001.334.009829418.756.1

在PSpice環境下對電路的各故障狀態進行Monte-Carfo仿真，設置電阻、電容容差都為5%，在3個放大器的輸出OUT1,OUT2,OUT3處采集電路在各故障狀態下的響應信號。以方波信號為激勵信號，對每種故障狀態進行100次時域瞬態分析，各測試點采樣500個信號點，構成900×1 500的原始數據集隨機選擇70%作為訓練集，剩余30%作為測試集。

5.2 實驗步驟

(2) 為了驗證所提方法的優越性與魯棒性，將本文方法與標準GDBN、標準SDAE、自適應GDBN在相同的網絡結構下對比。

5.3 仿真結果分析

5.3.1 特征提取能力分析

為了觀察深度神經網絡每一層的特征提取能力，利用非線性降維算法(t-SNE)對本文所提模型的每一層特征投影到二維平面上。圖5～7給出了特征可視化分布圖，可以看出GDBN提取到的深層故障特征具有很好的分離性和類內聚集性，展現了所提算法模型良好的特征提取性能。

圖5 原始數據特征分布可視化Fig.5 Visualization of the raw data via t-SNE

圖6 DAE提取低層特征分布可視化Fig.6 Visualization of the Low-level feature distribution extracted by DAE via t-SNE

圖7 GDBN最底層提取深層特征分布可視化Fig.7 Visualization of the Deep-level feature distribution extracted by GDBN via t-SNE

5.3.2 故障診斷能力分析

圖8顯示了所提出的融合模型對電路的每個故障狀態的識別準確度。

表2展示了本文提出的方法與其他3種深度學習模型的故障診斷能力，可以看出，本文提出的融合模型診斷精度高于其他3種傳統深度學習模型，達到98.3%，并且自適應GDBN的分類性能優于標準GDBN。

5.3.3 魯棒性分析

由于電子裝備工作的復雜環境與電源的高溫，強烈振動和電壓波動等不同的操作，電路會受到干擾。為了驗證所提方法處理噪聲的能力，進一步證明所提出的方法的優越性。實驗中，模型由原始數據進行訓練，含噪聲測試數據通過以下方法得到

圖8 所提方法的分類混淆矩陣Fig.8 Confusion matrix of the proposed method

%

Xn=X+Kσ·rand(),

(11)

式中：X為原測試數據；K為噪聲水平；σ為數據標準差，分別把原測試數據整體添加不同水平噪聲(K分別取 0，1，2，3)作為新測試數據，圖9顯示了不同噪聲干擾下3種模型的故障識別精度。

圖9 不同模型在不同噪聲環境下診斷精度Fig.9 Classification accuracy in different models under different noise environments

可以看出，所提融合模型診斷精度優于標準SDAE與自適應GDBN，并且隨著噪聲水平的增加，所提出方法的優越性變得明顯。從而表明所提出的方法對一定范圍的噪聲水平具有魯棒性。

6 結束語

本文提出了一種基于降噪自編碼器和自適應高斯深度信念網絡的深度學習融合模型來解決模擬電路的故障診斷問題。該模型直接處理原始信號，無需耗時的人工特征提取過程，并采用自適應學習率提高了網絡的收斂速度和診斷精度，優于傳統單一的深度學習模型，并且在噪聲環境下工作良好。