基于最優神經網絡結構的故障診斷模型

張保山，周 峰，張 琳，張 搏，魯 娜，楊博帆

(1.空軍工程大學，西安 710051；2.92095部隊，浙江 臺州 318050；3.93142部隊，成都 610041)

故障診斷其作為模式識別的一個重要應用領域，融合了圖像處理、證據推理、模糊數學等多個領域的技術，雖然其已發展了近30多年，但“故障診斷學”還是近幾年發展起來的。尤其，隨著近些年人工智能的興起，深度神經網絡在故障診斷領域的應用變得越來越廣泛[1-3]，其在非線性、自適應學習原始數據特征，有效挖掘大數據潛在信息，獲取較高識別精度方面具有絕對的優勢[4-9]，但深度神經網絡仍然存在運算時間長，參數設置依靠經驗從而導致運算效率降低，參數設置缺乏理論依據的問題，困擾著深度神經網絡在故障診斷領域的進一步發展[10-11]。

群智能算法(Swarm Intelligence,SI)是采用隨機優化策略進行優化的一類算法，具有良好的全局尋優能力，因此，許多學者將SI作為優化人工神經網絡的學習算法，如晏福將混沌理論引入灰狼算法，并應用于多層感知器的訓練[12]；張長利采用遺傳算法訓練多層前饋神經網絡實現番茄成熟度的自動判別[13]；雷彥森利用遺傳算法優化的BP網絡實現對天氣的預報[14]，但這些方法都只是在確定的神經網絡結構，激活函數和優化函數的前提下，對神經網絡的連接權值和偏置量進行優化，既不能保證其連接權值和偏置量在全部可選的網絡結構上達到最優，且其網絡結構、激活函數和優化函數是否選擇合理也缺少理論支撐。并且，故障特征往往呈現出多重性、多耦合及模糊性的特點[15-16]，若僅僅依靠研究人員的主觀經驗設置神經網絡結構，既會浪費大量人力資源，又難以保證裝備維護保障的效率。

深度前饋網絡(deep feedforward network，DFN)，能夠以任意精度逼近任意連續函數及平方可積函數，而且可以精確實現任意有限訓練樣本集。其通過簡單非線性處理單元的復合映射，可獲得復雜的非線性處理能力[17-18]。

因此，本文針對深度神經網絡在故障診斷方面所存在的問題，將自適應遺傳算法和深度前饋網絡相結合，提出一種可以根據數據特征動態調整深度神經網絡參數的故障診斷模型——基于自適應遺傳算法優化的深度前饋網絡故障診斷模型。

1 自適應遺傳算法優化的深度前饋網絡的組成

1.1 深度前饋網絡

深度前饋網絡(deep feedforward network，DFN)，簡稱前饋網絡，其各神經元分層排列，同一層的神經元之間沒有相互連接，每個神經元只與前一層的神經元相連接，接收前一層的輸出，并輸出到下一級，直至輸出層。其中第一層稱為輸入層，最后一層為輸出層，中間為隱含層，如圖1所示。根據柯爾莫哥洛夫理論可知，一個含有兩個隱藏層的DFN絡就可以逼近任意非線性函數[19]。

1)正向傳遞

正向傳遞，即按照輸入層、隱含層、輸出層的順序向前傳送，最終在輸出層輸出yo與真實輸出yt進行比對，若其誤差δy小于所期望的誤差，則訓練結束。

如圖1所示，輸入節點數為t，分別為X1，X2，X3，…，Xt；第一個隱含層的節點數為m，分別為h1，h2，…，hm；第n層隱含層節點數為r，分別為H1，H2，…,Hr；輸出層為y，各層間的權值矩陣為長度不固定的橫向量wi={wi1,wi2,…,wij}，其中i為DFN隱含層的層數，j為各層的節點數，激活函數為f(x)。

圖1 深度前饋網絡結構圖

若采用sigmoid函數，則各隱含層節點的輸入為：

Input=w0+w1x1+…+wtxt

(1)

各隱含層節點的輸出為

(2)

2)反向傳播

反向傳播，輸出層根據所輸出的誤差δy反向推算上一層的誤差，以此方法計算出每一層的誤差，修正各層神經單元的權重，直到輸出層最后所得的誤差δy縮小至期望誤差或達到學習次數[20]。

δy=yo(1-yo)(yt-yo)

(3)

式(3)中:δy為輸出層誤差；yo為實際輸出；yt為期望輸出。對于隱含層節點其誤差函數為：

(4)

式(4)中:δhi表示隱含節點hi的誤差；hiout表示第i層隱含層的輸出值；wij表示第i層隱含層到下一層第j個節點的連接權值；δij表示第i層節點到i+1層第j個節點的誤差。

1.2 自適應遺傳算法

遺傳算法(Genetic algorithm，GA)是依據達爾文進化論中“優勝劣汰”思想衍生而來的一種擇優算法，其通過對原始種群進行選擇、交叉和變異等多次迭代操作，最終獲得最優個體[21]。但GA的交叉概率pc和變異概率pm的設置均需依靠操作者經驗來決定，若pc與pm設置不合理，GA的收斂性和其最優解的準確性均會受到影響，因此本文采用交叉概率pc與變異概率pm能夠自適應調整的遺傳算法(AGA)來確保種群的多樣性，其中能夠自適應調整的pc與pm為：

(5)

(6)

式(5)、(6)中: Δf的含義為每個染色體個體的最大適應度值和平均適應度值的差值;φ1和φ2表示調整速率[22]。

2 自適應遺傳算法優化的深度前饋網絡的構建

AGA優化的DFN的中心思想也同其他智能算法優化神經網絡的中心思想相同，都是要找到被優化神經網絡的初始權值和偏置量，但本文所提出的優化方式是：通過找到被優化神經網絡的最合理網絡結構、激活函數和優化函數，來間接地找到其最優權值和偏置量，不僅達到了優化其結果的目的，更為神經網絡參數的設置提供了依據，并綜合考慮了遺傳算法在進行擇優的過程中交叉概率pc和變異概率pm的設置依靠操作人員經驗所導致的尋優效率不高的問題，故將自適應pc與pm引入原始遺傳算法中，得到全局尋優能力更強的自適應遺傳算法。

AGA優化DFN具體流程如圖2所示。

圖2 自適應遺傳算法優化深度前饋網絡流程圖

步驟如下：

步驟1結合所研究的具體問題，人工預設DFN隱含層層數預選值，隱含層節點數預選值，激活函數預選項及優化函數預選項[23]。

步驟2若存在預置DFN參數，則隨機選擇一組DFN結構選項及連接權值和偏置量，并將其連接權值和偏置量作為AGA的初始種群。

步驟3將DFN運算所得的損失函數定義為適應度函數，即：

(7)

步驟4計算各染色體的適應度值Fi，并定義每個個體的適應度值Fi與所有個體的適應度值之和的比值為其遺傳到下一代的概率，即：

(8)

式(8)中:Fi為種群種個體i的適應度值；s為種群個數。

步驟5自適應pc決定了交叉操作發生概率的大小，并通過在舊種群選擇“爸爸”和“媽媽”個體進行交叉操作，產生新個體遺傳到下一代種群中,即：

(9)

式(9)中:r為[0,1]的隨機數；gk1j,gk2j分別為k1和k2個體在第j維的基因。

步驟6自適應pm決定染色體i發生變異的概率，通過變異操作隨機選擇染色體i上的若干基因進行修改，增強種群的適應度。

(10)

式(10)中:r1≥0.5和r1<0.5為隨機數；s為當前迭代次數；smax為最大變異次數；gmax和gmin為染色體i上基因gij的上、下邊界。

步驟7適應度值若滿足算法開始前設置的提前結束條件，則修正DFN中的隱含層層數，各隱含層節點數，激活函數和優化函數等參數，若不滿足則返回步驟4，重復上述操作。

步驟8當步驟7結束后，利用AGA所求得的最優個體對DFN的初始參數進行更新，則DFN從輸入層開始逐層進行訓練，直至每一層均訓練結束，此時各層的權重值wi={wi1,wi2,…,wij}及其偏量值w0={w10,w20,…,wi0}均已確定，并從預置DFN參數組合集合中刪除該組預置DFN參數組合。

步驟10判斷是否還存在預置DFN參數組合，若存在預置DFN參數組合，則返回步驟2，重復上述操作；若不存在預置DFN參數組合，則對比之前用各種參數組合訓練所得到的誤差，將誤差最小的DFN參數組合作為選定的網絡結構，并將AGA尋優得到的最佳連接權值和偏置量作為DFN的初始連接權值和偏置量重新進行訓練，最終輸出其識別精度。

3 實驗驗證及分析

常見的故障診斷數據大致可分為兩大類—故障部件的圖片以及傳感器的檢測信號，因此，本文實驗內容分為兩個部分，分別為圖像處理與故障信號處理。對于圖像處理部分，本文采用公開數據集，驗證本模型的有效性；對于故障信號處理部分，本文采用模擬仿真的方法，驗證本模型的有效性。針對圖像處理部分，本文將所提出的自適應遺傳算法優化的深度前饋網絡(AGADFN)與遺傳算法優化的深度前饋網絡模型(GADFN)和DFN進行對比，此時的DFN因為無法確定其具體結構用GADFN迭代一次的網絡代替。以MNIST和CIFAR10標準測試集為實驗驗證數據，按照9∶1的方式劃分訓練數據集與測試數據集，采用MD5進行編碼操作，將隱含層層數，各隱含層節點數，優化函數和激活函數設置為種群中的個體，其中隱含層層數可選值為{1，2，3，4}，各隱含層節點數可選值為{64，128，256，512，768，1 024}，激活函數選項為{relu，elu，tanh，sigmoid}，優化函數選項為{rmsprop，adam，sgd，adagrad，adadelta，adamax，nadam}，每一代種群中的個體設置為20個，迭代次數為10代，自適應調整速率為1，在顯卡均為GTX1060硬件條件下，驗證結果如圖3、圖4所示。

圖3 實驗模型測試MNIST數據集準確率

圖4 實驗模型測試CIFAR10數據集準確率

由圖3可知，隨著迭代次數增加，在MNIST數據集上AGADFN精度不斷提升，從初始的80.24%提升至99.03%，并且AGADFN經過3次迭代精度便達到90%以上，而GADFN需迭代7次，但在第10次迭代后兩種模型在MNIST數據集上測試精度相差不到1%，運行時間上GADFN為6小時1分35秒，AGADFN為5小時41分57秒。

由圖4可知，隨著迭代次數增加，在CIFAR10數據集上AGADFN精度不斷提升，從初始的44.34%提升至63.39%，并且AGADFN在第6次迭代精度便達到57.19%，而且GADFN在第10次迭代精度才達到56.12%。但AGADFN在第10次迭代誤差還有36.61%，運行時間上GADFN為7小時56分59秒，AGADFN為6小時33分11秒。

對比分析兩組數據得：

1)本文所提出的AGADFN故障診斷模型，在運算速度及精度方面均優于DFN和GADFN，且相比運算精度提升0.47%和12.95%，其運算速度提升5.4%和17.6%，提升幅度更大。

2)本模型在處理復雜數據CIFAR10時，其運算速度提升幅度17.6%及運算精度提升幅度12.95%，相比處理簡單數據MNIST時，其運算速度提升幅度5.4%及運算精度提升幅度0.47%，提升效果更加明顯。

3)在處理復雜數據集CIFAR10時，AGADFN相比GADFN分類精度提升明顯，說明自適應遺傳算法尋優能力明顯強于遺傳算法；在處理較簡單的測試集MNIST時，AGADFN相比GADFN雖然收斂速度更快，但在后幾次迭代中，精度提升幅度較小，此現象應為遺傳算法及其衍生算法本身的缺陷所致。

針對故障信號處理部分，本文采用圖5所示的國際標準CSTV濾波器仿真電路，其參數設置如表1所示，其中kΩ和nF分別為電阻阻值以及電容的電容量，故障元器件選擇為R5，模擬因為老化導致R5阻值變大所導致的故障，以R5阻值的不同區分故障的程度，R5故障等級及其故障值如表2所示。通過PSpice軟件進行仿真實驗，共采集數據100組，其中80組作為訓練樣本，20組為測試樣本，迭代次數設置為300次，其余設置與圖像處理部分實驗相同，比較GADFN與AGADFN的實驗誤差[24]。

圖5 CSTV仿真電路圖

表1 CSTV仿真電路參數設置

表2 R5故障等級及其故障值

實驗模型測試CSTV數據誤差如圖6所示，由圖6可知，隨著迭代次數增加，在CSTV仿真數據集上AGADFN精度不斷提升，從初始的82.312%提升至99.994%，并且AGADFN在第127次迭代精度便達到99.973%，而GADFN在第300次迭代精度才達到99.971%；在收斂速度方面，AGADFN在第16次精度為99.948%，GADFN在第26次精度為99.950%，AGADFN相比GADFN收斂速度更快；在穩定性上，AGADFN在迭代200次以后誤差便趨于穩定，而GADFN在迭代200次以后，誤差依然存在較強的波動。

圖6 實驗模型測試CSTV數據誤差圖

總結以上數據分析結果，本文所提出的ADGADFN故障診斷模型在運算速度及精度方面均提升明顯，且處理復雜數據能力更強，且通過此類方法優化模型的分類能力主要取決于所選擇的群智能算法的全局尋優能力，因此本文所提出的這一類故障診斷模型診斷能力的提升，可通過增加迭代次數或改良群智能算法進一步解決。

4 結論

本文所提出的自適應遺傳算法優化的深度前饋網絡故障診斷模型比原始深度前饋網絡故障診斷模型計算精度有所提升，實際調試時間短，優化方法更為合理。但是還存在以下問題:其一，本文所提出的模型雖然不需要反復進行人工的參數調試，在訓練網絡方面節省了大量時間，但運算時間長，對簡單的故障診斷效率不如淺層神經網絡高，后期可以試著通過多GPU數據并行框架對其運行速度進行優化；其二，本模型沒有充分發揮神經網絡魯棒性強、適應度高的優勢，后期考慮將本模型結合遠程信息采集系統，應用于遠程故障診斷系統，提高故障診斷的效率[25]。