基于貝葉斯優化CNN的風電軸承故障診斷策略

常 淼，沈艷霞

（江南大學 物聯網技術應用教育部工程研究中心，江蘇 無錫 214122）

作為最清潔的可再生能源之一，風能受到世界各國的重視。齒輪箱是風電機組的核心設備，其運轉狀態關系著整個系統的運行狀況，一旦產生故障將產生高額的維修費用和導致長時間的停機，影響風電場的經濟效益。及時、準確判斷風電齒輪箱故障是保證機組穩定運行、提高風場效益的關鍵。其中滾動軸承的故障特征微弱，提取困難，對齒輪箱的運作影響巨大，所以研究風電機組滾動軸承的故障診斷方法具有重要的實際意義。

近些年來，風電機組監測設備規模大，信號采集頻率高，其故障診斷進入“大數據”領域?；跀祿寗拥闹悄茉\斷主要是通過支持向量機(Support vector machine，SVM)、人工神經網絡(Artificial neural network，ANN)等機器學習方法對經信號處理得到的故障特征進行識別，這些基于模式識別的淺層網絡模型表達能力有限，泛化能力較差，對用于特征提取的信號處理技術和專家經驗較為依賴。在此背景下，由于深度學習具有表達能力強大、特征提取和模式識別并列進行的特點，其在故障診斷方面的研究和應用受到廣泛關注。作為深度學習的典型模型之一，CNN 將卷積操作與反向傳播算法相結合，完成卷積核參數自學習訓練，可通過局部感知域、稀疏連接和權值共享的方式減少參數矩陣規模[1]，它具有優越的特征提取能力[2-5]，診斷效率高，泛化能力強，在大數據背景下的故障診斷領域尤為適用。文獻[6]將CNN 應用于滾動軸承的故障診斷并驗證了該方法在噪聲環境中的魯棒性。文獻[7]通過正則化權值、加權損失函數等對CNN 模型進行改進，然后對非平衡樣本下的滾動軸承故障進行識別；文獻[8]將齒輪箱各種故障狀態信號的時頻域特征作為CNN的輸入，構建了一個二維CNN網絡并將其用于齒輪箱的故障診斷。文獻[9]對振動信號進行連續小波變換，由此得到以灰度圖顯示的時頻圖，將其作為故障特征，通過CNN實現滾動軸承的故障診斷。

目前，基于CNN的滾動軸承故障診斷研究已初見成效，但仍存在過擬合、計算量大、超參數難以確定等問題需要深入探索?；诖?，本文提出一種基于經貝葉斯優化的改進CNN 模型的風電軸承故障診斷策略。在改進的CNN模型中，利用SGDM算法和BN 處理來加速訓練；增加一個新的卷積層用于提取數據深層特征；對目標函數進行改進，新增L2正則項以提高模型泛化能力。此外，考慮CNN模型的超參數對故障診斷的影響，使用貝葉斯優化對CNN 的網絡深度、學習率、SGDM 的動量以及正則化強度進行優化。最后，以凱斯西儲大學的滾動軸承振動數據作為CNN的網絡輸入，使用貝葉斯優化器對此CNN模型中的超參數進行優化，并驗證得到的CNN模型在故障診斷的有效性。

1 改進的CNN模型

改進的CNN模型如圖1所示。結構1中是成對出現的卷積層和池化層，對信號進行信息過濾、特征提取和尺寸壓縮，其數量由實際需要決定。結構2是新增的卷積層，位于全連接層之前，用于深層特征提取。

圖1 改進的CNN模型

(1)卷積層

卷積層用于故障特征提取，假設其位于CNN網絡的第l層，則其輸出為：

其中：Zjl為第l層中第j個特征映射，j∈[1,n]，為從l-1層獲取的第i個輸入特征。Mj表示上一層的第l-1層中的第j個卷積區域，“*”為卷積算子，表示第l層在生成第j個生成特征映射時應用在第l-1層第i個特征輸入特征上的卷積核，blj是第l層輸出第j個特征映射時的偏置。

為加速網絡訓練速度并提高網絡泛化能力，在卷積計算之后進行BN處理：

式中：μβ是上一層輸出數據的均值，σβ是上一層輸出數據的標準差，ε是一個極小值，γ、βγ、β為學習參數，為第l層的重構結果。

將進行BN處理后的結果輸入ReLU激活函數：

(2)池化層

池化層對卷積層的輸出進行壓縮：

式中：S是池化層的尺寸為第l+3 層中輸出的第j0個特征映射，j0=為第l層的第j個特征映射中第r個神經元的值，r∈[(j0-1)S+1,j0S]。

(3)全連接層

全連接層將先前層在圖像中學習的所有特征鋪展成一維的特征向量，然后將它們組合在一起，使之前得到的不同類別之間具有區分性的局部特征在全局維度上進行信息整合，實現從特征到樣本標記空間的映射，然后使用Softmax 針對每個輸入返回的概率，將輸入分配到其中一個互斥類并計算損失，本文使用交叉損失熵函數作為目標函數：

式中：A為樣本數量，B為類別數，tab表示第a個樣本是否屬于第b個類別，yab是Softmax 的輸出，它表示網絡將樣本a歸為類別b的概率。

考慮CNN 的過擬合問題，引入L2 正則化以優化目標函數。它在保證訓練誤差盡量小的同時自動調節參數，優化網絡結構，同時盡量減小有效權值，提高網絡的泛化能力[10]。優化后的目標函數如下：

式中：λ是正則化系數，較大的取值將較大程度約束模型復雜度。ωj是網絡層待學習的參數，即卷積核和偏置矩陣的取值。

(4)訓練算法

采用SGDM 訓練網絡，每次從訓練集中隨機選擇一個樣本進行學習，計算梯度的指數加權平均數，并利用該梯度更新所取樣本的Kij、bj：

式中：η為CNN 的學習率，vK(t)、vb(t)為第t次學習時兩個參數的動量：

式中：momentum 為動量，它的取值范圍為momentum ∈[0,1 ]。如果t時刻更新的v(t)與上一時刻更新的v(t-1)的方向相同，就會加速，反之則會減速。動量因子的引入可以加快收斂速度，提高訓練精度，同時減少收斂過程中的振蕩。

使用該CNN模型進行故障診斷之前，需要先確定CNN 網絡深度、CNN 的學習率η、SGDM 的動量momentum 以及正則化系數λ。其中CNN 網絡深度指的是結構1 中卷積-池化層的數量，合適的深度選擇能夠保證模型的泛化能力；CNN 的學習率η和SGDM 的動量Momentum 的選取影響網絡訓練速度；合適的正則化系數λ可以很好解決過擬合問題。若采用手動調參，過程復雜，會造成不必要的資源浪費，而且往往不能得到最優模型。在本文的研究中，使用貝葉斯優化算法對超參數進行確定。

2 貝葉斯優化算法

貝葉斯優化是在函數方程未知的情況下根據已有的采樣點預估函數最大值的一種算法[11]，它有效地解決了序貫決策理論中經典的機器智能問題：根據對未知目標函數f獲取的信息，找到下一個評估位置，從而最快地達到最優解[12]。在評估代價高昂的復雜優化問題中，貝葉斯優化非常適用[13-14]，被廣泛應用于機器學習超參數優化[15-21]、深度學習模型超參數優化[22-23]等方面。

2.1 高斯過程

貝葉斯優化的概率代理模型采用高斯過程(Gaussian processes，GPs)。假設待優化的超參數的組合是X={x1,x2…,xn}。貝葉斯優化器的目標函數是訓練完成的CNN對驗證集的分類誤差，將其表示為f(x)。在此過程中，將測試集中每個圖像的分類視為具有一定成功概率的獨立事件，這意味著分類錯誤的圖像數量遵循二項分布：

式中：GP表示高斯分布；μ為均值；k(x,x')為協方差函數。

在貝葉斯優化的第t-1次迭代后獲得一組數據(xt-1,f(xt-1)) ，此時有數據集Dt-1={(x1,f(x1)),(x2,f(x2)),…,(xt-1,f(xt-1))}，接下來需要預測點xt處的觀測值f(xt)，一般認為這t個觀測點是某個t維高斯分布的一個樣本，即：

式中：K=k=[(xt,x1),(xt,x2),…,(xt,xt-1) ]。

由此可得ft的分布：

式中：u(xt)=kK-1f1:t-1，它表示預測均值；δ2(xt)=k(xt,xt)-kK-1kT，它表示預測協方差。

由此可得第t個觀測點的數據(xt,f(xt))。

2.2 采集函數

采集函數的作用是確定下一個需要評價的點xt。在本文的研究中，使用EI(Expected Improvement)來確定下一次迭代的超參數xt。在第t次迭代中，EI 的定義域是未遍歷的區域的集合以及目前已觀測到的所有目標函數中最優結果對應的xt的集合。能夠改進目標函數幾率最大的x，即最大化采集函數EI(x)的x就是被選取的下一個超參數取值：

式中：函數α是由決策空間χ、觀測空間R和超參數空間Θ映射到實數空間得到的。

2.3 貝葉斯優化CNN超參數算法

在選定了概率代理模型和采集函數后，在CNN訓練的每一個迭代過程中選擇其中一個超參數，使用采集函數對其進行評估尋優，將得到的最有潛力評估點添加到歷史數據中，直至滿足終止條件。本文提出的貝葉斯優化算法的輸入為待優化參數集X、貝葉斯優化器的目標函數f、采集函數S、高斯過程模型M，輸出為最優CNN模型。此優化算法的偽代碼如下：

3 基于貝葉斯優化CNN 的軸承故障診斷流程

將優化后的CNN 模型用于風電滾動軸承的故障診斷。此故障診斷模型如圖2所示。

圖2 基于貝葉斯優化CNN的軸承故障診斷模型

首先使用貝葉斯優化器對超參數進行初始化，獲得CNN模型；然后將滾動軸承數據劃分為訓練集和測試集，將訓練集輸入初始的CNN 模型中，進行卷積、池化等計算，使用全連接層連和Softmax 層得到概率序列，接著計算目標函數。若不滿足終止條件，就使用SDGM 更新所選樣本的卷積核和偏置矩陣，繼續上述計算，直至目標函數收斂或者訓練次數達到預設值。訓練完成后，將測試集輸入該CNN模型并統計它的分類準確率。將此CNN 的超參數及其分類準確性并入貝葉斯優化器的歷史數據中，接著使用采集函數選擇下一組超參數，通過高斯過程計算其改進目標函數的可能性，將超參數選擇完成后的CNN 模型重新進行訓練并統計其對測試集的診斷準確性。重復上述過程直至貝葉斯優化器達到終止條件。

4 實驗驗證

4.1 實驗數據集

本文使用的原始數據來自凱斯西儲大學滾動軸承數據庫，在該實驗平臺，通過電火花加工技術在軸承上布置內圈故障、滾動體故障、外圈故障3種類型的單點故障并以12 kHz的采樣頻率采集振動信號。

對滾動軸承信號進行歸一化處理并將其隨機分段，分段信號的長度為2 000，保存為時序圖，數據集對應4 種標簽：正常信號（Normal）、內圈故障信號（Inner）、滾動體故障信號（Roller）、外圈信號（Outer）。每個標簽的樣本數量為200。

4.2 貝葉斯優化CNN模型超參數

將數據集輸入CNN模型，并使用貝葉斯優化器對超參數進行選擇，設置最大迭代次數為30，CNN網絡深度取值區間為[1，3]，初始學習率取值區間為[1×10-2，1]，隨機梯度下降動量取值區間為[0.8，0.99]，正則化系數取值區間為[1×10-10，1×10-2]。貝葉斯優化器的超參數優化結果如表1所示。

由表1 可知，最優結果是第29 次得到的超參數組合：CNN網絡深度為1，初始學習率為0.442，隨機梯度下降的動量為0.801，L2 正則化系數為0.001 488。在此過程中，隨著迭代的推進，觀測到的最小目標函數與預估的最小目標函數的對比如圖2所示。兩者曲線趨向重合表示接下來的計算已經無法改善目標函數，即EI 接近于0，則全局最優已經找到。

由表1 可知，最優結果是第29 次得到的超參數組合：CNN網絡深度為1，初始學習率為0.442，隨機梯度下降的動量為0.801，L2 正則化系數為0.001 488。在此過程中，隨著迭代的推進，觀測到的最小目標函數與預估的最小目標函數的對比如圖3所示。兩者曲線趨向重合表示接下來的計算已經無法改善目標函數，即EI 接近于0，則全局最優已經找到。

表1 超參數優化結果

圖3 最小目標函數的觀測值與估計值

得到的最優CNN 模型的結構與參數如表2 所示，對該模型以及經典CNN 模型分別進行訓練，其訓練時間分別為10 s和6 s，可以看到改進的CNN模型訓練速度較快，體現了批歸一化處理以及SGDM算法在加速網絡訓練方面的有效性。

表2 最優CNN模型的結構與參數

接著統計它們對測試集的分類結果，如表3 所示，改進的CNN模型的平均診斷準確性為99.75%，而經典模型診斷準確性較低，僅有86.9%。

表3 優化模型與經典模型的對比/（%）

4.3 泛化性和魯棒性驗證

采用該優化后的CNN 模型對原測試集進行診斷的精確性很高，為進一步驗證模型的泛化能力，構建新的測試集，將其輸入該CNN模型并統計其分類結果，得到測試數據的混淆矩陣，使用列匯總和行匯總顯示每個類的準確率和召回率，結果如圖4所示?？芍揅NN模型泛化能力較強，通過較少樣本的學習即可得到整個原始信號的深層特征。

圖4 最優CNN模型對新測試集的分類結果

考慮實際工況下風電軸承信號往往包含較強的噪聲，通過在正常傳感器數據中加入高斯噪聲來模擬風機軸承在實際工況下的振動信號，驗證CNN模型的魯棒性。測試集所有樣本都添加高斯白噪聲。

高斯噪聲的信噪比(Signal Noise Ratio，SNR)按1 dB 的步長分別設置為-3 dB、-2 dB、-1 dB、0、1dB、2 dB、3 dB。不同信噪比(SNR=-3)下，本文所提出的經貝葉斯優化的CNN模型、經遺傳算法優化的CNN模型、未優化的CNN模型對測試集的診斷準確性如圖5所示，可以看到未優化的CNN魯棒性極差，故障診斷效率低，因此對其進行優化具有必要性。經貝葉斯優化和遺傳算法優化的CNN 模型在具有少量噪聲樣本的前提下便可學習到噪聲干擾下軸承信號的分布特征，診斷準確率相對較高，明顯優于未優化的CNN模型。而與經遺傳算法優化的CNN模型相比，經貝葉斯優化的CNN 模型更加優越，對輸入擾動有較強的魯棒性，診斷效率高。

圖5 對不同噪聲程度測試集的診斷結果

5 結語

針對CNN常見的過擬合、計算量大以及模型超參數難以確定的問題，結合貝葉斯優化在智能計算的超參數優化方面的發展，本文提出一種改進的CNN模型，并使用貝葉斯優化器對其超參數進行優化。在改進的CNN模型中，利用SGDM和批歸一化來加速CNN的訓練速度，增加一個新的卷積層用于提取數據深層特征，并對其目標函數進行改進，增加L2正則項，可在保證訓練誤差盡量小的同時自動調節參數，優化網絡結構，也可使有效權值數量盡量少，提高該模型的泛化能力。使用貝葉斯優化對該改進的CNN模型的超參數進行優化，包括優化CNN網絡深度、學習率、SGDM 的動量以及正則化強度。通過本文研究可知，由貝葉斯優化器確定的最優CNN模型診斷效率高，同時有較強的泛化能力和魯棒能力。