基于收縮極限學習機的故障診斷魯棒方法

陳劍挺，吳志國，葉貞成，朱遠明，程 輝

(1.華東理工大學 化工過程先進控制和優化技術教育部重點實驗室，上海 200237；2.安徽海螺集團有限責任公司，安徽 蕪湖 241000)

0 引 言

隨著人工智能和計算機技術的高速發展，基于數據驅動的故障診斷技術已成為工業界的熱門研究領域，而極限學習機(extreme learning machine，ELM)的提出，為故障診斷技術提供了一種新的解決方案。ELM具有訓練速度快，泛化精度高的特點[1]。但是在實際工業過程中，由于生產環境的影響，導致采集到的數據中帶有噪聲是一種常態現象，常規的ELM魯棒性不強，容易受到噪聲的干擾。

基于此，Horata等[2]提出了一種基于迭代重加權最小二乘法(iteratively reweighted least squares，IRWLS)的魯棒ELM，通過對樣本數據添加權重的方式進行迭代訓練，提高了算法的魯棒性。在此基礎之上，Chen等[3]在ELM的目標函數中引入正則項，提出了基于迭代重加權最小二乘法的正則化魯棒ELM算法框架，提高了算法的穩定性和泛化能力。羅等[4]將該思想應用到在線學習上，并提出了一種權重變化和決策融合的極限學習機在線故障檢測算法模型，并通過集成的方式提高模型的綜合決策能力。Chen等[5]結合相關熵準則提出了一種基于KMPE(kernel mean p-power error)損失的相關熵正則化極限學習機，用KMPE相關熵損失代替常規ELM的平方損失項，進一步提高了算法的魯棒性。文獻[6]在此之上提出了基于混合相關熵損失的魯棒學習方法。但是以上的方法針對的都是標簽噪聲問題，對于帶有特征噪聲的數據集，訓練出來的算法模型仍存在較大的偏差。鑒于此，Kasun等[7]在分類之前對特征進行提取，提出了一種多層學習架構，利用ELM自編碼器(ELM-AE)來構建深層網絡，以提取更好的特征表示。Tang等[8]提出了層級ELM(HELM)算法，并在其中提出了一種基于ELM的稀疏自編碼器，通過該稀疏自編碼器，HELM可以獲得原始數據的更稀疏的特征表示，進一步提高多層ELM的分類性能，但是其在對抗噪聲方面并沒有給出較好的解決方案。

為此，本文針對特征噪聲問題提出了一種收縮極限學習機(contractive-extreme learning machine，CELM)魯棒算法模型，該方法主要分為兩個階段，第一個階段為特征提取層，通過自編碼器對輸入數據進行重構，并將隱層輸出值關于輸入的雅克比矩陣的F范數引入到目標函數中，進而提取出更具魯棒性的抽象特征表示，該階段的隱層層數可以調整，且每一層都是獨立訓練，隱層的參數訓練好之后就不再進行調整。第二個階段為常規的ELM層，將第一階段提取出的抽象特征表示作為輸入，對該層進行訓練。仿真實驗對比結果表明，提出的方法在魯棒性方面和分類準確率上都有很好的性能。

1 極限學習機ELM原理

極限學習機是一種單隱層前饋神經網絡[1]。其模型結構如圖1所示。

圖1 ELM模型結構

hj(xi)=g(aj·xi+bj)，aj∈Rn,bj∈R

(1)

(2)

T是訓練數據集標簽

(3)

β∈RL×m是輸出權重矩陣

β=[β1，β2，…,βL]T

(4)

輸出節點對輸入xi的預測結果由下式給出

(5)

取預測結果的最大值作為標簽

(6)

其中，c∈(1,2,…,m)。

對于ELM算法，其輸入權重矩陣a和偏置量b是隨機確定的，確定之后即不再改變。

因此，網絡訓練的目標函數為

(7)

采用最小二乘法求解式(7)中的目標函數得到隱層的輸出矩陣

β=H?T

(8)

其中，H?是隱層輸出矩陣H的Moore-Penrose廣義逆矩陣

H?=(HTH)-1HT

(9)

為了進一步提高ELM的穩定性以及泛化能力，l2范數正則項被引入到了正則化ELM(RELM)之中，網絡的目標函數為

(10)

β=(λI+HTH)-1HTT

(11)

2 收縮極限學習機算法模型

文獻[7]和文獻[8]研究結果表明，如果能夠提取更有效的特征表示，ELM能夠獲得更好的性能。本文中采用自編碼器來提取新特征。

2.1 自編碼器

自編碼器[9]的原理：首先對輸入特征進行歸一化，然后使用編碼器將n維輸入x映射到L維隱層h，公式如下

h=f(x)=sh(Wx+bh)

(12)

其中，sh(·) 是一個激活函數，本文使用的是Sigmoid函數

(13)

W是一個dL×dn維的矩陣，bh是dL維的偏置向量，而解碼器g將L維的隱層表示重新映射成y

y=g(h)=sg(W′h+by)

(14)

W′=WT

(15)

自編碼器，通過最小化訓練集Dn上的重構誤差來訓練并找到參數θ={W,bh,by}，其對應于最小化式(15)中的網絡目標函數

(16)

收縮自編碼器[10](contractive-autoencoder，CAE)以隱層輸出關于輸入的雅克比矩陣的F范數作為自編碼器目標函數的懲罰項。并通過最小化重構誤差與該雅克比矩陣的F范數的平方，使得提取出的特征表示圍繞訓練樣本的小幅變化具有魯棒性，即該懲罰項使得特征空間的映射在訓練樣本的鄰域內是緊縮的。網絡的目標函數如式(17)所示

(17)

其中

(18)

(19)

(20)

文獻[10]中給出了特征表示可采用的標準衡量如下：①可以很好地重構輸入數據；②對輸入數據一定程度下的擾動具有魯棒性。

引入l1范數或者l2范數作為懲罰項的自編碼器主要符合第一個標準，而當以隱層輸出關于輸入的雅克比矩陣的F范數作為自編碼器目標函數的懲罰項時所提取到的特征相對更符合第二個標準。

2.2 提出的CELM魯棒算法模型

在工業控制系統中，采集到的數據往往會帶有噪聲，為了提高ELM算法模型的魯棒性，本文提出了一種收縮極限學習機魯棒算法模型。

結構如圖2所示。CELM的模型分為兩個階段，第一個階段為無監督的特征提取層，該層通過CAE收縮自編碼器從輸入中提取抽象特征表示，挖掘訓練樣本之間的隱藏信息。第一個階段隱層的輸出可以表示為

Hi=g(Hi-1Wi)

(21)

其中，Hi是第i層隱層的輸出，且H0=x。Wi為第i層的輸出權重矩陣，通過求解式(17)得到Wi，Wi確定之后就不需要再進行微調，再利用求得的Wi將第i-1層的特征表示映射到第i層隱層空間。第一階段的每一層都是獨立的模塊，分開單獨訓練。

圖2 CELM算法模型結構

第二階段采用的是有監督的常規ELM層，將第一階段從輸入數據中提取出的抽象特征表示隨機映射到L維隱層空間得到ELM層的隱層矩陣，再應用式(11)訓練網絡。

3 算法模型性能分析

由于故障診斷問題本質上是分類問題。本文首先以Mnist手寫體數據集，以及11個UCI測試數據集為基準對本文提出的收縮極限學習機(CELM)算法模型進行分類性能分析，并與常規的HELM，ELM，SVM等算法進行對比。并通過在Mnist數據集中添加特征噪聲的方式驗證提出的方法的魯棒性，最后再利用TE過程進行實驗分析。

本文采用3.6GHz CPU，16G RAM，64位主機，在Python3.5環境下進行測試。

3.1 算法評價方法

本實驗的性能評價指標選用ACC(準確率)。計算公式如下

正查準率：P-Precision=TP/(TP+FP)

(22)

負查準率：N-Precision=TN/(TN+FN)

(23)

正查全率：P-Recall=TP/(TP+FN)

(24)

負查全率：N-Recall=TN/(FP+TN)

(25)

準確率：

ACC=(TP+TN)/(ALL)

(26)

其中，TP，TN，FP，FN為表1表示分類問題混淆矩陣的元素。

表1 混淆矩陣

3.2 算法分類準確性測試

Mnist手寫體數據集是由60 000個訓練圖像和10 000個測試圖像組成，樣本數字是0-9。Mnist數據集測試結果見表2。

表2 Mnist數據集測試結果

圖3為Mnist數據集測試結果。就分類精度而言，CELM明顯優于ELM和HELM算法模型；就中間隱層數而言，CELM的中間隱層數為2時的分類精度高于中間隱層數為1時。

圖3 Mnist數據集測試結果

對于UCI數據集，本文將80%數據集作為訓練數據，20%數據作為測試數據。對ELM，HELM，CELM分別測試20次，取平均結果。UCI數據集測試結果見表3。

根據測試集的結果，可以得出除了在Adult數據集中，CELM的分類精度會低于ELM，在其它數據集中CELM的分類精度都在ELM之上，且在White_wine_quality，Red_wine_quality，Wine，Seeds，Letter，Glass，Ecoli以及Dermatology中CELM的精度都是最高的，尤其在White_wine_quality數據集中，CELM的分類精度要比ELM高出12.8%，在Red_wine_quality數據集中，CELM的分類精度比ELM高出11.8%。通過表3可以得出，CELM的分類性能較好。

表3 UCI數據集測試結果

3.3 算法模型魯棒性測試

為了驗證所提出的CELM對特征噪聲數據的魯棒性，本文選用Mnist數據集，并在其訓練樣本中加入混合高斯噪聲。噪聲生成公式如下

(27)

表4 算法魯棒性測試結果

在圖4中可以看出，隨著噪聲強度的增加，CELM，ELM和HELM的分類精度也隨之下降。ELM的下降幅度最大，在添加了方差為0.5的高斯噪聲后分類準確率下降到了81.7%，說明常規的ELM在抗噪聲方面性能較差。HELM與本文提出的CELM相比較，兩者在方差為0.5的高斯噪聲下分類準確率都保持在了91%以上，但是隨著噪聲強度的增強，HELM下降速率更快，兩者的精度差也逐漸加大。因此，可以得出本文提出的算法模型在較ELM和HELM具有更好的魯棒性。

圖4 添加不同級別噪聲后的實驗結果

3.4 TE故障數據集仿真分析

本小節中，分別以ELM，HELM以及本文提出的CELM對TE過程分別進行實驗分析。TE過程共有52個測量變量，并且可以模擬20種不同的故障類型。

本文中選取其中10種不同故障類型以及正常過程的所有訓練數據訓練出一個分類模型，并以各種類型的1/3數據集作為訓練數據集，2/3數據集作為測試數據集，對本文提出的CELM算法模型進行故障診斷性能分析。測試結果見表5。

由表5結果可得，針對上述故障類型，CELM較ELM，HELM有7種類型的分類精度最優，分別是正常類型、故障4、故障5、故障8、故障10、故障12以及故障20。

表5 10種不同故障類型的診斷性能比較(ACC)

表6為算法模型的平均訓練時間。與ELM和HELM相比，CELM模型訓練時間平均值有所增加，但在故障診斷方面的精度更高。

表6 3種算法模型的訓練時間平均值

綜上所述，本文提出的算法模型在準確率方面有較好的表現，且較ELM，HELM具有更好的魯棒性，但是模型訓練效率方面較ELM，HELM耗時要多一些。

4 結束語

本文針對工業系統中采集的數據變量多，且普遍帶有特征噪聲的現象，提出了一種基于收縮極限學習機的魯棒算法模型。首先本算法模型以多層ELM網絡模型結構為基礎，然后利用自編碼器，并將隱層輸出值關于輸入的雅克比矩陣的F范數引入到目標函數中，提取出圍繞輸入的微小變化具有魯棒性的抽象特征表示，最后以常規的ELM層作為分類器進行訓練。本文所提出的算法模型CELM在Mnist數據集、UCI數據集、帶有混合噪聲的Mnist數據集以及TE數據集上進行測試分析，實驗結果表明，CELM較ELM、HELM具有更高的分類精度、更好的魯棒性，以及更優的故障診斷精度。但是在本文中，CELM相比ELM以及HELM的訓練時間較長，因此后續筆者下一步的重點在于優化隱層權重矩陣的計算過程，以提高模型的訓練效率。