面向發(fā)電設(shè)備預(yù)測(cè)性維護(hù)的傳感數(shù)據(jù)特征抽取方法

張守利，蘇 申，劉 晨，韓燕波

(1.天津大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300072；2.北方工業(yè)大學(xué) a.大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，b.計(jì)算機(jī)學(xué)院，北京 100144)

隨著工業(yè)生產(chǎn)數(shù)據(jù)采集技術(shù)的日趨完善，工業(yè)生產(chǎn)設(shè)備的預(yù)測(cè)性維護(hù)日漸成為工業(yè)界和學(xué)術(shù)界討論的熱門話題。一般的講，工業(yè)生產(chǎn)設(shè)備的預(yù)測(cè)性維護(hù)指的是利用實(shí)時(shí)產(chǎn)生的工業(yè)生產(chǎn)數(shù)據(jù)，借鑒數(shù)據(jù)分析技術(shù)分析工業(yè)生產(chǎn)設(shè)備的運(yùn)行狀態(tài)，并進(jìn)一步預(yù)測(cè)設(shè)備潛在的故障和威脅，從而提高工業(yè)設(shè)備的可靠性。得益于深度學(xué)習(xí)近年來(lái)的長(zhǎng)足發(fā)展，深度學(xué)習(xí)成為工業(yè)設(shè)備預(yù)測(cè)性維護(hù)的主流方向[6-8]。這類方法將工業(yè)生產(chǎn)數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)輸入，利用設(shè)備的經(jīng)驗(yàn)標(biāo)簽進(jìn)行網(wǎng)絡(luò)訓(xùn)練，進(jìn)而實(shí)現(xiàn)在線設(shè)備狀態(tài)監(jiān)測(cè)，發(fā)現(xiàn)早期故障，為設(shè)備的維護(hù)提供預(yù)警信號(hào)。這類方法的缺點(diǎn)在于，工業(yè)生產(chǎn)數(shù)據(jù)是典型的大數(shù)據(jù)體量且價(jià)值密度往往很低。基于深度學(xué)習(xí)建立預(yù)測(cè)模型時(shí)，如果輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量不足，則預(yù)測(cè)效果不好，如果輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量過(guò)多，則大大增加學(xué)習(xí)成本，使得模型的計(jì)算開(kāi)銷難以負(fù)擔(dān)。

應(yīng)用深度學(xué)習(xí)算法解決發(fā)電廠的設(shè)備預(yù)測(cè)性維護(hù)的一個(gè)重大挑戰(zhàn)是大量部署的傳感器所引起的數(shù)據(jù)特征維度過(guò)高問(wèn)題。例如，發(fā)電廠中的風(fēng)煙系統(tǒng)中部署了上千個(gè)傳感器測(cè)點(diǎn)，那么其所產(chǎn)生的數(shù)據(jù)維度就可達(dá)上千個(gè)，如此高的數(shù)據(jù)維度大大增加了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)成本。大量研究實(shí)踐證明，特征降維能夠有效地消除無(wú)關(guān)和冗余特征，提高模型的學(xué)習(xí)效率，改善預(yù)測(cè)精確性等。近年來(lái)，越來(lái)越多的研究者應(yīng)用特征提取技術(shù)對(duì)高維數(shù)據(jù)進(jìn)行降維。主成份分析(PCA)作為常用特征提取方法，被廣泛用在眾多的研究領(lǐng)域中，從高維數(shù)據(jù)集中提取新的特征變量[15]。PCA從觀測(cè)變量?jī)?nèi)部的相互關(guān)系來(lái)整理信息，將變量加以適當(dāng)?shù)恼蛔儞Q依次找出相互關(guān)聯(lián)性高的變量組。將可能相關(guān)的原始數(shù)據(jù)集轉(zhuǎn)換成線性不相關(guān)的新的特征集合，實(shí)現(xiàn)高維數(shù)據(jù)向低維的壓縮。因此，PCA的提取效果依賴于不同維度數(shù)據(jù)間的相關(guān)性，不同維度的數(shù)據(jù)相關(guān)性越強(qiáng)，降維效果越明顯，反之亦反。然而，對(duì)于發(fā)電廠的傳感器而言，由于其天然的特性：不同發(fā)電系統(tǒng)的傳感器時(shí)鐘存在差別以及工業(yè)設(shè)備的運(yùn)行原理(例如，對(duì)于火力發(fā)電機(jī)組，給煤量增大一段時(shí)間后，機(jī)組功率會(huì)隨之提高)導(dǎo)致了數(shù)據(jù)關(guān)聯(lián)的延遲，從而造成傳感器之間的關(guān)聯(lián)性發(fā)生改變。

現(xiàn)有降維方法[1-5]一般不關(guān)心不同數(shù)據(jù)之間延遲關(guān)聯(lián)，因而在發(fā)電廠中無(wú)法直接運(yùn)用這些方法來(lái)有效地實(shí)現(xiàn)高價(jià)值密度的數(shù)據(jù)特征提取。面對(duì)上述問(wèn)題，本文提出了一種面向延遲相關(guān)的傳感數(shù)據(jù)特征提取方法。該方法利用基于皮爾遜相關(guān)系數(shù)的曲線排齊算法，調(diào)整不同傳感器數(shù)據(jù)之間的時(shí)間差，使得調(diào)整之后的數(shù)據(jù)相關(guān)性達(dá)到最大；然后利用PCA對(duì)調(diào)整之后的傳感數(shù)據(jù)進(jìn)行特征提取，從而得到一個(gè)容量較小但仍能反映原始特征的數(shù)據(jù)集；最后，針對(duì)電廠設(shè)備的預(yù)測(cè)性維護(hù)問(wèn)題，建立基于深度學(xué)習(xí)算法的預(yù)測(cè)性維護(hù)模型。利用特征提取之后的新特征數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證本文所提出的預(yù)測(cè)模型相對(duì)與傳統(tǒng)的基于包限值的預(yù)測(cè)方法具有較高的準(zhǔn)確性，同時(shí)基于曲線排齊的特征提取方法降低了模型的學(xué)習(xí)成本，提高了模型的性能。

1 問(wèn)題定義

本文的研究動(dòng)機(jī)來(lái)自于發(fā)電廠的真實(shí)需求：設(shè)備預(yù)測(cè)性維護(hù)。一個(gè)發(fā)電廠有300多臺(tái)發(fā)電設(shè)備，每臺(tái)發(fā)電設(shè)備上部署了約40個(gè)傳感器，用來(lái)監(jiān)控發(fā)電設(shè)備的運(yùn)行狀態(tài)。這些傳感器不間斷產(chǎn)生了海量的傳感數(shù)據(jù)。發(fā)電設(shè)備的預(yù)測(cè)性維護(hù)模型則是建立在對(duì)海量傳感數(shù)據(jù)進(jìn)行分析基礎(chǔ)上。然而在海量數(shù)據(jù)上進(jìn)行復(fù)雜的數(shù)據(jù)分析和挖掘通常需要很長(zhǎng)時(shí)間，運(yùn)算量非常巨大。

特征提取就是從原始的數(shù)據(jù)中提取更加可靠、有效的信息生成新的特征數(shù)據(jù)，同時(shí)使得數(shù)據(jù)的維度也被壓縮[12]。主成份分析PCA是常用的特征提取的方法。其將高維的數(shù)據(jù)通過(guò)線性變換投影到低維空間，從而得到最能夠代表原始數(shù)據(jù)的新特征數(shù)據(jù)。然而由于發(fā)電設(shè)備傳感器數(shù)據(jù)之間存在延遲相關(guān)，直接使用PCA對(duì)傳感數(shù)據(jù)進(jìn)行特征提取的效果并不明顯。

在工業(yè)生產(chǎn)領(lǐng)域中，設(shè)備之間的相互作用普遍具有先后傳遞性。例如，磨煤機(jī)系統(tǒng)中，存在“給煤機(jī)”和“磨煤機(jī)”兩個(gè)設(shè)備，給煤機(jī)負(fù)責(zé)將煤塊輸送到磨煤機(jī)中進(jìn)行粉碎。某一時(shí)刻工作人員加大了給煤機(jī)輸送的煤量，那么當(dāng)前磨煤機(jī)的工作負(fù)荷則無(wú)法滿足給煤機(jī)所輸送的煤量，需要加大磨煤機(jī)的工作負(fù)荷。而磨煤機(jī)的工作負(fù)荷增大之后，磨煤機(jī)上的電流會(huì)隨之變大。根據(jù)磨煤機(jī)系統(tǒng)的這種運(yùn)行原理，可以清楚了解到，給煤機(jī)和磨煤機(jī)之間的相互作用具有時(shí)間上的先后傳遞性。也就是說(shuō)，在t1時(shí)刻增大給煤機(jī)的給煤量，磨煤機(jī)的電流信號(hào)不會(huì)立即在t1時(shí)刻增加，而是在(t1+Δt|Δt>0)時(shí)刻發(fā)生改變。因此，在對(duì)發(fā)電設(shè)備的傳感數(shù)據(jù)進(jìn)行分析時(shí)，若不考慮數(shù)據(jù)之間的時(shí)差，則會(huì)造成相關(guān)性的誤判，即認(rèn)為相關(guān)的數(shù)據(jù)不具有相關(guān)性。本文對(duì)某發(fā)電廠磨煤機(jī)系統(tǒng)、風(fēng)煙系統(tǒng)等主要發(fā)電設(shè)備上所部署的2123個(gè)傳感器進(jìn)行數(shù)據(jù)采集，采集時(shí)間從2014-07-01到2016-01-30，生成了超過(guò)30萬(wàn)條數(shù)據(jù)樣本。本文借鑒文獻(xiàn)[17]給出的時(shí)移序列相關(guān)系數(shù)的特征對(duì)這些傳感數(shù)據(jù)進(jìn)行相關(guān)性分析，發(fā)現(xiàn)有1 430個(gè)傳感器之間存在相關(guān)性，其中214對(duì)之間存在著延遲相關(guān)。這種延遲相關(guān)會(huì)降低PCA特征提取的效果，也會(huì)造成預(yù)測(cè)模型的不準(zhǔn)確性。

為了避免傳感數(shù)據(jù)之間的延遲相關(guān)對(duì)于特征提取效率的影響，本文提出了一種面向發(fā)電設(shè)備預(yù)測(cè)性維護(hù)的傳感數(shù)據(jù)延遲相關(guān)的特征抽取方法。首先利用曲線排齊算法解決數(shù)據(jù)的延遲相關(guān)問(wèn)題，然后利用PCA對(duì)排齊之后的數(shù)據(jù)進(jìn)行特征提取，提取原始數(shù)據(jù)中的關(guān)鍵特征，降低數(shù)據(jù)特征維度。最后基于深度學(xué)習(xí)模型中的LSTM神經(jīng)網(wǎng)絡(luò)模型建立設(shè)備的預(yù)測(cè)性維護(hù)模型，利用提取的新特征數(shù)據(jù)進(jìn)行模型的訓(xùn)練，從而實(shí)現(xiàn)設(shè)備故障的預(yù)測(cè)。

2 基于相關(guān)性的特征提取方法

2.1 面向延遲相關(guān)的曲線排齊

不同的傳感器產(chǎn)生的數(shù)據(jù)之間存在延遲相關(guān)。為了減少信息的丟失，提高預(yù)測(cè)模型的準(zhǔn)確性，我們必須首先解決這個(gè)問(wèn)題。曲線排齊算法針對(duì)延遲相關(guān)的曲線進(jìn)行排齊，常用的方法主要是期望最大化算法。文獻(xiàn)[17]針對(duì)時(shí)序數(shù)據(jù)的時(shí)差問(wèn)題，提出了雙序列曲線排齊方法。本文借鑒文獻(xiàn)[17]中所提出的基于相關(guān)系數(shù)最大化的曲線排齊方法S-GEM來(lái)對(duì)傳感數(shù)據(jù)中的具有延時(shí)相關(guān)的數(shù)據(jù)進(jìn)行排齊。其基本思路是計(jì)算兩個(gè)序列X1和X2之間的時(shí)間錯(cuò)位函數(shù)d(t)=dk(t)，基于這個(gè)時(shí)間錯(cuò)位函數(shù)尋找一個(gè)時(shí)間差Δt=d(ti)使得，X1(t)和X2(t+Δt)的皮爾遜相關(guān)系數(shù)ρ(X1(t),X2(t+Δt))達(dá)到最大。

然而，S-GEM算法面向的是兩個(gè)序列的時(shí)間錯(cuò)位問(wèn)題。對(duì)于多個(gè)序列，最能想到的“暴力”解決方法是：先選定一個(gè)序列作為參照序列，依次計(jì)算其他的序列與參照序列的Δt，從而實(shí)現(xiàn)對(duì)所有傳感器數(shù)據(jù)的排齊。但是，這種方法存在兩個(gè)關(guān)鍵難題，一是選擇哪個(gè)序列作為參照序列；二是，哪些序列有必要進(jìn)行排齊，對(duì)于一些本身就不存在相關(guān)性的序列，就沒(méi)必要進(jìn)行曲線排齊。

為了解決上述難題，首先將所有的傳感器劃分到不同的組。假設(shè)同一組內(nèi)的數(shù)據(jù)具有一定的相關(guān)性，因此，對(duì)于同一組內(nèi)的序列，則可以隨機(jī)選擇任何一個(gè)作為參照序列而不會(huì)影響排齊的效果。

4) 更新v的值，重復(fù)步驟1)直到分組中的元素不再發(fā)生移動(dòng)。

算法1實(shí)現(xiàn)了曲線排齊的過(guò)程。

算法1 曲線排齊算法SAlinement輸入:原始傳感器數(shù)據(jù)SensorData,K-Means聚類簇個(gè)數(shù)k輸出:新的數(shù)據(jù)組成的分組ClusterAssement1.VarDataSet=LoadDataSet(SensorData);//加載傳感數(shù)據(jù),2.VarClusterAssement=Kmeans(DataSet,k);//初始化聚類算法3.For(VarSensorinDataSet){4. VarPearsonSet;//當(dāng)前傳感器與所有分組的相關(guān)系數(shù)集合5. For(VarClusterinClusterAssement){6. VarR=Cluster.GetReference();//每個(gè)分組內(nèi)的參照曲線7. VarΔt=G-SEM(Sensor,R);//計(jì)算錯(cuò)位時(shí)間8. If(Δt!=0){9. VarNewSensor=Alinement(Sensor,Δt);//曲線,返回排齊后的曲線10. VarCoefficient=Pearson(NewSensor,R);//計(jì)算排齊之后的曲線與參照曲線的相關(guān)系數(shù)11. PearsonSet.put(index,Coefficient,NewSensor);//存放當(dāng)前分組的索引號(hào),相關(guān)系數(shù)}VarMaxPearson=PearsonSet.GetMax();//獲取最大的皮爾遜相關(guān)系數(shù)12. Varoindex=ClusterAssement.getIndex(sensor);//查詢傳感器初始所在的分組13. VarNcluster=ClusterAssement[Maxperson.index];14. If(oindex!=MaxPearson.index){15. VarOcluster=ClusterAssement[oindex];16. Ocluster.remove(Sensor);17. Ncluster.add(MaxPearson.NewSensor);}18.returnClusterAssement;}

利用算法1會(huì)得到不同的分組，同一組內(nèi)的傳感器數(shù)曲線之間都具有最大相關(guān)性，而且這些分組中的數(shù)據(jù)不再存在延遲相關(guān)的時(shí)間錯(cuò)位問(wèn)題。

2.2 基于PCA的特征提取

主成份分析(PCA)算法是一種典型的統(tǒng)計(jì)數(shù)據(jù)分析方法，是在原始數(shù)據(jù)集中抽取最有價(jià)值特征的一種有效方法。PCA會(huì)對(duì)新求出的“主元”向量的重要性進(jìn)行排序，根據(jù)需求提取前m個(gè)“主元”向量，從而達(dá)到降維的效果，同時(shí)也最大程度保持了原有數(shù)據(jù)的信息。

定義一個(gè)具有n個(gè)觀測(cè)值的數(shù)據(jù)矩陣X.這個(gè)矩陣由p個(gè)維度的隨機(jī)變量構(gòu)成。每個(gè)維度都代表了一個(gè)傳感器，如下式。

X=x1,x2,x3,…xP.

利用PCA進(jìn)行特征提取目的是找到一個(gè)新的數(shù)據(jù)矩陣Y=Y1,Y2,…,Ym,(m≤p)來(lái)代表原始數(shù)據(jù)矩陣。它滿足Cov(Yi,Yj)=0,i≠j,i,j=1,2,…,m和Var(Y1)≥Var(Y2)≥…≥Var(Ym)Cov(Yi,Yj).其中Cov(Yi,Yj)是Y中的成份之間的協(xié)方差，表示Y中的每個(gè)成份都是相互獨(dú)立的。Var(Yi)是主成份的方差，表示了每個(gè)成份的重要性，每個(gè)成份的重要性在Y中依次遞減。

算法2實(shí)現(xiàn)了利用PCA進(jìn)行特征提取的過(guò)程。

算法2 特征提取算法PCAModel.輸入:傳感器數(shù)據(jù)SensorData,數(shù)據(jù)的維度H,特征提取之后的特征維數(shù)信息含有量閾值輸出:新的特征數(shù)據(jù)ReconMat1.VarDataMat=loadDataSet(SensorData);//加載數(shù)據(jù)傳感數(shù)據(jù),生成數(shù)據(jù)矩陣2.For(vari:H){3. VarMeanVals=mean(DataMat[i]);//數(shù)據(jù)矩陣每一列特征均值4. VarMeanRemoved[i]=DataMat[i]-MeanVals;}//數(shù)據(jù)矩陣每一列特征減去該列的特征均值5. VarCovMat=Cov(MeanRemoved[i]);//計(jì)算協(xié)方差矩陣6.VarEigVects=linalg.eig(mat(conMat));//計(jì)算協(xié)方差矩陣的特征向量7.VarEigVals=linalg.eig(mat(conMat));//計(jì)算協(xié)方差矩陣的特征值8.VarExplainedVariance=Argsort(EigVals);//對(duì)每個(gè)特征向量的貢獻(xiàn)度由大到小排序9.For(VarxinExplainedVariance){10. sum+=x;11. topNfeat++;//記錄特征矩陣的索引的最大值12. if(sum>?)//獲取總貢獻(xiàn)度大于?的13. break;}14.For(Vari=0;i

2.3 基于深度學(xué)習(xí)的設(shè)備預(yù)測(cè)性維護(hù)模型

對(duì)于給定設(shè)備的歷史特征數(shù)據(jù)和標(biāo)簽，預(yù)測(cè)模型輸出設(shè)備將來(lái)會(huì)發(fā)生故障的概率。給定概率閾值φ，如果預(yù)測(cè)模型的輸出數(shù)據(jù)超過(guò)閾值φ，那么認(rèn)為這是一個(gè)故障即將發(fā)生的信號(hào)。故障發(fā)生的概率計(jì)算依賴與相當(dāng)長(zhǎng)的一段時(shí)間的歷史記錄與趨勢(shì)，傳統(tǒng)的有監(jiān)督學(xué)習(xí)算法只是簡(jiǎn)單的把輸入序列作為獨(dú)立的特征，不能捕獲到序列之間的時(shí)間依賴性。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)可以被看作一種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)。不同于前饋神經(jīng)網(wǎng)絡(luò)，它的內(nèi)部狀態(tài)不僅僅依賴于當(dāng)前的輸入，還依賴之前的網(wǎng)絡(luò)狀態(tài)。循環(huán)神經(jīng)網(wǎng)絡(luò)模型以其更高的非線性能力、更高的精度和收斂速度，非常適合處理帶有時(shí)間信息的序列數(shù)據(jù)。但是傳統(tǒng)的RNN是不能長(zhǎng)時(shí)間的存儲(chǔ)之前的輸入信息，而長(zhǎng)短時(shí)記憶(LSTM)神經(jīng)網(wǎng)絡(luò)引入記憶元，通過(guò)控制門可以控制新到的信息對(duì)神經(jīng)元已保存信息的擾亂程度，從而使得LSTM模型可以學(xué)習(xí)長(zhǎng)期依賴信息，較長(zhǎng)時(shí)間的保存并傳遞信息。LSTM 已經(jīng)成功的用在了各種的序列建模任務(wù)中[4]。本文使用LSTM的神經(jīng)網(wǎng)絡(luò)為發(fā)電設(shè)備建立故障預(yù)測(cè)模型。把設(shè)備的故障預(yù)測(cè)問(wèn)題定義為一個(gè)二分類問(wèn)題，LSTM所建立的預(yù)測(cè)模型的輸出yt本質(zhì)上也是一個(gè)二進(jìn)制向量，表示設(shè)備的狀態(tài)。也就是說(shuō)，LSTM輸出目標(biāo)dt是一個(gè)具有2個(gè)類別的二進(jìn)制向量dt∈{0,1}，其中用1表示故障標(biāo)識(shí)，0表示正常運(yùn)行標(biāo)識(shí)。

本文用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)建立設(shè)備的故障預(yù)測(cè)模型。輸入序列為長(zhǎng)度為L(zhǎng)的特征向量序列x=(xt-L+1,…,xt)，這些特征向量通過(guò)加權(quán)連接被傳遞到一堆多個(gè)循環(huán)相連的隱藏層，以計(jì)算隱藏的向量序列h=(ht-L+1,…,ht).輸出向量為y=(yt-L+1,…,yt).

3 實(shí)驗(yàn)與評(píng)價(jià)

為了驗(yàn)證上述算法的有效性，筆者基于真實(shí)的電廠設(shè)備傳感器數(shù)據(jù)，對(duì)照歷史故障日志記錄，實(shí)現(xiàn)本文所描述的算法，確定相應(yīng)的實(shí)驗(yàn)指標(biāo)，驗(yàn)證方法的可行性以及有效性。

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文的Spark集群采用基于Yarn的資源調(diào)度模式，由5臺(tái)裝載CentOS release 6.4系統(tǒng)，Spark-2.1.0以及Hadoop-2.7.0軟件的服務(wù)器搭建而成，內(nèi)存主節(jié)點(diǎn)配置6 GB，從節(jié)點(diǎn)機(jī)器配置為3 GB，其他硬件配置均相同。

實(shí)驗(yàn)中使用的數(shù)據(jù)集來(lái)自發(fā)電廠的真實(shí)傳感器數(shù)據(jù)。利用發(fā)電機(jī)組中的5個(gè)重要設(shè)備所產(chǎn)生的傳感數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，具體信息見(jiàn)表1.其中每個(gè)傳感器每秒產(chǎn)生2條傳感數(shù)值，對(duì)原始數(shù)據(jù)進(jìn)行頻率為每3 min的采樣，最終生成本文所用的實(shí)驗(yàn)數(shù)據(jù)。數(shù)據(jù)的時(shí)間從2014-07-01 00:00:00到2016-01-31 23:59:59.以電廠設(shè)備的真實(shí)維修檢測(cè)記錄，作為實(shí)驗(yàn)結(jié)果的參照對(duì)比對(duì)象。表1中的故障發(fā)生次數(shù)表示當(dāng)前設(shè)備所發(fā)生故障的次數(shù)。

表1 實(shí)驗(yàn)數(shù)據(jù)信息表Table 1 Information of data set in experiment

3.2 實(shí)驗(yàn)指標(biāo)

利用上述數(shù)據(jù)利用文本算法進(jìn)行實(shí)驗(yàn)驗(yàn)證，通過(guò)比對(duì)歷史日志記錄分析實(shí)驗(yàn)結(jié)果，使用準(zhǔn)確率和召回率對(duì)本文算法的有效性和性能進(jìn)行評(píng)價(jià)。

準(zhǔn)確率(Precision)：準(zhǔn)確率代表預(yù)測(cè)的故障有多少是準(zhǔn)確的，準(zhǔn)確率越大說(shuō)明預(yù)測(cè)的精度越高。

召回率(Recall)：召回率代表有多少正確的故障被預(yù)測(cè)出。

3.3 實(shí)驗(yàn)與評(píng)價(jià)

本文利用表1中的數(shù)據(jù)作為實(shí)驗(yàn)的數(shù)據(jù)集，其中前80%的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，剩下20%的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。

以下4個(gè)預(yù)測(cè)模型作為本文實(shí)驗(yàn)的對(duì)照方法。

T-Method：表示電廠現(xiàn)有的預(yù)測(cè)模型，是基于傳感器包限值的預(yù)測(cè)方法。實(shí)時(shí)監(jiān)控單個(gè)傳感器的數(shù)值變化，如果單個(gè)傳感器的數(shù)據(jù)超過(guò)了初始設(shè)置的上限包限值或者低于下限包限值，則認(rèn)為發(fā)生了故障預(yù)警信號(hào)。

LModel：把采集到的原始傳感器數(shù)據(jù)直接輸入到LSTM網(wǎng)絡(luò)的設(shè)備預(yù)測(cè)模型中。

SModel：使用PCA對(duì)采集到的原始傳感器數(shù)據(jù)進(jìn)行特征提取，新生成的特征數(shù)據(jù)輸入到LSTM網(wǎng)絡(luò)的設(shè)備預(yù)測(cè)模型中。

P-LModel：本文所提出的方法。先對(duì)原始傳感器數(shù)據(jù)執(zhí)行曲線排齊，再由PCA進(jìn)行特征提取，最后把生成的新數(shù)據(jù)輸入到LSTM的網(wǎng)絡(luò)預(yù)測(cè)模型中。

使用電廠現(xiàn)有的故障日志記錄作為正確的結(jié)果集。利用3.2中所定義的實(shí)驗(yàn)指標(biāo)驗(yàn)證本文方法的正確性與有效性。共計(jì)執(zhí)行了10次訓(xùn)練預(yù)測(cè)過(guò)程，記錄每次實(shí)驗(yàn)的準(zhǔn)確性與召回率，最后求取所有實(shí)驗(yàn)的平均值，實(shí)驗(yàn)結(jié)果如圖1所示。

從圖1中可以看出，傳統(tǒng)的基于包限值的預(yù)警方法的準(zhǔn)確率平均為53%，召回率平均為47%.而基于深度學(xué)習(xí)的方法的準(zhǔn)確率平均75%，召回率平均為83%.這說(shuō)明使用深度學(xué)習(xí)的預(yù)測(cè)方法比傳統(tǒng)的基于包限值的預(yù)測(cè)方法有效。因?yàn)榛诎拗档念A(yù)測(cè)方法必須是數(shù)據(jù)發(fā)生了明顯的異常之后才會(huì)檢測(cè)到對(duì)應(yīng)的異常，而基于深度學(xué)習(xí)的預(yù)測(cè)方法能夠?qū)W習(xí)數(shù)據(jù)本身隱含的數(shù)據(jù)趨勢(shì)，在數(shù)據(jù)發(fā)生越線之前就能做到提前預(yù)警。

此外，通過(guò)圖1可以看出，LModel由于采用的是原始數(shù)據(jù)集進(jìn)行的訓(xùn)練與預(yù)測(cè)，其準(zhǔn)確率與召回率最高，SLModel與P-LModel的準(zhǔn)確率和召回率稍低于LModel.主要是由于PCA進(jìn)行特征提取之后，新生成的數(shù)據(jù)較原始數(shù)據(jù)來(lái)說(shuō)丟失了少量的信息，影響了模型的準(zhǔn)確率和召回率。但是本文的P-LModel由于在執(zhí)行PCA之前對(duì)延遲相關(guān)的數(shù)據(jù)進(jìn)行了排齊的處理，使得降維之后的數(shù)據(jù)在相同維度下的信息量得到了提高，所以其準(zhǔn)確率和召回率均高于SLModel。且對(duì)比LModel來(lái)說(shuō)，二者之間的差距十分微小。證明了本文方法的有效性。

圖1 不同設(shè)備的實(shí)驗(yàn)結(jié)果Fig.1 Precision and recall for different equipment

圖2展示了使用LModel，SLModel以及P-LModel進(jìn)行模型訓(xùn)練的平均時(shí)間。其中LModel的平均訓(xùn)練時(shí)間為3.04 h.SLModel的平均訓(xùn)練時(shí)間為2.23 h，而P-LModel為2.1 h.其中包含了對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的時(shí)間。對(duì)比發(fā)現(xiàn)，經(jīng)過(guò)特征提取之后大大降低了數(shù)據(jù)的維度，大量減少了訓(xùn)練的數(shù)據(jù)量，使得訓(xùn)練時(shí)間得到減少。比較SLModel和P-LModel，在相同的信息含有量的前提下，利用本文的特征提取方法得到的新的特征數(shù)據(jù)維度要比直接使用PCA進(jìn)行特征提取之后的數(shù)據(jù)維度小，因此模型的學(xué)習(xí)時(shí)間也稍低于SLModel.以磨煤機(jī)A為例，原始的數(shù)據(jù)特征有49維，在保證信息含有量為98%的前提下，經(jīng)過(guò)本文的數(shù)據(jù)預(yù)處理之后，提取后的特征維數(shù)降為9維，而直接進(jìn)行PCA計(jì)算的特征維數(shù)為14.

圖2 不同設(shè)備的模型訓(xùn)練時(shí)間Fig.2 Training time for different equipment

實(shí)驗(yàn)表明利用文本的特征提取方法對(duì)模型進(jìn)行預(yù)測(cè)，大大提高了模型的學(xué)習(xí)效率，且相對(duì)于利用原始數(shù)據(jù)進(jìn)行預(yù)測(cè)的方法來(lái)說(shuō)，準(zhǔn)確率與召回率之間的細(xì)微下降也是位于可接受范圍內(nèi)。

4 相關(guān)工作分析

4.1 特征提取技術(shù)

特征提取是利用機(jī)器學(xué)習(xí)或者人工智能方法進(jìn)行建模之前常用的數(shù)據(jù)處理步驟。文獻(xiàn)[1]借鑒有監(jiān)督回歸算法，實(shí)現(xiàn)了一種監(jiān)督綜合特征提取[2-3]方法，利用功能性的學(xué)習(xí)范例對(duì)時(shí)間序列類型的輸入轉(zhuǎn)換為標(biāo)量的輸入學(xué)習(xí)問(wèn)題進(jìn)行建模。實(shí)際上忽略了特征提取的階段。文獻(xiàn)[4]為復(fù)雜的IT系統(tǒng)提出了一個(gè)日志驅(qū)動(dòng)的故障預(yù)警系統(tǒng)，能夠自動(dòng)的從IT系統(tǒng)的日志中自動(dòng)提取特征，通過(guò)發(fā)現(xiàn)歷史數(shù)據(jù)中的長(zhǎng)期結(jié)構(gòu)，利用LSTM方法實(shí)現(xiàn)早期故障預(yù)測(cè)。KIMURA et al[6]采用張量分解法，提出了一個(gè)網(wǎng)絡(luò)日志數(shù)據(jù)建模和事件提取方法。雖然上述的研究方案能夠自動(dòng)的從日志文件中提取出特征，但是這些方法也不適用與本文的特征提取問(wèn)題。原因有兩方面，一方面，上述方法中的日志文件中的格式都是預(yù)先定義好的，所以相對(duì)容易提取到它們的特征和模式。而本文所面臨的傳感數(shù)據(jù)是無(wú)組織的，需要深度挖掘數(shù)據(jù)背后隱含的特征與模式；另外一方面，上述研究問(wèn)題中的故障發(fā)生時(shí)間相對(duì)清楚，所以用來(lái)標(biāo)簽處理的日志文件是有效的，利用其建模的結(jié)果也是相對(duì)準(zhǔn)確的。而本文所面臨的故障記錄是人工的，所以無(wú)法確保故障發(fā)生時(shí)間的準(zhǔn)確性，這對(duì)于標(biāo)簽的處理是一個(gè)挑戰(zhàn)。

4.2 預(yù)測(cè)性維護(hù)

基于機(jī)器學(xué)習(xí)的預(yù)測(cè)性維護(hù)方法是最為流行的設(shè)備故障預(yù)警手段。一些學(xué)者利用常用的機(jī)器學(xué)習(xí)模型，從線性判別分析到更復(fù)雜的邏輯回歸分析以及神經(jīng)網(wǎng)絡(luò)等被用來(lái)進(jìn)行預(yù)測(cè)[7]。KIMORA et al[5]采用監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，將網(wǎng)絡(luò)故障與網(wǎng)絡(luò)日志數(shù)據(jù)關(guān)聯(lián)，建立基于日志生成模式的在線模板提取方法來(lái)表示異常的日志。文獻(xiàn)[8]利用人工智能向后傳遞神經(jīng)網(wǎng)絡(luò)為異常的機(jī)器建立了一個(gè)預(yù)測(cè)模，從而提高了半導(dǎo)制造業(yè)的整體的產(chǎn)品質(zhì)量與產(chǎn)量。文獻(xiàn)[9]建立一個(gè)多分類機(jī)器學(xué)習(xí)方法來(lái)處理預(yù)測(cè)性維護(hù)分類問(wèn)題中數(shù)據(jù)集的不平衡。文獻(xiàn)[10]基于模糊邏輯理論，建立了一個(gè)決策系統(tǒng)，能夠判定縫紉機(jī)針的生命使用期，從而可以為縫紉機(jī)針確定一個(gè)可預(yù)測(cè)性維護(hù)的方案。數(shù)據(jù)流處理系統(tǒng)上的在線故障預(yù)測(cè)[11]是基于對(duì)系統(tǒng)狀態(tài)的觀測(cè)值。這個(gè)方法使用了含有三個(gè)分類器的決策樹(shù)，適用于在線的設(shè)置，能夠在必要觸發(fā)。文獻(xiàn)[12]利用短時(shí)傅里葉變換(STFT)預(yù)處理傳感信號(hào)。基于一個(gè)簡(jiǎn)單的頻譜矩陣和深度學(xué)習(xí)框架，建立了一個(gè)大內(nèi)存存儲(chǔ)檢索神經(jīng)網(wǎng)絡(luò)來(lái)診斷軸承的故障。文獻(xiàn)[13]分析了振動(dòng)信號(hào)來(lái)提取軸承的行為模式，利用一些機(jī)器學(xué)習(xí)的模型，例如K-NN,SVM和K-means對(duì)故障類型進(jìn)行分類，然后利用協(xié)同推薦(CRA)來(lái)分析所有模型輸出結(jié)果的相似性，從而實(shí)現(xiàn)提前建議。上述文獻(xiàn)都在一定的程度上解決了預(yù)測(cè)性維護(hù)的問(wèn)題，但是他們的方法無(wú)法直接應(yīng)用在發(fā)電廠的設(shè)備預(yù)測(cè)維護(hù)中，一方面是因?yàn)殡姀S發(fā)電設(shè)備的傳感器數(shù)量超過(guò)一萬(wàn)個(gè)，其不斷產(chǎn)生的數(shù)據(jù)屬于“寬”且“高”，此外傳感器的天性使得不同的傳感器數(shù)據(jù)之間存在著時(shí)間上的錯(cuò)位，而上述文獻(xiàn)中所使用的數(shù)據(jù)集維度相對(duì)較低，同時(shí)沒(méi)有考慮到時(shí)間錯(cuò)位；二是上述的解決方案依然主要依賴于專業(yè)的領(lǐng)域知識(shí)，而發(fā)電廠的生產(chǎn)環(huán)境十分復(fù)雜，對(duì)于開(kāi)發(fā)人員來(lái)說(shuō)，實(shí)現(xiàn)對(duì)專業(yè)領(lǐng)域知識(shí)的學(xué)習(xí)是一個(gè)很大的成本與負(fù)擔(dān)。

5 結(jié)束語(yǔ)

本文針對(duì)發(fā)電廠海量傳感器數(shù)據(jù)的特征維度過(guò)高對(duì)于預(yù)測(cè)性維護(hù)模型的挑戰(zhàn)，以及對(duì)海量高維數(shù)據(jù)特征過(guò)程中遇到的傳感器數(shù)據(jù)延遲相關(guān)性問(wèn)題，提出了一種基于曲線排齊的特征提取方法，從高維的數(shù)據(jù)特征中提取關(guān)鍵的新特征。首先借鑒基于數(shù)據(jù)相關(guān)性最大的曲線排齊方法對(duì)傳感數(shù)據(jù)排齊，從而解決傳感數(shù)據(jù)的延遲相關(guān)。然后利用經(jīng)典的特征提取算法-PCA進(jìn)行特征提取。提取之后的新特征維度得到降低，同時(shí)所包含的信息量并沒(méi)有減少依然能夠很好的反映設(shè)備的狀態(tài)信息。最后使用深度學(xué)習(xí)模型：LSTM神經(jīng)網(wǎng)絡(luò)，建立設(shè)備的預(yù)測(cè)性模型。實(shí)驗(yàn)表明，相對(duì)于傳統(tǒng)的基于包限值的預(yù)測(cè)方法，本文所提出的方法能夠提高預(yù)測(cè)的準(zhǔn)確度，而基于曲線排齊的特征提取方法在保證了預(yù)測(cè)準(zhǔn)確性的同時(shí)降低了模型的訓(xùn)練時(shí)間。

[1] SUSTO G A,BEGHI A.Dealing with time-series data in Predictive Maintenance problems[C]∥IEEE International Conference on Emerging Technologies and Factory Automation.2016:1-4.

[2] SCHIRRU A,SUSTO G A,PAMPURI S,et al.Learning from time series:Supervised aggregative feature extraction[C]∥Decision and Control (CDC).2012:5254-5259.

[3] SUSTO G A,SCHIRRU A,PAMPURI S,et al.Supervised aggregative feature extraction for big data time series regression[J].IEEE Transactions on Industrial Informatics,2016,12(3):1243-1252.

[4] ZHANG K,XU J,MIN M R,et al.Automated IT system failure prediction:A deep learning approach[C]∥Big Data (Big Data),2016 IEEE International Conference.2016:1291-1300.

[5] KIMURA T,WATANABE A,TOYONO T,et al.Proactive failure detection learning generation patterns of large-scale network logs[C]∥IEEE Computer Society.International Conference on Network and Service Management.2015:8-14.

[6] KIMURA T,ISHIBASHI K,MORI T,et al.Spatio-temporal factorization of log data for understanding network events[C]∥INFOCOM.2014:610-618.

[7] WARRIACH E U,TEI K.Fault detection in wireless sensor networks:A machine learning approach[C]∥Computational Science and Engineering (CSE).2013:758-765.

[8] LIU Y.Predictive modeling for intelligent maintenance in complex semiconductor manufacturing processes[D].US:The Unversity of Michigao,2008.

[9] BABAN C F,BABAN M,SUTEU M D.Using a fuzzy logic approach for the predictive maintenance of textile machines[J].Journal of Intelligent & Fuzzy Systems,2016,30(2):999-1006.

[10] GU X,PAPADIMITRIOU S,PHILIP S Y,et al.Online failure forecast for fault-tolerant data stream processing[C]∥ICDE.2008:1388-1390.

[11] HE M,HE D.Deep learning based approach for bearing fault diagnosis[J].IEEE Transactions on Industry Applications,2017,53(3):3057-3065.

[12] CHANG P C,WU J L.A critical feature extraction by kernel PCA in stock trading model[J].Soft Computing-A Fusion of Foundations,Methodologies and Applications,2015,19(5):1393-1408.

[13] HOCHREITER S,BENGIO Y,FRASCONI P,et al.Gradient flow in recurrent nets:the difficulty of learning long-term dependencies[C]∥KREMER S C,KOLEN J F.A field guide to dynamical recurrent neural networks[S.l.]:Wiley.IEEE press,2001.

[14] GRAVES A,SCHMIDHUBER J.Offline handwriting recognition with multidimensional recurrent neural networks[J].Advances in Neural Information Processing Systems,2009:545-552.

[15] JOLLIFFE IT.Principal component analysis,2nd edn[M].New York:Springer series in statisticsSpringer,2002.

[16] SUSTO G A,BEGHI A.Dealing with time-series data in Predictive Maintenance problems[C]∥IEEE.International Conference on Emerging Technologies and Factory Automation.2016:1-4.

[17] 姜高霞,王文劍.時(shí)序數(shù)據(jù)曲線排齊的相關(guān)性分析方法[J].軟件學(xué)報(bào),2014(9):2002-2017.

JIANG G X,WANG W J.Correlation analysis in curve registration of time series[J].Journal of Software,2014(9):2002-2017.