基于在線半監督學習的故障診斷方法研究?

尹 剛,張英堂,李志寧,任國全,范紅波

(軍械工程學院七系,河北 石家莊 050003)

引 言

監督學習模式下的分類方法以及非監督學習的聚類方法在故障檢測和診斷領域得到了廣泛的應用[1,2]。但監督學習必須利用專家知識對所有的故障樣本做類別標記,且為獲得較好的泛化性能,通常需要大量的已標記故障樣本作為訓練集。而故障樣本的類別標記對專家知識以及人工故障的設置提出了較高的要求,耗費了大量的人力和物力,且機械故障的類別標記易出現瓶頸及標記不準確等問題。根據數據的相似性進行分組的聚類方法雖不需要對故障樣本進行標記,但由于其對專家先驗知識的忽略導致分類準確率明顯低于有監督的分類方法。

半監督學習在少量不精確標記樣本的基礎上,利用大量廉價的未標記樣本進行訓練,可有效提高分類器的性能,在文本、圖像、網絡流量等領域的分類問題中得到了較好的應用[3～5]。但當前半監督學習存在學習速度慢、不確定性遞增、批量式訓練等問題[6],影響了其在故障診斷領域中的進一步發展。在線貫序極限學習機(Online Sequential Extreme Learning Machine,OS-ELM)為單隱層前饋神經網絡的快速增量式監督學習算法[7],其將網絡的訓練問題轉化為求解線性方程組的最小二乘解,極大地提高了網絡的學習速度和泛化能力。因此本文基于改進 Tri-training算法將OS-ELM從監督學習模式擴展到半監督學習模式,提出可用于故障診斷領域的在線半監督學習方法(Online Semi-supervised Learning,OSSL)。

1 在線貫序極限學習機的監督學習

對于任意的N個訓練樣本Z0=(xi,ti),其中xi=

[xi1,xi2,… ,xin]T∈ Rn,ti= [ti1,ti2,… ,tim]T∈ Rm,若隱層節點數為P,激活函數為g(x)時,單隱層前饋神經網絡?的實際輸出以零誤差接近期望輸出,即

式中 βj為連接第j個隱層節點和輸出節點的權值向量 ,ωj= [kj1,… ,kji,… ,kjn]為連接輸入節點和第個隱層節點的輸入權值向量,bj為第個隱層節點的閾值。

將式(1)寫成矩陣形式

文獻 [7]嚴格證明了當g(x)無窮可微且網絡具有合適的隱層節點數時,輸入權值向量ω和隱層節點閾值b可隨機賦值,單隱層前饋神經網絡的訓練過程轉化為求解式(2)的最小二乘解

式中 H*為隱層輸出矩陣H的 Moore-Penrose廣義逆。當rank(H)=P時,由正交投影法可得

HTH為奇異陣時,可適當調整參數P使其成為非奇異陣。則式(3)轉化為

式中 K0=HTH。

給定N1個新的訓練樣本Z 1={(xi,ti)}N+N1i=N+1,則網絡訓練問題轉化為

由式(3),(4),(5)可得上式的最小二乘解為

其中

又式(7)中

故貫序學習時網絡輸出權值的迭代公式為

由式(8)可知,OS-ELM對第k+1組樣本進行訓練時,克服了傳統監督學習中必須將此組樣本加入到所有已訓練樣本中進行批量學習的缺點,僅需將已訓練得到的β(k)與第k+ 1組樣本對應的Hk+1,Tk+1代入公式(8)更新分類器即可。

2 在線半監督學習方法流程

半監督學習在傳統監督學習的基礎上,將大量的未標記樣本加入訓練集用于分類器的訓練,且Zhang等已證明未標記樣本可有效提高分類器的學習性能[8]。因此本文將OS-ELM擴展為半監督學習模式,利用大量的未標記故障樣本輔助提高故障分類器的泛化性能。

2.1 Tri-training訓練過程

Tri-training算法為半監督學習中協同訓練的擴展算法[9],在聚類假設或流形假設的基礎上,構造3個不同的分類器挑選若干個置信度較高的未標記樣本進行相互標記,最后通過集成學習的思想對各個分類器進行更新。其學習過程可以描述為:

假設標記訓練樣本集為L,x為未標記訓練樣本集U內任一訓練樣本。

通過對樣本集L進行可重復取樣得到3個有標記的訓練樣本集L1,L2,L 3,進而訓練得到3個不同的初始分類器C1,C2,C3。

若C1,C2,C3中的任意兩個分類器對樣本x的預測相同,則x被認為具有較高的標記置信度,將其標記后加入 3個分類器的標記樣本集,形成新的訓練樣本集L1',L2',L 3';然后再利用擴充后的標記樣本集重新訓練各自從屬的分類器,如此重復迭代對 3個分類器進行更新。

分類器訓練結束后,對于需要進行類別標記的測試樣本集,Tri-training算法將 3個分類器組成一個集成器,并采用集成學習中的投票法實現對未標記樣本的類別預測。

Tri-training算法通過判斷 3個分類器對未標記樣本的預測一致性,對未標記樣本的標記置信度進行判斷,進而實現多個分類器的協同訓練,克服了傳統協同訓練中使用統計測試技術判斷標記置信度時間耗費較長的缺點[10],但若初始分類器泛化性能較差,大量未標記樣本將會被錯誤標記,進而影響分類器性能的提高。另一方面,Tri-training算法采用的集成策略對構造具有較大差異性的初始分類器提出了較高的要求。

2.2 初始分類器的離線學習

OS-ELM將神經網絡的訓練問題轉化為線性方程組的求解問題,克服了傳統算法訓練速度慢、泛化能力不高的缺點。由文獻[11～ 13]可知,OS-ELM分類器的泛化性能優于 BP、支持向量機等算法,由文獻[14]可知,采用不同的激活函數g(x)可以構造得到差異性較大的分類器。因此本文從 rbf,hardlim,sigmoid,sine,morlet中選擇不同的函數構造差異性較大且泛化性能較高的 3個初始分類器

已知標記樣本集L,選擇 3個不同的激活函數,將輸入樣本映射到隱層核空間,計算隱層輸出矩陣并由式(5)計算各分類器的輸出權值β01,以及相對應的

2.3 標記樣本在線擴充

將大量的未標記故障樣本分為若干組,采用增量式學習的方式對分類器進行更新學習。假設Uk+1為第k+1組需要學習的未標記樣本集,分別采用分類器Ck1,Ck2和Ck3選擇的輸入權值向量ω、隱層節點閾值b和激活函數g(x)將其映射到隱層核空間,計算得到隱層輸出矩陣則分類器對未標記樣本集Uk+1的預測標記可由式(5)求得

2.4 分類器的在線更新學習

Tri-training算法在得到預標記樣本集Lk+1后,將其與所有已得到的標記樣本組合,采用監督學習的模式對分類器進行再學習,極大地增加了分類器的迭代更新時間。若此時網絡隱層節點數為P,總的標記樣本數為N,采用增量式學習時每組擴充標記得到的樣本數為Nk,則批量式學習的計算復雜度約為O(4NP2+ 8P3)[15],遠遠大于增量更新時的計算復雜度O(4NkP2+8P3)。因此本文采用增量式更新的方式,在分類器的第k+1次更新中,僅采用預標記樣本集Lk+1更新網絡參數。則由式(8)可得3個分類器的輸出權值分別為

令k=k+1,返回標記樣本在線擴充階段,繼續對新的未標記故障樣本進行在線學習。

分類器訓練結束后,將 3個分類器組成一個集成器,采用集成學習中常用的投票法對未標記故障樣本進行分類,實現設備的故障診斷。

3 半監督基準數據試驗

為驗證本文所提算法的有效性,選取半監督學習基準數據集中的 COIL,Digit1以及g241c數據集進行試驗[16]。 3個數據集的樣本總數和特征維數均為1 500和 241,類別數分別為 6,2和 2,按照 3∶1的比例將樣本分為訓練集和測試集,其樣本數分別為1 126和 374。為測試半監督學習中未標記樣本對分類器性能的改善狀況以及標記樣本與未標記樣本不同比例對分類器的影響,將訓練樣本集中的數據按照 2∶ 3,3∶ 2和 4∶ 1的比例進行分配 ,則 2∶ 3,3∶ 2和 4∶1三種分配對應的標記樣本數分別為 450,676,900,分別測試不同分配情況下的分類器分類精度及訓練時間,并將其與僅采用標記樣本訓練得到的分類器對比研究。

采用增量式學習的方式,將未標記樣本分為若干組進行試驗,每組20個未標記樣本。OSSL在3個數據集訓練時的隱層節點數分別為:260,270和200,隱層激活函數均選擇 rbf,sine和sigmoid。所有試驗均在 MATLAB 7.11.0平臺運行 20次,計算機CPU為 AMD 2.2 GHz,內存為 1 G。OSSL算法在 3個數據集上的平均訓練時間和平均分類精度如表 1所示。

表 1 OSSL對 3組試驗數據的訓練時間和分類精度Tab.1 Training time and classification accuary for three dif f erent benchmark data sets based on the OSSL algorithm

通過對比試驗結果可以看出,未標記樣本的加入使得分類器的分類準確率提高 1%～6%;訓練樣本總數相同但標記樣本數與未標記樣本數比例不同時,分類器分類準確率平均相差小于2%且訓練時間相差小于1s。由此可知:OSSL算法對標記樣本的依賴程度較低且分類準確率受未標記樣本比例變化的影響較小,一定程度上解決了半監督學習中標記樣本擴充帶來的不確定性增加的缺陷;隨著未標記樣本比例的上升,訓練時間并沒有明顯的增加。

4 柴油機的診斷應用

4.1 診斷對象及特征提取

以 F3L912型三缸四沖程柴油機為故障診斷對象,驗證本文所提OSSL算法的可行性。柴油機失火及氣閥機構的故障會引起其燃燒狀況的變化,進而導致排氣噪聲的不同,因此本文采用20 Hz～ 20 k Hz頻響范圍的聲傳感器測量排氣管出口處排氣噪聲的原始聲壓用于柴油機故障診斷,測量時柴油機轉速為 1 200 r/min,傳感器與排氣管垂直,距離排氣管口10 cm。第三缸高壓油管上的外卡式油壓傳感器信號與排氣噪聲同步采集,以準確指示柴油機各缸的工作相位,采樣頻率為 40 k Hz。為貼近實際應用,實驗在空間較大的車間內進行,信號采集時未采用任何消聲措施。

試驗在正常工況、1缸失火、1和2缸同時失火、2缸失火、排氣門間隙過大(0.7 mm)、進氣門間隙過大(0.5 mm)、排氣門漏氣、進氣門漏氣共 8種工況下進行。 8種工況下排氣噪聲的時域波形及功率譜圖如圖1,2所示。為較清楚地顯示排氣噪聲時域與頻域的波形,圖 1,2僅截取了一個整工作周期噪聲信號用于分析,在后續的 AR建模時,本文截取了10個整工作周期的噪聲信號。

分析圖 1,2可知,不同工況下的排氣噪聲時域波形的差別較小,但其功率譜卻有較大的差別。又AR譜估計易反映功率譜圖中的峰值信息且頻率定位準確。因此,為提取能夠較好反映不同故障狀態的特征向量,本文對不同工況下的排氣噪聲建立 AR模型,并將 AR模型的主要自回歸參數作為故障特征向量,用于下一步的故障模式識別。圖3為對8種工況下的排氣噪聲信號建立8階AR模型,取自回歸參數hi2,hi4,hi5作為特征參數得到的三維數據點分布圖。

圖1 工況 1～ 4排氣噪聲的時域波形及功率譜圖Fig.1 Signal in time domain and power spectrum on four working conditions

圖2 工況 5～ 8排氣噪聲的時域波形及功率譜圖Fig.2 Signal in time domain and power spectrum on four working conditions(another)

圖3 排氣噪聲主要自回歸參數的三維分布圖Fig.3 Three-dimensional graph about main parameters of auto regressive beyond exhaust noise

由圖 3可知,不同工況提取得到的故障特征向量具有一定的類內聚性和類間差異性,可用于下一步的故障模式識別。

4.2 應用結果

為較好地反映不同工況間的差異,對排氣噪聲建立8階 AR模型,并將得到的8個自回歸參數作為故障特征向量。每種工況提取 75個特征向量組成600個特征向量,并以 5∶1的比例隨機分為訓練集和測試集。為研究未標記樣本在設備故障診斷中的重要性,將標記樣本與未標記樣本分為不同比例進行對比試驗,試驗時選擇隱層激活函數選擇rbf,sine和sigmoid,隱層節點數為150,試驗結果如表2所示。

表 2 標記樣本和未標記樣本不同比例下 OSSL算法訓練所得故障分類器的性能Tab.2 Result of fault classification based on the OSSL algorithm in the different ratio between labeled samples and unlabeled samples

由表2中標記樣本和未標記樣本不同比例時的對比試驗可知,在僅有少量不精確的標記故障樣本和大量未標記故障樣本下,OSSL算法可以取得較好的故障分類準確率,且故障分類準確率隨著未標記樣本的增加而增加;另外,該算法的訓練時間并未隨未標記樣本的增多而大幅度增加。當未標記樣本數為零時,OSSL算法退化為 3個 OS-ELM算法的加權平均,因此第1,6,12組試驗為OS-ELM算法的輸出結果。但對比第5,9,10,11,12等5組試驗可知,當總的訓練樣本相同時,OSSL算法對標記樣本具有一定的依賴性,其故障分類準確率仍略低于監督學習模式下的OS-ELM算法。

5 結 論

監督學習模式下的故障分類方法不能有效地利用大量的未標記故障樣本,而機械設備的故障診斷中難以獲得大量標記精確的故障樣本。因此為有效利用大量低成本的未標記故障樣本提高故障分類準確率,本文在OS-ELM的基礎上提出了OSSL算法。該算法通過標記樣本的在線擴充和分類器的增量更新,在提高樣本空間稠密度的基礎上改善了分類器的泛化性能。半監督基準數據的驗證試驗表明了OSSL算法的有效性,柴油機8種故障的診斷應用進一步證明了OSSL算法用于故障診斷的可行性。

[1] 李學軍,蔣玲莉,楊大煉,等.基于雙譜分布區域的齒輪聚類分析與故障診斷 [J].振動工程學報.2011,24(3):304—308.LI Xuejun,JIANG Lingli,YANG Dalian,et al.Custer analysis and fault diagnosis for gear based on bispectrum distribution[J].Journal of Vibration Engineering,2011,24(3):304—308.

[2] 廖廣蘭,史鐵林.GTM算法在齒輪箱狀態監測中的應用 [J].振動、測試與診斷,2004,24(1):11— 14.LIAO Guanglan,SHI Tielin.Condition monitoring of gearbox based on generative topographic mapping[J].Journal of Vibration,Measurement& Diagnosis,2004,24(1):11—14.

[3] 張博峰,白冰,蘇金樹.基于自訓練 EM算法的半監督文本分類 [J].國防科技大學學報,2007,29(6):65—69.ZHANG Bofeng,BAI Bing,SU Jinshu.Semi-supervised tex t classification based on self-training EM algorithm[J].Journal of National University of Defense Technology,2007,29(6):65—69.

[4] 祁亨年,楊建剛,方陸明.基于多類支持向量機的遙感圖像分類及其半監督式改進策略 [J].復旦大學學報(自然科學版),2004,43(5):781— 784.QI Hengnian,YANG Jiangang,FANG Luming.Multi-class SVM based remotesensing imageclassification and their semi-supervised improvement scheme[J].Jouranl of Fudan University(Natural Science),2004,43(5):781—784.

[5] 柳斌,李之棠,涂浩.一種基于半監督學習的應用層流量分類方法 [J].微電子學與計算機,2008,25(10):113—116.LIU Bin,LI Zhitang,TU Hao.Network application classificatin method based on semi-supervised learning[J].Microelectronics& Computer,2008,25(10):113—116.

[6] 唐曉亮,韓敏.一種基于極端學習機的半監督學習方法[J].大連理工大學學報,2010,50(5):771— 776.TANG Xiaoliang,HAN Min.A semi-supervised learning method based on extreme learning machine[J]. Journal of Dalian University of Technology,2010,50(5):771—776.

[7] Liang Nan-Ying,Huang Guang-Bin,SARATCHANDRAN P,et al.A fast and accurate online sequential learning algorithm for feedforward networks[J].IEEE Transactions on Neural Networks,2006,17(6):1 411—1 423.

[8] Tong Zhang,Frank JOles.A probability analysis on thevalue of unlabeled data for classification problems[A].Proceedings of the 17th International Conference on Machine Learning(ICML’00)[C].San Francisco,CA,2000:1 191—1 198.

[9] Zhi-Hua Zhou,Ming Li.Tri-training:Exploiting unlabeled data using threeclassifiers[J].IEEE Transactions on Knowledge and Data Engineering,2005,17(11):1 529—1 541.

[10]周志華,王玨.機器學習及其應用 [M].北京:清華大學出版社,2007.

[11]Ying Liu,Han Tong Loh,Shu Beng Tor.Comparison of extreme learning machine with support vector machine for text classification[J].Lecture Notes in Computer Science,2005,3 533(1):390—399.

[12]Feng-Chia Li,Peng-Kai Wang,Gwo-En Wang.Comparison of the primitive classifiers with Extreme Learning Machine in credit scoring[A].IEEE International Conference on Industrial Engineering and Engineering Management[C].Hongkong,China,2009:685—688.

[13]Xun-Kai Wei,Ying-Hong Li,Yue Feng.Comparative study of extreme learning machine and support vector machine[A].Third International Symposium on Neural Networks[C].Chengdu,China,2006:1 089—1 095.

[14]Suresh S,Saraswathi S,Sundararajan N.Performance enhancement of extreme learning machine for multi-category sparse data classification problems[J].Engineering Applications of Artificial Intelligence,2010,23(7):1 149—1 157.

[15]Xiaoliang Tang,Min Han.Partial Lanczos extreme learni-ng machine for single-output regression problems[J].Neurocomputing,2009,72(13-15):3 066—3 076.

[16]CHAPELLE O,SCHOLKOPF B,ZIEN A.Semi-supervised Learning[M].Cambridge:MIT Press,2006.