基于非負矩陣分解的多模態過程故障監測方法

朱紅林，王　帆，侍洪波，譚帥

（華東理工大學化工過程先進控制和優化技術教育部重點實驗室，上海 200237）

?

基于非負矩陣分解的多模態過程故障監測方法

朱紅林，王帆，侍洪波，譚帥

（華東理工大學化工過程先進控制和優化技術教育部重點實驗室，上海 200237）

針對傳統的多元統計故障監測方法往往需要假設測量數據服從單一高斯分布的不足，提出了一種基于非負矩陣分解（NMF）的多模態故障監測方法。首先使用標準的NMF算法對訓練集數據進行聚類，將多模態數據劃分到各個模態中；然后使用稀疏性正交非負矩陣分解（SONMF）算法對各模態分別建模，同時構造監控統計量進行故障監測。將提出的基于非負矩陣分解的多模態故障監測方法應用于數值例子和TE過程的仿真結果表明，該方法能夠及時有效地檢測出多模態過程中的故障。

故障監測；多模態過程；非負矩陣分解

DOI：10.11949/j.issn.0438-1157.20151392

針對多模態過程監控問題，最直接的方法是采用多模型法，即對完全劃分開的每一個模態的數據，使用研究單模態時的方法，分別建立監控模型，進行故障監控。這種方法有兩個關鍵問題需要解決。第一個問題是如何將雜亂的多模態歷史數據正確劃分到各個模態中。目前常采用成熟的聚類算法如模糊c均值聚類、k均值聚類、多時段劃分聚類等解決這一問題［5-7］。另一個問題是如何確定最終的監控結果。目前，主要有兩種思路：一種是尋找到一個最符合當前生產狀態的模型進行監控。另一種是將所有的局部模型都用于過程監控，并制定某種規則對局部模型的監控結果進行整合。若按照第1種思路，則需要建立一個合適的模型選擇評價指標。Ng等［8］使用一個能夠反映當前樣本的2T和SPE的距離的指標來選擇合適的PCA子模型。Feital等［9］通過優化一個極大似然函數來確定過程運行的模態。如果按照第2種思路，常需要利用當前樣本相對于各局部模型的后驗概率，通過貝葉斯推理，將各局部模型的監測結果進行整合。Yu等［10-11］和Xie等［12］分別利用高斯混合模型（Gaussian mixture model，GMM）和模糊c均值聚類計算各模型的后驗概率，進行局部模型的整合。此外，劉幫莉等［13］通過帶寬可變的非參數核密度函數進行局部密度估計，并利用局部密度因子的思想構造監測指標，能對多模態過程實現很好的監測效果。

非負矩陣分解（NMF）算法是一種新的降維方法。傳統的多元統計過程監控方法需要假設測試數據服從一定的條件，如PCA需要測量數據服從于高斯分布。ICA能對非高斯數據進行有效處理，卻對高斯數據的處理效果較差。而NMF算法對測量數據的性質除了非負性要求外沒有其他要求，因此NMF的應用范圍更加廣泛，能夠有效處理高斯及非高斯分布的數據。NMF算法是從“對整體的感知由對組成整體的部分感知構成”的觀點出發而構建的數據處理方法。由于在機理上具有隱變量的正向純加性的特點，NMF方法在實現數據壓縮（或稱為維數約簡）時，能夠基于數據的局部特征來描述數據的信息，因而表現出了比傳統的方法如PCA等更好的數據解釋能力。最近幾年，NMF算法得到了越來越多的關注，并且在數據挖掘、模式識別、聚類［14-16］等方面得到了許多成功的應用。

然而，在化工過程的故障監測領域，NMF方法的應用相對較少。Li等［17］使用傳統的NMF算法進行非高斯過程的故障監測，通過仿真實驗不僅驗證了NMF方法用于化工過程監測的有效性，而且相比于PCA方法擁有更廣泛的應用能力。隨后，Li等［18］對PNMF（投影非負矩陣分解）進行了改進，提出了對原始數據沒有非負性約束的GNMP（廣義非負矩陣投影）算法，大大擴展了NMF算法的應用范圍。但是Li等雖在文章中提到了稀疏性對NMF算法的重要性，但卻沒有提出施加稀疏性的相關方法。Yi等［19］使用NMFSC（帶稀疏限制的非負矩陣分解）進行故障檢測，通過TE過程的仿真證明了該算法具有較好的故障檢測能力。然而目前NMF算法在故障監測領域主要用于單模態的故障監測，多模態領域的應用還幾乎沒有涉及。

本文提出了基于非負矩陣分解的多模態故障檢測方法。首先采用標準的NMF算法對多模態過程數據進行聚類，將多模態數據劃分到相應的模態中。然后使用改進的NMF算法（SONMF，稀疏性正交非負矩陣分解）對每一個模態分別建模，進行故障監測。在使用SONMF方法對各模態進行故障監測的過程中，通過在非負矩陣分解的目標函數中施加稀疏性約束，以期得到數據集的更加稀疏的表示；通過在非負矩陣分解的目標函數中對基矩陣W施加正交性約束，以期在降維過程中大大削減變量中的冗余信息，得到更少的投影方向。最后通過對數值例子和TE過程的仿真實驗，以證明NMF算法用于多模態故障監測的可行性以及改進后的NMF算法在各模態中故障監測性能。

1　非負矩陣分解

Lee等［20］首次系統性地提出了NMF算法及其相應的理論，其他擴展的NMF算法都是在此算法上進行相應的改進。為了與其他改進的算法進行區分，稱Lee等提出的NMF算法為標準的NMF算法。

標準的NMF算法求解可以歸結為一個優化的問題，所以需要定義相應的目標函數來度量分解的程度以及尋找一套合適的迭代規則。Lee等［21］為此定義了兩種目標函數并給出了W和H的迭代規則，本文選用的目標函數如下。

目標函數為矩陣X與WH之間的Frobenius范數

迭代規則如下

該目標函數單調非增，且目標函數不再變化的充分必要條件是W和H為穩定點。

2　稀疏性正交非負矩陣分解

這個目標函數F中，不僅包含了對基矩陣W的正交約束，還包含了對于系數矩陣H的稀疏性約束。該目標函數的乘法更新公式如式（9）、式（10）所示。

通過式（9）、式（10）的乘法更新公式，可以得到過程監控模型如式（5）所示，相應的監測指標如式（6）、式（7）所示。

3　基于非負矩陣分解的多模態過程故障監測方法

基于上述介紹的標準的NMF算法和SONMF算法，這里提出一種新的多模態過程故障監測方法。

3.1初始化

NMF算法的結果往往與W和H的初始化有著很大關系，好的初始化值將有利于NMF快速收斂并且能獲得更好的局部最優解。目前對于NMF算法的初始化問題主要有以下幾種解決方案：（1）正隨機數初始化方法；（2）利用奇異值分解（SVD）將原始數據分解，并將分解結果中的負元素置為零。

3.2NMF算法用于模態識別

標準的NMF算法分解前后的矩陣中的元素都是非負的，原始數據矩陣X中的任何一列向量都可以看成是基矩陣W中的所有列向量（基向量iw）的加權和，而權重系數為系數矩陣H中對應的列向量（系數向量jh）中的元素。因此，NMF算法的實質是將原始數據投影到由基向量iw所張成的子空間W上，而每一個樣本在基矩陣W張成的子空間上均有唯一一種線性的表示形式，它們的坐標為系數矩陣H中相應的列向量。

3.3多模態故障監測流程

多模態故障監測主要包括離線建模和在線監測兩個階段。離線建模和在線監測的示意圖如圖1、圖2所示，其具體流程如下。

離線建模：

（1）對于多模態訓練集數據，使用SVD算法對標準的NMF算法進行初始化，并利用乘法更新式（3）和式（4）計算出基矩陣mW和系數矩陣mH。

（2）根據系數矩陣mH的值，對多模態訓練集數據進行聚類，將多模態訓練集數據劃分到各個的模態中。

（3）對于各模態數據，分別使用SVD算法對SONMF算法進行初始化，并利用乘法更新公式（9）和式（10）計算出各自的W和H。

圖1　離線建模示意圖Fig.1　Schematic diagram of offline modeling

（4）利用式（6）和式（7）分別計算多模態訓練集數據在各模態下的監測指標2N和SPE的值，并使用KDE算法計算各模態監測指標的控制限。

圖2　在線監測示意圖Fig.2　Schematic diagram of online process monitoring

在線監測：

（1）對于新的測試樣本newx，計算它在多模態聚類模型下的系數向量Tnewnewmx= hW，根據它在多模態聚類模型構成的基向量mW上投影的大小，判斷其所屬模態。

（2）利用式（6）和式（7）計算該測試樣本newx在所屬模態下的監測指標2N和SPE的值。（3）比較該測試樣本的監測指標2N和SPE的值與所屬模態下的控制限的關系，若大于控制限則發生故障，小于控制限則無故障發生。

4　仿真驗證

本節通過數值例子與TE過程的仿真研究來證明本文提出方法的有效性。使用SONMF算法對各模態數據分別建立模型并構造統計量進行故障監測。標準的NMF算法同樣可以用于各模態過程監測［17］，將標準的NMF與SONMF算法檢測結果進行比較，可以證明SONMF通過對目標函數施加正交性和稀疏性約束，其故障監測能力遠優于標準的NMF算法。

4.1數值仿真

在兩種模態下分別采集400個正常樣本，從而產生800個正常樣本作為訓練集。設置兩個故障如下所示。故障1：過程運行在mode 1下，從第401個樣本點起，給變量5x施加一個幅值為4階躍故障。故障2：過程運行在mode 2下，從第401個樣本點起，給變量1x施加一個斜率為0.02的漂移故障。測試集由800個樣本組成，其中前400個樣本為正常樣本，后400個樣本為故障樣本。

首先，使用標準的NMF算法對訓練集數據進行聚類，將訓練集數據劃分到mode 1和mode 2中。因為訓練集由兩個模態數據組成，所以降維階數k設為2。算法的迭代次數設為1000。此時基矩陣W的兩列（1w和2w）分別代表兩個聚類中心。系數矩陣H作為判定指標，判定數據所屬的模態。對訓練集的聚類結果如圖3所示。其中紅色點表示該數據樣本屬于mode 1，綠色點表示該數據樣本屬于mode 2。由圖3可以看出標準的NMF算法能很好地完成聚類任務。

圖3　模態1和模態2數據樣本的聚類結果Fig.3　Clustering results of data samples from mode 1 and mode 2

對聚類得到的兩個模態數據分別使用SONMF算法以及標準的NMF算法分別建模，進行故障監測，并進行比較。根據前面初始化時所提出的k的選取方法，經過計算k值取為4。算法的迭代次數均設為1000。在SONMF算法中，對于λ、α值的選取，從乘法更新公式［式（12）和式（13）］可以看出，當λ、α越小，其正交性約束能力與稀疏性性約束能力越小；當λ、α均為0時，SONMF算法就退化為標準的NMF算法；而當λ、α取值過大時，將不利于乘法更新公式的進行。因此，經過多次嘗試，λ的值取為1，α的值取為10。對于故障1和故障2的監測結果如表1所示。

表1　R數值仿真的故障監測率Table 1　Fault detection rates of the numerical example/%

圖4　故障1的故障檢測結果Fig.4　Monitoring results of M-NMF and M-SONMF for fault 1

圖5　故障2的故障檢測結果Fig.5　Monitoring results of M-NMF and M-SONMF for fault 2

4.2TE過程仿真

TE過程是一個復雜的多變量化工生產過程，可人為設定21種故障，目前已被廣泛用于評價過程監測方法的有效性。TE過程主要包括5個操作單元：反應器、冷凝器、壓縮機、分離器、汽提塔［23］。它包含8種成分：4種反應物、2種產品、1種副產品、1種惰性氣體。TE過程中共有41個測量變量和12個控制變量。其中測量變量由22個連續過程測量變量和19個非連續過程測量變量組成。在仿真過程中，控制變量5、9、12始終保持不變，因此選用剩余的9個控制變量以及22個連續過程變量進行仿真分析。根據產物G與H比例的不同，TE過程可分為多種運行模態，Downs等［23］給出了6種工況的最優穩定運行條件。本文對TE過程的mode 1和mode 3兩個模態下的20類故障進行監測。訓練集由模態1下的1000個正常數據樣本和模態3下的1000個正常數據樣本組成。測試集由1000個數據樣本組成，其中前200個數據樣本是正常樣本，后800個數據樣本是故障樣本。

圖6　模態1和模態3數據樣本的聚類結果Fig.6　Clustering results of data samples from mode 1 and mode 3

首先，使用標準的NMF算法對訓練集數據進行聚類，將訓練集數據劃分到mode 1和mode 3中。因為訓練集中數據可以分為2類，所以降維階數k設為2。算法的迭代次數設為1000。此時基矩陣W的兩列（1w和2w）分別代表兩個聚類中心。系數矩陣H作為判定指標，判定數據所屬的模態。對訓練集的聚類結果如圖6所示。其中紅色點表示該數據樣本屬于mode 1，綠色點表示該數據樣本屬于mode 3。

系統中選用的SIM300 GPRS無線數傳模塊內嵌TCP/IP協議簇，模塊與單片機通過串口進行通信，選擇TCP協議作為GPRS的傳輸協議,模塊自身便會自動完成Internet網絡的接入，實現數據的傳輸。調用AT指令對SIM300模塊進行初始化設置，單片機通過串口發送AT命令，控制SIM300模塊上網登錄，建立TCP連接，進行數據的遠程無線傳輸。GPRS驅動程序主要函數如下：

對聚類得到的各模態數據使用SONMF算法以及標準的NMF算法分別建模，進行故障監測，并進行比較。根據前面初始化時k選取方法，經過計算k取為18。算法的迭代次數均設為1000。在SONMF算法中，對于參數λ、α值的選取，根據在上節數值仿真中的討論，λ的值取為1，α的值取為10。上述兩種算法的故障監測結果如表2、表 3所示。

在模態1中，對于故障3、5、9、15、16，由于測試數據在均值、方差和高階矩上都沒有明顯變化，所以使用多元統計方法得到的故障監測率都很低［24］，M-NMF算法與M-SONMF算法對故障的監測結果都很差。在其余的故障情況下，M-NMF和M-SONMF的方法的誤報率始終在5%以內。對于故障1、2、6、7、8，因為這些故障發生時的故障程度很明顯，所以兩種算法的故障檢測率都很高。從表2可以看出，對于故障4、10、11、12、13、14、17、18、19和20，M-SONMF算法的故障監測結果都優于M-NMF算法。其中故障4、10、11、14、17、18、19的N2指標以及故障10、12、14、18、19、10的SPE指標，M-SONMF算法相比于M-NMF算法有超過10%的提高。

表2　RTE過程模態1的20個故障的監測率Table 2　Fault detection rates of 20 faults in TE mode 1/%

表3　RTE過程模態3的20個故障的監測率Table 3　Fault detection rates of 20 faults in TE mode 3/%

從表3可以看出，M-SONMF算法與M-NMF算法用于模態3的故障監測結果和用于模態1的故障監測結果相似。在模態3下，M-SONMF算法的監測結果往往明顯優于M-NMF算法的監測結果，如故障20的SPE指標提高了23.97%。

從整體上看，M-SONMF算法的故障監測效果明顯好于M-NMF算法。這是因為M-SONMF算法一方面對矩陣元素施加了稀疏性約束，增強了對于數據的壓縮性與可解釋性，使降維后得到更少的投影方向；另一方面，在分解過程中對基矩陣W進行正交化處理，除去變量間的冗余信息，使得更少的投影方向可以代表更多的信息。通過上述兩點的改進，使得M-ONMF算法的監控效果較M-NMF算法有了大幅提升。

5　結　論

本文針對復雜工業生產過程中存在多個模態，數據分布未知的問題，提出了一種基于NMF的多模態故障監測方法。首先利用標準的NMF算法對多模態過程數據進行聚類，然后對每個模態建立SONMF模型來描述每個模態的統計特性。在進行故障監測時，通過判斷待檢測樣本所屬的模態，并且計算出該樣本在所屬模態中的監測指標值，進行故障監測。本文中使用SONMF算法對工業過程的各模態分別建模，通過對標準的NMF算法進行了稀疏性的限制，得到對數據集更稀疏的表示；通過在標準的NMF算法的目標函數中對基矩陣W施加正交約束，使得在對原始數據降維的過程中大大削減了變量中的冗余信息，得到更少的投影方向，因此在對故障進行監測時能得到更好的監測結果。通過對數值例子和TE過程的仿真研究證明了NMF算法用于多模態故障監測的可行性以及SONMF算法在各模態中擁有比標準的NMF算法更好的故障監測性能。由于模態間的過渡十分短暫，工業過程大部分時間處于某一穩定模態，故本文中并沒有考慮到模態間的過渡。這一問題將在以后進行進一步研究。

References

［1］ZHOU D H， HU Y Y. Fault diagnosis techniques for dynamic system［J］. Acta Automation Sinica， 2009， 35 （6）： 748-758.

［2］WOLD S， ESBENSEN K， GELADI P. Principal component analysis［J］. Chemometrics & Intelligent Laboratory Systems， 1987， 2 （1/2/3）：37-52.

［3］NOMIKOS P， MACGREGOR J F. Multi-way partial least squares in monitoring batch processes ［J］. Chemometrics & Intelligent Laboratory Systems， 1995， 30 （1）： 97-108.

［4］GE Z Q， SONG Z H， GAO F R. Review of recent research on data-based process monitoring ［J］. Industrial & Engineering Chemical Research， 2013， 52 （10）： 3543-3562.

［5］趙春暉， 王福利， 姚遠， 等. 基于時段的間歇過程統計建模、在線監測及質量預報 ［J］. 自動化學報， 2010， 36 （3）： 366-374. ZHAO C H， WANG F L， YAO Y， et al. Phase-based statistical modeling， online monitoring and quality prediction for batch process［J］. Acta Automatica Sinica， 2010， 36 （3）： 366-374.

［6］GE Z Q， SONG Z H. Multimode process monitoring based on Bayesian method ［J］. Journal of Chemometrics， 2009， 23 （12）： 636-650.

［7］SEBZALI Y M， WANG X Z. Knowledge discovery from process operational data using PCA and fuzzy clustering ［J］. Engineering Applications of Artificial Intelligence， 2001， 14 （5）： 607-616.

［8］NG Y S， SRINIVASAN R. An adjoined multi-model approach for monitoring batch and transient operations ［J］. Computers & Chemical Engineering， 2009， 33 （4）： 887-902.

［9］FEITAL T， KRUGER U， DUTRA J， et al. Modeling and performance monitoring of multivariate multimodal process ［J］. AIChE Journal，2013， 59 （5）： 1557-1569.

［10］YU J， QIN S J. Multimode process monitoring with Bayesian inference-based finite Gaussian mixture models ［J］. AIChE Journal，2008， 54 （7）： 1811-1829.

［11］YU J. Online quality prediction of nonlinear and non-Gaussian chemical processes with shifting dynamics using finite mixture model based Gaussian process regression approach ［J］. Chemical Engineering Science， 2012， 82 （1）： 22-30.

［12］XIE X， SHI H B. Multimode process monitoring based on fuzzy C-means in locality preserving projection subspace ［J］. Chinese Journal of Chemical Engineering， 2012， 20 （6）： 1174-1179.

［13］劉幫莉， 馬玉鑫， 侍洪波. 基于局部密度估計的多模態過程故障檢測 ［J］. 化工學報， 2014， 65 （8）： 3071-3081. LIU B L， MA Y X， SHI H B. Multimode process monitoring based on local density estimation ［J］. CIESC Journal， 2014， 65 （8）： 3071-3081.

［14］SHANG F， JIAO L C， WANG F. Graph dual regularization non-negative matrix factorization for co-clustering ［J］. Pattern Recognition， 2012， 45 （6）： 2237-2250.

［15］LONG X Z， LU H T， PENG Y， et al. Graph regularized discriminative non-negative matrix factorization for face recognition ［J］. Multimedia Tools & Applications， 2014， 72 （3）： 2679-2699.

［16］ZENG K， YU J， LI C H， et al. Image clustering by hyper-graph regularized non-negative matrix factorization ［J］. Neurocomputing，2014， 138 （11）： 209-217.

［17］LI X B， YANG Y P， ZHANG W D. Fault detection method for non-Gaussian processes based on non-negative matrix factorization［J］. Asia-Pacific Journal of Chemical Engineering， 2013， 8 （8）：362-370.

［18］LI X B， YaANG Y P， ZHANG W D. Statistical process monitoring via generalized non-negative matrix projection ［J］. Chemometrics & Intelligent Laboratory Systems， 2013， 121 （7）： 15-25.

［19］PENG Y， CHEN X， Ye Q X， et al. Fault detection and classification in chemical processes using NMFSC and structural SVMs ［J］. The Canadian Journal of Chemical Engineering， 2014， 92 （6）： 1016-1023.

［20］LEE D D， SEUNG H S. Learning the parts of objects by non-negative matrix factorization ［J］. Nature， 1999， 401 （6755）： 788-791.

［21］LEE D D. Algorithms for non-negative matrix factorization//Adv. Neural Inform. Process. Syst. ［C］. MIT Press， Cambridge， MA， USA， 2001， 32 （6）：556-562.

［22］GE Z Q， SONG Z H. Multimode process monitoring based on Bayesian method ［J］. Journal of Chemometrics， 2009， 23 （12）：636-650.

［23］DOWNS J J， VOGEL E F. A plant-wide industrial process control problem ［J］. Computers & Chemical Engineering， 1993， 17 （3）：245-255.

［24］YU J B. Local and global principal component analysis for process monitoring ［J］. Journal of Process Control， 2012， 22 （7）： 1358-1373.

Fault detection method based on non-negative matrix factorization for multimode processes

ZHU Honglin， WANG Fan， SHI Hongbo， TAN Shuai
（Key Laboratory of Advanced Control and Optimization for Chemical Processes of Ministry of Education，East China University of Science and Technology， Shanghai 200237， China）

The traditional multivariate statistical fault detection methods are designed for single operating conditions and may produce erroneous conclusions if they are used for the multi-mode process monitoring. A novel multi-mode process monitoring approach based on non-negative matrix factorization （NMF） is proposed in this paper. First， the training set of data is clustered by the standard NMF algorithm and the multi-mode data are divided into each mode. Then， the sparseness orthogonal NMF （SONMF） algorithm is used to model every mode and the monitoring statistics are constructed to perform fault detection. The proposed method is applied to a numerical example and the TE process. The simulation results show that this method can effectively detect multi-mode process failure.

fault detection； multi-mode process； non-negative matrix factorization

引　言

過程監控方法能夠及時發現過程運行中出現的故障并通知操作人員，極大提高了工業過程運行的安全性和穩定性［1］。近年來，傳統的多元統計過程監控（multivariate statistical process monitoring，MSPM）方法如主成分分析（PCA）［2］、偏最小二乘（PLS）［3］等在工業過程中得到了成功的應用。但是，傳統的多元統計過程監控方法需要假設測量數據均服從于高斯分布，且都來自于單一穩定的模態［4］。然而在實際的工業生產中，過程往往并不是運行在單一的穩定模態下，產品特性、生產負荷、原料組分等的變化，都能引起模態的變化。此時若仍用傳統的方法進行故障監控，則會削弱過程在不同模態下的統計特性，從而造成過程性能分析不準確以及過程故障的大量漏報。

date： 2015-09-06.

Prof. SHI Hongbo， hbshi@ecust.edu.cn

supported by the National Natural Science Foundation of China （61374140） and the Youth Foundation of the National Natural Science Foundation of China （61403072）.

TP 277

A

0438—1157（2016）05—1973—09

2015-09-06收到初稿，2016-02-24收到修改稿。

聯系人：侍洪波。第一作者：朱紅林（1991—），男，碩士研究生。

國家自然科學基金項目（61374140）；國家自然科學基金青年基金項目（61403072）。