基于互信息的PCA方法及其在過程監測中的應用

童楚東，史旭華

（寧波大學信息科學與工程學院，浙江 寧波 315211）

基于互信息的PCA方法及其在過程監測中的應用

童楚東，史旭華

（寧波大學信息科學與工程學院，浙江 寧波 315211）

主元分析（PCA）是一種經典的特征提取方法，已被廣泛用于多變量統計過程監測，其算法的本質在于提取過程數據各變量之間的相關性。然而，傳統PCA算法中定義的相關性矩陣局限于計算變量間的線性關系，無法衡量兩個變量間相互依賴的強弱程度。為此，提出一種新的基于互信息的PCA方法（MIPCA）并將之應用于過程監測。與傳統PCA所不同的是，MIPCA通過計算兩兩變量間的互信息來定義相關性，將原始相關性矩陣取而代之為互信息矩陣，并利用該互信息矩陣的特征向量實現對過程數據的特征提取。在此基礎上，可以建立相應的統計監測模型。最后，通過實例驗證MIPCA用于過程監測的可行性和有效性。

主元分析；數值分析；過程系統；互信息；故障檢測；統計過程監測

引 言

近年來，針對以主元分析（PCA）為代表的多變量統計過程監測方法的研究已經受到了工業界和學術界的廣泛關注，其基本思想都是從工業過程采集的數據中挖掘出能反映過程運行狀況的潛在信息[1-2]。這類方法通常是在分析高維過程數據特征后，按照一定的方式將其投影降維至低維子空間，并將獲得的信息以統計量的形式提供給操作人員。它不需要過程的機理模型，因而很適合于監測現代大型復雜化工業過程[2-4]。

通常來講，PCA這種經典的特征提取方法是通過計算過程數據集的協方差矩陣或相關矩陣，再利用矩陣的特征向量確定降維投影的方向。它所提取的潛隱變量（或稱主元）能體現原始數據空間的相關性特征。雖然，PCA方法用于分析過程數據時意義明確，易于實施，但是，計算變量間的協方差或相關系數只能反映變量之間的線性關系，無法衡量變量間的非線性關系[5]。因此，傳統的PCA方法用于提取數據特征時具有很大的局限性。以核PCA（kernel PCA, KPCA）方法[6]為基礎的非線性過程監測方法雖然能有效應對非線性過程數據，但是針對映射后的高維空間數據變量間的相關性，KPCA方法依舊計算的是相關系數，仍未涉及變量之間的非線性相關性。值得注意的是，KPCA在建立模型時，需要人為地設定核函數及其參數，不同的參數設置會直接影響到KPCA方法的故障檢測效果[7]。此外，其他借鑒和學習技巧的非線性過程監測算法，如Kernel Dissimilarity[8]、核獨立元分析[4]等已被相繼提出并用于解決非線性過程監測問題。

在信息論領域里，互信息是一種很有用的信息度量，它可以用來解釋一個隨機變量中包含的另一個隨機變量的信息量[9]。互信息這種度量相關性的方式在于衡量兩個變量間的共同擁有的信息，不局限于單純的線性關系，對變量之間的非線性關系也能進行評估。互信息是一種無參數、非線性的測度指標，目前，它已經在數據分析與建模領域引起了較多的關注[10-11]。此外，多變量統計過程監測領域也有一些借鑒互信息分析處理過程數據的研究成果[12-13]。

本文針對傳統PCA算法定義相關性矩陣只考慮變量間線性關系的不足，提出一種基于互信息的PCA算法（MIPCA）用于統計過程建模。具體來講，該算法首先計算過程數據集兩兩測量變量間的互信息，并組建相應的互信息矩陣。然后，對該互信息矩陣進行特征值分解，并選取少數幾個占主導地位的特征向量作為降維投影方向。最后，對所提取的成分信息和模型殘差信息分別構造統計量作為過程監測指標。值得注意的是，用于監測模型殘差變化的傳統指標，即平方預測誤差（SPE或Q），已不適合監測MIPCA模型的殘差。因為，傳統Q統計量假設模型殘差各向同性且方差最小[14]。為此，本文在MIPCA模型的基礎上，進一步地對模型殘差進行奇異值分解，然后對非零奇異值對應的成分建立T2統計量進行監測。最后，利用Tennessee Eastmann（TE）[15]仿真實驗平臺對比分析MIPCA與其他方法（PCA和KPCA）的監測效果，驗證該方法的有效性。

1 基本方法

1.1 主元分析（PCA）

PCA是一種經典的數據降維方法，其提取的主元可以摒除原始數據空間的冗余信息而保留大量的方差信息，并且各主元變量相互正交[16]。假設X∈Rn×m（n為樣本數，m為變量數）是一個經過標準化處理后的數據矩陣，通過對X進行奇異值分解，可建立PCA統計模型，即[1]

式中，T∈Rn×d和P∈Rm×d分別是主元得分矩陣和載荷矩陣，分別是殘差得分矩陣和載荷矩陣，E∈Rn×m為殘差矩陣，d＜m為選取的主元個數。式（1）說明X在載荷矩陣各向量方向上的投影即是得分矩陣。在求解PCA模型的過程中，主元載荷向量實際上是X的協方差矩陣C

前d個最大特征值Λ=diag{λ1,λ2,…,λd}所對應的特征向量。因此，所投影得到的主元能體現X中各變量間的相關性。

當PCA統計模型應用于故障檢測時，需要對主元和殘差信息分別構建T2統計量和Q統計量，即

從上兩式中可以發現，2T和Q指標分別定義了平方馬氏距離和平方歐式距離。對應控制限的確定方法可參考文獻[1]。

1.2 互信息（MI）

互信息（MI）是信息論里一種有用的信息度量，它可以看成是一個隨機變量中包含的關于另一個隨機變量的信息量，或者說是一個隨機變量由于已知另一個隨機變量而減少的不肯定性。設兩個隨機變量x和y的聯合分布為p(x,y)，邊緣概率分別為p(x)和p(y)，互信息I(x,y)則定義成

若x和y之間不存在重疊的信息，即相互獨立時，互信息值等于0。反之，若兩者間的相關性越高，互信息值越大。由式（7）可知，求解(,)Ix y需要已知變量x和y的分布密度概率，這在實際中通常是很難滿足的，常用的解決方法是使用核密度估計方法來確定對應的概率值。

2 基于MIPCA的過程監測方法

2.1 MIPCA算法

互信息可以用來衡量變量間共有的信息量，它所定義的相關性不局限于線性關系。因此，利用互信息定義相關性矩陣具有比較大的優勢，這也就是本文所提出的MIPCA算法的基本出發點。將式（4）中協方差矩陣各元素替換為互信息，即

其中，Ci,j為相關性矩陣C中的第(i,j)個元素，I(xi,xj)為測量變量xi和xj的互信息值。在本文中，互信息的計算直接采用MATLAB工具箱MIToolbox[17]。

與PCA算法類似，MIPCA求解投影向量的問題可以轉化為如下特征值問題，即

式（9）中前k個最大的特征值γ1≥γ2≥…≥γk所對應的特征向量A=[α1,α2,…,αk]即是MIPCA算法的投影向量。基于此，即可建立如下MIPCA模型

其中，Y=XA為MIPCA算法的潛隱變量所組成的矩陣，F∈Rn×m是模型殘差矩陣。Y和F分別定義了MIPCA模型的特征子空間（feature subspace，FS）和殘差空間（residual subspace，RS）。

2.2 基于MIPCA模型的過程監測方法

當MIPCA用于在線監測新采集的樣本數據x∈Rm×1時，需首先將其投影至特征子空間中，

new并建立如下監測統計量

其中，ynew=ATxnew，S為式（10）中Y的協方差矩陣，Fα(k,n?k)表示自由度為k和n?k的F分布在置信限α下的取值。

通常情況下，式（6）中定義的Q統計量可用來監測MIPCA模型殘差空間的變化情況，但是F中有不可忽略的方差信息。因而，需要對殘差作進一步的處理。利用奇異值分解可以將F表示成如下形式

其中，Q=UD=FV=X(I?AAT)V，對角矩陣D∈R(m?k)×(m?k)對角線上的元素為m?k個非零奇異值，V∈Rm×(m?k)則由這m?k個非零奇異值所對應的向量組成，且相互正交。那么新樣本xnew所對應的殘差信息就被進一步的表示成

由于殘差量各方向上的方差大小不一，可對式（13）構造如下平方馬氏距離統計量

相比之下，傳統的Q統計量采用的是平方歐式距離，要求殘差信息的方差各向同性且大小可忽略，沒有充分考慮殘差量中方差大小不同所帶來的影響。另外，統計量的控制限確定方式與式（11）類似。

3 仿真實驗研究

為了測試各種不同監測方法的有效性和優越性，一個合適的測試平臺必不可少。在目前發表的眾多論文中，TE仿真過程是一個被學者們廣泛采納的測試平臺，這主要是因為它的反應過程和生產結構都是非常復雜的，已經成為測試不同控制方法和過程監測策略的標準實驗平臺[18-20]。TE過程的流程示意圖如圖1所示，主要由連續攪拌反應器、產品冷凝器、氣液分離塔、汽提塔和離心式壓縮機等5個生產單元組成。TE過程可連續測量22個過程變量和12個操作變量，還可以仿真模擬21種不同的故障類型，詳細資料可參見文獻[18]。在本文的研究中，選取過程可連續測量的33個變量作為監測變量，詳情可參考文獻[7]。過程的測試數據集可從網站http://web. mit.edu/braatzgroup/links.html上下載。

離線建模階段，利用正常工況下的960個樣本建立PCA、KPCA和MIPCA的過程監測模型以作對比分析用。其中，PCA和MIPCA模型選取的潛隱變量個數都取為9，KPCA模型的高斯核函數參數c與潛隱變量個數d設定值參考文獻[21,22]，考慮兩組不同的參數設定值，置信限α統一取值99%。

圖1 TE過程結構Fig.1 Flowsheet of Tennessee Eastman process

首先，利用PCA和MIPCA方法對TE過程21種故障工況進行監測，并計算針對每種故障監測的故障漏報率，詳情列于表1中。值得注意的是，故障3、9和15由于對過程的影響甚微，很多文獻都證實這3種故障是很難被有效地檢測出來的[7,23]。因此，在本文研究中不予考慮。在表1中，取得最小漏報率的監測指標已用黑體標出。顯而易見，MIPCA方法在絕大多數故障類型上能取得優越于傳統PCA方法的監測結果。尤其是針對故障5、10、16、19，故障漏報率得到大幅度的下降。雖然，MIPCA方法在故障13、17和18上的監測效果不如傳統PCA方法優越，但是相應的漏報率相差微乎其微。為了更好地體現MIPCA相對于PCA方法的優越性，將故障5的過程監測圖顯示于圖2中。很顯然，傳統PCA方法對故障5存在很大的漏報，而MIPCA方法能一直持續觸發故障警報。

表1 TE過程故障漏報率Table 1 Fault missing alarm rates of TE process: PCAvsMIPCA/%

圖2 故障5的過程監測結果Fig.2 Monitoring charts of fault 5

表2 TE過程故障漏報率Table 2 Fault missing alarm rates of TE process: KPCAvsMIPCA/%

其次，為了更進一步地驗證MIPCA方法相比于KPCA方法的優越性，將它們對應的故障檢測結果列于表2中。值得注意的是，由于KPCA模型建立時需人為確定對應核函數參數與潛隱變量個數，而前面已經提到核參數與潛隱變量的選擇會對KPCA方法產生影響。因此，表中2所列的KPCA方法的監測結果分兩組，分別對應文獻[21]和[22]中的參數取值。從表2中可以發現，KPCA方法在c=1024 m，d=29這組參數取值下，在絕大多數故障類型上能取得優越于MIPCA方法的監測結果。但是，KPCA方法在另外一組參數取值條件下，故障檢測效果遠不如本文所提出的MIPCA方法。因此，KPCA方法的監測效果在一定程度上取決于參數的設定。若是沒有充分的經驗知識，實際應用中很難為之確定一組較好的參數值。可以說，相比于KPCA這種非線性的過程監測方法，本文的MIPCA方法仍具有一定的優越性。

在對比分析了MIPCA方法故障漏報效果后，還需繼續驗證MIPCA方法的故障誤報率。通常來講，較低的故障漏報率容易對應較高的故障誤報率，也即將正常數據樣本錯誤的判別為故障。利用另一組正常工況下采集到的500個數據，檢驗PCA和MIPCA各統計指標的誤報率，對應結果如表3所示。從表中可以看出，MIPCA的故障誤報率略低于PCA算法。通過表1～表3的對比分析，充分驗證了基于MIPCA的過程監測方法的優越性和有效性。

表3 TE過程故障誤報率Table 3 Fault false alarm rates of TE process/%

4 結 論

本文提出了一種基于MIPCA的統計過程監測方法。針對傳統PCA模型求解過程中未充分考慮過程數據測量變量間的非線性相關性，在原有PCA方法的基礎上，引入互信息定義數據的相關性矩陣。新的MIPCA方法不再局限于描述過程數據變量間的線性相關性，能為過程數據建立更確切的描述模型。在TE過程上的仿真研究也充分說明了MIPCA方法優越于傳統PCA方法。然而，MIPCA仍舊是一種線性投影方法，如何把該方法擴展成非線性形式，對下一步的工作提出了挑戰。此外，針對故障診斷的研究還需進一步的研究。

[1] Qin S J. Statistical process monitoring: basics and beyond [J].Journalof Chemometrics, 2003, 17 (7/8): 480-502.

[2] Ge Z, Song Z, Gao F. Review of recent research on data-based process monitoring [J].Industrial & Engineering Chemistry Research, 2013, 52 (10): 3543-3562.

[3] Qin S J. Survey on data-driven industrial process monitoring and diagnosis [J].Annual Reviews in Control, 2012, 36 (2): 220-234.

[4] Fan J, Wang Y. Fault detection and diagnosis of non-linear non-Gaussian dynamic processes using kernel dynamic independent component analysis [J].Information Sciences, 2014, 259: 369-379.

[5] Fan Xueli (范雪莉), Feng Haihong (馮海泓), Yuan Meng (原猛). PCA based on mutual information for feature selection [J].Control and Decision (控制與決策)，2013, 28 (6): 915-919.

[6] Lee J M, Yoo C K, Choi S W, Vanrolleghem P A, Lee I B. Nonlinear process monitoring using kernel principal component analysis [J].Chemical Engineering Science, 2004, 59 (1): 223-234.

[7] Tong C, Song Y, Yan X. Distributed statistical process monitoring based on four-subspace construction and Bayesian inference [J].Industrial & Engineering Chemistry Research, 2013, 52 (29): 9897-9907.

[8] Zhao C, Wang F, Zhang Y. Nonlinear process monitoring based on kernel dissimilarity analysis.Control Engineering Practice, 2009, 17 (1): 221-230.

[9] Li W. Mutual information functions versus correlation functions [J].Journal of Statistical Physics, 1990, 60 (5/6): 823-837.

[10] Kwak N, Choi C. Input feature selection for classification problems [J].IEEE Transactions on Neural Networks, 2002, 13 (1): 143-159.

[11] Han M, Ren W, Liu X. Joint mutual information-based input variable selection for multivariate time series modeling [J].Engineering Applications of Artificial Intelligence, 2015, 37: 250-257.

[12] Verron S, Tiplica T, Kobi A. Fault detection and identification with a new feature selection based on mutual information [J].Journal of Process Control, 2008, 18 (5):479-490.

[13] Jiang Q, Yan X. Plant-wide process monitoring based on mutual information-multiblock principal component analysis [J].ISATransactions, 2014, 53 (5): 1516-1527.

[14] Ge Zhiqiang (葛志強), Song Zhihuan (宋執環). PICA based process monitoring method [J].Journal of Chemical Industry and Engineering(China) (化工學報), 2008, 59 (7): 1665-1670.

[15] Downs J J, Vogel E F. A plant-wide industrial process control problem [J].Computers & Chemical Engineering, 1993, 17 (3): 245-255.

[16] Xie L, Lin X, Zeng J. Shrinking principal component analysis for enhanced process monitoring and fault isolation [J].Industrial & Engineering Chemistry Research, 2013, 52 (49): 17475-17486.

[17] MIToolbox for C and MATLAB. http://www.cs.man.ac.uk/~pococka4 /MIToolbox.html.

[18] Chiang L H, Russell E L, Braatz R D. Fault Detection and Diagnosis in Industrial Systems [M]. London: Springer-Verlag, 2001.

[19] Tong C, Palazoglu A, Yan X. Improved ICA for process monitoring based on ensemble learning and Bayesian inference [J].Chemometrics & Intelligent Laboratory Systems, 2014, 135: 141-149.

[20] Zhao Zhonggai (趙忠蓋), Liu Fei (劉飛). Factor analysis and its application to process monitoring [J].Journal of Chemical Industry and Engineering(China) (化工學報), 2007, 58 (4): 970-974.

[21] Lee J M, Qin S J, Lee I B. Fault detection of non-linear processes using kernel independent component analysis[J].The Canadian Journal of Chemical Engineering, 2007, 85 (4), 526-536.

[22] Shao J D, Rong G, Lee J M. Generalized orthogonal locality preserving projections for nonlinear fault detection and diagnosis[J].Chemometrics & Intelligent Laboratory Systems, 2009, 96 (1): 75-83.

[23] Wang J, He Q P. Multivariate statistical process monitoring based on statistics pattern analysis [J].Industrial & Engineering Chemistry Research, 2010, 49 (17): 7858-7869.

Mutual information based PCA algorithm with application in process monitoring

TONG Chudong, SHI Xuhua
(Faculty of Electrical Engineering & Computer Science,Ningbo University,Ningbo315211,Zhejiang,China)

Principal component analysis (P monitoring CA) is a classical algorithm for feature extraction and has been widely used in multivariate statistical process. The essence of the PCA algorithm is to extract the correlation between process variables. However, the correlation matrix defined in the traditional PCA algorithm is limited to consider the linear relationship between variables, which cannot be employed to analyze the mutual dependence between two measured variables. With recognition of this lack, a novel mutual information based PCA (MIPCA) method is proposed for process monitoring. Distinct from the traditional PCA, MIPCA defines the relationship between variables by calculating the mutual information, and the original correlation matrix is replaced by the resulting mutual information matrix. The eigenvectors of the mutual information matrix can thus be utilized as the directions of feature extraction. On the basis of MIPCA, a statistical process monitoring model can then be constructed. Finally, the feasibility and effectiveness of the MIPCA-based monitoring method are validated by a well-known chemical process.

principal component analysis; numerical analysis; process systems; mutual information; fault detection; statistical process monitoring

SHI Xuhua, shixuhua@nbu.edu.cn

10.11949/j.issn.0438-1157.20150374

TP 277

：A

：0438—1157（2015）10—4101—06

2015-03-23收到初稿，2015-05-29收到修改稿。

聯系人：史旭華。

：童楚東（1988—），男，博士，講師。

浙江省自然科學基金項目（LY14F030004）；浙江省科技廳公益項目（2015C31017）。

Received date: 2015-03-23.

Foundation item: supported by the Natural Science Foundation of Zhejiang Province, China (LY14F030004).