利用優化概率神經網絡識別自相關過程異常

（昆明理工大學，昆明 650500）

0 引言

控制圖是統計過程控制的基本工具和手段，經過不斷發展有學者相繼提出了兩種控制圖模式識別理論，即統計模式識別和人工智能模式識別。其中人工神經網絡（Artificial Neural Network，ANN）作為一種人工智能技術被廣泛應用于控制圖模式識別研究。1989年，Pugh[1]首次提出將神經網絡應用于過程控制中，并證明所提方法比傳統休哈特控制圖的性能更優越。HB Hwang[2]對BP神經網絡（Back-propagation Network，BPN）應用于隨機過程控制做出了研究，也取得了良好的效果。分析ANN在控制圖模式識別的研究成果概率神經網絡（probabilistic neural network, PNN）在控制圖模式識別中的運用較少。pecht D.F.[3]在1990年提出的PNN網絡是一種4層前饋神經網絡，與傳統BP神經網絡相比，概率神經網絡的訓練時間更短。然而PNN網絡的自適應學習能力以及較強的容錯能力主要取決于平滑因子。對優化PNN網絡，很多學者也做出了相關的研究成果；K.Z.Mao等人[4]提出通過遺傳算法選擇合適的PNN的平滑因子，通過簡化PNN的網絡拓撲結構獲得更高的分類精確率。

針對傳統PNN網絡應用于控制圖模式識別中的不足，本文選擇粒子群算法（Particle swarm optimization, PSO）對PNN的平滑因子spread參數進行優化，將優化的PNN網絡對自相關過程的6種模式進行識別，以獲得更高的控制圖模式識別精度為研究目標，并通過模擬實驗進行了驗證。

1 控制圖模式的劃分及自相關過程

按照GB/T4091-2001對控制圖模式判斷的準則，異常狀態分為8種，本文主要對其中的6種模式進行研究分別為正常模式（NOR）、向上階躍模式（US）、向下階躍模式（DS）、上升趨勢模式（IT）、下降趨勢模式（DT）和周期模式（CYC），如圖1所示。

生產過程中的數據很容易產生自相關性，違背了控制圖以數據相互獨立的理論前提。因此在自相關過程中使用控制圖會產生大量的虛發報警或漏發報警。Cook等[5]研究了BPN在監測自相關過程方差能得到較好識別率；孫靜[6]在殘差控制圖的基礎上進一步解釋了自相關過程受控狀態的含義。

圖1 6種基本控制圖模式

在自相關過程的研究中，通常利用時間序列來描述自相關過程的動態規律性。其中，一階自回歸模型AR(1)擬合的自相關過程在實際生產中最為常見，研究也最多。AR(1)過程可描述如下：

2 概率神經網絡模型

PNN模型基于Bayes分類規則與Parzen窗概率密度估計方法的神經網絡模型。PNN模型由4層組成分別為：輸入層、隱含層、求和層和輸出層。模型的基本結構如圖2所示。

圖2 PNN網絡結構示意圖

式中，Wi為輸入層與輸出層之間的連接權值，δ為平滑因子對分類有非常重要的作用，求和層計算得出故障模式的估計概率密度函數。輸出層其作用是在每個模式的估計概率密度中選擇最大后驗概率密度的神經元作為整個模型的輸出。

3 優化PNN網絡的控制圖模式識別

3.1 PSO優化算法

Kennedy和Eberhar在模擬鳥群覓食過程中發現了PSO算法的優化性能[7]。PSO算法的數學描述如下：

假設D維搜索空間中有n個粒子，第i個粒子的位置向量為xi=（xi1，xi2，…，xiD），第i個粒子的當前最優位置為pbesti=（pi1，pi2，…，piD），整個粒子群的當前最優位置為gbest=（g1，g2，…，gD），第i個粒子的位置變化率為vi=(vi1，vi2，…，viD)。粒子的速度和位置變化公式如下所示：

其中，和c1=c2=2為學習因子，Arand是0到1之間的隨機數。

本文以測試精度作為目標函數，利用PSO算法優化平滑因子SPREAD參數。

算法步驟如下：

Step1：設定平滑因子的取值范圍[0,10]，隨機產生初始化種群。

制定完善合理的科研成果評價體系和科研成果轉化政策，將科研成果轉化納入科研成果評價體系，作為創新性能力評價標準之一，并與績效獎勵、職稱評聘、科研獎項的評比等掛鉤，保證評價指標的多樣化?？筛鶕咝０l展需求和實際發展狀況制定若干權變量，明確獎勵范圍、獎勵力度，提高對科研成果持有人的獎勵力度，并保證實時激勵，充分調動科研成果持有人的積極性和主動性。

Step2：根據粒子獲得的平滑因子，構建PNN網絡，計算識別精度即粒子的適應度值。

Step3：與當前局部最優pbest比較，更新局部最優值，使得目標函數最大。

Step4：每個粒子的局部最優值與當前全局最優值gbest比較，更新gbest，獲得最大的目標函數值。

Step5：更新粒子的速度和位置。

Step6：迭代次數達到最大或者目標函數達到最優則終止循環，否則返回Step3。

Step7：返回的粒子群的全局最優值gbest為平滑因子的最優值。

3.2 隨機產生自相關數據

本文通過AR(1)時間序列模型模擬產生自相關數據，其公式為：

Rt是具有一階自回歸AR(1)特性的時間序列數據，μ=80是受控狀態的均值，φ是自相關系數，隨機噪聲et服從N（0，λσε）分布（0≤λ≤1噪聲幅度參數）。Xt為t時刻的觀測值，dt為異常波動，t時刻的異常波動為d(t)。窗口寬度為24，基于蒙特卡洛模擬產生訓練樣本集和測試樣本集。

3.3 模式識別模型的基本框架

本文所構建的基于PSO優化概率神經網絡的控制圖模式識別模型框架如圖3所示。

4 實驗驗證

為了驗證構建的概率神經網絡參數優化模型，進行了數值模擬實驗，通過得出的實驗結果確定出概率神經網絡運用于自相關過程模式識別中的最優參數。

4.1 實驗環境與實驗數據

實驗在臺式計算機上進行軟件環境為MATLAB 2015b。根據3.2節所述的訓練樣本集和測試樣本集，如表1所示。

4.2 實驗過程及結果

為了驗證所構建的概率神經網絡的參數優化模型的有效性，根據實驗得出的結果進行客觀分析。經過迭代得到的最優粒子編碼及其適應度值如表2所示。

通過表2所示，經過30次迭代優化，PNN網絡對6種基本控制圖模式的平均識別精度在第30次迭代中達到最優，即平滑因子為2.34時，取得的最優適應度為0.9518。

由表3所示，每種模式的識別準確度都在90%以上，其中CYC模式的識別精度達到100%，US和DT模式的識別精度相對較低都為92.22%，經過計算得出的平均識別精度達到95.18%。

4.3 不同自相關水平的比較

優化的PNN網絡用于自相關過程的控制圖模式識別，為了分析不同自相關水平下優化的網絡的模式識別性能，本文選擇了相關系數為φ∈{0.9，0.7，0.5，0.3，0.1}55種情況進行比較，結果如表4所示。

表4所示的實驗結果顯示，自相關水平φ=0.5的識別精度最高，相關水平高于0.5或低于0.5識別精度都有降低；自相關水平對CYC模式的識別精度基本沒有影響，都能達到100%；當φ=0.7時，NOR模式的識別精度達到最高100%；綜上分析，數據的自相關水平對優化的PNN網絡控制圖模式識別性能會產生影響。

4.4 與BP神經網絡對比識別精度

圖3 構建模式識別模型框架

本文將基于PSO優化的概率神經網絡控制圖模式識別方法與BP神經網絡（BPANN）進行比較研究。實驗分別比較了不同自相關水平（φ∈{0.9，0.7，0.5，0.3，0.1}）下兩種模型的過程異常模式識別準確率，如圖4所示。

表1 訓練與測試數據集

表2 最優粒子編號及其適應度值

表3 優化的PNN網絡測試結果和準確率

表4 不同自相關水平的識別精度（%）比較

圖4 不同自相關水平下優化的PNN網絡與BP神經網絡識別準確率對比

從圖4中可見，正自相關系數無論相關程度的高低，優化的PNN神經網絡比BP神經網絡的識別準確率高，自相關水平越高BP神經網絡的識別準確率越低，相比之下優化的PNN網絡的識別準確率相對穩定。

5 結束語

本文針對概率神經網絡中SPREAD參數對網絡性能的影響，分別構建平滑因子不同的PNN網絡，通過粒子群算法經過30次迭代優化最終確定出最優的平滑系數為2.34。優化后的PNN網絡作用于自相關過程的控制圖模式識別中，當自相關系數為0.5時，平均識別精度最高。與控制圖識別領域常用的BP神經網絡進行了比較，結果顯示基于PSO優化的概率神經網絡的控制圖模式識別性能更強。

本文主要解決了PNN網絡在自相關過程控制圖模式識別應用中的平滑因子不確定問題，PSO算法簡化了SPREAD參數通過經驗進行調整的復雜過程。經過數據仿真實驗，優化的PNN網絡在自相關過程中的控制圖模式識別中可以取得較強的分類效果。

[1]Pugh G A.Synthetic neural networks for process control[J].Computers and Industrial Engineering,1989,17(1-4):24-26.

[2]Hwarng H B.Detecting process mean shift in the presence of autocorrelation: a neural-network based monitoring scheme[J].International Journal of Production Research,2004,42:573-595.

[3]Specht.D.F. Probability Neural Networks[J].Neural Networks,1990,3:109-118.

[4]Mao K Z, Tan K C,Ser W. Probabilistic Neural-network Structure Determination for Pattern Classification[J].IEEE Transactions on Neural Networks,2000,11(4):1009-1016.

[5]Cook D. F., Zobel C. W., Nottingham Q. J.Utilization of neural networks for the recognition ofvariance shifts in correlated manufacturing process parameters[J].International Journal of Production Research,2001,39(17):3881-3887.

[6]孫靜,自相關過程的統計控制狀態[J].管理工程學報,2003,17(2):75-80.

[7]Kennedy, J.,Ebethart,R.C Particle swam optimization[A].Proceedings of IEEE international Conference on NeuraI Networks[C].1995,1942-1948.