基于優化卷積神經網絡的化工過程故障診斷方法

收稿日期：2024-01-03責任編輯：王建青

基金項目：河北省自然科學基金資助項目（E2021203069）；秦皇島市科技計劃項目（202101A319）

作者簡介：胡宇鵬（1999-），男，河北唐山人，碩士研究生，主要研究方向為化工過程安全；*通信作者：郭麗杰（1972-），女，遼寧葫蘆島人，博士，副教授，主要研究方向為化工過程安全，Email：guolijie56970@126.com。

摘要：為了從復雜化工過程的海量監測數據中提取出有效的故障特征，及時發現故障并準確識別故障原因，提出了一種基于優化卷積神經網絡的化工過程故障診斷方法。首先，構建一維卷積神經網絡二分類狀態監測模型，以顯著提高狀態監測效率。其次，針對卷積神經網絡無法評估網絡特征數據重要程度的問題，引入注意力機制，通過為數據特征賦予不同權重，有效捕捉特征細節，抑制干擾信息，從而實現復雜化工系統中故障關鍵特征的自動提取，提高多種故障模式診斷的準確率。然后，針對卷積神經網絡超參數優化手動設置建模效率低的問題，采用樹型Parzen估計算法超參數優化技術，通過靈活的建模方式和高效的采集函數實現對超參數組合的自動精準調優，構建優化卷積神經網絡的故障診斷模型。最后，采用田納西-伊斯曼過程對所提出方法的有效性進行驗證。結果表明，該方法能夠及時、有效地監測并診斷出多種故障模式，可為維修人員提供可靠的決策依據。

關鍵詞：卷積神經網絡；化工過程；故障診斷；注意力機制；超參數優化

中圖分類號： X937文獻標識碼： ADOI：10.3969/j.issn.1007-791X.2024.06.009

0引言

眾所周知，大型化工生產裝置工藝流程極其復雜、設備種類和數量眾多，且介質通常具有易燃、易爆、有毒的特性，一旦發生故障，整個裝置的運行可能會受到影響，甚至引發災難性后果。近年來，國內外化工生產事故頻發，安全生產面臨嚴峻挑戰[1-2]。因此，采取有效措施保障生產安全勢在必行。

故障診斷在保障化工安全生產中發揮著重要的作用。目前，故障診斷方法分為基于知識、基于解析模型和基于數據驅動的方法[3]。其中，基于知識的方法主要依賴專家知識，基于模型的方法需要建立準確的過程機理模型，因而，對于日益復雜的大型化工裝置，這兩類方法都難以普遍應用[4]。而基于數據驅動的方法是針對狀態監測數據提取故障特征，不需要復雜的專業知識。對于廣泛采用DCS積累出海量監測數據的大型化工裝置，基于數據驅動的方法正在成為故障診斷研究的熱點[5]。

基于數據驅動的方法主要包括多元統計方法和機器學習方法[6-7]，對于高維、高度耦合、非線性的化工過程海量監測數據，多元統計方法通常對處理這些動態非線性和非高斯特征數據具有很大的局限性，故障診斷效果不理想。因此，近年來以機器學習為核心的人工智能故障診斷方法備受關注。按照網絡結構，機器學習分為淺層學習與深度學習，相較于以支持向量機為代表的淺層學習算法，深層學習算法通過構建多個隱藏層進行故障特征的有效提取，從而可以解決淺層學習表征能力不足和數據處理能力有限的缺點，提高故障診斷的準確率，因而一些學者正在積極探索基于深度學習的化工過程故障診斷研究。以卷積神經網絡（Convolutional Neural Network， CNN）為代表的深度學習故障診斷方法，不只應用于抽油機、軸承等機械方向[8-9]，在化工領域也越來越受到重視[10-11]。

程誠等[12]提出了一種將數值數據轉化成雷達圖的分類方法，將化工過程的高維信息轉變為直觀的平面信息，便于直觀感受特征的時序變化。蘇堪裂[13]提出了一種粒子群優化卷積神經網絡，對CNN的部分超參數進行優化。Wu等[14]提出了一種深度卷積神經網絡模型，將一維時域信息轉化為便于卷積操作的二維數據矩陣，可以更好地提取特征。張佳鑫等[15]提出了強化深度卷積神經網絡，用最大平滑單元來代替傳統激活函數，同時引入注意力機制和結合門控循環單元用于解決神經網絡參數冗余的問題，在工業致動器控制系統和工業酸性氣體吸收過程中都取得了不錯的效果。

CNN結合注意力機制可以進一步增強網絡模型對非線性高維數據的特征提取能力。但是，高性能的CNN故障診斷模型結構趨于復雜化，導致產生了大量的超參數。這些超參數的選擇對于模型性能具有至關重要的影響。然而，在現有CNN故障診斷方法中，手動調整模型超參數以優化性能通常需要耗費大量時間。此外，隨著超參數數量的增加，模型的計算量也會呈指數級增長，從而導致建模效率很低。

為解決上述問題，提出一種優化卷積神經網絡的化工過程故障診斷方法。首先構建CNN故障診斷模型，在該模型中融入注意力機制，對化工過程中物質、能量和信息傳遞等比較敏感的特征進行重要度評估，并為這些特征分配相應的權重，從而可以更加準確地捕捉關鍵信息，增強網絡的泛化能力。然后，在結構優化的CNN中引入樹型Parzen估計算法（Tree-structured Parzen Estimator，TPE），TPE能夠自適應地自動調整參數搜索空間的大小，從而在盡可能少的迭代次數內找到全局最優解。該方法不僅可以有效提高模型的計算效率和性能，還能進一步提高故障診斷的準確率，實現復雜化工過程的高效智能化故障診斷。

1卷積神經網絡

CNN的命名最早起源于Yann LeCun的LeNet-5[16]，其原理起源于20世紀80年代，由Kunihiko Fukushima提出[17]。它借鑒了生物獨特的認知機制，其局部敏感性和方向選擇性可以有效地降低神經網絡的復雜性[18]。CNN可以自動提取特征并學習，通過局部篩選抽取數據的關鍵信息。卷積操作具有平移不變性，同時其多層的結構可以逐步提取深度特征。它通常由卷積層、池化層（下采樣層）、全連接層和輸出層組成，完成前向傳播和反向調節。其中，一維卷積神經網絡（1D-CNN）模型主要是由一維輸入層、卷積層、池化層、全連接層和輸出層構成。

輸入層：把狀態監測數據轉換為一維向量，作為CNN的輸入。

卷積層：通過多個卷積核進行特征提取，并采用非線性激活函數輸出特征。常用的激活函數有ReLU、Tanh、Sigmoid等函數，文中采用ReLU函數。一維卷積層的計算公式如下：

式中：Hlj為l層第j個輸出；Mj為l-1層中第j個卷積區域；i為卷積計算的次數；代表卷積計算；Hl－1j為l-1層第j個輸出；Wlij表示為l層中對應的權重（卷積核）；blj為l層中的偏置；f（x）表示非線性激活函數。

池化層：降低數據維度并提取關鍵特征，常見的池化類型包括最大池化和平均池化，文中采用最大池化，計算公式如下：

G（I）=max（G（i），G（i+1），…，G（i+L－1）），（2）

P=（G（I），G（I+1），…，G（（N－L）/S+1）），（3）

式中：G（i）表示輸入序列在位置i的元素；max表示選擇最大值的操作；G（I）表示進行一次池化操作所得到的結果；P表示池化層的全部輸出，為一維數據序列；N表示整個輸入序列的全部長度；L表示池化窗口的大小；S表示池化窗口的步長，即每個池化窗口移動的距離。

全連接層：將之前卷積和池化層提取的特征重新排成一列，計算公式為

式中：zlj代表第l層第j個輸出；n代表輸入神經元的個數；Hl－1i代表l-1層第i個輸出；Wlij代表示l層中對應的權重；blj代表l層中的偏置；σ（x）表示非線性激活函數。

輸出層：對于故障多分類問題通常采用Softmax函數歸一化，輸出通道與故障模式一一對應，最后以數值最大的通道所對應的故障模式作為網絡輸出。計算公式為

式中：Zi代表第i個數據所對應的輸入數據；n代表所有輸入數據的個數。

2優化卷積神經網絡的化工過程故障診斷方法2.1注意力機制-卷積神經網絡模型

首先以化工過程多參數監測數據作為輸入，故障模式作為輸出，建立1D-CNN故障診斷模型。然后在每個卷積層之后引入一個注意力層，將注意力機制融入到卷積神經網絡結構中，重點關注復雜化工系統中的關鍵故障特征，由此構建注意力機制-卷積神經網絡模型（Attention Convolutional Neural Networks， ACNN），架構如圖1所示。

注意力機制分為單路和多路注意力機制[19]。單路注意力機制只有一個路徑或一種方式來計算注意力權重。多路注意力機制擴展了標準的注意力機制，允許模型在同一層中學習多個不同的注意力權重，以便同時提取輸入數據的多個特征。注意力機制又可分為空間、通道、時間和分支等類型。在CNN中，空間和通道注意力機制最為常用，文中分別引入SE-Net（Squeeze-and-Excitation Networks）和CBAM（Convolutional Block Attention Module）兩種注意力機制，通過性能對比確定最終方案。

1） SE-Net注意力機制

單路的通道注意力機制的SE-Net架構如圖2所示，其過程包括壓縮Fsq和激勵Fex兩個部分。通道數保持不變，每個通道的特征圖通過全局平均池化進行擠壓，再將特征圖擠壓成一個包含全圖特征的實數，最后形成一個特征向量。激勵過程是通過全連接層來學習每個通道的權重，對特征向量應用一個縮放因子，最后自適應地找到能夠表達復雜系統特征重要性高的通道。

2） CBAM注意力機制

CBAM結合了通道和空間的注意力模塊對網絡重要特征進行強化[20]，架構如圖3所示。通道注意力模塊使用全局平均池化和最大池化最大程度地提取數據特征，然后依次送入一個全連接層中，將處理結果相加并采用Sigmoid函數得到通道注意力的權重矩陣，再與原數據相乘得到與輸入數據維數相同的數據。空間注意力模塊是對通道進行壓縮，在通道維度分別進行了平均值池化和最大值池化，將提取的特征進行卷積，再用Sigmoid函數進行激活，最終與通道注意力模塊處理后的數據進行點乘得到輸出數據。表示如下：

MC（F）=σ（MLP（AvgPool（F）+MaxPool（F））），（6）

MS（F）=σ（f（AvgPool（F）;MaxPool（F））），（7）

式中：f（·）表示卷積操作；σ（·）表示Sigmoid函數；Mc（F）表示通道注意力模塊所提取的特征；Ms（F）表示空間注意力模塊所提取的特征。

2.2HA-CNN的超參數優化

在CNN中，超參數往往指訓練之前就已經確定好的參數，例如學習率、遺忘率、批尺寸等。超參數優化是一個尋找最優超參數組合以實現最佳網絡性能的過程，通過不斷調整超參數組合，深入挖掘訓練數據的內在特征，從而獲得對具有相似特征的未知數據集的良好識別能力[21]。因此參數設置是否適當對CNN模型的性能有著決定性的作用。目前，常用的超參數優化算法有網格搜索、隨機采樣、貝葉斯優化、TPE等[22]。

針對化工過程監測數據的高維度、非線性和多變量強耦合等特點，研究采用TPE方法對已建立的ACNN模型進行超參數自動優化，構建超參數-注意力機制卷積神經網絡（Hyperparametric optimization-Attention mechanism Convolutional Neural Network， HA-CNN）故障診斷模型。TPE方法通過構建一個樹型結構模型，并使用Parzen窗函數估計每個超參數的概率分布。相比于傳統的網格搜索、遺傳算法等方法，TPE方法可以自適應地調整參數搜索空間大小，高效地尋找神經網絡全局最優解，特別適用于高維復雜問題。其樹型結構將每個超參數視為一個節點，而超參數之間的關系則被視為樹枝，這種結構能夠捕捉到超參數之間的依賴關系，并使得TPE方法能夠更有效地搜索超參數空間。

與TPE相融合的ACNN方法的架構如圖4所示。研究對ACNN中的卷積核尺寸、學習率、權重衰減因子等八種超參數進行優化，輸出的最優解即為ACNN模型的最優參數，由此建立HA-CNN模型。

2.3故障診斷性能評價指標

為了全面地評價所建狀態監測和故障診斷模型的性能，研究采用準確率（Accuracy）、故障診斷率（Fault Diagnosis Rate， FDR）作為檢驗指標。準確率采用預測結果正確的樣本數量除以總的樣本數量來表示。故障診斷率表示第i種預測結果正確的樣本數量占第i種樣本總量的比例。

2.4優化CNN的故障診斷方法

研究提出的基于優化卷積神經網絡的化工過程故障診斷方法包括離線建模和在線故障診斷兩部分，其流程圖如圖5所示。

2.4.1離線建模

1） 數據預處理

把收集到的正常和故障工況歷史數據劃分成狀態監測數據集和故障診斷數據集，均采用Z-score方法進行標準化處理，以消除不同量綱對于特征提取過程的影響。

2） 建立CNN狀態監測模型

為了快速、準確地進行狀態監測，研究首先建立二分類CNN狀態監測模型直接反映設備的工作狀態。狀態監測模型的輸出為二分類：正常或故障工況。將已經完成預處理的狀態監測數據集分成為訓練集和測試集，通過訓練過程的多次迭代和參數更新，以測試樣本預測結果的準確率作為評價指標，確定最優的CNN參數，保存模型。

3） 建立HA-CNN故障診斷模型

為了更好地評估和優化故障診斷模型，把故障診斷數據集劃分為訓練集、驗證集和測試集。

首先引入注意力機制優化網絡結構，構建ACNN多分類故障診斷模型。將時序排列的多個監測數據作為模型輸入，把相應的故障模式編號作為輸出；定義網絡結構，如網絡的層數、隱藏層的節點數、卷積核的尺寸、激活函數等；設定訓練的次數、批量大小等。采用故障診斷訓練集和驗證集進行多次訓練，把驗證集準確率最高的ACNN模型作為最優的網絡模型并保存。

之后，將故障診斷中的訓練集和驗證集進行TPE超參數優化，進行學習率、權重衰減因子等連續參數和輸入樣本數、隱藏層節點等非連續參數的迭代優化，根據不同超參數組合的準確率結果，選取出最優超參數組合。確定最優超參數組合后，再用故障診斷中的訓練集和驗證集進行訓練，選取出最高的驗證集準確率所對應的神經網絡參數值作為該模型參數的最優值。

最后采用故障診斷中的測試集進行測試，故障診斷準確率滿足要求即最終完成HA-CNN模型的構建。

2.4.2在線故障診斷

1） 把采集到的實時工況數據采用Z-score方法進行標準化預處理。

2） 將預處理后的實時工況數據作為CNN狀態監測模型的輸入，由網絡輸出判斷是否發生故障。當該神經網絡輸出結果表示為正常工況時，繼續進行下一時刻的數據采集和監測；當該神經網絡輸出結果表示為故障工況時，將工況監測數據輸入到HA-CNN模型中進行故障模式識別，根據不同的故障類型發出相應的故障預警，提醒操作和維修人員依據工況變化，做好維修準備。

3實例分析

研究采用田納西-伊斯曼（Tennessee Eastman，TE）過程來驗證所提出方法的有效性。TE仿真模型來自文獻[23]，采用預置模態1進行仿真。每個數據樣本有53個觀測變量，包括41個測量變量和12個控制變量，其中測量變量包括22個連續測量變量和19個組分測量變量。由于控制變量中的壓縮機循環閥XMV-5開度、汽提塔再沸器加熱蒸汽閥XMV-9開度和攪拌器速度XMV-12都是常量，這三個常量不予考慮，只選取其他的50個觀測變量進行研究。

在數據采集中，對于預設的20種故障工況均進行5次重復仿真。首先正常工況運行8小時，之后引入故障運行20小時。每3分鐘采集1次數據，每小時得到20個樣本。考慮到故障模式6在故障引入后，只能持續運行7小時，為了保持數據集中各種故障模式樣本數量的一致性，故障模式6共重復模擬了15次。上述仿真得到的故障樣本分別作為狀態監測數據集（隨機抽取1次）和故障診斷數據集（剩下4次）。

狀態監測數據集分為訓練集和測試集，由于是二分類網絡，所以訓練集和測試集中只設置了正常工況數據集和故障工況數據集。正常工況仿真單獨運行了300小時，前200小時得到的樣本用于訓練集，后100個小時得到的樣本用于測試集；故障樣本分別取每種故障模式仿真得到的前10個小時和之后5個小時的樣本。

故障診斷數據集分為三部分，其中隨機取50%的仿真數據用于訓練集、另外50%的樣本平均分配分別用于驗證集和測試集。上述的所有數據都按照2.4.1中的方法進行預處理，各數據樣本數量如表1所示。

3.1離線狀態監測建模

首先建立1D-CNN狀態監測模型，由兩層卷積構成，網絡中的各項超參數設置如下：dropout為0.2，lr為0.01，weight_decay為0.005，卷積核的大小為4，隱藏層節點為40，1D-CNN輸入的樣本個數n_sample為3。圖6為該模型迭代50次之后的訓練集和測試集的準確率。

由圖6可知，測試集到第35次整體監測準確率基本穩定，第49次達到最大值99.37%，表明該模型能夠有效地實現對化工生產過程的狀態監測。

3.2離線故障診斷建模

為尋找1D-CNN最優故障診斷模型，根據輸入批次大小，卷積核及卷積層和池化層個數不同，共建立了10種不同網絡層數和結構的CNN（如表2所示）。采用故障診斷訓練集中的數據作為輸入，與輸入相對應的故障模式從1到20進行編號作為輸出標簽。每種網絡模型訓練50個epoch，運行10次作為1組，共運行10組。各種網絡架構的訓練結果如圖7和表3所示。

由圖7和表3可知，在10種CNN架構中，從總體上看，Model 5訓練結果的平均準確率最高，因而確定Model 5作為故障診斷卷積神經網絡的框架。從以上數據中還可以看出，一方面，雖然網絡層數的增加理論上會提升整體的準確率，但過多的神經網絡層數結構會導致過擬合現象，從而影響網絡特征提取的準確率。另一方面，適當增加批尺寸大小和卷積層輸出維數可以提高網絡特征提取準確率。

之后，將注意力機制融入到Model 5中，分別建立基于SE-Net和CBAM的ACNN模型，通過比較兩種網絡模型訓練結果的準確率來確定最優的ACNN架構。將上述兩個模型均進行50次樣本迭代訓練，記錄最高準確率，連續運行5組，故障診斷準確率如圖8所示。由圖8可知，在三種模型中，多路注意力機制的CBAM-1D-CNN的故障診斷準確率最高，因而選用CBAM與1D-CNN相融合，得到ACNN模型。

由圖9可知第8組超參數組合的準確率最高，其最優超參數具體數值如表4所示。超參數優化后的卷積神經網絡即為HA-CNN模型。將HA-CNN模型對訓練集和驗證集進行50次迭代，故障診斷準確率和損失值如圖10和圖11所示。

由圖10和11可知，經過30次迭代后，訓練和驗證過程的收斂都趨于穩定，而且驗證集的故障診斷準確率最高達到了90.68%。最終把測試集數據作為故障診斷樣本進行預處理輸入到已建立的神經網絡模型，運行網絡后各故障模式診斷結果的混淆矩陣如圖12所示，由于每次進入網絡的樣本數都為4，所以實際故障診斷個數為397個。1D-CNN、SE-1D-CNN、CBAM-1D-CNN和HA-CNN的測試集故障診斷結果對比如表5所示。

由表5可知，HA-CNN模型的整體故障診斷準確率為88.33%，與標準1D-CNN模型相比，故障診斷準確率提高了15.64%，與SE-1D-CNN模型相比，故障診斷準確率提高了13.66%，與CBAM-1D-CNN模型相比，故障診斷準確率提高了6.8%；而且與其他方法相比，HA-CNN方法對于故障3、5、9和15等難以檢測的故障檢出率以及整體的檢出率都有明顯的提升。其中，故障3、5、9和15都與溫度有關，在整個過程控制系統中，溫度的變化存在滯后性，因而與溫度相關聯的工藝參數之間的相互作用也存在滯后性。例如，故障9為反應器冷卻水溫度變化，該參數變化直接影響反應器內溫度，進而影響反應速率和反應的正常進行，但是冷卻水與反應器溫度之間作用有嚴重的滯后性，反應器冷卻水溫度變化，并不能很快地反映反應器相關各工藝參數的變化，因此，這種滯后性可能會造成故障診斷方法準確率低和發生漏檢，但運用研究所提出的方法該故障診斷準確率也達到了70.03%。

由表5還可以看出，HA-CNN方法與文獻[24]中DBN（Deep Belief Network）方法相比，顯著提高了整體故障診斷準確率，且故障15、16的診斷準確率明顯提升。與文獻[25]中AAE（Adversarial Autoencoder）和文獻[26]中HGAN（High-Efficiency Generative Adversarial Network）方法相比，HA-CNN方法不僅整體準確率高于二者，而且明顯提高了故障3、5、9、15的診斷準確率。以上結果說明HA-CNN方法增強了神經網絡的魯棒性，能夠提取復雜化工過程中其他方法難以提取到的參數滯后特征，從而驗證了該故障診斷方法的有效性。

4結論

為了深度挖掘高維、高度耦合、非線性的化工過程海量監測數據的特征，提出了優化的CNN化工過程故障診斷方法。基于化工過程大數據，建立1D-CNN模型，把多路注意力機制CBAM引入到CNN中，強化網絡重要特征，建立ACNN故障診斷模型，從而重點關注化工過程中物質、能量和信息傳遞的復雜關系，以增強網絡特征提取能力。為了進一步提高ACNN模型參數優化的效率和有效性，把TPE方法與ACNN相融合進行超參數自適應優化，以增強神經網絡的泛化能力和魯棒性，從而建立了基于優化CNN的離線和在線智能故障診斷模型。

TE過程實例驗證結果表明，對于多故障模式，優化的CNN模型故障診斷準確率高，與標準CNN模型相比，整體故障診斷準確率提高了15.64%，特別是對于與溫度相關的滯后型故障，采用該方法可以明顯提高故障診斷準確率，從而可為化工安全生產提供可靠的依據。

參考文獻

[1] 仇登可， 侯士超， 劉鋒. 反演在化工過程故障診斷中的探索[J]. 化工管理， 2022（27）： 136-139.

QIU D K， HOU S C， LIU F.Exploration of inversion in fault diagnosis of chemical process[J]. Chemical Management， 2022（27）： 136-139.

[2] 張偉， 王連彪， 張廣帥. 基于RF-RFECV和PSO-SVM的化工過程故障診斷方法[J]. 青島科技大學學報（自然科學版）， 2022， 43（5）： 101-108.

ZHANG W， WANG L B， ZHANG G S. Fault diagnosis method of chemical process based on RF-RFECV and PSO-SVM[J]. Journal of Qingdao University of Science and Technology（Natural Science Edition）， 2022，43（5）： 101-108.

[3] 任玉佳. 基于機理相關分析貝葉斯網絡的化工過程故障診斷[D]. 青島： 青島科技大學， 2020.

REN Y J.Fault diagnosis of chemical process using mechanism correlation based Bayesian network[D]. Qingdao： Qingdao University of Science and Technology， 2020.

[4] YAO L， GE Z Q. Deep learning of semisupervised process data with hierarchical extreme learning machine and soft sensor application[J]. IEEE Transactions on Industrial Electronics， 2018， 65（2）： 1490-1498.

[5] LIU Y， YANG C， GAO Z L， et al. Ensemble deep kernel learning with application to quality prediction in industrial polymerization processes[J]. Chemometrics amp; Intelligent Laboratory Systems， 2018， 174： 15-21.

[6] 楊曉暉， 王衛賓. 基于門控圖神經網絡的謠言檢測模型[J]. 燕山大學學報， 2023， 47（1）： 73-81.

YANG X H， WANG W B. Rumor detection model based on gated graph neural network[J]. Journal of Yanshan University， 2023， 47（1）： 73-81.

[7] 陳奧. 基于改進多元統計方法的故障診斷技術研究[D]. 哈爾濱： 哈爾濱工業大學， 2017.

CHEN A.The research on the modified multivariate statistics based fault diagnosis technology[D]. Harbin：Harbin Institute of Technology， 2017.

[8] 吳昊臻， 許燕， 周建平， 等. 基于卷積神經網絡的抽油機故障診斷[J]. 燕山大學學報， 2024， 48（1）： 30-38.

WU H Z， XU Y， ZHOU J P， et al.Fault diagnosis of pumping unit based on convolutional neural network[J]. Journal of Yanshan University， 2024， 48（1）： 30-38.

[9] 時培明， 吳術平， 于越， 等. 基于注意力機制和深度殘差網絡的滾動軸承故障診斷[J]. 燕山大學學報， 2024， 48（1）： 39-47.

SHI P M， WU S P， YU Y， et al.Rolling bearing fault diagnosis based on attention mechanism and depth residual network[J]. Journal of Yanshan University， 2024， 48（1）： 39-47.

[10] JIA F， LEI Y G， GUO L， et al. A neural network constructed by deep learning technique and its application to intelligent fault diagnosis of machines[J]. Neurocomputing， 2018， 272： 619-628.

[11] 張士發. 基于深度學習與符號有向圖的化工過程故障診斷[D]. 青島： 青島科技大學， 2023.

ZHANG S F. Fault diagnosis of chemical process based on deep learning and signed directed graph[D]. Qingdao： Qingdao University of Science and Technology， 2023.

[12] 程誠， 任佳. 一種基于雷達圖表示的數值型數據CNN分類方法[J]. 信息與控制， 2019， 48（4）： 429-436.

CHENG C， REN J.A classification method of CNN for numerical data based on radar chart representation[J]. Information and Control， 2019， 48（4）： 429-436.

[13] 蘇堪裂. 基于卷積神經網絡的化工過程故障診斷研究[D]. 廣州： 華南理工大學， 2020.

SU K L. Fault diagnosis of chemical process based on convolutional neural network research[D]. Guangzhou：South China University of Technology， 2020.

[14] WU H， ZHAO J S. Deep convolutional neural network model based chemical process fault diagnosis[J]. Computers amp; Chemical Engineering， 2018， 115： 185-197.

[15] 張佳鑫， 張淼， 戴一陽， 等. 面向實際化工過程故障診斷的強化深度卷積神經網絡模型構建與應用[J].化工進展， 2024， 43（9）： 4833-4844.

ZHANG J X， ZHANG M， DAI Y Y， et al. Design and application of enhanced DCNN model for fault diagnosis in practical chemical processes [J]. Chemical Industry and Engineering Progress， 2024， 43（9）： 4833-4844.

[16] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[17] FUKUSHIMA K. Neocognitron： a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position[J]. Biological Cybernetics， 1980， 36（4）： 193-202.

[18] 張新魁. 基于自組織網絡的PX化工過程故障診斷識別研究[D]. 秦皇島： 燕山大學， 2023.

ZHANG X K.Research on fault diagnostic recognition in PX chemical process based on self-organization network[D]. Qinhuangdao： Yanshan University， 2023.

[19] 朱張莉， 饒元， 吳淵， 等. 注意力機制在深度學習中的研究進展[J]. 中文信息學報， 2019， 33（6）： 1-11.

ZHU Z L， RAO Y， WU Y， et al.Research progress of attention mechanism in deep learning[J]. Journal of Chinese Information Processing， 2019， 33（6）： 1-11.

[20] YAN X A， YAN W J， XU Y D， et al. Machinery multi-sensor fault diagnosis based on adaptive multivariate feature mode decomposition and multi-attention fusion residual convolutional neural network[J]. Mechanical Systems and Signal Processing， 2023， 202： 1-33.

[21] BERGSTRA J， BARDENET R， BENGIO Y， et al. Algorithms for hyper-parameter optimization[C] //International Conference on Neural Information Processing Systems.Red Hook， USA：Curran Associates Inc.，2011： 2546-2554.

[22] 羅敏， 楊勁鋒， 俞蕙， 等. 基于TPE優化集成學習的短期負荷預測方法[J/OL]. 上海交通大學學報.（2023-05-30）[2023-11-09].https：//doi.org/10.16183/j.cnki.jsjtu. 2022.483.

LUO M， YANG J F， YU H， et al. TPE-based boosting short-term load forecasting method online first[J/OL]. Journal of Shanghai Jiaotong University.（2023-05-30）[2023-11-09].https：//doi.org/10.16183/j.cnki.jsjtu. 2022.483.

[23] BATHELT A， RICKER N L， JELALI M. Revision of the Tennessee Eastman process model[J]. IFAC-PapersOnLine， 2015， 48（8）： 309-314.

[24] ZHANG Z P， ZHAO J S. A deep belief network based fault diagnosis model for complex chemical processes[J]. Computers amp; Chemical Engineering， 2017， 107： 395-407.

[25] JANG K， HONG S， KIM M， et al. Adversarial autoencoder based feature learning for fault detection in industrial processes[J]. IEEE Transactions on Industrial Informatics， 2021， 18（2）： 827-834.

[26] QIN R S， ZHAO J S. High-efficiency generative adversarial network model for chemical process fault diagnosis[J].IFAC-PapersOnLine， 2022， 55（7）： 732- 737.

Fault diagnosis method based on optimized convolutional

neural network for chemical process

HU Yupeng1， GUO Lijie1， ZHANG Zilong1， KANG Jianxin1，2， CUI Chaoyu1， QIAO Guiying1

（1. School of Environmental and Chemical Engineering， Yanshan University， Qinhuangdao， Hebei 066004， China;

2. Hebei Key Laboratory of Applied Chemistry，Yanshan University， Qinhuangdao， Hebei 066004， China）

Abstract： In order to extract effective fault features from the massive monitoring data of complex chemical process， a fault diagnosis method for chemical process based on optimized Convolutional Neural Network （CNN） is proposed to find faults in time and accurately identify the fault cause. Firstly， a one-dimensional CNN for binary classification is constructed to improve the efficiency of condition monitoring. Secondly， to address the issue that CNN cannot evaluate the importance of network feature data， the attention mechanism is introduced into the fault diagnosis model of CNN， which can effectively capture feature details and suppress interference information. Different weights are assigned to the importance of the network feature data to realize the automatic extraction of key fault features for complex chemical systems. Then， to tackle the low efficiency challenge in manual hyperparameter optimization， the Tree-structured Parzen Estimator （TPE） hyperparameter optimization technology is used to realize the precise tuning of hyperparameter combination with flexible modeling method and efficient acquisition function. The optimized fault diagnosis model of CNN is constructed. Finally， the Tennessee Eastman （TE） process is used to verify the effectiveness of the proposed method. The results show that the proposed method can detect multiple failure modes in a timely and effective manner， which can provide a reliable decision-making basis for maintenance staff.

Keywords： convolutional neural network; chemical process; fault diagnosis; attention mechanism; hyperparameter optimization