基于網(wǎng)絡(luò)結(jié)構(gòu)搜索的工業(yè)過(guò)程自動(dòng)故障診斷方法

摘 要：針對(duì)現(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的工業(yè)過(guò)程故障診斷方法存在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)煩瑣及參數(shù)尋優(yōu)耗時(shí)等問(wèn)題，提出了一種基于網(wǎng)絡(luò)結(jié)構(gòu)搜索的工業(yè)過(guò)程自動(dòng)故障診斷方法（automatic fault diagnosis，AutoFD），該方法采用AutoFD網(wǎng)絡(luò)結(jié)構(gòu)搜索算法，來(lái)自動(dòng)完成卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和網(wǎng)絡(luò)參數(shù)尋優(yōu)。在此基礎(chǔ)上，首先通過(guò)在原始數(shù)據(jù)上施加操作生成新通道;接著利用表現(xiàn)預(yù)測(cè)加速獲取通道適應(yīng)性排序的過(guò)程;然后依據(jù)通道適應(yīng)性排序，通過(guò)表現(xiàn)預(yù)測(cè)來(lái)快速選取最優(yōu)卷積通道數(shù);最終根據(jù)最優(yōu)卷積通道來(lái)搜索表現(xiàn)最優(yōu)的多通道卷積神經(jīng)網(wǎng)絡(luò)模型用于工業(yè)過(guò)程自動(dòng)故障診斷。采用田納西—伊斯曼（Tennessee Eastman，TE）工業(yè)過(guò)程和數(shù)值系統(tǒng)對(duì)提出方法進(jìn)行驗(yàn)證，結(jié)果表明該方法可以實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)設(shè)計(jì)及網(wǎng)絡(luò)參數(shù)的自動(dòng)尋優(yōu)，并且具有優(yōu)良的故障診斷性能。

關(guān)鍵詞：自動(dòng)故障診斷； 工業(yè)過(guò)程； 網(wǎng)絡(luò)結(jié)構(gòu)搜索； 多通道卷積神經(jīng)網(wǎng)絡(luò)； 表現(xiàn)預(yù)測(cè)

中圖分類號(hào)：TP277 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）03-028-0807-07

doi：10.19734/j.issn.1001-3695.2021.08.0362

基金項(xiàng)目：遼寧省“興遼英才計(jì)劃”資助項(xiàng)目（XLYC1808009）

作者簡(jiǎn)介：李顯（1997-），男，江蘇宿遷人，碩士研究生，主要研究方向?yàn)榛谧詣?dòng)機(jī)器學(xué)習(xí)的工業(yè)過(guò)程故障診斷；李歆（1981-），男，河北昌黎人，碩導(dǎo)，研究員，主要研究方向?yàn)榭梢暬⒐I(yè)自動(dòng)化、煙草、制藥等制造執(zhí)行系統(tǒng)研發(fā)與應(yīng)用；周曉鋒（1978-），女（通信作者），遼寧本溪人，碩導(dǎo)，副研究員，主要研究方向?yàn)檫^(guò)程檢測(cè)和故障診斷（1451024473@qq.com）；李帥（1988-），男，遼寧錦州人，碩導(dǎo)，副研究員，博士研究生，主要研究方向?yàn)閺?fù)雜工業(yè)過(guò)程檢測(cè)與故障診斷；金樑（1991-），男，吉林德惠人，助理研究員，碩士，主要研究方向?yàn)榇髷?shù)據(jù)機(jī)器學(xué)習(xí).

Automatic fault diagnosis method based on neural architecture search for industrial processes

Li Xian^{1，2，3，4}， Li Xin^1，2，3， Zhou Xiaofeng^1，2，3?， Li Shuai^{1，2，3，4}， Jin Liang^1，2，3

（1.Key Laboratory of Networked Control Systems， Chinese Academy of Sciences， Shenyang 110016， China; 2.Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110016， China; 3.Institutes for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China; 4.University of Chinese Academy of Sciences， Beijing 100049， China）

Abstract：In the industrial process， the existing fault diagnosis methods based on deep neural network are a challenging pro-blem due to complicated network structure design and time-consuming parameter optimization. To achieve the problem， this paper proposed an automatic fault diagnosis method （AutoFD） based on neural architecture search. The method used the AutoFD neural architecture search （NAS） algorithm to automatically complete the network structure design of the convolutional neural network and the optimization of the network parameters. On this basis， some new channels were firstly generated by operating the original data. Performance prediction was then used to speed up the process of acquiring channel adaptive sorting， and the optimal number of convolutional channels was quickly selected according to the adaptive sorting of the channels. Finally， through the optimal convolution channels， the best-performing multi-channel convolutional neural network model for automatic fault diagnosis in chemical processes could be searched. It was applied to the Tennessee Eastman （TE） industrial process and numerical system for fault diagnosis to verify the proposed method. The results show that the AutoFD method can automatically design the network structure and optimize the parameters of the multi-channel convolutional neural network， which has excellent performance in fault diagnosis.

Key words：automatic fault diagnosis; complex industrial processes; neural architecture search; multi-channel convolution neural network; performance prediction

0 引言

隨著工業(yè)生產(chǎn)設(shè)備的不斷升級(jí)，工藝流程自動(dòng)化、數(shù)字化程度大幅提高，工業(yè)過(guò)程的故障診斷技術(shù)已經(jīng)成為工業(yè)過(guò)程中預(yù)防事故、保障工業(yè)生產(chǎn)安全進(jìn)行、穩(wěn)健工業(yè)發(fā)展的重要組成部分^[1]。工業(yè)過(guò)程中會(huì)產(chǎn)生大量的運(yùn)行數(shù)據(jù)，因此基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷技術(shù)逐漸成為學(xué)術(shù)界研究的熱點(diǎn)。基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法可分為統(tǒng)計(jì)學(xué)習(xí)、淺層學(xué)習(xí)和深度學(xué)習(xí)方法。

用于故障診斷的統(tǒng)計(jì)方法包括主成分分析法（principal component analysis，PCA）^[2]、獨(dú)立成分分析法（independent component correlation algorithm，ICA）^[3]、偏最小二乘法^[4]（partial least squares，PLS）和Fisher判別分析（Fisher discriminant analysis，F(xiàn)DA）^[5]等。用于故障診斷的淺層學(xué)習(xí)方法包括支持向量機(jī)（support vector machine，SVM）^[6]、高斯混合模型（Gaussian mixture model，GMM）^[7]。統(tǒng)計(jì)學(xué)習(xí)和淺層學(xué)習(xí)方法的模型雖然簡(jiǎn)單，但是通常需要復(fù)雜的特征工程。數(shù)據(jù)和特征決定了上限，模型和算法只是去逼近這個(gè)上限，特征的好壞將會(huì)直接影響故障診斷結(jié)果。深度學(xué)習(xí)方法很好地彌補(bǔ)了統(tǒng)計(jì)學(xué)習(xí)和淺層學(xué)習(xí)存在的缺陷，在故障診斷領(lǐng)域也取得了一些研究成果。如文獻(xiàn)[8]使用稀疏自編碼器提取數(shù)據(jù)，然后訓(xùn)練網(wǎng)絡(luò)以完成故障分類。Zhang等人^[9]提出了一種可擴(kuò)展的深度信念網(wǎng)絡(luò)（extensible deep belief net，EDBN）解決故障診斷問(wèn)題。但是深度學(xué)習(xí)方法的網(wǎng)絡(luò)模型設(shè)計(jì)煩瑣、耗時(shí)，并且需要相關(guān)領(lǐng)域的專家完成網(wǎng)絡(luò)的設(shè)計(jì)。

網(wǎng)絡(luò)結(jié)構(gòu)搜索（neural architecture search，NAS）可以自動(dòng)化網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的手動(dòng)過(guò)程，在計(jì)算機(jī)視覺(jué)領(lǐng)域已經(jīng)取得了領(lǐng)先的水平。網(wǎng)絡(luò)結(jié)構(gòu)搜索可以表示成選取特定操作組成特定網(wǎng)絡(luò)結(jié)構(gòu)的組合問(wèn)題，暴力地枚舉所有可能的情況，分別進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證，必然可以得到一個(gè)最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)，但是非常耗費(fèi)計(jì)算資源和時(shí)間，可以建立一些搜索的策略來(lái)優(yōu)化暴力枚舉的過(guò)程。Baker等人^[10]提出將網(wǎng)絡(luò)結(jié)構(gòu)搜索建模成馬爾可夫決策過(guò)程進(jìn)行搜索。文獻(xiàn)[11]通過(guò)強(qiáng)化學(xué)習(xí)（reinforcement learning）指導(dǎo)網(wǎng)絡(luò)結(jié)構(gòu)的搜索。Real等人^[12]利用進(jìn)化算法（evolutionary algorithm，EA）優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)搜索過(guò)程。雖然以上的搜索策略可以指導(dǎo)網(wǎng)絡(luò)的搜索過(guò)程，但是搜索和驗(yàn)證仍然需要大量的計(jì)算資源。對(duì)此Brock等人^[13]提出訓(xùn)練一個(gè)輔助網(wǎng)絡(luò)來(lái)動(dòng)態(tài)生成不同結(jié)構(gòu)模型的權(quán)重，節(jié)約驗(yàn)證時(shí)間。Elsken等人^[14]通過(guò)權(quán)重共享減少網(wǎng)絡(luò)的訓(xùn)練內(nèi)容。Zoph等人^[15]采用層次化表示縮減搜索空間。Liu等人^[16]定義了一種層次化的網(wǎng)絡(luò)結(jié)構(gòu)加速網(wǎng)絡(luò)的搜索。經(jīng)過(guò)以上方法對(duì)搜索空間、訓(xùn)練時(shí)間、模型參數(shù)的改進(jìn)，NAS對(duì)于時(shí)間和計(jì)算資源不再有過(guò)高的要求。NAS也在一些新的領(lǐng)域有了應(yīng)用，如Chen等人^[17]將NAS應(yīng)用到語(yǔ)義分割領(lǐng)域，Tan等人^[18]將NAS從單目標(biāo)改進(jìn)為多目標(biāo)，都取得了較好的結(jié)果。雖然NAS在工業(yè)過(guò)程故障診斷方向尚無(wú)應(yīng)用，但在工業(yè)領(lǐng)域方面實(shí)現(xiàn)自動(dòng)故障診斷有很大的應(yīng)用前景。

為解決手動(dòng)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型需要專家經(jīng)驗(yàn)和故障診斷領(lǐng)域知識(shí)等問(wèn)題，本文提出了AutoFD方法，將NAS進(jìn)行改進(jìn)并應(yīng)用于工業(yè)過(guò)程故障診斷，可以省去設(shè)計(jì)網(wǎng)絡(luò)過(guò)程中反復(fù)調(diào)試、試錯(cuò)、分析這些耗時(shí)的步驟，實(shí)現(xiàn)自動(dòng)化設(shè)計(jì)故障診斷模型。AutoFD方法利用連續(xù)松弛優(yōu)化，賦予操作權(quán)重來(lái)表示操作的重要性，將離散的網(wǎng)絡(luò)結(jié)構(gòu)搜索過(guò)程連續(xù)化，通過(guò)連續(xù)更新操作權(quán)重來(lái)替代離散的選擇過(guò)程，提升了網(wǎng)絡(luò)結(jié)構(gòu)搜索的效率。并且還采用多通道卷積增強(qiáng)網(wǎng)絡(luò)的表現(xiàn)能力，接著利用表現(xiàn)預(yù)測(cè)優(yōu)化輸入通道的選擇過(guò)程。

本文的主要貢獻(xiàn)如下：

a）提出的AutoFD方法將改進(jìn)的NAS用于工業(yè)過(guò)程故障診斷，實(shí)現(xiàn)了自動(dòng)化設(shè)計(jì)故障診斷模型，避免了復(fù)雜、耗時(shí)的網(wǎng)絡(luò)設(shè)計(jì)過(guò)程。

b）AutoFD方法采用多通道卷積來(lái)增強(qiáng)網(wǎng)絡(luò)的表現(xiàn)能力，使得更淺層的網(wǎng)絡(luò)模型可以表示更為復(fù)雜的判別函數(shù)。接著通過(guò)表現(xiàn)預(yù)測(cè)加速尋找最優(yōu)卷積通道和最優(yōu)卷積通道數(shù)的過(guò)程。

1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種深度學(xué)習(xí)網(wǎng)絡(luò)，它通過(guò)卷積層、池化層來(lái)學(xué)習(xí)輸入數(shù)據(jù)的局部特征^[19]。卷積神經(jīng)網(wǎng)絡(luò)的顯著特點(diǎn)是權(quán)值共享，由于權(quán)值數(shù)量減少，網(wǎng)絡(luò)的復(fù)雜度更低。卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個(gè)多層感知機(jī)，這種網(wǎng)絡(luò)對(duì)平移、比例縮放、傾斜或者其他形式的變形具有一定的不變性。卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層和池化層構(gòu)成。卷積的過(guò)程如圖1所示，設(shè)特征圖輸入的空間坐標(biāo)為（x，y），卷積核大小是p×q，卷積核權(quán)重為w，特征值為v，卷積過(guò)程就是卷積核所有權(quán)重與其在輸入特征圖上對(duì)應(yīng)的特征值之和，可以表示為

卷積包含了單通道卷積和多通道卷積，單通道卷積^[20]過(guò)程如圖1所示，以圖中一次卷積得到新的特征作為判別函數(shù)的變量，網(wǎng)絡(luò)訓(xùn)練后的判別函數(shù)為

雙通道卷積過(guò)程如圖2所示，同樣以圖中一次卷積得到的新特征作為判別函數(shù)的變量，網(wǎng)絡(luò)訓(xùn)練后的判別函數(shù)為

池化是一種降采樣操作，主要目的是降低特征圖的特征空間。特征圖太多不利于高層特征的抽取，目前主要的池化操作有最大值池化（max pooling）和平均值池化（average pooling）。如圖3所示，2×2的max pooling就是保留四個(gè)像點(diǎn)中的最大值，2×2的average pooling就是取四個(gè)點(diǎn)的平均值。

2 AutoFD方法

針對(duì)現(xiàn)有基于深度神經(jīng)網(wǎng)絡(luò)的工業(yè)過(guò)程故障診斷方法存在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)煩瑣及參數(shù)尋優(yōu)耗時(shí)等問(wèn)題，本文提出了AutoFD實(shí)現(xiàn)工業(yè)過(guò)程自動(dòng)故障診斷。該方法在利用改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)搜索算法實(shí)現(xiàn)自動(dòng)設(shè)計(jì)網(wǎng)絡(luò)模型及參數(shù)尋優(yōu)的基礎(chǔ)上，首先通過(guò)對(duì)原始通道施加一系列的操作來(lái)生成新的通道，再利用表現(xiàn)預(yù)測(cè)來(lái)快速評(píng)估新通道的適應(yīng)性，接著利用表現(xiàn)預(yù)測(cè)選取最優(yōu)的卷積通道數(shù)，最后利用網(wǎng)絡(luò)結(jié)構(gòu)搜索算法搜索最優(yōu)的多通道卷積神經(jīng)網(wǎng)絡(luò)模型。AutoFD的核心思想可以總結(jié)為網(wǎng)絡(luò)結(jié)構(gòu)搜索和自動(dòng)通道選取，具體可以分為網(wǎng)絡(luò)結(jié)構(gòu)搜索階段、獲取通道適應(yīng)性排序階段和獲取最優(yōu)卷積通道數(shù)階段三個(gè)階段。AutoFD方法的流程如圖4所示。

2.1 AutoFD網(wǎng)絡(luò)結(jié)構(gòu)搜索算法

2.1.1 搜索空間

在網(wǎng)絡(luò)結(jié)構(gòu)搜索階段采用了AutoFD網(wǎng)絡(luò)結(jié)構(gòu)搜索算法來(lái)實(shí)現(xiàn)自動(dòng)網(wǎng)絡(luò)搜索，算法采用層次化表示來(lái)表示網(wǎng)絡(luò)，將網(wǎng)絡(luò)看成只由兩種網(wǎng)絡(luò)單元（正常單元、減少單元）重復(fù)堆疊而成，所以只需要搜索兩種網(wǎng)絡(luò)單元就可以完成整個(gè)網(wǎng)絡(luò)的搜索。

圖5表示了AutoFD網(wǎng)絡(luò)結(jié)構(gòu)搜索算法搜索網(wǎng)絡(luò)單元的過(guò)程。一個(gè)單元用一個(gè)有向無(wú)環(huán)圖來(lái)表示，每個(gè)有向無(wú)環(huán)圖由n個(gè)順序排列的節(jié)點(diǎn)構(gòu)成，每一個(gè)節(jié)點(diǎn)表示網(wǎng)絡(luò)里邊的一個(gè)特征圖^[20]。邊表示對(duì)起點(diǎn)特征圖進(jìn)行的操作集，操作完的結(jié)果放入終點(diǎn)，節(jié)點(diǎn)i到j(luò)的邊用eij來(lái)表示，邊eij的操作用oi，j（xi）來(lái) 表示，中間節(jié)點(diǎn)j收集了它所有前繼節(jié)點(diǎn)的傳入結(jié)果，即

2.1.2 連續(xù)松弛優(yōu)化

利用連續(xù)松弛優(yōu)化來(lái)優(yōu)化搜索過(guò)程，用O={o¹i，j，o²i，j，…，o^Mi，j，}表示在邊eij中M個(gè)候選操作的集合。這些候選操作是離散的，將操作賦予一個(gè)權(quán)重α，并通過(guò)softmax函數(shù)將這些權(quán)值進(jìn)行變換，把操作集O里所有的操作混合在一起，得到一個(gè)混合輸出：

這樣每個(gè)操作oi，j就和一個(gè)與其相對(duì)應(yīng)的權(quán)重系數(shù)αoi，j聯(lián)系起來(lái)。連續(xù)松弛優(yōu)化用連續(xù)的權(quán)重系數(shù)來(lái)表示離散的候選操作。這個(gè)連續(xù)的權(quán)重系數(shù)表示對(duì)應(yīng)的操作在網(wǎng)絡(luò)單元中的重要程度，因此可以對(duì)網(wǎng)絡(luò)在驗(yàn)證集上的表現(xiàn)采用梯度下降法來(lái)快速更新各個(gè)操作的權(quán)重，有效避免了訓(xùn)練所有可能的網(wǎng)絡(luò)單元并選出表現(xiàn)好的網(wǎng)絡(luò)單元這一耗時(shí)的過(guò)程。在搜索完成后，選取每條邊中權(quán)重系數(shù)的最大值所對(duì)應(yīng)的操作作為這條邊的最終操作，i.e.，o^（i，j）=arg maxo∈Oα^（i，j）o。

通過(guò)連續(xù)松弛優(yōu)化將網(wǎng)絡(luò)結(jié)構(gòu)搜索的問(wèn)題轉(zhuǎn)變成為學(xué)習(xí)損失函數(shù)Lval（α-，w-）最小的操作權(quán)重α-和網(wǎng)絡(luò)權(quán)重w-的值的雙層優(yōu)化問(wèn)題：

2.1.3 近似梯度計(jì)算

對(duì)式（6）（7）的求解需要反復(fù)迭代求解兩個(gè)優(yōu)化參數(shù)，需要耗費(fèi)大量的時(shí)間與巨大的計(jì)算資源，并且難以求得精確解。考慮以一種近似值來(lái)減少計(jì)算，則對(duì)式（6）求偏導(dǎo)的結(jié)果可以近似等于：

2.2 獲取通道適應(yīng)性排序

在獲取通道適應(yīng)性排序階段采用了多通道卷積增強(qiáng)網(wǎng)絡(luò)表現(xiàn)能力和表現(xiàn)預(yù)測(cè)優(yōu)化獲取適應(yīng)性過(guò)程。對(duì)比式（2）（3）可得，單通道卷積網(wǎng)絡(luò)判別函數(shù)是雙通道卷積網(wǎng)絡(luò)的判別函數(shù)的一個(gè)子函數(shù)，雙通道卷積網(wǎng)絡(luò)的判別函數(shù)可表示更復(fù)雜的判別界面。因此，多通道卷積網(wǎng)絡(luò)表現(xiàn)能力更好。AutoFD方法通過(guò)在原通道上施加一系列的操作來(lái)生成新通道，通過(guò)表現(xiàn)預(yù)測(cè)得到這些通道的適應(yīng)性大小。表現(xiàn)預(yù)測(cè)過(guò)程如圖6所示，將對(duì)通道施加的所有n個(gè)操作放入候選操作集F={f₁，f₂，…，fn}中，再將這些操作施加到原始的通道上得到n個(gè)新的通道，將每一個(gè)新通道在相同的網(wǎng)絡(luò)中訓(xùn)練很少次數(shù)后得到準(zhǔn)確率accuracy={Af₁－net，Af₂－net，…，Afk－net}作為對(duì)應(yīng)通道的適應(yīng)性大小，從而可以獲得通道適應(yīng)性排序：

2.3 獲取最優(yōu)卷積通道數(shù)

在獲取最優(yōu)通道數(shù)階段利用表現(xiàn)預(yù)測(cè)來(lái)加速尋優(yōu)過(guò)程。通道數(shù)的增加會(huì)使得網(wǎng)絡(luò)的搜索、訓(xùn)練耗費(fèi)的時(shí)間也相應(yīng)增加。為了得到最優(yōu)的通道數(shù)，利用式（12）通道的適應(yīng)性排序，依次選取前k個(gè)適應(yīng)性高的通道作為網(wǎng)絡(luò)的輸入inputk，利用AutoFD網(wǎng)絡(luò)結(jié)構(gòu)搜索算法搜索、訓(xùn)練很少的次數(shù)，得到前k層作為輸入通道的診斷精度accuracyk和搜索耗時(shí)timek。通過(guò)診斷精度和搜索耗時(shí)，選擇適合的k值作為最終的輸入通道數(shù)。獲取最優(yōu)卷積通道數(shù)的流程如圖4中的獲取最優(yōu)通道數(shù)部分所示。

3 應(yīng)用實(shí)例研究

3.1 數(shù)據(jù)集

3.1.1 TE過(guò)程數(shù)據(jù)集

TE過(guò)程是美國(guó)Tennessee Eastman公司提出的一個(gè)實(shí)際工業(yè)過(guò)程的仿真數(shù)據(jù)集，已被廣泛用于一些研究領(lǐng)域，如過(guò)程控制、優(yōu)化、監(jiān)測(cè)和故障診斷^[21]。TE過(guò)程主要包括化學(xué)反應(yīng)器、冷凝器、汽/液分離器、循環(huán)壓縮機(jī)和汽提塔五個(gè)操作單元。為了模擬真實(shí)的工業(yè)情況，TE采用如圖7所示的控制結(jié)構(gòu)來(lái)進(jìn)行仿真模擬真實(shí)的工業(yè)情況^[22]，其中MATLAB仿真源程序的代碼可在網(wǎng)址http：//depts.washington.edu/control/LARRY/TE/download.html獲取。TE過(guò)程中有52個(gè)變量，包括22個(gè)連續(xù)過(guò)程測(cè)量變量、19個(gè)組合變量和11個(gè)操縱變量，每3 min采集一次數(shù)據(jù)。本文所用的TE數(shù)據(jù)包括21個(gè)預(yù)設(shè)不同類型的故障，每種故障的數(shù)據(jù)集都包括960組訓(xùn)練數(shù)據(jù)和480組測(cè)試數(shù)據(jù)，其中訓(xùn)練數(shù)據(jù)中前160組為正常數(shù)據(jù)。此外數(shù)據(jù)集還包含500組正常條件下的數(shù)據(jù)作為測(cè)試集的一部分，數(shù)據(jù)都是有標(biāo)簽的，先將52維的數(shù)據(jù)尾部用0填充，再轉(zhuǎn)換成8×8的二維矩陣作為網(wǎng)絡(luò)的候選輸入通道，故障信息如表1^[22]所示。先對(duì)所有的故障進(jìn)行單故障診斷實(shí)驗(yàn)，再選取正常工況0、故障1、5、7、12、17作為多故障診斷的研究對(duì)象，涵蓋常見(jiàn)的階躍、隨機(jī)以及未知的故障類型，選取工況的信息如表2^[21]所示。

3.1.2 數(shù)值系統(tǒng)

數(shù)值系統(tǒng)通常用來(lái)驗(yàn)證故障診斷模型的可行性和有效性，本文數(shù)值系統(tǒng)基于現(xiàn)有研究工作的數(shù)值系統(tǒng)^[22]，數(shù)據(jù)生成過(guò)程如下：

其中：v₁是[-2，2]上的均勻分布；v₂是方差為0.25，均值為0的高斯分布；高斯噪聲向量nv₃₄5=[nv₃;nv₄;nv₅]的均值為0，方差為0.1；高斯噪聲向量[nv₆;nv₇;nv₈;nv₉;nv₁₀;nv₁₁]均值為0，方差為0.01；[ns₁₂;ns₃₄5;ns₆;ns₇;ns₈;ns₉;ns₁₀;ns₁₁]是根據(jù)式（13）～（21）^[24]離線生成，每條數(shù)據(jù)中包含了五個(gè)時(shí)刻的數(shù)據(jù)[d₁，d₂，d₃，d₄，d₅]，其中di為每個(gè)時(shí)刻的[ns₁，ns₂，…，ns₁₁]，每條數(shù)據(jù)有55個(gè)特征，故障數(shù)據(jù)的生成如表3所示。

按照以上方法生成960條正常數(shù)據(jù)，對(duì)于四類故障數(shù)據(jù)，每類生成960條數(shù)據(jù)，其中前160條為正常數(shù)據(jù)，后800條為故障數(shù)據(jù)，對(duì)于每一類故障，將正常數(shù)據(jù)和對(duì)應(yīng)的故障數(shù)據(jù)放在一起，再按照7∶3的比例劃分訓(xùn)練集和測(cè)試集。數(shù)據(jù)尾部用0填充，然后轉(zhuǎn)換成8×8的二維矩陣作為網(wǎng)絡(luò)的候選輸入通道。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)平臺(tái)為配置 Intel i7-10875H 2.30 GHz CPU，16 GB DDR4內(nèi)存，WDC PC SN730硬盤(pán)，NVIDIA GeForce RTX 2060顯卡的PC機(jī)。所有代碼均屬于Python語(yǔ)言在PyTorch框架下完成，利用CUDA和CUDNN提供的并行加速能力實(shí)現(xiàn)快速地訓(xùn)練和檢測(cè)任務(wù)。

模型的優(yōu)化函數(shù)為Adam函數(shù)，能夠?yàn)椴煌膮?shù)設(shè)計(jì)獨(dú)立的自適應(yīng)學(xué)習(xí)率。損失函數(shù)為交叉熵?fù)p失函數(shù)。網(wǎng)絡(luò)搜索階段，操作權(quán)重初始學(xué)習(xí)率為0.025，操作權(quán)重最小學(xué)習(xí)率為0.001，操作權(quán)重權(quán)值衰減為3E-4，網(wǎng)絡(luò)權(quán)重初始學(xué)習(xí)率為0.9，網(wǎng)絡(luò)權(quán)重衰減為3E-4，動(dòng)量為0.9，TE數(shù)據(jù)網(wǎng)絡(luò)單元數(shù)為8，數(shù)值系統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)單元數(shù)為6，epoch為30，batch_size為64，訓(xùn)練集測(cè)試劃分比例為7∶3。網(wǎng)絡(luò)訓(xùn)練階段，網(wǎng)絡(luò)權(quán)重初始學(xué)習(xí)率為0.025，網(wǎng)絡(luò)權(quán)重最小學(xué)習(xí)率為0，網(wǎng)絡(luò)權(quán)重權(quán)值衰減為3E-4，動(dòng)量為0.9，drop path probability為0.2，TE數(shù)據(jù)的網(wǎng)絡(luò)單元數(shù)為8，數(shù)值系統(tǒng)數(shù)據(jù)網(wǎng)絡(luò)單元數(shù)為6，eoph為20，batch_size為96。

搜索空間中共包含以下八種操作：3×3可分離卷積（3×3 separable convolutions，sep_conv_3×3）、5×5可分離卷積（5×5 separable convolutions，sep_conv_5×5）、3×3空洞卷積（3×3 dilated convolutions，dil_conv_3×3）、5×5空洞卷積（5×5 dilated convolutions，dil_conv_5×5）、3×3最大池化（3×3 max pooling，max_pool_3×3）、3×3平均池化（3×3 average pooling，average_pool_3×3）、保持原輸入（identity，skip_connect）、清除原輸入（zero）。

本文網(wǎng)絡(luò)單元中有四個(gè)中間節(jié)點(diǎn)，網(wǎng)絡(luò)單元均由搜索完成后得到操作的權(quán)重矩陣αnormal和αreduce生成，網(wǎng)絡(luò)單元的每條邊保留一個(gè)權(quán)重最大的操作，每個(gè)中間節(jié)點(diǎn)保留兩個(gè)最大邊對(duì)應(yīng)的前繼節(jié)點(diǎn)，如圖8、9所示。最終網(wǎng)絡(luò)中包含了八個(gè)網(wǎng)絡(luò)單元，其中第3個(gè)和第6個(gè)是減少單元，其余的均為正常單元。單元之間的連接方式與生成單元的內(nèi)部連接方式相同。網(wǎng)絡(luò)連接方式如圖10所示。

TE數(shù)據(jù)多故障診斷中，用x表示原通道，F(xiàn)={2x， 3x，x，x²，x³，x⁴，e^x，log x}為候選操作集。首先對(duì)原始通道x進(jìn)行網(wǎng)絡(luò)搜索，搜索出的網(wǎng)絡(luò)記為N，對(duì)原始通道施加操作后的通道集合記為channel={C₂x， C₃x，Cx²，Cx³，Cx⁴，Cex，Clogx，Cx}，為了方便表示，把通道的集合相對(duì)應(yīng)地記為channel={C₁，C₂，C₃， C₄，C₅，C₆，C₇，C₈}，各個(gè)通道在網(wǎng)絡(luò)N上訓(xùn)練五次的準(zhǔn)確率如圖11所示。從圖11可知，八種通道在同一個(gè)網(wǎng)絡(luò)上訓(xùn)練后的準(zhǔn)確率（通道適應(yīng)性大小）從高到低排序?yàn)锳Cxgt;ACexgt;AC₂xgt; ACx²gt;ACx³gt;AC₃xgt;ACx⁴gt;AClogx。

3.3 實(shí)驗(yàn)結(jié)果分析與對(duì)比

3.3.1 TE數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖12、13為在TE數(shù)據(jù)上，隨著輸入通道的增加，多故障診斷的網(wǎng)絡(luò)結(jié)構(gòu)搜索、網(wǎng)絡(luò)訓(xùn)練所耗費(fèi)的時(shí)間與準(zhǔn)確率的變化曲線。設(shè)置搜索網(wǎng)絡(luò)步數(shù)為10，訓(xùn)練網(wǎng)絡(luò)步數(shù)為10。由圖12、13可知，當(dāng)輸入通道數(shù)小于5時(shí)，搜索時(shí)間、訓(xùn)練時(shí)間增長(zhǎng)趨勢(shì)和故障診斷的準(zhǔn)確率的增長(zhǎng)趨勢(shì)大致相同，但當(dāng)輸入通道超過(guò)5層時(shí)，隨著層數(shù)的增加，搜索時(shí)間和訓(xùn)練時(shí)間的增長(zhǎng)速度明顯變快，而故障診斷的準(zhǔn)確率卻不再增長(zhǎng)。可以看出隨著通道數(shù)的增長(zhǎng)，網(wǎng)絡(luò)的準(zhǔn)確率增長(zhǎng)到一定閾值后將下降，這意味著當(dāng)通道數(shù)增加到一個(gè)值后，準(zhǔn)確率的提升和多耗費(fèi)的資源將不呈比例。因此只有在一定范圍內(nèi)適當(dāng)?shù)卦黾油ǖ罃?shù)目，才會(huì)讓故障診斷的準(zhǔn)確率提升。可以得到在本文選取的工況中，輸入通道數(shù)為5時(shí)，搜索、訓(xùn)練的時(shí)間與故障診斷的準(zhǔn)確率均達(dá)到最優(yōu)狀態(tài)，對(duì)應(yīng)的操作為F′={x，e^x，2x，x²，x³}。

AutoFD方法在TE數(shù)據(jù)多故障診斷中搜索網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)間為45.24 min，相比于專家設(shè)計(jì)網(wǎng)絡(luò)模型的時(shí)間大大縮減。訓(xùn)練網(wǎng)絡(luò)模型的時(shí)間為33.75 min，與深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間近似。為了驗(yàn)證AutoFD方法的有效性，對(duì)比DCNN^[23]、MCLSTM-CNN^[24]、LDA-SVM^[21] 算法，TE多故障診斷的對(duì)比結(jié)果如表4所示，多故障的網(wǎng)絡(luò)結(jié)構(gòu)搜索的搜索結(jié)果為圖8的正常單元和圖9的正常單元。對(duì)于正常工況0，各類方法的識(shí)別率都高，且AutoFD方法取得了最高的識(shí)別率99.6%。對(duì)于故障1，DCNN方法最高，達(dá)到了99.79%，但是AutoFD方法也達(dá)到了98.3%，兩者相差不大。對(duì)于故障5，僅AutoFD方法達(dá)到了98.3%，其他方法均低于95%。對(duì)于故障7，都能被所有方法以100%的準(zhǔn)確率識(shí)別出來(lái)。對(duì)于故障12，僅AutoFD方法達(dá)到了95.4%，其他方法均低于92%。對(duì)于故障17，AutoFD方法取得了92.7%的最高識(shí)別率。AutoFD方法取得了最高的平均準(zhǔn)確率97.41%，并且在六個(gè)工況中，正常工況0、故障5、7、12、17都取得了最高的診斷準(zhǔn)確率，可以說(shuō)明AutoFD方法對(duì)故障數(shù)據(jù)的識(shí)別率高。此外，AutoFD方法對(duì)每個(gè)工況診斷的準(zhǔn)確率大致相同，在AutoFD結(jié)果中，故障7診斷準(zhǔn)確率最高，故障17診斷準(zhǔn)確率最低，差值為6.3%，相比于DCNN的10.92%、MCLSTM-CNN的13.4%、LDA-SVM的15.62%，AutoFD方法的準(zhǔn)確率差值最小，說(shuō)明利用AutoFD方法進(jìn)行故障診斷結(jié)果穩(wěn)定。AutoFD方法多故障診斷的混淆矩陣如圖14所示。

單故障診斷的建模流程和多故障相同，TE數(shù)據(jù)上的單故障診斷的對(duì)比結(jié)果如表5所示，每個(gè)工況的最優(yōu)卷積通道數(shù)如圖15所示。在四個(gè)方法中，AutoFD方法取得了最高的診斷準(zhǔn)確率91.11%，而對(duì)比方法均未超過(guò)84%。對(duì)于七個(gè)階躍干擾類型的故障，AutoFD方法在對(duì)比方法中均取得了最高的診斷準(zhǔn)確率。對(duì)于5個(gè)隨機(jī)干擾類型的故障，AutoFD方法在3個(gè)故障中取得了最高的診斷準(zhǔn)確率，在未取得最高診斷準(zhǔn)確率的兩個(gè)故障中，與最高的診斷準(zhǔn)確率也相差不大。對(duì)于緩慢漂移干擾類型的故障13，AutoFD方法取得了最高的診斷準(zhǔn)確率86.98%，而對(duì)比方法均未達(dá)到68%。對(duì)于兩個(gè)堵塞干擾類型的故障，AutoFD方法都取得了最高的診斷準(zhǔn)確率，并且對(duì)故障15的診斷準(zhǔn)確率為83.35%，對(duì)比方法均未達(dá)到62%。對(duì)于5個(gè)未知干擾，AutoFD方法均取得了最高的診斷準(zhǔn)確率。在21個(gè)工況中，AutoFD方法在18個(gè)工況都取得了最高診斷準(zhǔn)確率，明顯高于DCNN的5個(gè)工況、MCLSTM-CNN的4個(gè)工況、LDA-SVM的2個(gè)工況上取得最高的診斷準(zhǔn)確率。

3.3.2 數(shù)值系統(tǒng)實(shí)驗(yàn)結(jié)果

數(shù)值系統(tǒng)單故障診斷過(guò)程同TE數(shù)據(jù)，單故障診斷結(jié)果如表6所示。可以看出在四個(gè)方法中，AutoFD方法取得了最高的診斷準(zhǔn)確率99.85%。對(duì)于故障1，AutoFD方法取得了最高的故障診斷準(zhǔn)確率99.89%，對(duì)比方法最高的為L(zhǎng)DA-SVM的98.69%，未超過(guò)99%。對(duì)于故障2，AutoFD方法取得了與DCNN、MCLSTM-CNN一樣最高的故障準(zhǔn)確率100%。對(duì)于故障3，MCLSTM-CNN取得了最高的故障診斷準(zhǔn)確率100%，但是AutoFD方法也取得了99.5%的準(zhǔn)確率，兩者相差較小，僅為0.05%。對(duì)于故障4，AutoFD方法取得了最高的故障診斷準(zhǔn)確率100%，對(duì)比方法均未超過(guò)95.1%。AutoFD方法在3個(gè)故障上取得了最高診斷準(zhǔn)確率，高于DCNN的1個(gè)故障、MCLSTM-CNN的2個(gè)故障、LDA-SVM的0個(gè)故障上取得最高的診斷準(zhǔn)確率。

4 結(jié)束語(yǔ)

本文針對(duì)為工業(yè)過(guò)程設(shè)計(jì)故障診斷模型存在設(shè)計(jì)過(guò)程復(fù)雜、依賴專家的設(shè)計(jì)經(jīng)驗(yàn)等問(wèn)題，提出AutoFD方法。該方法將網(wǎng)絡(luò)結(jié)構(gòu)搜索應(yīng)用于工業(yè)過(guò)程故障診斷，采用多通道卷積增強(qiáng)網(wǎng)絡(luò)的表現(xiàn)能力，并利用表現(xiàn)預(yù)測(cè)優(yōu)化輸入通道的選擇過(guò)程。以田納—伊斯曼工業(yè)過(guò)程和數(shù)值系統(tǒng)為案例進(jìn)行了性能評(píng)價(jià)實(shí)驗(yàn)，將本文方法和DCNN、MCLSTM-CNN、LDA-SVM這些傳統(tǒng)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型進(jìn)行了對(duì)比。結(jié)果表明本文方法的準(zhǔn)確率高于這些方法，并且建模過(guò)程自動(dòng)化大大減少了設(shè)計(jì)者的工作量，建模時(shí)間大大縮減，使得建模變得簡(jiǎn)單、高效，可以有效地解決復(fù)雜工業(yè)過(guò)程中的故障診斷問(wèn)題。但是現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)搜索方法都是關(guān)注靜態(tài)神經(jīng)網(wǎng)絡(luò)的搜索，缺少對(duì)動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方面的研究。下一步工作重點(diǎn)將放在動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索算法的研究上。

參考文獻(xiàn)：

[1]李軍祥，李春陽(yáng)，夏麗莎.基于改進(jìn)KNPE算法的化工過(guò)程故障檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究，2021，38（5）：1459-1462.（Li Junxaing， Li Chunyang， Xia Lisha. Chemical process fault detection based on improved KNPE algorithm[J].Application Research of Compu-ters，2021，38（5）：1459-1462.）

[2]郭金玉，劉玉超，李元.基于概率密度PCA的多模態(tài)過(guò)程故障檢測(cè)[J].計(jì)算機(jī)應(yīng)用研究，2019，36（5）：1396-1399，1408.（Guo Jinyu， Liu Yuchao， Li Yuan. Multi-modal process fault detection based on probability density PCA[J].Application Research of Computers，2019，36（5）：1396-1399，1408.）

[3]張啟坤，劉宏哲，袁家政，等.基于改進(jìn)弦截法的FastICA算法研究[J].計(jì)算機(jī)應(yīng)用研究，2019，36（2）：425-429.（Zhang Qikun， Liu Hongzhe， Yuan Jiazheng， et al. Research on FastICA algorithm based on improved string section method[J].Application Research of Computers，2019，36（2）：425-429.）

[4]朱志鵬，杜建強(qiáng)，余日躍，等.融入深度學(xué)習(xí)的偏最小二乘優(yōu)化方法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（1）：87-90.（Zhu Zhipeng， Du Jianqiang， Yu Riyue， et al. Partial least squares optimization method with deep learning[J].Application Research of Computers，2017，34（1）：87-90.）

[5]杜偉，房立清，齊子元.一種鄰域自適應(yīng)半監(jiān)督局部Fisher判別分析算法[J].計(jì)算機(jī)應(yīng)用研究，2019，36（1）：99-102，118.（Du Wei， Fang Liqing， Qi Ziyuan. A neighborhood adaptive semi-supervised local Fisher discriminant analysis algorithm[J].Application Research of Computers，2019，36（1）：99-102，118.）

[6]Raja Sree S， Kunthavai A. Hubness weighted SVM ensemble for prediction of breast cancer subtypes[J/OL].Technology and Health Care.（2021-08-10）.https：//doi.org/10.3233/thc-212825.

[7]Qin Yongsong. Empirical likelihood and GMM for spatial models[J].Communications in Statistics-Theory and Methods，2021，50（18）：4367-4385.

[8]孫文珺，邵思羽，嚴(yán)如強(qiáng).基于稀疏自動(dòng)編碼深度神經(jīng)網(wǎng)絡(luò)的感應(yīng)電動(dòng)機(jī)故障診斷[J].機(jī)械工程學(xué)報(bào)，2016，52（9）：65-71.（Sun Wenjun， Shao Siyu， Yan Ruqiang. Fault diagnosis of induction motor based on sparse automatic coding deep neural network[J].Journal of Mechanical Engineering，2016，52（9）：65-71.）

[9]Zhang Zhanpeng， Zhao Jingsong. A deep belief network based fault diagnosis model for complex chemical processes[J].Computers amp; Chemical Engineering，2017，107：395-407.

[10]Baker B， Gupta O， Naik N， et al. Designing neural network architectures using reinforcement learning[EB/OL].（2017-03-22）.https：//arxiv.org/abs/1611.02167.

[11]Liu Chenxi， Zoph B， Neumann M， et al. Progressive neural architecture search[C]//Proc of European Conference on Computer Vision.Berlin：Springer，2018：19-35.

[12]Real E， Aggarwal A， Huang Yanping， et al. Regularized evolution for image classifier architecture search[EB/OL].（2019-02-16）.https：//arxiv.org/abs/1802.01548.

[13]Brock A， Lim T， Ritchie J M， et al. Smash： one-shot model architecture search through hypernetworks[EB/OL].（2017-08-17）.https：//arxiv.org/abs/1708.05344.

[14]Elsken T， Metzen J H， Hutter F. Simple and efficient architecture search for convolutional neural networks[EB/OL].（2017-11-13）.https：//arxiv.org/abs/1711.04528.

[15]Zoph B， Vasudevan V， Shlens J， et al. Learning transferable architectures for scalable image recognition[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：8697-8710.

[16]Liu Hanxiao， Simonyan K， Vinyals O， et al. Hierarchical representations for efficient architecture search[EB/OL].（2018-02-22）.https：//arxiv.org/abs/1711.00436.

[17]Chen L C， Collins M D， Zhu Yukun， et al. Searching for efficient multi-scale architectures for dense image prediction[EB/OL].（2018-09-11）.https：//arxiv.org/abs/1809.04184.

[18]Tan Mingxing， Chen Bo， Pang Ruoming， et al. MnasNet： platform-aware neural architecture search for mobile[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：2815-2823.

[19]胡美玉，張?jiān)浦蓿夭伲?基于深度卷積神經(jīng)網(wǎng)絡(luò)的語(yǔ)義地圖構(gòu)建[J].機(jī)器人，2019，41（4）：452-463.（Hu Meiyu， Zhang Yunzhou， Qin Cao， et al. Semantic map construction based on deep convolutional neural network[J].Robot，2019，41（4）：452-463.）

[20]徐信，李志華，楊越.基于EMD-ICA的激電數(shù)據(jù)降噪處理方法[J].計(jì)算機(jī)應(yīng)用研究，2017，34（6）：1737-1739，1744.（Xu Xin， Li Zhihua， Yang Yue. Noise reduction method of IP data based on EMD-ICA[J].Application Research of Computers，2017，34（6）：1737-1739，1744.）

[21]冀豐偲，余云松，張?jiān)缧?LDA_SVM方法在化工過(guò)程故障診斷中的應(yīng)用[J].高校化學(xué)工程學(xué)報(bào)，2020，34（2）：487-494.（Ji Fengcai， Yu Yunsong， Zhang Zaoxiao. Application of LDA and SVM method in fault diagnosis of chemical process[J].Journal of Chemical Engineering of Chinese Universities，2020，34（2）：487-494.）

[22]Li Shuai， Zhou Xiaofeng， Shi Haibo， et al. Dynamic non-Gaussian hybrid serial modeling for industrial process monitoring[J].Chemometrics and Intelligent Laboratory Systems，2021，216：104371.

[23]Wu Hao， Zhao Jinsong. Deep convolutional neural network model based chemical process fault diagnosis[J].Computers amp; Chemical Engineering，2018，115（1）：185-197.

[24]Shao Bilin， Hu Xiaoli， Bian Genqing， et al. A multichannel LSTM-CNN method for fault diagnosis of chemical process[J].Mathematical Problems in Engineering，2019，2019：article ID 1032480.