基于深度置信網絡的大數據制造過程實時智能監控

周昊飛 劉玉敏

1.鄭州航空工業管理學院管理工程學院，鄭州，450046 2.鄭州大學商學院，鄭州，450001

0 引言

制造過程智能監控對提升產品質量水平、確保安全生產具有重要意義。隨著物聯網、無線傳感、智能制造等技術的發展，現代制造過程能實時采集反映設備運行與制造過程狀態的工業數據，已進入大數據時代［1］。這些工業大數據具有體量大、流速快、類別多和價值密度低等特性［2］，傳統過程智能監控方法難以滿足大數據制造過程實時質量智能監控的需求。因此，構建面向大數據的制造過程實時智能監控方法已成為當前制造型企業亟待解決的現實問題。

目前，制造過程智能監控的研究主要集中于控制圖模式識別［3-4］、單變量數據流狀態識別、多變量過程統計量狀態識別［5］等方面?？刂茍D模式識別方面，GAURI等［6］采用幾何計算抽取的形狀特征與多層感知神經網絡相結合對其8種控制圖模式進行識別；RANAEE等［7］采用形狀特征與統計特征相結合，利用多分類支持向量機對控制圖基本模式進行識別。單變量數據流狀態識別方面，劉玉敏等［8-9］將小波重構特征與多分類支持向量機相結合對單變量動態數據流質量異常模式進行識別，隨后，又將小波重構特征、形狀特征與神經網絡、支持向量機分類器相結合，提出了基于小波重構與組合式分類器的智能識別模型。多變量過程統計量狀態識別方面，EL-MIDANY等［10］采用人工神經網絡對多變量 χ2統計量進行監控，建立了多變量過程智能監控框架；CHENG等［11］應用人工神經網絡對多變量S統計量進行監控，提出了二元制造方差階躍的監控方法；MASOOD等［12］應用散點圖描述二元制造過程的異常狀態，而后應用基于統計特征的神經網絡對均值階躍進行監控。綜上所述，已有過程智能監控方法通過人工設計的特定準則從已知類別的樣本數據中選擇合適的變量或新的特征，以提升神經網絡、支持向量機等分類器對過程數據流或統計量呈現出的趨勢、階躍、周期異常變化狀態的識別性能，均為不超過二層非線性特征變換的淺層學習模型［13］。然而，大數據制造過程需同時監控眾多具有強相關性的過程變量，且過程異常狀態類別具有較大的不確定性。由此可知，使用上述淺層學習模型對大數據制造過程進行智能監控存在以下局限性：①難以構建合適的統計量對其監控，且單一數據流呈現出的趨勢、階躍、周期等異常模式難以對其運行狀態進行有效表達。②人工設計或選擇的特征提取規則對過程先驗知識依賴程度大，難以對其運行狀態設計出通用性強的特征提取規則。

近年來，數字圖像被用于表達高耦合、非線性的設備故障數據，為直觀表達大數據制造過程運行狀態提供了分析依據。孫鍇等［14］基于二值圖像，利用設備監測變量的上下閾值構造了某化工壓縮機組系統故障圖譜，通過故障庫中案例的相似度計算進行故障診斷。AMAR等［15］基于灰度圖通過時間窗口對振動信號進行分割建立了軸承故障圖譜，并采用單隱層神經網絡對其進行故障診斷。由上述研究可知，圖譜像素間固有的關聯性和耦合性能直觀呈現出復雜設備的不同故障類型。深度學習理論通過構建深層次的模型能夠捕獲大數據中隱含的底層數據特征［16］，已被成功應用于人臉識別［17］、語音處理［18］、機械故障診斷［19-20］等領域。因此，如何利用數字圖像建立精準反映過程運行狀態的質量圖譜，并構建具有特征自學習能力的圖譜識別方法已成為解決大數據制造過程實時智能監控的關鍵。

灰度圖是利用黑白間灰度來表達的圖像，比二值圖像具有更強的數據表示能力，故可應用灰度圖表達高耦合、非線性大數據制造過程的運行狀態。同時，由多個受限玻爾茲曼機（restricted Boltzmann machine，RBM）構成的深度置信網絡（deep believe network，DBN）是一種典型的深度學習模型，在字符圖像識別中表現出優異的特征自學習能力［21］。為解決淺層學習模型存在對大數據制造過程特征提取規則難以設計的問題，本文提出了基于深度置信網絡的大數據制造過程實時智能監控方法。

1 大數據制造過程質量圖譜

對大數據制造過程進行監控的首要問題是如何描述過程的整體運行狀態。大數據制造過程通常由多個傳感器同時監測不同的質量特性、加工參數等過程變量。假設其監測數據集包含m個被監測變量，各監測變量在t時間段內有n個測量值，則傳感器測量數據矩陣

式中，xij為大數據制造過程第i個監控變量在 j時刻的觀測值，i=1，2，…，m，j=1，2，…，n；Xi=[xi1xi2… xin]為第i個監控變量在t時間段內的數據序列；Xj=[x1jx2j… xmj]為 j時刻各監控對象的空間序列分布。

定義1 標準化數據矩陣。將矩陣X中的元素進行歸一化處理，形成標準化數據矩陣 X′。具體歸一化公式為

定義2 標準化數據矩陣的灰度級映射。將標準化數據矩陣中的各個元素值分別映射到灰度圖Gx中對應的灰度值，計算公式為

式中，INT[·]為取整函數；gx為對應的灰度值，當 gx=0為黑色，當gx=255為白色。

用灰度圖Gx的灰度值代替標準化數據矩陣中所對應的元素值，整個數據矩陣映射到灰度級空間中，從而形成直觀反映被監控對象關聯性、耦合性的過程質量圖譜。為說明過程質量圖譜描述大數據制造過程運行狀態的有效性，采用定義1和定義2對9個監測變量在傳感器采樣間隔為10 ms時10 s內的過程整體運行狀態進行表達，形成的過程質量圖譜見圖1。

圖1 過程質量圖譜Fig.1 The process quality spectrum

由圖1可知，當某變量的測量值在目標值附近隨機波動時，該變量在橫軸上的灰度級幾乎沒有變化。當某變量的測量值出現階躍變動時，質量圖譜中對應變量的灰度級會直接跳變，呈現出明顯的分界線；當出現趨勢變動時，灰度級會連續變化，但沒有明顯的分界線。由此可見，利用灰度圖建立的過程質量圖譜能夠清晰直觀地表達多個監測變量的不同變化狀態，可用于表示大數據制造過程的運行狀態。

2 基于DBN的過程質量圖譜識別

DBN由多個RBM疊加而成，對二值圖像具有較好的識別能力。然而，灰度圖是由實數型灰度級構成的非二值圖像，可視層和隱層節點均為二值單元的常規RBM對其處理能力較弱。為此，本文采用可視層單元為帶獨立高斯噪聲線性變量的高斯RBM（GRBM）建立用于識別過程質量圖譜的深度置信網絡。GRBM的網絡結構見圖2。

圖2 GRBM的網絡結構Fig.2 The structure of GRBM

GRBM的能量函數

式中，φ為GRBM的參數；wij為第i個可視層節點與第 j個隱層節點間的權重值；ai為第i個可視層節點的偏置；bj為第 j個隱層節點的偏置；σi為高斯噪聲的標準差。

由能量函數可得出可視層節點與隱層節點的聯合概率分布

式中，Z(φ)為配分函數。

由聯合概率分布可得到可視層邊緣分布

由于隱層節點間無連接，各節點相互獨立，故第 j個隱層節點取值的概率

同樣，第i個可視層節點取值的概率

將多個GRBM進行自底向上的疊加，得到DBN。隱層過多將增加訓練復雜度，為平衡分類精度與訓練難度，本文采用4個隱層的DBN。其訓練過程由RBM的貪婪無監督逐層預訓練和BP算法的整體微調兩部分構成，見圖3。以下介紹識別過程質量圖譜的DBN訓練步驟。

圖3 識別質量圖譜的DBN訓練過程Fig.3 The training process of DBN recognized quality spectrum

2.1 GRBM無監督預訓練

無監督預訓練就是找到使隱層h更好表達可視層 v的參數φ。采用對比散度（contrastive divergence，CD）算法［22］對 GRBM 進行訓練，步驟如下：

（1）初始化。將過程質量圖譜中各像素點的灰度值作為GRBM1可視層節點的輸入。將hj隨機設定為0或1；φ設定為0到1之間的隨機數。

（2）訓練GRBM1。利用Gibbs采樣從訓練樣本的任一狀態出發，按照式（7）求出隱層單元的概率；而后，固定隱含單元，按照式（8）重構出可視單元。RBM參數φ依據以下規則進行更新。

式中，η為學習速率；·data為原始數據的期望；·recon為重構數據的期望。

（3）訓 練 GRBM2。 將 GRBM1的 隱 層 作 為GRBM2的可視層，重復步驟（1）和步驟（2）。

（4）訓 練 GRBM3。 將 GRBM2的 隱 層 作 為GRBM3的可視層，重復步驟（1）和步驟（2）。

（5）訓 練 GRBM4。 將 GRBM3的 隱 層 作 為GRBM4的可視層，重復步驟（1）和步驟（2）。

2.2 BP算法的整體微調

（1）初始化BP算法的參數。BP算法中設定的參數初始化值見表1。

表1 BP算法參數設定Tab.1 The parameters of BP algorithm

（2）有監督學習。將GRBM4的輸出作為GRBM5的輸入，對過程質量圖譜進行識別，此時數據帶有類別標簽。將輸出結果與類別標簽進行比對，誤差依據BP算法反向分配至前4層，對DBN分類器進行整體微調。

3 大數據制造過程實時智能監控模型

大數據制造過程實時智能監控即是對代表不同過程運行狀態的質量圖譜進行智能識別。大數據制造過程中由于監測變量多，各種監測變量出現異常狀態及其組合會形成類型繁雜的異常圖譜，而過程運行正常時所形成的過程質量圖譜是非常相近的。因此，為有效對大數據制造過程進行實時智能監控，可先采用識別正常過程質量圖譜的DBN對當前過程運行狀態進行判定。當識別出當前過程運行狀態為異常時，再應用過程異常DBN對具體異常類別進行判定。所提的大數據制造過程實時質量智能監控模型見圖4。

圖4 大數據制造過程實時質量智能監控模型Fig.4 Real-time intelligent monitoring model for manufacturing process with big data

所提的實時質量智能監控模型包含離線訓練與在線監控兩個階段，各階段的具體實施步驟如下。

3.1 離線訓練階段

該階段主要是利用離線收集的過程大數據建立質量圖譜，而后對DBN分類器進行訓練。

（1）離線收集過程運行狀態數據。當過程運行參數、質量特性等監測對象均在設定值附近隨機波動，產品無質量缺陷時的監測值界定為正常過程運行狀態數據。當生產過程出現產品質量缺陷時，將此時的過程運行參數、質量特性等監測值作為過程異常運行狀態數據。而后，依據定義1和定義2將所收集的過程運行狀態數據轉化為過程質量圖譜。

（2）DBN分類器訓練。從離線收集的正常過程質量圖譜中隨機選取一定數據的質量圖譜分別作為訓練、測試樣本。將訓練樣本數據作為DBN的輸入，通過上述GRBM無監督預訓練、BP算法的整體微調對識別正常過程質量圖譜的DBN進行離線訓練。而后，采用測試樣本數據對訓練過的DBN進行性能測試。同樣，選取一定數據的相同異常類型過程質量圖譜分別作為訓練、測試樣本，對識別異常過程質量圖譜的DBN進行離線訓練。

3.2 在線監控階段

（1）監控窗口取值。監控窗口依據設定的窗口寬度對大數據制造過程各監測變量測量值進行在線取值。

（2）當前窗口質量圖譜識別。將監控窗口內的過程數據轉化為過程質量圖譜，利用離線訓練好識別正常過程質量圖譜的DBN對當前監控窗口內的過程質量圖譜進行識別，判定過程是否正常。當DBN的識別結果為正常時，監控窗口依據設定的步長值向前滑動，執行步驟（1）；否則，執行步驟（3）。

（3）異常圖譜類別識別。采用離線訓練好的識別異常過程質量圖譜的DBN，對當前監控窗口內過程質量圖譜的具體異常類別進行識別。

4 實例應用

注塑成形過程具有流速快、采樣頻率高、待監控點多等特性，且制品質量主要依賴于過程運行參數的變動，屬于典型的大數據制造過程。因此，以某注塑件的實際注塑成形過程為例，驗證所提實時智能監控方法的有效性。某注塑件成形過程采用螺桿式注塑成形方式進行生產，其中料筒溫度、模具溫度、注射壓力等過程參數均配備相應的測量傳感器，可實時獲取各監測變量的測量值。各過程參數監測傳感器的位置分布見圖5。各傳感器的具體測量對象與設定值見表2。

圖5 往復式螺桿注塑過程Fig.5 Reciprocating screw injection molding process

表2 傳感器的測量對象Tab.2 The measuring object of sensors

注塑成形過程包含合模、注射、保壓、冷卻、開模頂出制品5個階段。在表2參數值的基礎上，設定注射時間2 s、保壓時間5 s、冷卻時間10 s，加上合模、開模頂出時間，單個制品的注塑成形時間為20 s。設定傳感器的采樣速率為10 ms，則每個制品對應一個10×2000的過程參數數據矩陣。其中，模內溫度、模內壓力值為動態變化的曲線，其正常與異常狀況見圖6。

圖6 模內溫度、壓力的正常與異常狀況Fig.6 Normal and abnormal state of cavitytemperature and pressure

離線收集制品質量正常與異常時對應的過程參數數據矩陣。本文中共收集正常過程參數數據矩陣500個，存在飛邊、翹曲質量問題的異常過程參數數據矩陣各600個。對收集到的異常過程參數數據矩陣進行分析，形成制品質量與過程運行狀態的對應關系表，見表3。

表3 制品質量與過程運行狀態的對應關系Tab.3 The relationship between product quality and process operation state

依據定義1、定義2，將收集到的各種數據矩陣轉化為過程質量圖譜，其中部分過程質量圖譜見圖7。

圖7 某注塑件成形過程質量圖譜Fig.7 The process quality spectrum of an injection molding process

4.1 離線訓練

從正常運行狀態中隨機各選取200個過程質量圖譜，分別選取前100個作為DBN0的訓練樣本，后100個作為DBN0的測試樣本。將過程圖譜中的每個像素點作為DBN的輸入（即輸入節點個數為20 000），設定GRBM1隱層節點數為9 000、GRBM2隱層節點數為4 000、GRBM3隱層節點數為1 500，GRBM4隱層節點數為600，對GRBM進行無監督預訓練。將GRBM4的輸出數據作為GRBM5的輸入數據應用BP算法進行有監督學習，形成識別正常過程質量圖譜的DBN0。采用上述類似方法，分別對 DBN11、DBN12、DBN13等 6個識別異常過程質量圖譜的分類器進行訓練。

為了驗證多個GRBM通過逐層特征變換對過程質量圖譜原始數據特性學習的有效性，分別采用GRBM4學習到的特征數據、主成分分析的特征數據對原始圖譜進行重構。其中，主成分分析特征提取規則為前10個主元向量。兩種方法重構的質量圖譜及均方誤差（MSE）見圖8。

圖8 重構的過程質量圖譜Fig.8 Restructured process quality spectrums

由圖8可知，采用前10個主元向量重構的過程質量圖譜灰度級的變化明顯不如采用GRBM4學習到的特征數據重構精確，且其均方誤差均較大，驗證了GRBM特征學習的有效性。為進一步驗證DBN過程質量圖譜識別性能，分別與主成分分析與單隱層BP神經網絡相結合的識別方法（PCA-BPNN）以及主成分分析與支持向量機相結合的識別方法（PCA-SVM）進行識別性能的對比。具體識別性能對比結果見表4。

由表4可知，基于前10個主元向量特征提取規則與BPNN的平均識別精度為89.29%，基于前10個主元向量特征提取規則與SVM的平均識別精度為91.14%，而所提識別模型的平均識別精度達到97.43%。這充分驗證了這些淺層學習模型對過程質量圖譜的識別精度明顯低于所提基于DBN深度學習模型的識別精度。由此可知，離線訓練好的DBN可應用于在線過程監控。

表4 過程質量圖譜識別性能對比Tab.4 Recognition performance comparison of process quality spectrums

4.2 在線監控

采用監控窗口滑動取值的方式將離線訓練好的DBN應用于注塑過程在線監控。監控窗口的寬度設定為單個制品注塑成形的時長，設定為20s。該制品注塑成形過程運行狀態在線實時監控示意圖見圖9。

圖9 某注塑件成形過程運行狀態在線實時監控Fig.9 Online real-time monitoring for the operation state of an injection molding process

前2個監控窗口內過程圖譜DBN0的輸出值均接近目標值1，此時的成形過程處于正常運行狀態。當監控窗口移動到60s時也即是第3個制品，DBN0輸出值為0.210，遠小于目標輸出值。而后，DBN13輸出值為0.968，非常接近目標值。對此時制品進行檢查發現出現了飛邊質量問題，檢查實際注塑過程發現噴嘴處壓力和溫度傳感器出現漂移，致使噴嘴處溫度、壓力均過大。對該處傳感器進行相應校正，后續注塑過程呈現為正常狀態。當滑動窗口移動到120s時也即是第6個制品，DBN0輸出值再次遠小于目標輸出值。而后，DBN23輸出值為0.952。對此時制品進行檢查發現出現了翹曲質量問題，檢查實際注塑過程發現模具加熱水溫與冷卻水溫均超過設定值，致使模具冷卻不均。對加熱、冷卻水溫進行相應調整，后續注塑過程呈現為正常狀態。由此可知，本文所提監控方法的輸出結果與實際過程異常狀態完全一致，能有效對大數據制造過程進行在線實時質量監控。

5 結論

本文首先基于灰度圖提出了大數據制造過程質量圖譜，并采用DBN深度學習模型，提出了適于工業大數據特性的過程實時質量智能監控方法，通過注塑過程實例應用驗證了所提監控方法的有效性。所提實時智能監控方法區別與已有監控方法之處主要在于，利用灰度圖構建了大數據制造過程質量圖譜，并采用多個GRBM對其進行無監督特征自學習，從而完成DBN分類器的離線訓練。其中，過程質量圖譜能直觀呈現大數據制造過程的運行狀態。特征自學習不再依賴工程經驗設計特征提取方法，通過逐層特征變換能更好地發掘過程質量圖譜原始數據的內在特性，大大提升了過程監控的精度。然而，DBN的網絡結構及訓練速度仍有提升空間，未來的研究將關注如何采用一些優化算法、并行計算方法來優化DBN的網絡結構及訓練速度。

［1］ QIN S J.Process Data Analytics in the Era of Big Data［J］.Aiche Journal，2014，60（9）：3092-3100.

［2］ FAN J，HAN F，LIU H.Challenges of Big Data Analysis［J］.National Science Review，2014，1（2）：293-314.

［3］ WEESE M，MARTINEZ W，MEGAHED F M.Statisti?cal Learning Methods Applied to Process Monitoring：an Overview and Perspective［J］.Journal of Quality Technology，2016，48（1）：4-27.

［4］ HACHICHA W，GHORBEL A.A Survey of Controlchart Pattern-recognition Literature（1991-2010）Based on a New Conceptual Classification Scheme［J］.Com?puters& Industrial Engineering，2012，5（63）：204-222.

［5］ YU J B，XI L F.A Neural Network Ensemble-based ModelforOn-line Monitoring and Diagnosis of Out-of-control Signals in Multivariate Manufacturing Processes［J］.Expert Systems with Applications，2009，36（1）：909-921.

［6］ GAURI S K，CHAKRABORTY S.Recognition of Con?trol Chart Patterns Using Improved Selection of Fea?tures［J］.Computers&Industrial Engineering，2009，56（4）：1577-1588.

［7］ RANAEE V，EBRAHIMZADEH A，GHADERI R.Ap?plication of the PSO-SVM Model for Recognition of Control Chart Patterns［J］.ISA Transactions，2010，49（4）：577-586.

［8］ 劉玉敏，周昊飛.基于MSVM的多品種小批量動態過程在線質量智能診斷［J］.中國機械工程，2015，26（17）：2356-2363.LIU Yumin，ZHOU Haofei.On-line Quality Intelligent Diagnosis for Multi-variety and Small-batch Dynamic Process Based on MSVM［J］.China Mechanical Engi?neering，2015，26（17）：2356-2363.

［9］ 劉玉敏，周昊飛.基于小波重構與SVM-BPNN的動態過程在線智能監控［J］.系統工程理論與實踐，2016，36（7）：1890-1897.LIU Yumin，ZHOU Haofei.Online Intelligent Monitor?ing for Dynamic Process Based on Wavelet Reconstruc?tion and SVM-BPNN［J］.Systems Engineering—Theo?ry&Practice，2016，36（7）：1890-1897.

［10］ EL-MIDANY T T，EL-BAZ M A，ABD-ELWAHED M S.A Proposed Framework for Control Chart Pattern Recognition in Multivariate Process Using Artificial Neural Networks［J］.Expert Systems with Applica?tions，2010，37（2）：1035-1042.

［11］ CHENG C S，CHENG H P.Using Neural Networks to Detect the Bivariate Process Variance Shifts Pattern［J］.Computers&Industrial Engineering，2011，60（2）：269-278.

［12］ MASOOD I，HASSAN A.Pattern Recognition for Bi?variate Process Mean Shifts Using Feature-based Arti?ficial Neural Network［J］.International Journal of Ad?vanced Manufacturing Technology，2013，66（9/12）：1201-1218.

［13］ ERHAN D，BENGIO Y，COURVILLE A，et al.Why Does Unsupervised Pre-training Help Deep Learn?ing？［J］.The Journal of Machine Learning Research，2010，11（3）：625-660.

［14］ 孫鍇，高建民，高智勇.基于故障圖譜的企業級故障模式識別方法［J］.計算機集成制造系統，2015，21（2）：519-527.SUN Kai，GAO Jianmin，GAO Zhiyong.Plant-wide Fault Pattern Recognition Method Based on Fault-specturm［J］.Comuputer Intergrated Manufac?turing Systems，2015，21（2）：519-527.

［15］ AMAR M，GONDAL I，WILSON C.Vibration Spec?trum Imaging：a Novel Bearing Fault Classification Approach［J］.IEEE Transactions on Industrial Elec?tronics，2015，62（1）：494-502.

［16］ NAJAFABADI M M，VILLANUSTRE F.Deep Learn?ing Applications and Challenges in Big Data Analytics［J］.Journal of Big Data，2015，2（1）：1-21.

［17］ KRIZHEVSKY A，SUTSKEVER I，HINTON G E.Im?agenet Classification with Deep Convolutional Neural Networks［J］.Advances in Neural Information Pro?cessing Systems，2012，25（2）：1097-1105.

［18］ BENGIO Y，COURVILLE A，VINCENT P.Represen?tation Learning：a Review and New Perspectives［J］.IEEE Transactions on Pattern Analysis&Machine In?telligence，2013，35（8）：1798-1828.

［19］ 雷亞國，賈峰，周昕.基于深度學習理論的機械裝備大數據健康監測方法［J］.機械工程學報，2015，51（21）：49-56.LEI Yaguo，JIA Feng，ZHOU Xin.A Deep Learn?ing-based Method for Machinery Health Monitoring with Big Data［J］.Journal of Mechanical Engineering，2015，51（21）：49-56.

［20］ 張淑清，胡永濤，姜安琦.基于雙樹復小波和深度信念網絡的軸承故障診斷［J］.中國機械工程，2017，28（5）：532-536.ZHANG Shuqing，HU Yongtao，JIANG Anqi.Bearing Fault Diagnosis Based on DTCWT and DBN［J］.Chi?na Mechanical Engineering，2017，28（5）：532-536.

［21］ DIAO W，SUN X，DOU F，et al.Object Recognition in Remote Sensing Images Using Sparse Deep Belief Networks［J］.Remote Sensing Letters，2015，6（10）：745-754.

［22］ HINTON G E.A Practical Guide to Training Restrict?ed Boltzmann Machines［J］.Momentum，2010，9（1）：599-619.