基于注意力SRU的離散制造過程生產異常分析

摘 要：為了判斷生產異常對生產過程產生何種影響，在對離散制造過程中產生的物聯數據進行詳細分析的基礎上，設計一種基于注意力SRU神經網絡的生產任務剩余完工時間預測模型，通過并行化的特征提取過程并結合注意力機制給予不同時刻信息不同權重來對生產任務的延期交付時間進行預測，達到了解量化生產異常對于生產過程影響程度的目的，且有效提高了算法效率和準確率，從而幫助車間工作人員進行后續決策管控工作。

關鍵詞：離散制造過程；制造物聯數據；生產異常分析；注意力機制；SRU神經網絡

中圖分類號：TH164 文獻標志碼：A 文章編號：1671-5276（2024）04-0048-06

Production Anomaly Analysis of Discrete Manufacturing Process Based on Attention SRU

MA Yunxiao， GUO Yu， WANG Shengbo

（Collegeof Mechanical and Electrical Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

Abstract：In order to judge the impact of production anomalies on production process， a prediction model for the remaining completion time of production tasks based on attention SRU neural network was designed after detailed analysis of the Internet of Things data generated in discrete manufacturing process. Through the parallel feature extraction process and by combination with the attention mechanism， different weights of information at different moments were given to predict the delayed delivery time of production tasks， which achieves the purpose of quantifying the impact of production anomalies on production process， and effectively improves the efficiency and accuracy of the algorithm， so as to help the workshop staff carry out subsequent decision-making control work.

Keywords：discrete manufacturing process; Internet of Manufacturing Things data; production anomaly analysis; attention mechanism; SRU neural network

0 引言

在離散制造的過程中，在制品會在不同工位流轉，在制品在工位間流轉過程中產生的數據往往蘊涵著大量信息可以被挖掘。在生產過程發生異常時，可以通過這些信息數據來判斷生產異常可能對生產任務的完成造成的影響。

為了合理衡量異常造成的影響，目前在該領域通常采用的方法是依據可影響到整個離散制造系統性能指標因素的取值來對該屬性未來的狀態或數值進行預測。尹超等^[1]結合BP神經網絡對影響產品質量的裝配工序的構成進行了分析，對不同影響因素分配相對應的權重，并結合時間序列預測最終產品質量來預警裝配過程中產生的質量異常并提供相應的決策支持。SYAFRUDIN等^[2]結合了大數據和制造物聯相關技術構建了實時車間生產狀態監控模型，通過判斷離群點來檢測生產狀態中產生的異常，并結合隨機森林算法對物聯數據進行分類來輔助裝配線的運行狀態監控。張人敬^[3]提出了一種車間異常監控和處理的框架，構建了神經網絡模型，通過影響訂單完成時間的因素來對最終訂單的延遲完成時間進行預測。QIU等^[4]提出了一種基于樸素貝葉斯和決策樹的擾動預測模型，根據測試模型與預測模型的相關性來衡量生產異常程度，并采取相應的調控手段來應對生產中動態干擾產生的影響。ZHANG等^[5]利用Petri網技術從實時數據中提煉關鍵事件相關信息，結合決策樹算法構建了異常發現和原因診斷模型，對離散制造過程的生產性能進行了分析。YIN等^[6]結合生產加工工序對生產異常事件進行分類，構建了實時異常事件采集系統，利用徑向基函數神經網絡對可能發生生產異常的時間和順序序列進行了預測，有效地監控了生產過程。

上述文獻均采用不同機器學習算法來對制造系統相關指標演化規律進行研究，但在異常分析領域對車間實時生產狀態數據的應用較少，且并未考慮到異常分析問題的時序性和算法效率的問題。本文構建了一種注意力SRU模型，通過預測生產任務剩余完工時間來量化生產異常對于生產任務的影響程度。SRU是一種通過并行化特征提取來處理時序數據的神經網絡，可以有效提高算法效率，同時本文模型結合了注意力機制解決了并行化特征提取可能存在的準確性問題。車間調度人員可在此基礎上進行決策管控，提高車間在生產任務進行過程中實時響應異常的能力。

1 生產異常及生產異常分析問題的描述

1.1 生產異常的描述

結合生產實際流程和業務邏輯，將在制品生產過程中可能發生的異常事件歸納如表1所示。

1.2 生產異常分析問題的描述

一離散制造車間有某生產任務T，共包含A種類型的產品（該離散制造車間共計M臺加工設備，共可生產K類產品），每類產品要求的生產數量為N_a（a=1，2，3，…，A）。本文后續的異常分析問題為：在該離散制造車間進行該生產任務時，以1.1節定義的生產異常以及在加工過程中加工設備發生故障等異常發生作為進行后續預測的條件。當發生上述異常時，通過車間該時刻的整體生產狀態數據對該任務后續生產的受影響程度進行量化。

1.3 衡量生產異常的指標和影響因素分析

通常生產任務的實際剩余完工時間和計劃剩余完工時間會存在偏差，將該偏差作為指標可以衡量生產異常對于后續生產任務的影響和擾動程度。將該偏差稱為生產任務推后完工時間D，D的量化表達式如下：

D=D_AT－D_PT（1）

式中：D_AT表示生產任務實際剩余完工時間；D_PT表示生產任務計劃剩余完工時間。D_PT在生產任務中為確定值，可通過生產任務計劃總時長與當前加工時長獲得，D_AT為非確定值，需通過本文模型進行預測得出。當生產任務進行到t時刻時，可以將D_AT定義為

D_AT=f（C_t，B）（2）

式中：B為正在進行的生產任務需要生產不同類型產品數量的集合，B={B₁，B₂，B₃，…，B_A}；C_t為t時刻車間的生產狀態；f（·）表示D_AT和C_t、N兩個影響因素的映射關系。車間每個工位的入緩存區狀態I_S、加工區狀態M_S、出緩存區狀態O_S以及轉運狀態T_S，這4類生產狀態信息共同組成車間某時刻有效的生產狀態集合，故可將C_t進一步描述為下式：

C_t={I_S，t，M_S，t，O_S，t，T_S，t}（3）

1）入緩存區狀態

I_S，t={I^s_S，t|s=1，2，3，…，M}，I^s_S，t是t時刻工位s的入緩存區狀態，每個工位的入緩存區狀態共同構成I_S，t。工位入緩存區中有序擺放著即將進入加工區的在制品，I^s_S，t由t時刻工位s入緩存區第i個位置在制品種類I^s_P，t，i以及該在制品進入入緩存區后等待時長I^s_T，t，i組成，如下式所示。

I^s_S，t，i={（I^s_P，t，i，I^s_T，t，i）|i=1，2，3，…，C_im}（4）

式中C_im為工位s入緩存區的可容納在制品數量，在生產過程中為固定值。

2）加工區狀態

M_S，t={M^s_S，t|s=1，2，3，…，M}，M^s_S，t是t時刻工位s的加工區的狀態，每個工位的加工區狀態共同構成M_S，t，t時刻工位s的加工區狀態可以由加工區機床運行狀態M^s_F，t、加工區中的唯一在制品種類M^s_P，t、加工區在制品已經加工的時長M^s_T，t組成，如下式所示：

M^s_S，t={（M^s_F，t，M^s_P，t，M^s_T，t）}（5）

3）出緩存區狀態

O_S，t={O^sS，t|s=1，2，3，…，M}，O^s_S，t是t時刻工位s的出緩存區狀態，每個工位的出緩存區狀態共同構成O_S，t。工位的出緩存區中有序擺放著即將進行轉運的在制品，O^s_S，t由t時刻工位s出緩存區第i個位置的在制品種類O^s_P，t，i以及該在制品進入出緩存區后已經等待的時長O^s_T，t，i組成，如下式所示：

O^s_S，t={（O^s_P，t，i，O^s_T，t，i）|i=1，2，…，C_om}（6）

式中C_om為工位s的出緩存區的可容納在制品數量，在生產過程中為固定值。

4）轉運狀態

T_S，t={T^s_S，t|s=1，2，3，…，M}，T^s_S，t是t時刻離開工位s出緩存區的在制品的轉運狀態，每個工位的轉運狀態共同構成T_S，t，T^s_S，t由t時刻從工位s出緩存區中出來且處于轉運狀態的第a種類型的在制品的數量T^s_P，t，a以及第a種類型的在制品已轉運時長T^s_T，t，a組成，如下式所示：

T^s_S，t={（T^s_P，t，a，T^s_T，t，a）|a=1，2，3，…，A}（7）

2 基于注意力SRU的生產異常分析

2.1 注意力SRU預測模型框架

結合1.3節所述衡量生產異常的指標和影響因素，本文提出了一種生產任務剩余完工時間預測模型（圖1）。將生產任務剩余完工時間作為標簽，將多條車間歷史生產狀態數據進行預處理并輸入網絡，生產任務剩余完工時間作為輸出，利用注意力SRU預測模型深入挖掘歷史生產狀態數據。訓練后的模型可應用于在線階段，發生異常時可根據車間實時生產狀態數據對當前生產任務推后完工時間進行預測。

2.2 數據預處理

針對時序型問題，輸入預測網絡的樣本應為具有時序性的數據，現將物聯設備采集到的某時刻t的車間生產狀態數據進行時序化處理，具體步驟如下。

步驟1：獲取t時刻原始車間生產狀態一維數據S_t，數據長度為L，格式為[I¹_S，t，…，Iⁱ_S，t，…，M¹_S，t，…，Mⁱ_S，t，…，O¹_S，t，…，Oⁱ_S，t，…，T¹_S，t，…，Tⁱ_S，t，…，N，D_AT，t]。其中D_AT，t為t時刻生產任務剩余完工時間，為輸入數據的標簽。

步驟2：確定輸入網絡的步長l，并將l條原始數據序列化處理，相鄰的兩條狀態數據的時間間隔為Δt，處理后t時刻輸入網絡的數據d_ata，t格式為[S_t，S_t-Δt，…， S_t-（l-1）^*_Δt]。

步驟3：為提高數據質量，對輸入數據進行歸一化處理，如式（8）所示。將數據放縮至[0，1]區間內，降低數據的離散性，使數據更加密集，加快模型的收斂速度。

2.3 注意力SRU特征提取

SRU神經網絡主要解決了傳統RNN和LSTM網絡因串行化計算方式而導致網絡訓練速度受限問題。本文注意力機制的SRU并行神經網絡具體結構如圖2所示。

對于輸入序列x_t首先進行線性變換：

為解決LSTM網絡遺忘門需要上一個神經元的最終輸出h_t－1的輸入而導致獨立性和并行性被破壞的問題，提出了完全drop連接，即去除對于h_t－1的依賴，SRU網絡相應公式如下：

f_t=σ（W_f×x_t+b_f）（10）

r_t=σ（W_r×x_t+b_r）（11）

式中：W_f和W_r為遺忘門和重置門的核心權重矩陣；b_f和b_r則是相應偏置項；σ表示sigmoid激活函數。式（9）—式（11）是SRU網絡解除對h_t－1依賴的核心公式，得到x_t～、f_t、r_t后可進行跨時間維度的計算，獲取序列的相應時序信息，公式如下：

式中：⊙表示Hadamard乘積，即對應位置元素相乘，故式（12）—式（13）計算流程較為簡潔；g表示tanh激活函數；C_t、h_t為輸入序列x的第t個時間步的遺忘門與輸出門。經SRU并行處理后輸出的序列通過注意力機制參數α給予不同時間步狀態相應權重，使不同時刻狀態在預測中發揮相應作用，公式如下：

最后通過全連接層輸出結果，如下式：

式中：h^L為最后一層SRU全部時間步的輸出；h^L_s為最后一個時間步輸出；W_q、b_q分別是全連接層的權重與偏差。

在式（9）—式（11）中，雖然解除了前一時刻的依賴，但是仍然存在一定的瓶頸即涉及W、W_f、W_r3個矩陣乘法的運算，故可將上述3個權重矩陣合并成一個大矩陣。矩陣乘法在所有的時間步驟中可以進行批處理，可以顯著地提高計算的強度和GPU的利用率，且所有逐元素相乘的操作均可以放入一個kernel函數（核函數）中，否則加法和sigmoid激活函數就會分別需要調用各自獨立的函數，并且增加額外的kernel運行延遲和數據移動的開銷。矩陣合并的具體公式如下：

U^T=（W，W_f，W_r）^-1×[x₁，x₂，…，x_n]（17）

2.4 反向傳播

在回歸預測過程中，本模型采用Adam優化器算法進行反向傳播，將方均誤差結合正則化項作為損失函數以避免過擬合現象如式（18）所示，式中N為樣本數，λ為L2正則化項參數，?_i和y_i分別為樣本i的預測剩余完工時間與實際剩余完工時間。

3 算法運行分析及實際用例

3.1 算法性能及運行結果

現有某企業精密機加車間共計12個工位，主要加工任務為8種類型零件產品，車間每個工位均部署RFID固定式讀寫器通過同軸線纜連接3枚RFID天線負責感知入緩存區、出緩存區和轉運數據，加工區數據由工作人員通過手持式RFID讀寫器進行感知獲得，將由上述方法獲得的特征維度為582的7 041組車間歷史數據作為數據集，并按照9∶1比例劃分為訓練集和測試集。注意力SRU神經網絡模型各項參數經不斷調試后如表2所示。

將實驗數據進行預處理后輸入模型進行實驗，模型訓練完畢后，從測試數據集中抽取100組數據對該網絡模型進行精度驗證，并將預測數值與實際數值對比結果進行統計，結果如圖3所示（本刊黑白印刷，相關疑問咨詢作者）。

從圖3中各個樣本的實際值與預測值對比可發現：對于發生在生產任務前期的異常樣本即生產任務實際剩余完工時間較長的樣本而言，預測值與實際值的差異較大，預測精度較低，反之則預測精度較高，即隨著生產過程的推進和生產任務實際剩余完工時間的減小，該模型對于生產任務剩余完工時間的預測越來越準確。從總體效果來看，該模型可以較為準確地對生產任務剩余完工時間進行預測。

在實驗中，為了對上述描述結論進行定量描述，將D_ATgt;500的樣本稱為前期階段生產任務，將250lt;D_AT≤500的樣本稱為中期階段生產任務，將D_AT≤250的樣本稱為后期階段生產任務，對于生產任務的不同階段均采用方均根差（root mean square error，RMSE）和決定系數（R-square， R²）來對預測值和真實值之間的偏差進行度量；RMSE值越小，模型的預測效果越好，R²越接近1，預測值對實際值的解釋程度越準確，擬合度越好。兩者具體公式如下：

式中：N為測試樣本的數量；?_n和y_n分別為樣本n的預測剩余完工時間與實際剩余完工時間；y—_n為生產任務實際剩余完工時間平均值。注意力SRU模型的預測結果中不同階段生產任務實驗結果如表3所示。

由表3知，隨著生產任務的推進，RMSE值逐漸變小，R²逐漸變大，即隨著生產任務的進行，模型的預測精度逐漸提高。

圖4為注意力SRU模型的RMSE值在訓練集和測試集上的變化曲線，可見RMSE變化曲線收斂下降速度較快，穩定后RMSE值達到13.20，表明該模型的預測能力較好。RMSE變化曲線在測試集與訓練集上的收斂速度與方向一致，表明該網絡模型可以較好地避免過擬合現象的發生。圖5為R²在訓練集和測試集上的變化曲線，在100次迭代后曲線開始趨于穩定，最終R²可達到0.983，即預測值對實際值的解釋程度較準確，擬合度較好。

為了驗證本文所使用方法的優越性，選取LSTM、非注意力SRU神經網絡在相同條件下進行實驗，表4為3種神經網絡模型的R_MSE和R²實驗結果對比（A-SRU為注意力SRU模型）。

圖6為上述3種網絡模型同時進行300次迭代得到的RMSE值變化曲線對比效果圖。LSTM神經網絡和非注意力SRU神經網絡的RMSE值收斂后分別達到18.53和19.40；A-SRU的RMSE值收斂下降速度較快，迭代過程較為平穩，其能夠達到的最小RMSE值為13.20，為3種網絡模型最低，即注意力機制有效改善了SRU網絡的準確性問題，預測效果最好。時間維度上采用不同層數的批量化尺寸均為64的A-SRU與LSTM和CNN進行對比，結果如表5所示。A-SRU和LSTM準確率相近且均高于CNN，單層A-SRU效率和CNN相近且顯著高于單層LSTM，4層A-SRU效率和單層LSTM相近。故綜合準確率和運算效率，A-SRU模型較為優秀。

3.2 車間實際案例分析

以某車間某時刻發生的生產異常為例進行具體的實驗驗證該方法的可行性。實驗采用發生于生產任務中后期的生產異常以保證準確性并量化其影響程度。某在制品在工位8發生入緩存區堵塞異常事件和加工（轉運）排隊超時事件，對后續生產流程造成了影響。將該異常發生時刻的車間所有工位的生產狀態數據從系統數據庫中進行提取，表6為工位8該時刻的生產狀態相關數據。

將相關數據輸入注意力SRU預測模型中，結果表明當前生產任務的剩余完工時間為171h，而計劃剩余完工時間156h，即上述生產異常對未來生產任務會產生15h推后的不良影響，車間調度人員需綜合考慮該延遲效果對車間整體生產過程的影響，采取相應的決策管控手段以盡量降低影響程度，防止情況惡化。

4 結語

本文針對離散制造過程中生產異常難以準確評估分析的問題，以生產任務推后完工時間作為生產異常衡量的指標并分析了其影響因素；結合物聯制造數據的特征，設計了一種基于注意力機制的SRU生產任務剩余完工時間預測模型，將生產狀態數據進行時序化和歸一化處理，采用并行化的特征提取方式結合注意力機制提高了模型的訓練速度和準確性，并通過不同模型對比分析，驗證了模型在準確率和運算效率上的優越性，應用實際案例也驗證了生產異常分析方法的可行性。

參考文獻：

[1] 尹超， 甘德文， 梁忠權， 等. 復雜機電產品關鍵裝配工序物料質量損失評估及預警方法[J]. 計算機集成制造系統， 2014， 20（6）：1432-1442.

[2] SYAFRUDIN M，ALFIAN G，FITRIYANI N，et al. Performance analysis of IoT-based sensor，big data processing，and machine learning model for real-time monitoring system in automotive manufacturing[J]. Sensors，2018，18（9）：2946.

[3] 張人敬. 基于深度神經網絡的車間生產異常發現與分析方法研究[D]. 哈爾濱：哈爾濱理工大學， 2018.

[4] QIU Y T，SAWHNEY R，ZHANG C Y，et al. Data mining-based disturbances prediction for job shop scheduling[J]. Advances in Mechanical Engineering，2019，11（3）：16878.

[5] ZHANG Y F，WANG W B，WU N Q，et al. IoT-enabled real-time production performance analysis and exception diagnosis model[J]. IEEE Transactions on Automation Science and Engineering，2016，13（3）：1318-1332.

[6] YIN C ，GUO C ， ZHAO X . Evaluation and early warning method of abnormal production loss for minicar rear axle key process[J]. Computer Integrated Manufacturing Systems， 2014， 20（10）：2532-2541.

收稿日期：20230206