基于局部線性嵌人的制造過程多重共線性參數(shù)特征選擇

中圖分類號：TH165.4

DOI：10.3969/j.issn.1004-132X.2025.06.011 開放科學(xué)（資源服務(wù)）標識碼（OSID）：

Multicollinearity Parameter Feature Selection for Manufacturing Processes Based on LLEs

HU Sheng1，2 * GAO Bingbing1ZHANG XilLIU Dengji1

1.School of Mechanical Engineering and Electrical Engineering，Xi'an Polytechnic University， Xi'an，710048

2.Hubei Key Laboratory of Modern Manufacturing Quality Engineering，Hubei University of Technology，Wuhan，430068

Abstract： In manufacturing processes，a large number of parameters were easily caused to have multicollinearity，which led to problems such as inaccurate prediction of quality indicators. To address these problems，a feature selection method for multicollinear parameters in the manufacturing processes was proposed based on LLE. Firstly， the multicollinearity of the manufacturing process parameters was diagnosed，and then the multicolinearity was eliminated by using the least absolute shrinkage and selection operator（LASSO） regression. Secondly，the LLE algorithm was used to perform feature selection on the parameters after LASSO regression to obtain independent feature spaces，and they were input into the whale optimization algorithm-support vector machine（WOA-SVM） model to verify the parameter feature selection effectiveness of the proposed algorithm. Finally，the effectiveness of the proposed method was verified through case analysis. The results show that compared with the original data，the proposed method may obtain more accurate prediction results under a lower-dimensional feature space，the correlation coeficient value is up to O.97O2，and the accuracy of feature selection increases by 24.989% ：

Key words： manufacturing process； multicollinearity； local linear embedding（LLE）； feature se-lection

0 引言

制造過程復(fù)雜龐大，工序繁瑣，每個工序在生產(chǎn)中會產(chǎn)生海量參數(shù)。以弱剛性鋁合金零件加工為例，切削深度、進給量、主軸轉(zhuǎn)速等是關(guān)鍵工藝參數(shù)，但這些參數(shù)并非完全獨立，存在一定的相關(guān)性，若對其獨立分析或優(yōu)化，不考慮參數(shù)間的相互作用，就會出現(xiàn)多重共線性問題。多重共線性的存在不僅使產(chǎn)品穩(wěn)定性受到影響，還會導(dǎo)致產(chǎn)品質(zhì)量的下降和加工效率的降低[1]。制造過程中參數(shù)的多重共線性會使參數(shù)指標結(jié)果失準。近年來國內(nèi)外學(xué)者對制造過程的多重共線性選擇展開了一系列研究。KATRUTSA等[針對特征間線性相關(guān)性導(dǎo)致多重共線性問題，介紹了一種基于二次規(guī)劃的特征選擇方法。王珂瑤等[3針對屬性變量存在嚴重多重共線性問題，提出了一種修正的馬氏距離判別法，以選擇預(yù)測效果最好的變量維度。JING等[4]為了估計具有測量誤差和多重共線性的參數(shù)，研究了存在多重共線性和測量誤差情況下獲得參數(shù)估計量的新方法。JING等[5]針對中介軸承故障信號傳輸路徑復(fù)雜的問題，提出了一種基于局部線性嵌人（local linearembed-ding，LLE）算法的故障特征提取方法，該方法利用LLE對多傳感器的高維故障特征進行約簡和融合，構(gòu)建故障樣本。XIANG 等針對工業(yè)生產(chǎn)過程中采集真實數(shù)據(jù)的復(fù)雜性從而增加基于數(shù)據(jù)的知識發(fā)現(xiàn)的難度，提出了一種集成學(xué)習(xí)驅(qū)動的穩(wěn)定特征選擇方法，以提高特征選擇的穩(wěn)定性和準確性。晶圓良率是衡量半導(dǎo)體產(chǎn)品質(zhì)量的關(guān)鍵指標，許鴻偉等7針對晶圓良率的數(shù)據(jù)間關(guān)系復(fù)雜等特點，對晶圓電性測試參數(shù)間的多重共線性關(guān)系進行主成分分析，獲取了預(yù)測模型的輸入變量。陰艷超等8針對生產(chǎn)過程中多工藝參數(shù)時序耦合導(dǎo)致生產(chǎn)質(zhì)量難以準確預(yù)測的問題，提出了基于深度時間卷積神經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的生產(chǎn)質(zhì)量快速高效預(yù)測方法。為了選擇相關(guān)參數(shù)的正確值以提高加工表面質(zhì)量，WIBOWO等9針對二階多項式回歸（second-order polynomial re-gression，SOPR）的開發(fā)沒有考慮多重共線性的存在，可能導(dǎo)致不適當預(yù)測的問題，使用內(nèi)核主成分回歸方法克服了SOPR的弱點。鐘杰等[10]提出了一種基于相關(guān)性參數(shù)選擇與卷積神經(jīng)網(wǎng)絡(luò)的異常檢測方法，利用最大信息系數(shù)和Pearson 相關(guān)系數(shù)法挖掘參數(shù)之間的相關(guān)性，建立相關(guān)性非參集合。HE等[1]針對具有不確定參數(shù)和測量噪聲的線性系統(tǒng)，提出了一種新的基于區(qū)間觀測器的補償器設(shè)計方法。

綜上所述，制造過程參數(shù)的多重共線性診斷多依據(jù)單一數(shù)據(jù)分布特點判斷，客觀性不足，解決多重共線性的方法主要是手動移除共線性變量或增加樣本量，易產(chǎn)生較大誤差。本文提出一種基于LLE算法的制造過程參數(shù)特征選擇框架，集成多種智能算法優(yōu)勢，通過多階段或并行處理提高特征選擇的魯棒性。先運用容許值、方差膨脹因子與特征根判斷法診斷參數(shù)的多重共線性，再用最小絕對收縮和選擇算子（leastabsoluteselec-tion and shrinkage operator，LASSO）回歸模型處理共線性參數(shù)，以明晰參數(shù)對產(chǎn)品質(zhì)量的影響程度；接著采用LLE算法對LASSO回歸后的參數(shù)進行特征選擇，獲取更獨立的特征空間；最后將所選參數(shù)輸人鯨魚優(yōu)化支持向量機（whaleopti-mizationalgorithm-supportvectormachine，WOA-SVM）模型預(yù)測產(chǎn)品質(zhì)量，并通過案例分析驗證該方法的可行性。

1制造過程多重共線性參數(shù)特征選擇框架

1.1多重共線性參數(shù)特征選擇問題描述

在制造過程中產(chǎn)生的多重共線性參數(shù)的特征選擇有以下兩個問題需要解決： ① 如何診斷并消除參數(shù)間的多重共線性； ② 如何對數(shù)據(jù)進行特征選擇，提高預(yù)測模型精度。如圖1所示。

1.2多重共線性參數(shù)特征選擇框架

制造過程多重共線性參數(shù)即制造過程中可以直接影響制造產(chǎn)品質(zhì)量、性能和穩(wěn)定性的相關(guān)參數(shù)，對其進行多重共線性的消除及選擇可以獲得更優(yōu)的產(chǎn)品質(zhì)量。基于此，文中提出的基于局部線性嵌人的制造過程多重共線性參數(shù)特征選擇框架如圖2所示。具體內(nèi)容有以下兩個流程：首先收集制造過程產(chǎn)生的海量參數(shù)，采用方差膨脹因子法和特征根判斷法診斷制造過程涉及的參數(shù)是否存在多重共線性，并利用LASSO回歸對多重共線性參數(shù)進行處理，以提高回歸模型的穩(wěn)定性和預(yù)測能力；然后采用LLE算法對LASSO回歸后的參數(shù)進行特征選擇，并將其輸入到WOA-SVM中對選擇后的參數(shù)進行預(yù)測分析，驗證所選方法的特征選擇效果。

2制造過程參數(shù)的多重共線性消除

2.1 多重共線性參數(shù)診斷

為了診斷出制造過程參數(shù)變量間的多重共線性，選取容許值、方差膨脹因子以及特征根作為分析診斷指標。容許值是量化自變量之間共線性程度的一個重要指標，通過容許值分析，可以識別出哪些是對共線性影響較大的變量，從而有針對性地進行處理。方差膨脹因子能夠量化解釋變量之間的共線性程度，通過方差膨脹因子分析，可以確定哪些解釋變量受共線性的影響較大，進而優(yōu)化回歸模型結(jié)構(gòu)，提高回歸模型的預(yù)測精度。特征根分析可以識別哪些可能導(dǎo)致多重共線性的變量組合，通過特征根分析，可以揭示變量之間的潛在關(guān)聯(lián)和相互作用，為進一步優(yōu)化模型提供支持。

2.1.1 容許值 T

容許值 T 的定義為

Ti′=1-Ri′2i′=1，2，…，m

其中， Ri′ 為自變量 Xi′ 與其他 m-1 個自變量間的相關(guān)系數(shù)。如果自變量 Xi′ 與其他 m-1 個自變量間存在嚴重共線性（即 Ri′2≈1? ，則 Ti′≈0 ，反之，則 Ti′≈1 。容許值小于0.2可以認為是多重共線性存在的標志。當容許值小于0.1時，說明制造過程參數(shù)變量的多重共線性很嚴重[12-13]

2.1.2 方差膨脹因子

方差膨脹因子 V 即為容許值的倒數(shù)。方差膨脹因子是指因自變量之間的共線性而導(dǎo)致的回歸系數(shù)估計方差增加的相對度量。第 i^′ 個回歸系數(shù)的方差膨脹因子可表示為

Vi′ 越大， Ri′2 越接近于1，說明自變量 Xi′ 與其他自變量間的共線性越強。通常情況下， V?5 時說明參數(shù)自變量間存在嚴重的多重共線性[12-13]

2.1.3 特征根分析

1）條件指數(shù)。條件指數(shù)公式為

即為 X^TX 陣中最大特征值與其他各特征值之比的算術(shù)平方根。如果 λ_k 接近于0，則條件指數(shù) η_k 將很大；條件指數(shù)越大，共線性越強。通常情況下，若最大條件指數(shù)大于等于10且各變量的方差分解比例中的最大值大于0.5，可認為自變量間存在共線性。在應(yīng)用中，如果 η_k?30 ，則認為自變量之間存在較強的共線關(guān)系[12]

2）方差比例。方差比例是通過分解回歸系數(shù)方差在不同主成分上的貢獻比例，識別哪些參數(shù)變量組合可能因共線性導(dǎo)致回歸系數(shù)不穩(wěn)定。設(shè)自變量的觀測值構(gòu)成的設(shè)計矩陣為 X ，先將 X 單位化，再對其進行奇異值分解：

X_n×m=U_n×mD_n×mV_n×m

式中： D_n×m 為對角陣，其對角線上的元素為 X^TX 的特征根； V_n×m 為 X^TX 的特征向量組成的正交矩陣； U_n×m 為由X，D，V^T 確定的另一個正交矩陣。

回歸系數(shù) b_k 的方差為

式中： v_i^′k 為 V_n×m 中第 （k，i^′） 個元素； u_i^′ 為 D_n×m 中對角線上第 （i^′，k） 個元素； σ² 為隨機誤差項的方差。

設(shè) φi′k=vi′k2/ui′2 ，則第 （i′，k） 個方差比例定義為

理論上一般認為，在參數(shù)自變量標準化情況下，采用回歸系數(shù)方差比例方法診斷制造過程參數(shù)變量多重共線性的診斷原則為： ① 相關(guān)的條件指標較高，一般指大于10； ②2 個或多個估計回歸系數(shù)有較大的方差比例，一般大于 0.5^[12] 。

上述方法表明，容許值、方差膨脹因子與特征根分析這三種多重共線性的診斷方法能夠有效地診斷出參數(shù)間的多重共線性，發(fā)現(xiàn)參數(shù)變量之間的線性相關(guān)關(guān)系。因此，需要在后文采取相應(yīng)的解決方法以避免模型估計失真、減少計算誤差。

2.2 基于LASSO回歸的參數(shù)多重共線性消除

本文選取LASSO回歸方法解決參數(shù)多重共線性問題。LASSO回歸是一種替代最小二乘法的壓縮估計方法，即為最小絕對值選擇與選擇算子回歸方法[14]。在LASSO回歸中，模型的目標函數(shù)被修改為最小化殘差平方和加上一個與模型參數(shù)絕對值相關(guān)的正則化項，這個正則化項通常是一個常數(shù)乘以所有模型參數(shù)絕對值的總和。假設(shè)制造過程參數(shù) X_i={x_i1，x_i2，…，x_im*} ，其中， m *表示制造過程參數(shù)的數(shù)量， Y_i 為第 i 個過程參數(shù)對應(yīng)的因變量，考慮線性回歸模型：

其中， α_i 為制造過程參數(shù)的因變量， β_j 為制造過程參數(shù)的自變量。在一般的回歸結(jié)構(gòu)中，通常修改目標函數(shù)來引人正則化項，假設(shè)過程參數(shù)彼此獨立，或 Y_i 在過程參數(shù)給定的情況下獨立，即 Y_i 關(guān)于 X_i 條件獨立，同時假設(shè)樣本參數(shù) x_ij 是標準化的，也就是 ， ，則LASSO回歸的目標函數(shù)為

式（8）中， t 為一個正的調(diào)和參數(shù)，用于控制正則化的強度。此時對于一切 Ψ_t ，有 α 的估計 。其中， 為過程參數(shù)自變量的平均值。當 Ψ_t 增大時，正則化項的權(quán)重增加，使得回歸系數(shù)總體變小，若令 ，就會使一些回歸系數(shù)縮小并趨于0，一些系數(shù)甚至?xí)_到0，從而簡化模型并減少過擬合。

3基于LLE的制造過程參數(shù)特征選擇

采用2.2節(jié)方法雖然消除了制造過程中參數(shù)的多重共線性，篩選了與產(chǎn)品質(zhì)量指標顯著性小的冗余過程參數(shù)，但還有參數(shù)彼此之間存在相關(guān)性，因此，需要對LASSO回歸后參數(shù)的特征空間重新構(gòu)建，以確保新空間中的特征彼此更加獨立，增強預(yù)測模型的泛化能力。基于LLE算法的制造過程參數(shù)特征選擇如圖3所示。

3.1 制造過程參數(shù)特征選擇

對于制造過程參數(shù)這種非線性高維數(shù)據(jù)，LLE算法可以保持鄰域內(nèi)樣本之間的線性關(guān)系，使得樣本之間的映射坐標能夠在低維空間中得以保持[15]，因此，選取LLE算法對LASSO回歸后的參數(shù)進行特征選擇。

LLE算法是給定一個過程參數(shù)樣本集 X^? ，X^?={x₁，x₂，…，x_N}∈R_D^?×N ，其中， x_i 為是過程參數(shù)樣本集的第 i（i=1，2，…，N） 個過程參數(shù)，過程參數(shù)樣本集的特征維度為 D^* ， x_i= {x_i1，x_i2，…，x_iD^*}∈R_D^*×1 ，算法的目標是從中挖掘出映射到低維空間的特征，其結(jié)果為 Y 。該目標的步驟如下：

1）鄰域的選取。對過程參數(shù)樣本集 X^? 中的每個過程參數(shù)樣本點 x_i 計算它與其他過程參數(shù)樣本點之間的相似性，選擇與之最相似的前一個點作為其近鄰點。

2）計算重構(gòu)權(quán)重矩陣 W 。找到給定的過程參數(shù)樣本點 x_i 的鄰域 x_j（j=1，2，…，k） ，求它在鄰域里與 k 近鄰點的線性關(guān)系，并通過最小化重構(gòu)誤差函數(shù)：

其中，過程參數(shù)樣本 x_j 不是過程參數(shù)樣本點 x_i 鄰域內(nèi)的近鄰點時，對應(yīng)的 W_ij 設(shè)為0。 W 是一個權(quán)重矩陣，其中每個元素都是 W_ij ，約束項用來滿足式（8）的解為稀疏解，即部分系數(shù)趨近于零，用于LLE的特征選擇。

3）獲得低維嵌入 Y 。采用基于局部線性結(jié)構(gòu)的方法，通過最小化目標函數(shù)來進行優(yōu)化：a S

其中， I_i?W_i 分別為 I?W 的第 i 個列向量， M= （I-W）（I-W）^T 。引人拉格朗日乘子將約束融入目標函數(shù)，利用梯度共線條件尋找極值候選點可得到 Y ，即 M 的 k 個最小非零特征值所對應(yīng)的特征向量， Y=（y₁，y₂，…，y_N） 。

通過LLE算法選擇更加獨立的特征空間之后，進行后續(xù)的驗證分析。

3.2 參數(shù)特征選擇效果評估指標

為了有效評估LLE算法的參數(shù)特征選擇效果，文中采用WOA-SVM預(yù)測模型對選擇后的特征空間進行驗證。所選評估指標包括均方誤差（MSE）、平均絕對誤差（MAE）、均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）及相關(guān)系數(shù)。其中，MSE，MAE，RMSE，MAPE 值 （σ_MSE ，σ_MAE，σ_RMSE，σ_MAPE） 越小，表示預(yù)測的誤差越小，相關(guān)系數(shù) R 越大，表示預(yù)測效果越好。評估指標的公式如表1所示。

注： _yq 為測試集中第 q 個樣本的真實值； 為測試集中第 q 個樣本數(shù)據(jù)的預(yù)測值； 為 ξ_l 個測試樣本質(zhì)量指標的均值， q∈[1AA 0，為測試集的樣本數(shù)。

4案例分析

為了驗證所提出的基于LLE算法的制造過程多重共線性參數(shù)特征選擇算法的有效性，選取弱剛性鋁合金零件加工過程的銑削參數(shù)作為實驗數(shù)據(jù)的來源[16]。該過程中若銑削加工參數(shù)（如主軸轉(zhuǎn)速、每齒進給量等）特征選擇不當，會使樣本數(shù)據(jù)的特征數(shù)量多，預(yù)測模型過于復(fù)雜，容易出現(xiàn)過擬合現(xiàn)象，因此，需要進行合理的特征選擇，降低數(shù)據(jù)的特征維度，進而提高質(zhì)量指標的預(yù)測準確率。在弱剛性零件選定的前提下，銑削加工變形受銑削參數(shù)的影響，例如轉(zhuǎn)速 n（r/min） 、每齒進給量 f_z（mm） 、徑向切深 a_p（mm） 、刀具前角γ_?0（Λ^°） 。在銑削參數(shù)的特征選擇過程中，需要對自變量進行多重共線性診斷，識別高度線性相關(guān)的冗余變量，并結(jié)合LASSO回歸消除共線性的影響，從而進行參數(shù)的特征選擇，以獲得最佳的預(yù)測效果，提高預(yù)測模型的穩(wěn)定性和加工效率。

4.1 銑削參數(shù)的多重共線性診斷

為對銑削參數(shù)與銑削加工變形的參數(shù)選擇模型進行有效訓(xùn)練，通過文獻[16]將轉(zhuǎn)速 n 、每齒進給量 f_z 、徑向切深 a_p 、刀具前角 γ_o 組成銑削參數(shù)，以及銑削加工變形量 y 組成100組訓(xùn)練樣本，如表2所示。

對樣本數(shù)據(jù)通過SPSS進行數(shù)據(jù)分析，以及多重共線性診斷，結(jié)果如表3所示。

由表3可以看出：樣本變量的方差膨脹因子（VIF）值超過5，其容許值均小于0.2，每齒進給量變量的VIF值甚至為11.905，其容許值約為0.084，說明參數(shù)變量之間存在嚴重的多重共線性，它們的相關(guān)性極強，在回歸模型中不顯著，這樣會導(dǎo)致回歸系數(shù)估計值偏離真實值，標準誤差增大，使得顯著性檢驗失敗。轉(zhuǎn)速、每齒進給量、徑向切深和刀具前角的特征值約等于0，說明存在比較嚴重的共線性；每齒進給量、徑向切深和刀具前角的條件指標大于10，說明存在比較嚴重的共線性；轉(zhuǎn)速、每齒進給量、徑向切深、刀具前角的方差比例五個主成分中方差比例最大值均超過0.5，說明存在比較嚴重的共線性。

樣本數(shù)據(jù)存在多重共線性可能會對回歸模型的穩(wěn)定性產(chǎn)生負面影響。當存在多重共線性時，自變量的參數(shù)估計值可能會變得不穩(wěn)定，對樣本的微小變化非常敏感，這意味著在不同的樣本或模型設(shè)定下，參數(shù)的估計值可能會有很大的變化，同時也會導(dǎo)致參數(shù)估計值的方差增大，從而使得變量的顯著性檢驗失效，因此，后續(xù)將解決樣本數(shù)據(jù)的多重共線性問題。

4.2 銑削參數(shù)的多重共線性處理

考慮到銑削參數(shù)對銑削加工變形的影響，文中采取LASSO回歸方法解決樣本數(shù)據(jù)的多重共線性問題。首先將樣本數(shù)據(jù)進行標準化處理，然后利用SPSSPRO軟件對樣本數(shù)據(jù)進行LASSO回歸分析，LASSO回歸交叉驗證圖見圖4。

圖4以可視化的形式展示了使用交叉驗證選擇入值的情況，其中 λ 為正則化參數(shù)，選擇的標準是使得模型的均方誤差最小。因此，為使得均方誤差最小，確定 λ=0.02，log（λ）=-3.902 。

通過模型系數(shù)表確定篩選變量的情況，結(jié)果如表4所示。

當模型中標準化系數(shù)變量為0時，這個變量會被排除出模型，其中截距表示加工變形量的預(yù)測值。表4結(jié)果顯示：截距、轉(zhuǎn)速、每齒進給量、徑向切深、刀具前角的標準化系數(shù)都不為0，因此沒有變量被剔除。標準化系數(shù)提供了自變量對因變量影響力的相對度量，減弱了單位的影響，而非標準化系數(shù)則直接反映了自變量和因變量之間的原始關(guān)系，因此，LASSO回歸減弱了徑向切深和刀具前角對加工變形量的影響，轉(zhuǎn)速和每齒進給量對加工變形量有顯著作用。

表4模型系數(shù)表

4.3基于LLE的制造過程銑削參數(shù)特征選擇

對4.2節(jié)LASSO回歸后的銑削參數(shù)進行特征選擇，采用LLE算法選擇低維空間中正交性強的方向作為新特征，生成更獨立的低維特征，將高維銑削參數(shù)映射到2維空間，直觀可視化參數(shù)間的潛在關(guān)系。圖5為LLE算法降維后的散點圖，由圖5a可以明顯看出數(shù)據(jù)分布呈負相關(guān)，與回歸后的數(shù)據(jù)分布相似，說明在降維過程中丟失的信息較少，降維效果良好；由圖5b所示數(shù)據(jù)分布看不出數(shù)據(jù)呈何種分布狀態(tài)，因此，基于3.1節(jié)設(shè)定近鄰數(shù) K=10 ，選擇后的銑削參數(shù)特征空間為2維空間，如表5所示。

4.4 結(jié)果分析

為了說明選取LLE算法進行參數(shù)特征選擇的有效性，將其與LASSO回歸方法進行對比。文中選取WOA-SVM模型通過預(yù)測回歸分析對參數(shù)選擇效果進行驗證，在SVM中，RBF核函數(shù)的主要參數(shù)是懲罰因子 c 和γ，其中懲罰因子 C 在SVM中起到權(quán)衡的作用，用于控制模型對誤差的寬容度，γ決定了數(shù)據(jù)映射到新的特征空間后的分布。

將經(jīng)過LASSO回歸篩選的關(guān)鍵參數(shù)與經(jīng)LLE算法選擇獲取的特征空間分別輸入到采用RBF核函數(shù)的WOA-SVM模型中進行預(yù)測驗證，從100組數(shù)據(jù)中隨機選取70組作為訓(xùn)練集，其余30組作為測試集，初始種群為30，迭代次數(shù)為100，WOA搜尋的最優(yōu)懲罰因子和γ范圍設(shè)為0.1～100 和 0.1～50 ，優(yōu)化變量的下限和上限分別為0.01和100，可得WOA尋優(yōu)后的最佳懲罰因子值為36.7769，最優(yōu) γ 值為4.5944。WOA算法適應(yīng)度與迭代次數(shù)的曲線圖見圖6。

由圖6可知，迭代100次可滿足WOA算法的收斂。

取2次預(yù)測結(jié)果的平均值進行對比分析，并以原始樣本數(shù)據(jù)的銑削參數(shù)空間預(yù)測效果作為對照。每種方法輸入到預(yù)測模型的最優(yōu)核函數(shù)參數(shù)與結(jié)果對比如圖7和表6所示。

由圖7和表6可知，對銑削參數(shù)進行參數(shù)特征選擇的預(yù)測效果是優(yōu)于跳過銑削參數(shù)篩選直接對過程參數(shù)進行參數(shù)特征選擇的預(yù)測效果的，即在對具有多重共線性的制造過程參數(shù)數(shù)據(jù)進行參數(shù)特征選擇前，進行LASSO回歸的篩選是有必要的。對于LASSO回歸篩選后的關(guān)鍵參數(shù)，采用LLE算法參數(shù)特征選擇后的預(yù)測效果中的各項評價指標優(yōu)于LASSO回歸和原始樣本數(shù)據(jù)，即 σ_MSE 減小了約 16.28% σ_MAE 減小了約 14.59% ，σ_RMSE 減小了約 9.24% σ_MAPE 減小了約 15.61% ，均小于原始樣本數(shù)據(jù)的指標數(shù)值；相關(guān)系數(shù)值高于原始樣本數(shù)據(jù)的指標數(shù)值，高達0.9702，即特征選擇的準確率增加了 24.989% ；與其相對應(yīng)的運算時間為 0.08s ，相比于原樣本數(shù)據(jù)縮短了 0.03s 。綜上所述，文中提出的采用LLE算法對弱剛性零件進行銑削參數(shù)特征選擇，可以在更短的時間內(nèi)實現(xiàn)以更低的特征空間維度獲取更優(yōu)的參數(shù)特征選擇效果。

5結(jié)語

針對制造過程涉及的參數(shù)因高度相關(guān)而產(chǎn)生多重共線性問題所導(dǎo)致的參數(shù)選擇結(jié)果不穩(wěn)定和預(yù)測結(jié)果誤差較大等問題，本文進行了過程參數(shù)多重共線性的診斷及消除，并建立了制造過程參數(shù)特征選擇模型，得出以下結(jié)論：

1）通過SPSS分析對制造過程中的過程參數(shù)進行多重共線性診斷，綜合容許值、方差膨脹因子和特征根分析三種診斷指標判斷參數(shù)變量間的多重共線性，并通過LASSO回歸解決過程參數(shù)間的多重共線性，篩選出對產(chǎn)品質(zhì)量影響較大的過程參數(shù)，降低參數(shù)特征選擇的不穩(wěn)定性。

2）制造過程參數(shù)之間相互關(guān)聯(lián)，通過LLE算法對LASSO回歸后的過程參數(shù)進行特征選擇，運算時間相比于原樣本數(shù)據(jù)縮短了0.03s，特征選擇的準確率增加了 24.989% ，減小了因過程參數(shù)間相互關(guān)聯(lián)而導(dǎo)致的預(yù)測結(jié)果誤差較大等問題，從而提高了預(yù)測效果。

參考文獻：

[1] SIDDIQUEEM N，SIVARAMAKRISHNANK， WU Y，et al. A Statistical Approach Dealing with Multicollinearity among Predictors in Microfluidic Reactor Operation to Control Liquidphase Oxidation Selectivity[J].Reaction Chemistry amp; Engineering， 2018，3（6）：972-990.

[2] KATRUTSA A， STRIJOV V. Comprehensive Studyof Feature Selection Methods to Solve Multicollinearity Problem According to Evaluation Criteria[J]. Expert Systems with Applications，2017，76 1-11.

[3] 王珂瑤，王惠文，趙青，等．一種修正的馬氏距離判 別法［J].北京航空航天大學(xué)學(xué)報，2022，48（5）： 824-830. WANG Keyao，WANG Huiwen，ZHAO Qing，et al.A Modified Mahalanobis Distance Discriminant Method[J]. Journal of Beijing University of Aeronautics and Astronautics，2022，48（5）：824-830.

[4]JINGG，YUNFENG Z.Parameter Estimation Approaches to Tackling MeasurementErrorand Multicollinearity in Ordinal Probit Models[J].Communications in Statistics Theory and Methods，2020，49 （16）：3835-3859.

[5]JING T，YUWEI Z，F(xiàn)ENGLING Z，et al. A Novel Intellient Method for Intershaft Bearingfault Diagnosis Based on Hierarchical Permutation Entropy and LLE-RF[J]. Journal of Vibration and Control， 2023，29（23/24）：5357-5372.

[6]XIANG F， ZHAO Y，ZHANG M，et al. Ensemble Learning Based Stability Improvement Method for Feature Selection towards Performance Prediction [J].Journal of Manufacturing Systems，2024，74 55-67.

[7]許鴻偉，張潔，呂佑龍，等.基于改進的連續(xù)型深度 信念網(wǎng)絡(luò)的晶圓良率預(yù)測方法［J].計算機集成制 造系統(tǒng)，2020，26（9）：2388-2395. XU Hongwei， ZHANG Jie，LYU Youlong，et al. Wafer Yield Prediction Method Based on Improved Continuoustype Deep Belief Networks[J]. Computer Integrated Manufacturing System， 2020，26（9）： 2388-2395.

[8]陰艷超，施成娟，鄒朝普，等.基于深度時間卷積神 經(jīng)網(wǎng)絡(luò)與遷移學(xué)習(xí)的流程制造工藝過程質(zhì)量時序 關(guān)聯(lián)預(yù)測[J].中國機械工程，2023，34（14）：1659- 1671. YIN Yanchao， SHI Chengjuan， ZOU Chaopu，et al. Process Manufacturing Process Quality Timing Correlation Prediction Based on Deep Temporal Convolutional Neural Network and Transfer Learning[J].China Mechanical Engineering，2023，34 （14） ：1659-1671.

[9]WIBOWO A. Hybrid Kernel Principal Component Regression and Penalty Strategy of Multiple Adaptive Genetic Algorithms for Estimating Optimum Parameters in Abrasive Waterjet Machining[J]. Applied Soft Computing，2018，62 1102-1112.

[10]鐘杰，羅沖，張恒，等.基于相關(guān)性參數(shù)選擇的飛行 數(shù)據(jù)異常檢測[J].北京航空航天大學(xué)學(xué)報，2024， 50（5）：1738-1745. ZHONG Jie，LUO Chong， ZHANG Heng，et al. Abnor-mal Detection in Flight Data Based on Correlation Parameter Selection[J]. Journal of Beijing University of Aeronautics and Astronautics，2024， 50（5）：1738-1745.

[11]HE Zhongwei. Interval Observer-based Compensators Design for Linear Systems with Uncertain Timevarying Parameters[J].Transactions of the Institute of Measurement and Control，2023，45 （16）：3247-3253.

[12]周菲.Logistic回歸多重共線性的診斷與改進及其 在醫(yī)學(xué)中的應(yīng)用[D].蘭州：蘭州大學(xué)，2011. ZHOU Fei. Logistic Diagnosis and Improvement of Regression Multicollinearity and Its Application in Medicine[D]. Lanzhou：Lanzhou University，2011.

[13]WIBOWO A，DESA I M. Kernel Based Regression and Genetic Algorithms for Estimating Cutting Conditions of Surface Roughness in End MillingMachining Process[J].Expert Systems with Applications，2012，39（14）：11634-11641.

[14]劉明，杜建強，李郅琴，等.融合LASSO的近似馬 爾科夫毯特征選擇方法[J].計算機工程與應(yīng)用， 2024，60（8）：121-130. LIU Ming，DU Jianqiang，LI Zhiqin，et al.Fuses LASSO's Approximate Markov Blanket Feature Selection Method[J].Computer Engineering and Applications，2024，60（8）：121-130.

[15]張潞瑤，季偉東，程昊.基于LLE降維思想的自然 計算方法[J].系統(tǒng)仿真學(xué)報，2020，32（10）：1943- 1955. ZHANG Luyao，JI Weidong，CHENG Hao. A Natural Computational Method Based on the Idea of LLE Dimension Reduction[J]. Journal of System Simulation，2020，32（10）：1943-1955.

[16］王全.弱剛性鋁合金零件加工參數(shù)優(yōu)化研究[D]. 蘭州：蘭州理工大學(xué)，2022. WANG Quan. Study on Machining Parameter Optimization of Weak Rigid Aluminum Alloy Parts [D].Lanzhou：Lanzhou University of Technology， 2022. （編輯 王艷麗）