基于梯度提升決策樹的特征篩選與鋼卷力學性能預測

謝少捷，王 偉,2，何福善

(1.福州大學機械工程及自動化學院，福州 350100；2.福建省高端裝備制造協同創新中心，福州 350100)

0 引 言

熱鍍鋅鋼卷應用廣泛，隨著經濟的發展，用戶對熱鍍鋅鋼卷力學性能的要求越來越高[1]。熱鍍鋅鋼卷生產工藝復雜，涵蓋煉鋼、熱軋、冷軋、退火和平整等多道工序，影響鋼卷力學性能的工藝參數很多，因此力學性能控制是熱鍍鋅鋼卷生產中的重要問題之一[2]。熱鍍鋅鋼卷力學性能預測是力學性能控制的基礎。力學性能預測模型依賴高質量的輸入特征數據，但是熱鍍鋅工業生產環境復雜，從傳感器采集到的工藝參數不可避免地會受到噪聲等因素干擾，同時工藝參數眾多導致過多的建模特征，影響模型的準確性和預測效率，帶來維數災難問題[3-5]。因此，特征篩選是熱鍍鋅鋼卷力學性能機器學習建模的一個重要步驟[6-7]，即在建模前將對力學性能影響較大的特征篩選出來。姚林等[8]結合實際生產工藝和已有的工藝參數收集手段，對模型的輸入量和輸出量進行仔細篩選，基于偏最小二乘回歸模型建立帶鋼熱鍍鋅質量控制模型。賀俊光等[9]根據冶金學以及對生產數據的相關分析結果，確定力學性能的主要影響因素，利用反向傳播(BP)神經網絡算法建立了各種工藝參數對熱鍍鋅板力學性能影響的數學模型。上述特征篩選方法均是通過專家經驗和冶金機理進行的，可能會忽略從冶金機理角度而言對力學性能影響尚不明確但實際上影響較大的特征。

隨著統計技術的發展，學者們開始通過數理方法對力學性能建模特征進行篩選。吳思煒等[10]采用平均影響值篩選出對力學性能影響較大的特征，然后采用貝葉斯神經網絡建立簡化后的力學性能預測模型，該模型具有較高的預測精度。楊威等[11]基于隨機森林算法獲得各特征的重要性排序，建立一系列的模型來判斷各特征對模型預測精度影響的程度，最終篩選出重要性較高的特征作為自變量，所建立的力學性能預測模型具有較高的預測精度。上述方法僅基于數理知識篩選出對力學性能影響較大的特征，從而使建立的預測模型不適用于后續的力學性能控制。

梯度提升決策樹(Gradient Boosting Decision Tree，GBDT)算法[12]是基于Boosting策略的一種集成學習算法，其采用的Boosting策略主要關注降低偏差，通過依次學習多個基學習器來不斷提升性能。GBDT算法在分類、回歸問題上取得了優異的成果。SONG等[13]基于多種機器學習模型建立鋼的拉伸強度和塑性與其影響因素之間的映射函數，對這些模型的性能進行評估后，發現基于GBDT算法的映射函數的預測精度最高。蘇興華等[14]以GBDT算法為核心建立機械鉆速預測模型，同時將該方法與支持向量機、邏輯回歸、K最鄰近等其他機器學習算法進行比較，結果表明GBDT算法相對其他方法具有較高的準確率。目前未見基于GBDT算法對熱鍍鋅鋼卷力學性能預測方面的研究報道。作者以DC51D低碳鋁鎮靜鋼產品為例，利用工藝和力學性能生產數據樣本，基于冶金機理選出熱鍍鋅鋼卷基本建模特征，通過GBDT算法篩選出對屈服強度影響較大的其他化學元素，基于篩選出來的特征建立屈服強度預測模型，再基于網格搜索法與交叉驗證方法對模型參數進行優化，并利用模型分析不同特征對屈服強度的影響。

1 GBDT算法

1.1 建模過程

(1) 初始化學習器f0(x)的表達式為

(1)

式中：L(yi,γ)為損失函數；γ為使損失函數達到最小的常數。

對于回歸問題，GBDT算法采用平方誤差損失函數為損失函數，即：

L[y,f(x)]=[y-f(x)]2

(2)

式中：f(x)為機器學習模型預測值。

(2) 迭代輪數m取1,2,…,M，將此時損失函數的負梯度值rmi作為殘差的估計，即：

-2[yi-f(xi)]

(3)

根據所有樣本xi的負梯度值rmi得到由J個葉節點組成的一棵決策樹，定義其對應的葉節點區域為Rmj，其中j=1,2,…,J，各個葉節點的最佳殘差擬合值γmj為

(4)

式中：γm為在迭代輪數為m時的節點殘差擬合值。

更新學習器fm(x)，得到：

(5)

(6)

(3) 經過M輪迭代得到最終的模型為

(7)

1.2 基于GBDT的相對特征重要性度量

GBDT是以CART決策樹為基模型的集成學習模型。在回歸問題中，CART決策樹利用平方誤差對分裂變量進行選擇，并遞歸地生成二叉樹。根據特征在GBDT模型生成過程中作為分裂變量的次數以及這一次分裂帶來的增益提升，得到特征變量在GBDT模型中的相對特征重要性。將相對特征重要性用RFI表示，將平方誤差用SE表示，假設特征集S有n個特征，即X1,X2,X3,…,Xn，則要計算出特征集S中的某個特征Xj的相對特征重要性RFIj。決策樹中節點d的平方誤差SEd的計算公式為

(8)

特征Xj在節點d的相對特征重要性，即在二叉分枝前后的平方誤差減小量RFIjd為

RFIjd=SEd-wlSEl-wrSEr

(9)

式中：SEl和SEr分別為由節點d分裂的左右新節點的平方誤差；wl和wr分別為節點d分裂的左右新節點的樣本數占節點d樣本數的比率。

平方誤差減小量實際上是該節點此次分裂的收益，節點分裂時的收益越大，該節點對應的特征的重要性越高。假設第i棵決策樹有L次分裂，從根節點到L-1層搜索所有分裂節點，假設特征Xj在第i棵決策樹中出現的節點在集合E中，那么特征Xj在第i棵決策樹中的相對特征重要性RFIij為

RFIij=∑d∈ERFIjd

(10)

假設模型中共有M棵樹，則特征Xj在模型中的相對特征重要性為

(11)

由上求出所有特征在模型中的相對特征重要性，并作歸一化處理得出特征Xj的相對特征重要性為

(12)

2 特征篩選與鋼卷力學性能預測建模

2.1 特征篩選

鋼卷力學性能預測建模的輸出特征為屈服強度。熱鍍鋅鋼卷的基本成分、軋制工藝參數以及連退工藝參數是明確的，從物理冶金角度分析，這些特征均對屈服強度有重要影響。在GBDT算法的特征重要性分析過程中，要利用生產樣本數據建立預測模型，根據各特征變化對屈服強度的影響程度來評定特征重要性。基于GBDT算法的特征重要性分析不但與特征和屈服強度之間的物理冶金關系有關，也依賴于數據樣本中各特征的變化程度。在實際生產過程中，基本化學特征以及工藝參數特征中的部分特征由于控制程度較好，波動范圍小，觀測值較為穩定；這些數值穩定的特征容易被GBDT算法篩去。如果直接采用GBDT算法篩選特征，則會將在冶金機理上對屈服強度影響明確的特征篩除，說明僅用GBDT算法進行特征篩選存在一定的局限性。因此，在建立力學性能預測模型時，應將這些在冶金機理方面對屈服強度影響明確的特征作為模型的基本建模特征，包括熱軋、退火、平整、拉矯等工藝參數，厚度、寬度等規格特征以及五大基本化學元素特征。在鋼冶煉過程中不可避免會有其他化學元素存在，這些元素的存在也可能會引起屈服強度的變化，需要采用GBDT算法對這些元素進行篩選。

2.1.1 基于冶金機理的基本建模特征選取

熱鍍鋅低碳鋁鎮靜鋼卷的生產工藝包括煉鋼、熱軋、冷軋、連續退火、平整和拉矯。在熱軋工藝參數中，熱軋入軋溫度的升高會使鐵素體晶粒度增大，熱軋卷取溫度決定組織中滲碳體的數量和形態，熱軋終軋溫度決定滲碳體在組織中的分布[15]。在退火工藝參數中，不同的退火均熱段溫度消除加工硬化的程度不同，退火直燃段溫度決定退火加熱速率，退火冷卻段溫度通過影響退火冷卻速率來改變產品的組織和力學性能。熱鍍機組速率代表連續退火速率，影響退火加熱和冷卻的快慢。平整延伸率增大會導致表層晶粒變形區域增大，使得屈服強度增加。拉矯有利于改善材料在縱向和橫向上的各向異性[16]。在規格特征中，熱卷厚度、冷卷厚度通過影響總壓下率而對屈服強度造成影響，寬度通過影響溫度分布而對屈服強度造成影響。鋼中的基本元素是碳、硅、錳、磷、硫，其中：碳是鋼的強化元素，隨著碳含量的增加，鋼的強度增加，塑性下降；硅能固溶于鐵素體，從而提高鋼的硬度和強度；錳是鋼中重要的合金元素，通過置換固溶提高鋼的強度；磷和硫是冶煉過程中原材料中存在的元素，雖然含量不高，但是易增加脆性，從而影響鋼的力學性能[17]。由此可知，熱鍍鋅鋼卷力學性能預測建模的基本特征包括工藝參數特征(熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度、熱鍍機組速率、平整延伸率、拉矯率)、規格特征(熱卷厚度、冷卷厚度、寬度)以及基本化學元素特征(碳、硅、錳、磷、硫含量)。

2.1.2 基于GBDT的其他化學元素特征篩選

熱鍍鋅鋼卷中的其他化學元素包括氮、鋁、鈦、鈮、硼、氧。為分析這些元素對力學性能的定量影響，將熱鍍鋅鋼卷力學性能預測建模基本特征與這些化學元素一起作為建模輸入特征，利用Scikit-learn機器學習庫中的Gradient Boosting Regressor函數構建GBDT力學性能預測模型，得到氮、鋁、鈦、鈮、硼、氧元素含量對屈服強度的相對特征重要性，結果如圖1所示。由圖1可知，氮、鋁、鈦含量的相對特征重要性較大，而鈮、硼、氧含量的影響可以忽略。

圖1 熱鍍鋅鋼卷中其他化學元素含量的相對特征重要性Fig.1 Relative feature importance of other chemical elements in hot-dip galvanized steel coils

定量分析氮、鋁、鈦含量對屈服強度的影響。以氮含量為例，取氮含量在實際生產數據中的最小值、最大值以及最小值和最大值之間的3個四等分點，而除氮含量外的其他化學元素含量取建模數據中的平均值，利用GBDT模型計算屈服強度，分析氮含量在其取值范圍內的變化對屈服強度的影響。由圖2可以看出，隨著氮、鋁含量的增大，屈服強度單調遞增，而隨著鈦含量的增大，屈服強度基本不變，說明與鈦含量相比，氮、鋁含量的變化對屈服強度的影響程度更大。通常鈦、鈮等微合金元素對鋼卷強度具有明顯的影響，但是所研究的熱鍍鋅鋼卷為鋁鎮靜鋼，在產品設計時，鈮、鈦元素是殘余元素，平均質量分數分別為0.000 13%，0.000 12%，因此二者含量對屈服強度的影響有限。綜上可知，將對屈服強度影響較大的氮、鋁含量也作為力學性能預測建模特征。

圖2 用GBDT模型計算得到熱鍍鋅鋼卷的屈服強度隨氮、鋁、鈦質量分數的變化曲線Fig.2 Curves of yield strength of hot dip galvanized steel coil vs mass fraction of N (a), Al (b) and Ti (c) by GBDT model

2.2 鋼卷力學性能預測建模與模型參數優化

2.2.1 力學性能預測建模的交叉驗證方法

交叉驗證[18]將數據集劃分為訓練集和測試集，訓練集用于訓練模型，測試集用于評估模型，假設測試集數據和實際生產數據是獨立同分布的，那么測試集上的誤差可以近似看作是模型泛化誤差。將訓練集細分為訓練集和驗證集，在訓練集上訓練模型，利用驗證集上的誤差以幫助指導模型調參，防止模型欠擬合和過擬合[19]。在構建力學性能預測模型的過程中，需要對模型進行評估，根據評估指標選擇最佳模型。作者選用均方根誤差δRMSE、平均絕對誤差δMAE和平均絕對百分誤差δMAPE作為評估指標，計算公式分別為

(13)

(14)

(15)

式中：yi為第i條樣本的屈服強度實測值；pi為第i條樣本的屈服強度預測值。

2.2.2 模型參數優化結果及分析

網格搜索法在參數空間每維上取若干分隔，將參數空間劃分為網格并遍歷網格中每個點獲得最優解，其優點是可以得到參數空間內的全局最優點，相比于人工調參可以得到更理想的結果[20]。表1為GBDT模型參數網格搜索范圍，基于特征篩選得到的19個特征，按照5…2…3的比例將建模數據隨機劃分為互斥的訓練集、驗證集和測試集，在訓練集上遍歷網格中的每個參數點訓練模型，在驗證集上計算出屈服強度的均方根誤差，選擇使均方根誤差達到最小的參數點作為網格搜索的結果，最終在測試集上驗證模型的預測精度。

表1 GBDT模型參數網格搜索范圍

在訓練集上利用Scikit-learn機器學習庫中的Gradient Boosting Regressor函數的默認參數(學習率0.1，樹的數量100，樹模型的最大深度3)建立GBDT模型，在驗證集上計算得到屈服強度的均方根誤差為11.292 MPa，平均絕對誤差為8.703 MPa，平均絕對百分誤差為2.791%；在測試集上計算得到屈服強度的均方根誤差為11.575 MPa，平均絕對誤差為8.974 MPa，平均絕對百分誤差為2.875%。進一步對模型參數進行調整優化可以提高模型的性能和精度，經過網格搜索得到的GBDT模型的最優參數為學習率0.01，樹的數量600，樹模型的最大深度7。優化前后模型的預測精度對比如表2所示。由表2可知：經過模型參數優化后，模型預測精度得到較大提升。

表2 GBDT模型參數優化前后的預測精度

2.3 力學性能預測模型的分析與討論

在熱鍍鋅鋼卷生產過程中，化學元素特征、熱軋工藝參數特征和退火工藝參數特征的數值會有一定波動，基于模型分析這些特征變化對屈服強度的影響，有助于確定對屈服強度影響較大的特征。

碳、硅、錳、磷、硫含量為鋼卷力學性能預測建模的基本化學元素特征，利用優化后的GBDT預測模型分析這些特征對屈服強度的影響，結果如圖3所示。由圖3可以看出：熱鍍鋅鋼卷的屈服強度隨碳、硅、錳、磷含量的增加而增大，隨硫含量的增加而減小，當碳、硅、錳含量變化時，屈服強度的變化幅度較大。在實際生產中，應嚴格控制碳、硅、錳含量的波動，從而保證鋼卷屈服強度的穩定。

圖3 基于優化后的GBDT預測模型得到基本化學元素含量特征對熱鍍鋅鋼卷屈服強度的影響Fig.3 Effect of basic chemical element content features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) mass fraction of C; (b) mass fraction of Si; (c) mass fraction of Mn; (d) mass fraction of P and (e) mass fraction of S

熱軋工藝參數特征和退火工藝參數特征包含熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度，其對熱鍍鋅鋼卷屈服強度的影響如圖4所示。在熱軋工藝參數特征中，屈服強度隨熱軋入軋溫度、熱軋終軋溫度的升高而增大，隨熱軋卷取溫度的升高而減小。在退火工藝參數特征中，屈服強度隨退火直燃溫度、退火冷卻段溫度的升高而增大，隨退火均熱段溫度的升高而減小。隨著熱軋入軋溫度的升高，熱鍍鋅鋼卷中鐵素體的晶粒尺寸增大，珠光體的體積分數降低，因此熱鍍鋅鋼卷屈服強度隨熱軋入軋溫度的升高而增大[21]。熱軋入軋溫度的變化范圍較大，且熱軋入軋溫度變化引起的屈服強度變化幅度較大；由于所有樣本數據來自于相對穩定的實際生產過程，因此應從操作人員、設備、環境等方面提高控制熱軋入軋溫度的能力，從而控制屈服強度的穩定性。

圖4 基于優化后的GBDT預測模型得到熱軋工藝參數特征和退火工藝參數特征對熱鍍鋅鋼卷屈服強度的影響Fig.4 Effect of hot rolling features and annealing features on yield strength of hot-dip galvanized steel coils by optimized GBDT prediction model: (a) hot rolling in-rolling temperature; (b) hot rolling end-rolling temperature; (c) hot rolling coiling temperature; (d) annealing direct firing section temperature; (e) annealing soaking zone temperature and (f) annealing cooling section temperature

3 結 論

(1) 熱鍍鋅鋼卷力學性能預測建模的基本特征包括工藝參數特征(熱軋入軋溫度、熱軋終軋溫度、熱軋卷取溫度、退火直燃段溫度、退火均熱段溫度、退火冷卻段溫度、熱鍍機組速率、平整延伸率、拉矯率)、規格特征(熱卷厚度、冷卷厚度、寬度)以及基本化學元素特征(碳、硅、錳、磷、硫含量)；基于GBDT篩選出的對熱鍍鋅鋼卷屈服強度影響較大的其他化學元素特征為氮、鋁含量。

(2) 通過網格搜索與交叉驗證方法對GBDT力學性能預測模型參數進行優化，最優參數為學習率0.01，樹的數量600，樹模型的最大深度7，此時在測試集上測得屈服強度的均方根誤差為10.671 MPa，平均絕對誤差為8.244 MPa，平均絕對百分誤差為2.641%，模型預測精度比模型參數優化前的明顯提高，可應用于預測工業生產中鋼卷的力學性能。

(3) 當碳、硅、錳含量變化或熱軋入軋溫度變化時，鋼卷屈服強度的變化幅度較大，因此在實際生產中，應嚴格控制碳、硅、錳含量的波動，并提高控制熱軋入軋溫度的能力，從而控制屈服強度的穩定性。