基于隨機搜索算法和AdaBoost 模型預測LF 精煉過程脫硫率

嚴旭梅， 陳 超， 王 楠， 陳 敏

（東北大學1.多金屬共生礦生態(tài)化冶金教育部重點實驗室； 2.冶金學院， 沈陽 110819）

鋼水中的硫是一種有害元素，會使鋼在軋制過程中產(chǎn)生熱脆現(xiàn)象［1］.轉(zhuǎn)爐或電爐冶煉階段的脫硫效果較差，但隨著用戶對鋼質(zhì)量要求的不斷提高，LF 精煉過程的脫硫任務變得越來越重要［2］.軸承鋼作為一種重要的特殊鋼產(chǎn)品，其深脫硫工藝已成為國內(nèi)外研究的重點［3］.目前，已有文獻從脫硫機理角度構(gòu)造了許多經(jīng)驗公式和回歸模型［4-5］，用以控制冶金過程中的脫硫效果.但該過程的脫硫機理極其復雜，因此這些模型均存在一定的應用局限性.近年來，機器學習算法在冶金領域被廣泛應用［6-8］.Ma 等［9］通過構(gòu)造ANN 模型來預測精煉渣的脫硫能力，Xin 等［10］利用正則化的ELM模型預測了LF 精煉渣的脫硫能力.雖然這些模型均取得了一定的預測效果，但其使用的數(shù)據(jù)主要為實驗數(shù)據(jù)，預測結(jié)果極易與實際結(jié)果產(chǎn)生偏差，且ANN 模型和正則化的ELM 模型均為單一模型.因此，為進一步提高模型的擬合與泛化能力，集成模型開始被廣泛應用并取得了良好的效果［11-14］.而LF 精煉過程的脫硫效果一直以來備受關注，但與脫硫率預測相關的文章卻鮮見報道.

為了更精準地控制LF 精煉過程的脫硫效果，本文中對GCr15 軸承鋼冶煉過程中電爐出鋼、爐后脫氧合金化及LF 精煉3 個階段的實際生產(chǎn)數(shù)據(jù)進行采集，并使用AdaBoost 模型對LF 精煉過程的脫硫率進行預測，旨在提高實際精煉過程的脫硫效果；比較分析網(wǎng)格搜索算法、隨機搜索算法及貝葉斯優(yōu)化算法對AdaBoost 模型超參數(shù)優(yōu)化效果和優(yōu)化時間的影響，并利用所采集的現(xiàn)場數(shù)據(jù)進行驗證，以期通過結(jié)合隨機搜索算法和AdaBoost 模型來實現(xiàn)對LF 精煉過程脫硫率的精準預測.

1 數(shù)據(jù)采集

本文中從某鋼廠選取了859 條GCr15 軸承鋼在LF 精煉過程中的實際生產(chǎn)數(shù)據(jù)，具體信息如表1 所列.根據(jù)冶金原理可知，精煉過程中的脫硫率主要與頂渣成分及精煉溫度有關，而頂渣成分又主要與物料的加入情況相關.其中，轉(zhuǎn)爐或電爐的出鋼信息不僅會影響爐后脫氧合金化階段的合金物料及造渣劑的加入情況，同時也影響著LF精煉過程的物料加入情況.因此，本文中采集的數(shù)據(jù)包括電爐出鋼、爐后脫氧合金化和LF 精煉3 個冶煉階段的主要參數(shù)信息.精煉過程中脫硫率的計算公式如式（1）所示，輸入變量與脫硫率之間的皮爾遜相關系數(shù)如圖1 所示.由圖1 可知，電爐出鋼階段的碳含量（質(zhì)量分數(shù)，下同），爐后脫氧合金化階段的硅鐵、高碳錳鐵、低碳錳鐵、石灰、化渣劑、鋁塊，LF 精煉階段的石灰、碳化硅、硅鐵、低鈦低鋁硅鐵與脫硫率的皮爾遜相關系數(shù)的值均較高（絕對值均大于0.4）.因此，脫硫率與脫氧劑、造渣劑的加入，以及出鋼碳含量均密切相關（包含正相關和負相關），這也說明在實際冶煉過程中物料的加入對脫硫率的影響極其復雜.通過觀察目標變量脫硫率可知，現(xiàn)場采集的平均脫硫率達到0.88，其中最小脫硫率為0.45，最大脫硫率為0.97，這表明實際生產(chǎn)中脫硫率的波動很大.因此，構(gòu)建脫硫率預測模型來穩(wěn)定LF 精煉過程的脫硫效果十分必要.

圖1 輸入變量x 與脫硫率變量y 的皮爾遜相關系數(shù)Fig.1 Pearson correlation coefficient between input variable and target variable

表1 采集變量數(shù)據(jù)統(tǒng)計信息表Table 1 Statistical of collected process parameter

式中：η代表脫硫率；w［S］0代表電爐出鋼時鋼水的初始硫含量；w［S］代表LF 精煉出站時鋼水的硫含量.

2 模型建立

2.1 AdaBoost 模型

AdaBoost（adaptive boosting）模型是一種集成模型框架［15］，基本原理如表2 所列.而分類回歸樹（CART）［16］模型具有較快的訓練速度、更少的超參數(shù)及較好的擬合能力等特性［17］，因此本文中采用的AdaBoost 模型是由CART 模型和AdaBoost模型組合而來的.

表2 AdaBoost 模型偽代碼Table 2 Pseudocode of AdaBoost model

2.2 模型評估

本文中選用AdaBoost 模型對采集的數(shù)據(jù)進行建模.為了更好地評估結(jié)果，選用決定系數(shù)R2［式（2）］、平均絕對誤差MAE［式（3）］、均方誤差MSE［式（4）］、均方根誤差RMSE［式（5）］，以及5 折交叉驗證（five-fold cross-validation）等進行評價.本文中所應用的所有機器學習模型都來自Python 的 scikit-learn 模 塊［18］， 運 行 環(huán) 境 為Windows10 操作系統(tǒng)，CPU 型號為Intel （R） Intel Xeon E5-2680 v2，內(nèi)存為32G.

式中：n代表樣本個數(shù)；yi代表LF 精煉過程中實際脫硫率代表LF 精煉過程中的預測脫硫率；代表LF 精煉過程中實際脫硫率的均值.

2.3 參數(shù)優(yōu)化算法

（1）網(wǎng)格搜索（grid search，GS）算法.GS 算法是一種具有枚舉遍歷性質(zhì)的搜索算法，其主要步驟如圖2 所示［19］.它的主要思想是先將模型中的超參數(shù)進行枚舉并組合，然后采用遍歷算法對每個組合進行K折交叉驗證（K-fold crossvalidation）評估，最后通過對比評估值從所有超參數(shù)組合中選出最優(yōu)超參數(shù).

圖2 網(wǎng)格搜索算法流程圖Fig.2 Schematic diagram of grid search

（2）隨機搜索（random search，RS）算法.對于高維空間超參數(shù)優(yōu)化問題，RS 算法比GS 算法更高效［20］.RS 算法的具體流程如圖3 所示.從圖中可以看出，與GS 算法不同，RS 算法并不是枚舉出所有超參數(shù)的組合，而是隨機地產(chǎn)生一些超參數(shù)點并進行組合.因此，在RS 算法中，組合點的排布是隨機的、交錯的和無重復的，這有效提高了算法的搜索效率.而對于一些函數(shù)來說，參數(shù)2 的變化對函數(shù)值的影響遠小于參數(shù)1 對函數(shù)值的影響.因此，枚舉遍歷的優(yōu)化算法可能會導致計算資源的浪費，但RS 算法能更加高效地得到較好的超參數(shù).

圖3 隨機搜索算法流程圖Fig.3 Schematic diagram of random search

（3）貝葉斯優(yōu)化算法（Bayesian optimization algorithm，BOA）.BOA 算法是一種能夠?qū)碗s的黑箱函數(shù)進行全局尋優(yōu)的高效優(yōu)化算法框架［21-22］.具體優(yōu)化步驟如下所示.

步驟1：高斯過程.

高斯過程（Gaussian process，GP）［23］是BOA算法中最常用的概率代理模型.它［式（6）］主要由均值函數(shù)［式（7）］和協(xié)方差函數(shù)［式（8）］組成.

可用來計算高斯過程的協(xié)方差［24］函數(shù)有很多，如徑向基函數(shù)（RBF）、平方指數(shù)協(xié)方差函數(shù)、Matérn 協(xié)方差函數(shù)等.如式（9）所示，由于Matérn（5／2）協(xié)方差函數(shù)有著更好的均衡性和穩(wěn)定性［25］，故本文中選取它作為高斯過程的核函數(shù).

式中：r為x和x′的歐幾里得距離，σ2為變量的方差.

選取n個初始點來計算高斯回歸過程，將初始點｛（x1，y1），…，（xn，yn）｝的關系定義為

式中：y為目標函數(shù)，f（x）～N（u（x），k（x，x′）），ε為觀察點x的噪聲.通常假設噪聲滿足正態(tài)分布函數(shù)，即ε～N（0，σ2ε），y＝f（x）＋ε～N（u（x），k（x，x′）＋σ2ε）.

n個初始點與新點（xn＋1，yn＋1）的聯(lián)合分布函數(shù)為

新點（xn＋1，yn＋1）的后驗分布為

式中：u（xn＋1）和σ2（xn＋1）為所求的均值和方差.

步驟2：采集函數(shù).

采集函數(shù)用于平衡貝葉斯優(yōu)化算法的全局搜索和局部搜索能力， 主要包括EI （expected improvement），PI（probability of improvement） 和UCB（upper confidence bound），其中EI 最為簡單和實用［21］.本文中將EI 作為采集函數(shù)，可表達為

式中：Φ（.） 和φ（.） 分 別 為CDF （cumulative distribution function） 和PDF（probability density function）.

表3 列出了利用貝葉斯優(yōu)化算法優(yōu)化AdaBoost 模型的具體步驟.

表3 貝葉斯優(yōu)化算法偽代碼Table 3 Pseudocode of the optimization process by BOA

2.4 優(yōu)化效果對比

本文中介紹了3 種優(yōu)化算法：GS 算法優(yōu)化效果好，但所用優(yōu)化時間較長；RS 算法的構(gòu)建過程簡單，且所需優(yōu)化時間較短；BOA 算法雖具有較好的優(yōu)化效果，但構(gòu)建過程比較復雜.針對不同優(yōu)化算法的特點，在R2和5 折交叉驗證的評估下，本文中通過對比這3 種算法的優(yōu)化效果和優(yōu)化時間，選取出具有較好的脫硫率預測效果的AdaBoost 模型超參數(shù)優(yōu)化算法.

根據(jù)scikit-learn 教程及相關參考文獻［26］，CART 模型選取max_depth 參數(shù)作為主要超參數(shù).同時，基于CART 模型的AdaBoost 模型，其超參數(shù)主要為max_depth，n_estimators，learning_rate 和線性損失函數(shù)（見表4）.表5 中列出了采用GS 算法對CART 模型和AdaBoost 模型進行優(yōu)化的結(jié)果.由表5 可知，經(jīng)GS 算法優(yōu)化的AdaBoost 模型R2最大值為0.7，其擬合效果要優(yōu)于采用scikitlearn 中默認超參數(shù)的AdaBoost 模型和優(yōu)化后的CART 模型.這說明與CART 模型相比，AdaBoost模型具有更好的擬合和泛化能力，但其超參數(shù)需要相互協(xié)調(diào)才能達到最好的預測效果，否則其預測能力甚至可能會低于單一模型.

表4 AdaBoost 模型主要超參數(shù)Table 4 Main hyper-parameters of AdaBoost model

表5 網(wǎng)格搜索算法優(yōu)化效果Table 5 Optimization results obtained by GS

由表5 還可知，利用GS 算法優(yōu)化AdaBoost模型超參數(shù)需要消耗大量的優(yōu)化時間.在CPU 10核心分配的條件下，所用時長約為41 萬s.在實際應用中，這個優(yōu)化時間是不切實際的.因此，本文中分別利用RS 算法和BOA 算法進行100，200，300，400，500 次迭代測試，優(yōu)化AdaBoost 模型超參數(shù).由于隨機因素的干擾，對每組迭代測試均進行10 次實驗，且計算過程中CPU 分配均為4 核心.圖4 和圖5 分別示出了RS 算法和BOA 算法的測試結(jié)果.可以發(fā)現(xiàn)，這兩種算法的優(yōu)化效果均會受隨機因素的影響而產(chǎn)生一定的波動，故需要進行多次迭代測試才能夠獲得較好的優(yōu)化效果.經(jīng)多組迭代測試后，RS 算法優(yōu)化AdaBoost 模型的R2最大值為0.694，BOA 算法優(yōu)化AdaBoost 模型的R2最大值為0.695.表6 列出了RS 算法和BOA 算法每組迭代測試中10 次實驗的均值.可以發(fā)現(xiàn)，對于AdaBoost 模型，這兩種算法的優(yōu)化效果基本一致，但在相同迭代次數(shù)下，BOA 算法所需的優(yōu)化時間要大于RS 算法的優(yōu)化時間.通過對比表5 和6 可知，雖然RS 算法和BOA 算法的優(yōu)化效果要稍遜色于GS 算法，但這兩種算法消耗的優(yōu)化時間要遠遠小于GS 算法，故這兩種算法更適合應用于實際中.同時，從本質(zhì)上講，RS 算法的時間復雜度為O（n），而以高斯過程為基礎的BOA 算法的時間復雜度為O（n3）， BOA 算法的構(gòu)建過程比RS 算法更加復雜，需要更合理地選擇采集函數(shù)、核函數(shù)等參數(shù).因此，本文中選擇RS算法來優(yōu)化AdaBoost 模型的超參數(shù).

圖4 RS 算法10 次優(yōu)化實驗結(jié)果Fig.4 Results of ten optimization tests for RS

圖5 BOA 算法10 次優(yōu)化實驗結(jié)果Fig.5 Results of ten optimization tests for BOA

表6 RS 算法和BOA 算法的優(yōu)化結(jié)果均值對比Table 6 Comparison of mean values obtained by RS and BOA

為了更好地測試RS 算法對AdaBoost 模型的優(yōu)化能力，采用增加迭代次數(shù)的方式（1 000，1 500，2 500，3 000，4 000，5 000 次）對該算法的優(yōu)化效果和優(yōu)化時間進一步探索，并對每組迭代測試進行10 次實驗，結(jié)果如圖6 所示.由圖可知，AdaBoost 模型的R2最大值為0.696.

圖6 RS 算法進一步優(yōu)化Fig.6 Further optimization of RS

表7 列出了RS 算法每組迭代測試中10 次實驗的均值.通過對比表6 和7 可知，RS 算法1 000次迭代所用的優(yōu)化時間仍小于BOA 算法500 次迭代所用的優(yōu)化時間，表7 中的優(yōu)化效果要優(yōu)于表6 中的優(yōu)化效果（以R2為主要評估標準）.綜上可知，適當增加RS 算法的迭代次數(shù)，有利于提高該算法的優(yōu)化效果.

表7 RS 算法進一步優(yōu)化結(jié)果均值Table 7 Mean value of further optimization results obtained by RS

3 模型驗證

對比RS 算法、 GS 算法和BOA 算法對AdaBoost 模型超參數(shù)的優(yōu)化效果和優(yōu)化時間的影響，確定了基于GS 算法和AdaBoost 模型的LF 精煉過程脫硫率預測模型，其R2最大值為0.696.為了測試模型的預測性能，采集的數(shù)據(jù)集被隨機地分為訓練集和測試集，其比例為8 ∶2.從圖7 中可以發(fā)現(xiàn)，RS 算法優(yōu)化的AdaBoost 模型可達到脫硫率誤差在±0.07，±0.06 和±0.05 范圍內(nèi)，準確率分別為95.3%，93.0%和86.0%，其中預測值和實際值的皮爾遜相關系數(shù)為0.84.這說明本文中提供的模型能夠準確、穩(wěn)定和快速地預測LF 精煉過程脫硫率.

圖7 脫硫率預測值與實際值對比Fig.7 Comparison between predicted value and actual value of desulfurization rate

4 結(jié) 論

（1）AdaBoost 模型比單一模型具有更好的擬合和泛化能力，能夠更好地擬合LF 精煉過程中的實際生產(chǎn)數(shù)據(jù).同時，AdaBoost 模型的內(nèi)部超參數(shù)需要進行相互協(xié)調(diào)才能實現(xiàn)較好的預測效果.

（2）綜合對比網(wǎng)格搜索算法、隨機搜索算法和貝葉斯優(yōu)化算法對AdaBoost 模型超參數(shù)的優(yōu)化效果和優(yōu)化時間的影響后可以發(fā)現(xiàn)，這3 種算法均能夠有效地提升AdaBoost 模型的預測性能，而RS 算法更適合AdaBoost 模型的超參數(shù)優(yōu)化.

（3）采用測試集對RS 算法優(yōu)化AdaBoost 模型的回歸能力進行驗證，發(fā)現(xiàn)脫硫率誤差在±0.07，±0.06 和±0.05 時，準確率分別達到95.3%，93.0%和86.0%，且預測值和實際值的皮爾遜相關系數(shù)達到0.84.因此，本模型具有較好的預測性能，可為LF 精煉過程提供有效的生產(chǎn)指導.