基于機(jī)器學(xué)習(xí)的砂型鑄造涂料懸浮率的預(yù)測(cè)

翟秀云，陳明通

（1.攀枝花學(xué)院智能制造學(xué)院，四川 攀枝花 617000；2.攀枝花學(xué)院公共實(shí)驗(yàn)中心，四川 攀枝花 617000）

在砂型（芯）工作表面上涂敷涂料是改善鑄件質(zhì)量的經(jīng)濟(jì)、實(shí)用且收效顯著的方法[1-3]。隨著機(jī)械制造、航空航天、石油化工、航海等行業(yè)的快速發(fā)展，對(duì)于高質(zhì)量鑄件的需求量越來(lái)越大，國(guó)內(nèi)外砂型鑄造涂料的研究也日益深入。傳統(tǒng)的新涂料的研制方法為“炒菜”式方法，即憑經(jīng)驗(yàn)決定涂料制備的配方和工藝，再通過(guò)反復(fù)的實(shí)驗(yàn)以獲得所需性能的涂料，整個(gè)過(guò)程費(fèi)時(shí)費(fèi)力[4-6]。

上個(gè)世紀(jì)科學(xué)家們提出了“材料設(shè)計(jì)”的思想，即通過(guò)計(jì)算預(yù)報(bào)新材料的組分、結(jié)構(gòu)與性能，或者說(shuō)，通過(guò)理論設(shè)計(jì)來(lái)“定做”具有特定性能的新材料。運(yùn)用基于機(jī)器學(xué)習(xí)的數(shù)據(jù)挖掘方法，對(duì)材料設(shè)計(jì)的相關(guān)數(shù)據(jù)加工處理，建立輔助新材料、新物質(zhì)的預(yù)測(cè)模型，已經(jīng)成為新材料設(shè)計(jì)的主流。在此基礎(chǔ)上可以輔助新材料研制和新產(chǎn)品開(kāi)發(fā)，達(dá)到“事半功倍”的效果[7-8]。近年來(lái)，機(jī)器學(xué)習(xí)在鑄造涂料的設(shè)計(jì)研發(fā)、鑄造工藝的優(yōu)化中得到了成功應(yīng)用[9-10]。

本工作中，收集了文獻(xiàn)[9]中的鑄造涂料懸浮率數(shù)據(jù)建立了數(shù)據(jù)集，利用多種機(jī)器學(xué)習(xí)方法構(gòu)建懸浮率的預(yù)測(cè)模型：支持向量回歸（Support Vector Regression，SVR）模型與反向傳輸神經(jīng)網(wǎng)絡(luò)（Back Propagation Neural Network，BPNN）模型。驗(yàn)證結(jié)果表明SVR 與BPNN 是實(shí)現(xiàn)鑄造涂料懸浮率預(yù)測(cè)的非常有前途的建模工具。同時(shí)，本工作的方法可以為新的鑄造涂料設(shè)計(jì)提供參考，并加快涂料開(kāi)發(fā)的進(jìn)度。

1 數(shù)據(jù)集與計(jì)算方法

1.1 數(shù)據(jù)集

鑄造涂料懸浮率數(shù)據(jù)集來(lái)自于文獻(xiàn)[9]，由12 個(gè)鑄造涂料懸浮率（Y，93.0%～99.0%）樣本組成。有14個(gè)涂料成分作為輸入變量，分別為鋯英粉、石英粉、鋁礬土、鎂橄欖、硅鎂粉、石墨、棕剛玉、滑石粉、海泡石、97 懸浮劑、LA 懸浮劑、SN 懸浮劑、2123 樹(shù)脂、鐵紅，用參數(shù)X1～X14 表示。數(shù)據(jù)樣本詳見(jiàn)參考文獻(xiàn)[9]。將數(shù)據(jù)集分成兩部分：用于建模的訓(xùn)練集和用于驗(yàn)證的測(cè)試集。在選擇測(cè)試集數(shù)據(jù)時(shí)，有以下原則：

1）測(cè)試集樣本的懸浮率即不是整個(gè)數(shù)據(jù)集中最大值也不是最小值，以避免超范圍預(yù)測(cè)；

2）測(cè)試集樣本數(shù)占樣本總數(shù)的20%～30%.

為了遵循以上原則，把序號(hào)7 和12 的樣本作為測(cè)試集樣本，其余數(shù)據(jù)作為訓(xùn)練集樣本。

1.2 支持向量回歸

支持向量回歸（SVR）[11，12]是解決非線性回歸問(wèn)題的有效方法，也是一種有監(jiān)督的學(xué)習(xí)算法，已廣泛應(yīng)用于各個(gè)領(lǐng)域。其考慮了經(jīng)驗(yàn)風(fēng)險(xiǎn)和預(yù)期風(fēng)險(xiǎn)之間的平衡，使計(jì)算模型具有良好的預(yù)測(cè)和泛化性能。在有限樣本情況下，其目標(biāo)是得到現(xiàn)在樣本信息下的最優(yōu)解，也是全局唯一的最優(yōu)解。

回歸模型中，目標(biāo)是讓訓(xùn)練集中的每個(gè)點(diǎn)（xi，yi）盡量擬合到一個(gè)線性模型yi=wφ（xi）+b.SVR 定義一個(gè)常量ε>0，SVR 的損失函數(shù)度量為：

SVR 目標(biāo)函數(shù)的原始形式：

式中：C 是設(shè)定的懲罰因子值；ξi、ξi*為松弛變量的上限與下限。

接著求優(yōu)化函數(shù)對(duì)于w，b，ξi、ξi*的極小值，再求拉格朗日乘子a，a*的極大值。求解后的目標(biāo)函數(shù)如下：

其約束條件為：

由此可得拉格朗日待定系數(shù)和，回歸函數(shù)則為：

式中K 為核函數(shù)，本文中采用了徑向基形式的核函數(shù)（Radial Basis Function，RBF），其表達(dá)式如下：

1.3 模型的評(píng)價(jià)

本文中所用的模型的評(píng)價(jià)指標(biāo)有：均方根誤差（Root Mean Square Error，RMSE）和平均相對(duì)誤差（Mean Relative Error，MRE），計(jì)算表達(dá)式如下：

式中ei和pi分別為涂料的懸浮率的實(shí)驗(yàn)值與預(yù)測(cè)值；n 為樣本的數(shù)量。

1.4 計(jì)算的實(shí)施

本次計(jì)算是在上海大學(xué)的材料數(shù)據(jù)挖掘在線計(jì)算平臺(tái)（OCPMDM）上進(jìn)行的[13]，可以免費(fèi)使用，網(wǎng)址為：http：//matdata.shu.edu.cn/ocpmdm/，其前身為HyperMiner 軟件包[14]，可從以下網(wǎng)址上免費(fèi)下載：http：//chemdata.shu.edu.cn：8080/MyLab/Lab/download.jsp.

2 結(jié)果與討論

2.1 變量篩選

變量篩選[11]是建立一個(gè)成功模型的關(guān)鍵因素，可以降低模型的特征空間維度，進(jìn)一步降低過(guò)度擬合的風(fēng)險(xiǎn)，去除與目標(biāo)值無(wú)關(guān)的特征和噪聲干擾，還可以縮短訓(xùn)練時(shí)間，提高模型的預(yù)測(cè)能力和泛化性能。

本工作中，采用遺傳算法（Genetic Algorithm，GA）[15，16]篩選自變量以形成最優(yōu)特征集。GA 屬于進(jìn)化算法，是一種受自然選擇過(guò)程啟發(fā)的元啟發(fā)式算法。與其他優(yōu)化算法相比，遺傳算法能夠從響應(yīng)面上的局部最優(yōu)解出發(fā)，在不需要響應(yīng)面上的知識(shí)或梯度的情況下，求解多種優(yōu)化問(wèn)題。

圖1 說(shuō)明了如何使用GA 搜索最優(yōu)特征集。從圖1 可以看出，SVR 算法經(jīng)過(guò)8 次迭代后，最小的RMSE 出現(xiàn)，此時(shí)的最佳特征集包含了作為模型的輸入的2 個(gè)參數(shù)（見(jiàn)表1），分別為X1（鋯英粉）和X6（石墨）。

表1 用于建模的訓(xùn)練集與測(cè)試集

圖1 GA 搜索最優(yōu)特征集

2.2 模型的建立

2.2.1 RBF-SVR 模型

首先利用SVR 的留一法交叉驗(yàn)證（LOOCV）與網(wǎng)格搜索對(duì)RBF-SVR 的三個(gè)超參（C、ε 和γ）進(jìn)行調(diào)優(yōu)，他們的范圍分別為1～100、0.01～0.1、0.5～1.5，步長(zhǎng)值分別為2、0.02 和0.2，超參的網(wǎng)格搜索過(guò)程如圖2 所示。當(dāng)評(píng)價(jià)函數(shù)MRE=0.552 時(shí)為最小，此時(shí)，C=5、ε=0.01、γ=0.9.

圖2 RBF-SVR 模型的超參優(yōu)化

利用最佳特征集和優(yōu)化后的超參建立的RBF-SVR 模型如下：

式中：x 是未知向量，xi是模型的支持向量。n 和βi分別是支持向量的個(gè)數(shù)和拉格朗日乘子。

圖3 對(duì)訓(xùn)練集與測(cè)試集樣本的實(shí)驗(yàn)值和RBFSVR 模型的預(yù)測(cè)值進(jìn)行了比較。從圖中可以看出，模型的RMSE=0.892，相關(guān)系數(shù)R=0.959，決定系數(shù)Q2=0.889，訓(xùn)練集和測(cè)試集樣本都非常靠近擬合線，說(shuō)明模型具有極好的預(yù)測(cè)性能。此外，模型LOOCV的結(jié)果為：RMSE=1.009，R=0.931，Q2=0.858.以上數(shù)據(jù)說(shuō)明所建的模型是預(yù)測(cè)鑄造涂料懸浮率的一個(gè)非常有效的工具。

圖3 懸浮率的實(shí)驗(yàn)值與RBF-SVR 模型的預(yù)測(cè)值

2.2.2 BPNN 模型

BPNN 模型的參數(shù)為：隱含層層數(shù)設(shè)為1，節(jié)點(diǎn)數(shù)2 個(gè)，輸入、輸出層節(jié)點(diǎn)數(shù)分別為2、1.模型的預(yù)測(cè)結(jié)果為：RMSE=0.177，R=0.998，Q2=0.995，LOOCV 的結(jié)果為：RMSE=1.634，R=0.836.圖4 顯示了訓(xùn)練集與測(cè)試集樣本的實(shí)驗(yàn)值和BPNN 模型的預(yù)測(cè)值的接近情況，該圖清晰地表明了BPNN 模型的預(yù)測(cè)性能和本文中的SVR 模型非常接近，都具很好的外推性。

圖4 懸浮率的實(shí)驗(yàn)值與BPNN 模型的預(yù)測(cè)值

BPNN 模型與RBF -SVR 模型對(duì)測(cè)試集的2組樣本的預(yù)測(cè)值及對(duì)應(yīng)的相對(duì)誤差見(jiàn)表2 所示。從表2 中可以發(fā)現(xiàn)由于BPNN 模型對(duì)兩個(gè)樣本的預(yù)測(cè)值的相對(duì)誤差的絕對(duì)值更小，所以其外部測(cè)試性能比RBF-SVR 模型更優(yōu)。同時(shí)，由于兩個(gè)模型的相對(duì)誤差都比較小，說(shuō)明他們的預(yù)測(cè)值都非常接近實(shí)驗(yàn)值，因此僅用兩個(gè)自變量預(yù)測(cè)懸浮率是合適的。

表2 兩個(gè)模型對(duì)測(cè)試集預(yù)測(cè)的結(jié)果比較

3 結(jié)論

本工作中，利用收集的文獻(xiàn)中的數(shù)據(jù)建立了用于預(yù)測(cè)鑄造涂料懸浮率的樣本集，由于自變量過(guò)多，為了防止模型過(guò)于復(fù)雜及提高模型的精度，采用了基于支持向量回歸的遺傳算法對(duì)變量進(jìn)行了篩選，結(jié)果發(fā)現(xiàn)僅用兩個(gè)鑄造涂料的成份（即鋯英粉、石墨）就可以實(shí)現(xiàn)懸浮率的預(yù)測(cè)。在此基礎(chǔ)上，建立了兩個(gè)模型：RBF -SVR 模型與BPNN 模型，交叉驗(yàn)證、外部測(cè)試驗(yàn)證的結(jié)果表明它們都具有很好的預(yù)測(cè)和外推性能。此外，如果能收集更多的同類(lèi)型實(shí)驗(yàn)數(shù)據(jù)，模型的精度可以進(jìn)一步提高。本文使用了多種機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)了涂料懸浮率的準(zhǔn)確預(yù)測(cè)，計(jì)算方法和過(guò)程可以為其它鑄造涂料性能預(yù)測(cè)模型的建立提供有價(jià)值的參考。