基于三種機器學習算法的智能制造能力成熟度評價

蔣天寧 朱玉杰 張標

摘 要：根據(jù)中國各省市的發(fā)展狀況提出評估智能制造能力的成熟度模型。從智能制造裝備、工業(yè)信息化、工業(yè)創(chuàng)新力、行業(yè)應用四個方面選取21個智能制造能力指標，采用BP神經(jīng)網(wǎng)絡、隨機森林回歸、支持向量機回歸3種機器學習算法構(gòu)建智能制造能力成熟度模型并進行訓練以及驗證。利用K折交叉驗證、泛化誤差定量的評估3種模型，選擇出最優(yōu)評價模型后再利用最優(yōu)評價模型的輸出值，確定各城市智能制造能力的成熟度等級。結(jié)果表明：（1）隨機森林回歸模型最適用于評價智能制造能力成熟度，且其特征重要性可以為指標與成熟度的相關(guān)性提供依據(jù)。（2）我國廣東、江蘇、山東三地的智能制造能力成熟度等級最高，貴州、西藏、甘肅等地等級最低。

關(guān)鍵詞：智能制造 成熟度模型 BP神經(jīng)網(wǎng)絡 隨機森林回歸 支持向量機回歸

中圖分類號：F224;TP391 ?文獻標識碼：A

文章編號：1004-4914（2021）01-229-03

一、引言

近年來，隨著科學技術(shù)的不斷發(fā)展與社會的不斷進步，信息化和工業(yè)化水平大幅度提升。我國制造業(yè)正朝著智能制造的生產(chǎn)模式邁進。我國智能制造相較于國外起步雖晚，但近幾年融合了新一代信息技術(shù)的智能制造的發(fā)展成績顯著{1}。我國制造業(yè)由于各地區(qū)各產(chǎn)業(yè)各企業(yè)發(fā)展不平衡的限制，目前發(fā)展較為多樣化，機械化、自動化、信息化、電氣化均共存于產(chǎn)業(yè)中。目前，國內(nèi)對于評價智能制造成熟度水平的研究并不多，各學者的評價模型不盡相同，且通常只選取一種評價模型進行訓練及測試，因此缺少評價模型的橫向?qū)Ρ葅2}。本文將針對智能制造成熟度評價模型的選取問題，以我國的31個主要省市作為研究對象，分別用BP神經(jīng)網(wǎng)絡、隨機森林回歸、支持向量機回歸三種機器學習算法進行模型的構(gòu)建以及評測，選出最優(yōu)評價模型，最后利用其模型對各省市進行智能制造能力成熟度評價。

二、指標的選取和成熟度的劃分

（一）指標的選取

為保證數(shù)據(jù)的完整性和準確性，本文共選取31個主要省市進行研究。本文結(jié)合各省市智能制造發(fā)展的實際特點選取如下四個一級指標：

1.智能制造裝備。智能制造裝備實現(xiàn)了企業(yè)的數(shù)字化、網(wǎng)絡化和智能化。智能化設備與技術(shù)幫助傳統(tǒng)產(chǎn)業(yè)在產(chǎn)業(yè)結(jié)構(gòu)升級的路上不斷探索進步，逐步形成完善的產(chǎn)業(yè)體系。

2.工業(yè)信息化。智能制造是工業(yè)化和信息化深度融合的產(chǎn)物，智能制造運用“互聯(lián)網(wǎng)+”的技術(shù)，貫穿著整個生產(chǎn)活動中。因此，工業(yè)信息化水平的高低決定制造業(yè)的智能化程度。

3.創(chuàng)新能力。推進制造業(yè)智能化轉(zhuǎn)型升級，全面發(fā)展智能制造需要更多大量新技術(shù)與新模式的誕生，以創(chuàng)新來推動發(fā)展{3}。市場的不斷變化，個性化需求的日益增多，都需要企業(yè)源源不斷的創(chuàng)新思想和技術(shù)來應對。

4.行業(yè)應用。新模式新業(yè)態(tài)的智能制造業(yè)為戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展帶來了新的啟發(fā)，如規(guī)模化定制產(chǎn)業(yè)、智能制造服務業(yè)等{4}。因此，聚焦智能制造行業(yè)發(fā)展現(xiàn)狀來評價智能制造能力成熟度是必須且必要的。

綜上，本文共選取了4個一級指標。為了能夠真實地展現(xiàn)各省市的真實情況，綜合考慮實際情況以及數(shù)據(jù)的可獲得性，共選取了21個二級指標，指標體系如表1所示，指標的來源均為國家統(tǒng)計局以及2018年各省市統(tǒng)計年鑒。

（二）智能制造能力成熟度等級劃分

智能制造能力成熟度模型可以客觀地評估能力等級，并呈現(xiàn)階梯式的改進步驟{5}。由于它的高度適用性，也被IT、工業(yè)等領(lǐng)域積極采納{6}。本文結(jié)合各區(qū)域企業(yè)的實際狀況，將成熟度分為五個等級，五個等級分別對應五個水平，具體說明如表2所示。

三、算法

（一）BP神經(jīng)網(wǎng)絡

BP神經(jīng)網(wǎng)絡是一種多層前饋神經(jīng)網(wǎng)絡，共包括輸入層、輸出層和若干個隱含層{7}。BP神經(jīng)網(wǎng)絡由輸入層輸入數(shù)據(jù)，通過由閾值和權(quán)值組成的隱含層對數(shù)據(jù)進行處理，最后由輸出層得到結(jié)果，再將輸出值和期望輸出進行比較，不斷調(diào)整閾值和權(quán)值，直到輸出值逼近期望輸出{8}。具體步驟如下：

6.重復3～5步，直到誤差減小到滿足要求為止。

（二）隨機森林回歸

隨機森林是由決策樹{h（x，δm），m=1，2，…，T}組成的一種分類器，其中，x表示輸入變量，δm為獨立同分布的隨機向量，T為決策樹的棵樹。隨機森林既可以適用于分類問題也可以用于回歸問題。隨機森林通過輸入訓練樣本，有放回的抽取子樣本建立分類樹形成隨機森林，最終輸出值為T顆決策樹輸出的平均值{9}。具體步驟如下：

1.從原始訓練集中利用bootstrap法有放回的隨機抽取m個新的訓練集，形成m顆分類樹。

2.對m顆分類樹節(jié)點下的l個特征中選取n個特征（n≤l），通過比較基尼指數(shù)，選取基尼指數(shù)最小的作為最優(yōu)特征進行分裂。基尼指數(shù)為：Gini=1-ki為Ji類出現(xiàn)的概率。

3.每棵樹無修剪的最大程度生長，重復T次后，形成CART決策樹。

4.每一棵決策樹輸出的平均值即為最終結(jié)果。

（三）支持向量機回歸

支持向量回歸是支持向量機推廣到回歸問題得到的回歸模型。支持向量回歸認為，在訓練集中存在一個超平面，使得超平面上下兩邊間隔達到最大，最大間隔即為尋找的支持向量回歸，目標即為使訓練集的點最大程度地擬合到模型中，也就是所有訓練集的點和超平面之間的總偏差最小{10}。本文為非線性問題，因此需將訓練集映射到更高級的空間使非線性問題轉(zhuǎn)化為線性問題，并引入核函數(shù)進行求解{17}。具體步驟如下：

1.給定訓練樣本集：S=（x1，y1），（x2，y2），…，（xn，yn）

2.劃分超平面所對應的的模型可表示為：f（x）=wTφ（x）+d

最小化函數(shù)：minw，d‖w‖2，s.t.yi（wTφ（x）+d）≥1（i=1，2，…，n）

其中：w為法向量，d為位移量，φ（x）表示將x映射后的特征向量

3.引入核函數(shù)k（xi，xj），求解對偶化最優(yōu)問題：

解出α之后，可以求得w，進而求得b

四、機器學習模型的選擇與訓練

機器學習的學習過程分為數(shù)據(jù)獲取、數(shù)據(jù)預處理、特征工程、訓練模型選擇、評估模型{11}。首先按照21個指標整理出31個省市的原始數(shù)據(jù)，然后對數(shù)據(jù)進行歸一化處理。機器學習訓練需要一定量的數(shù)據(jù)量支持，為了得到更好的仿真效果，對處理過的數(shù)據(jù)進行模擬仿真得到300組仿真數(shù)據(jù)。

本文選取BP神經(jīng)網(wǎng)絡、隨機森林回歸、支持向量機回歸三個機器學習模型進行交叉驗證，得出模型的平均準確率。將全部仿真數(shù)據(jù)重新用于3個模型進行訓練，得到最終模型，再對31組原始數(shù)據(jù)進行驗證測試，和期望輸出值進行比較，最后比較橫向比較兩步測試的結(jié)果并分析，選出具有優(yōu)秀表現(xiàn)的機器學習模型。

（一）K折交叉驗證

本文首先采用K折交叉驗證進行模型的評估與選擇，K取值為10具有更好的評價效果。本文將300個仿真數(shù)據(jù)分為相等的10份，即K1、K2、K3，…，K10。取Ki作為測試數(shù)據(jù)集，剩余部分為訓練數(shù)據(jù)集。本文的問題類別為回歸分析，因此選取1-均方誤差作為評價標準。

（二）機器學習模型的訓練與驗證

在K折交叉驗證的過程中由于需要留出一部分數(shù)據(jù)進行評估測試，因此只使用了一部分數(shù)據(jù)訓練模型。由于三個模型的10折交叉驗證準確度值均達到了85%以上，因此，三個模型的表現(xiàn)都很優(yōu)秀。現(xiàn)在將300組數(shù)據(jù)全部用于模型的訓練，并用31組原始數(shù)據(jù)得到的實際輸出與期望輸出值進行對比驗證。本文的期望輸出值為Ei=wij*sij，其中wij表示城市i的權(quán)重為第j個一級指標所包含的二級指標數(shù)與總指標數(shù)的比值，sij表示城市i的一級指標j的得分之和。三種機器學習模型的預測值和期望輸出的誤差對比圖（如圖1所示）。

（三）模型的選取

三種模型的10折交叉驗證平均準確度和泛化誤差值如下表3所示。由表3可以看出三種模型中只有隨機森林回歸的10折交叉驗證準確度高于85%。并且隨機森林回歸的泛化誤差也最小，這表明隨機數(shù)森林回歸的輸出值誤差波動最小。因此，本文選擇隨機森林回歸進行各城市智能制造成熟度的評價，評價結(jié)果如表4所示。

五、結(jié)論

本文運用三種機器學習算法對31個主要省市的智能制造成熟度分別進行了評價，通過10折交叉驗證和泛化誤差對三種方法進行比較，最后確定隨機森林回歸對比其他兩種模型具有優(yōu)越性，因此選擇隨機森林算法對31各省市的智能制造成熟度進行評價。為各個省市智能制造成熟度的評級方法和研究過程提供思路和方法。之后的研究可在此基礎上結(jié)合指標重要性對隨機森林回歸進行改進與探究，實現(xiàn)對智能制造成熟度更全面的評價。

注釋：

{1}CAINELLI G， MARCHI V D， GRANDINETTI R.Does the development of environmental innovation require different resources evidence from Spanish manufacturing firms[J].Journal of Cleaner Production， 2015，（94）：211-220

{2}LEE J，BAGHERI B，KAO H A.A cyber-physical systems architecture for industry 4.0-based manufacturing systems[J].Manufacturing Letters， 2015，（3）：18-23

{3}WEBER P， WAGNER C.Equipment interconnection models in discrete manufacturing [J].Ifac Papersonline， 2015，48（1）：928-929

{4}Wadhwa，Vivek.Why Its Chinas Turn to Worry about Manufacturing[N].Washington Post，2012，01：11

{5}齊小玲，馮大鵬.CMMI體系建立過程及在項目管理中的作用[J].計算機科學.2013（S2）：436-438

{6}溫國鋒.基于成熟度的工程項目風險管理能力提升模型研究[J].現(xiàn)代物業(yè)（上旬刊）.2015（6）：66-69

{7}潘超杰.基于BP人工神經(jīng)網(wǎng)絡的物流配送中心選址決策[J].知識經(jīng)濟，2010，（9）：10-16

{8}柴穎.基于隨機森林回歸分析的徑流預報模型[J].水利水電快報，2018，39（9）：36-38

{9}李永娜.基于支持向量機的回歸預測綜述[J].信息通信，2014（11）：32-33

{10}馬旭霞.支持向量機理論及應用[J].科學技術(shù)創(chuàng)新，2019（2）：13-14

{11}周志華.機器學習[M].北京：清華大學出版社，2016

（作者單位：東北林業(yè)大學工程技術(shù)學院 黑龍江哈爾濱 150000）

（責編：若佳）