神經(jīng)網(wǎng)絡(luò)集成在煤炭企業(yè)可持續(xù)發(fā)展評價中的應(yīng)用

一、引言

人工神經(jīng)網(wǎng)絡(luò)是在非線性經(jīng)濟預(yù)測領(lǐng)域應(yīng)用較為廣泛的一種方法。它是模擬人的大腦的一種非線性映射，不僅具有很強的容錯性，而且能夠從大量的歷史數(shù)據(jù)中進行學(xué)習(xí)，從而揭示大量復(fù)雜數(shù)據(jù)中隱含的重要信息。神經(jīng)網(wǎng)絡(luò)方法已經(jīng)在很多領(lǐng)域得到了成功的應(yīng)用，在煤炭行業(yè)，煤炭生產(chǎn)成本預(yù)測、煤炭需求量的預(yù)測、煤炭企業(yè)可持續(xù)發(fā)展的評價、煤炭建設(shè)項目投資估算、煤炭成漿濃度預(yù)測、煤炭調(diào)運的優(yōu)化等很多方面都有神經(jīng)網(wǎng)絡(luò)模型成功應(yīng)用的案例。但是，在實際應(yīng)用中由于缺乏問題的先驗知識，往往很難找到理想的網(wǎng)絡(luò)結(jié)構(gòu)，這就影響了神經(jīng)網(wǎng)絡(luò)的泛化能力。神經(jīng)網(wǎng)絡(luò)的泛化能力是指學(xué)習(xí)后的神經(jīng)網(wǎng)絡(luò)對測試樣本做出正確反應(yīng)的能力，神經(jīng)網(wǎng)絡(luò)是否成功不在于對訓(xùn)練樣本本身擬合誤差的大小，而關(guān)鍵在于其泛化效果。本文探討了神經(jīng)網(wǎng)絡(luò)集成的框架模型，并對煤炭企業(yè)的可持續(xù)發(fā)展評價進行了實證研究，以期在提高神經(jīng)網(wǎng)絡(luò)泛化能力的同時讓這種技術(shù)更加有效地應(yīng)用于煤炭領(lǐng)域。

二、神經(jīng)網(wǎng)絡(luò)集成

1990年，Hansen和Salamon開創(chuàng)性地提出了神經(jīng)網(wǎng)絡(luò)集成，為解決神經(jīng)網(wǎng)絡(luò)泛化能力提高的問題提供了一個簡易可行的方法。使用這種方法，可以簡單地通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進行合成顯著地提高學(xué)習(xí)系統(tǒng)的泛化能力。1996年，Sollich和Krogh為神經(jīng)網(wǎng)絡(luò)集成下了一個定義，即“神經(jīng)網(wǎng)絡(luò)集成是用有限個神經(jīng)網(wǎng)絡(luò)對同一個問題進行學(xué)習(xí)，集成在某輸入實例下的輸出由構(gòu)成集成的各神經(jīng)網(wǎng)絡(luò)在該實例下的輸出共同決定”。目前這個定義已被廣泛接受。

1 神經(jīng)網(wǎng)絡(luò)集成個體生成方法

在生成集成個體網(wǎng)絡(luò)方面，目前最重要的技術(shù)是Boosting和Bagging。這兩種技術(shù)本身并非專為神經(jīng)網(wǎng)絡(luò)集成設(shè)計，可用于多種學(xué)習(xí)模型。

Boosting是一大類算法的總稱，通過這種方法可以產(chǎn)生一系列神經(jīng)網(wǎng)絡(luò)，各網(wǎng)絡(luò)的訓(xùn)練集決定于在其之前產(chǎn)生的網(wǎng)絡(luò)的表現(xiàn)，被已有網(wǎng)絡(luò)錯誤判斷的實例將以較大的概率出現(xiàn)在新網(wǎng)絡(luò)的訓(xùn)練集中。這樣，新網(wǎng)絡(luò)將能夠很好地處理對已有網(wǎng)絡(luò)來說很困難的實例。另一方面，雖然Boosting方法能夠增強神經(jīng)網(wǎng)絡(luò)集成的泛化能力，但是同時也有可能使集成過分偏向于某幾個特別困難的實例。因此，該方法不太穩(wěn)定，有時能起到很好的作用，有時卻沒有效果。

Bagging的基礎(chǔ)是可重復(fù)取樣。在該方法中，各神經(jīng)網(wǎng)絡(luò)的訓(xùn)練集由從原始訓(xùn)練集中隨機選取若干實例組成，訓(xùn)練實例允許重復(fù)選取。這樣，原始訓(xùn)練集中某些實例可能在新的訓(xùn)練集中出現(xiàn)多次，而另外一些實例則可能一次也不出現(xiàn)。Bagging方法通過重新選取訓(xùn)練集增加了神經(jīng)網(wǎng)絡(luò)集成的差異度，從而提高了泛化能力。

2 神經(jīng)網(wǎng)絡(luò)集成結(jié)論生成方法

當神經(jīng)網(wǎng)絡(luò)集成用于分類器時，集成的輸出通常由個體網(wǎng)絡(luò)的輸出投票產(chǎn)生。通常采用絕對多數(shù)投票法(某分類成為最終結(jié)果當且僅當有超過半數(shù)的神經(jīng)網(wǎng)絡(luò)輸出結(jié)果為該分類)或相對多數(shù)投票法(某分類成為最終結(jié)果當且僅當輸出結(jié)果為該分類的神經(jīng)網(wǎng)絡(luò)的數(shù)目最多)。理論分析和大量試驗表明，后者優(yōu)于前者。因此，在對分類器進行集成時，目前大多采用相對多數(shù)投票法。

三、神經(jīng)網(wǎng)絡(luò)集成的框架模型

為了增強神經(jīng)網(wǎng)絡(luò)模型的泛化能力，筆者使用了如下圖所示的神經(jīng)網(wǎng)絡(luò)集成框架模型，模型使用了對訓(xùn)練樣本利用得比較充分的Bagging技術(shù)來產(chǎn)生個體神經(jīng)網(wǎng)絡(luò)，即通過Bagging從初始訓(xùn)練集中隨機抽取出多個規(guī)模相同的訓(xùn)練集，然后為每一個訓(xùn)練集訓(xùn)練出一個神經(jīng)網(wǎng)絡(luò)個體，再結(jié)合具體應(yīng)用實際使用相應(yīng)的結(jié)論生成方法將上述多個神經(jīng)網(wǎng)絡(luò)的輸出進行合成從而得到最初問題的結(jié)論。

四、用于煤炭企業(yè)可待續(xù)發(fā)展評價

煤炭資源屬不可再生資源，煤炭開采必然受到礦區(qū)剩余儲量的制約，煤炭企業(yè)遲早要面臨資源衰竭。因而，煤炭企業(yè)的可持續(xù)發(fā)展問題日益突出，國內(nèi)外學(xué)術(shù)界和決策部門為此進行了大量的探索，特別是在煤炭企業(yè)可持續(xù)發(fā)展水平評價上，開展了不少的研究。應(yīng)用神經(jīng)網(wǎng)絡(luò)集成模型對煤炭企業(yè)可持續(xù)發(fā)展水平進行評價，可以避免復(fù)雜的數(shù)學(xué)推導(dǎo)，在樣本缺損和參數(shù)漂移的情況下，仍能保證得到穩(wěn)定的結(jié)果，同時，也有效回避經(jīng)典的可持續(xù)發(fā)展評價方法(如層次分析法、模糊數(shù)學(xué)和主成分分析法等)無法回避的經(jīng)驗知識以及決策者個人主觀意向所起的作用，集成學(xué)習(xí)的方法也保證了模型的泛化能力，這對解決煤炭企業(yè)全局性的決策規(guī)劃是大有裨益的。

實際操作中，可以先按照煤炭企業(yè)可持續(xù)發(fā)展的涵義和指標體系設(shè)計的原則結(jié)合已有的研究成果構(gòu)建評價指標體系；然后根據(jù)所評價的問題，結(jié)合具體的神經(jīng)網(wǎng)絡(luò)算法建立煤炭企業(yè)可持續(xù)發(fā)展神經(jīng)網(wǎng)絡(luò)評價模型；接下來對訓(xùn)練樣本采用Bagging方法進行處理，然后為每個訓(xùn)練樣本訓(xùn)練出一個神經(jīng)網(wǎng)絡(luò)模型，對這些訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型的輸出采用相應(yīng)的結(jié)論生成方法進行合并，最后得到模型輸出的最終評價結(jié)果。

1 煤炭企業(yè)可持續(xù)發(fā)展評價指標體系

對于煤炭企業(yè)可持續(xù)發(fā)展評價指標體系的建立，目前有不少科研機構(gòu)和學(xué)者進行了大量的研究，但煤炭企業(yè)可持續(xù)發(fā)展的度量和評估還未達成共識，還需有較大的改善。但作為煤炭企業(yè)，在研究其可持續(xù)發(fā)展時，應(yīng)該包括生態(tài)持續(xù)、經(jīng)濟持續(xù)和社會持續(xù)等方面內(nèi)容，并從煤炭企業(yè)的實際需要和可能出發(fā)，我們把煤炭企業(yè)可持續(xù)發(fā)展評價指標體系劃分為三個層次，即目標層、準則層和指標層，如表1所示。

經(jīng)過訓(xùn)練學(xué)習(xí)，評價網(wǎng)絡(luò)可以輸出衡量可持續(xù)發(fā)展水平的評價值O，為明確煤炭企業(yè)可持續(xù)發(fā)展水平，設(shè)可持續(xù)發(fā)展狀態(tài)分為四級：一級為可持續(xù)發(fā)展；二級為初級可持續(xù)發(fā)展；三級為由傳統(tǒng)發(fā)展向可持續(xù)發(fā)展過渡，四級為傳統(tǒng)發(fā)展。

2 煤炭企業(yè)可持續(xù)發(fā)展評價神經(jīng)網(wǎng)絡(luò)集成模型

(1)神經(jīng)網(wǎng)絡(luò)評價模型的建立

設(shè)可持續(xù)發(fā)展評價時采用的指標集合為I，評價企業(yè)的非空有限集合為U，I_u，表示評價企業(yè)u在指標集I上的取值，O_u表示評價企業(yè)u對應(yīng)的可持續(xù)發(fā)展評價結(jié)果，則O_u是在一定的可持續(xù)發(fā)展評價準則下獲得的，即：

O_u=EVA(I_u)

對所有的評價企業(yè)而言，上式可以表達為：

O=EVA(I)

由上式構(gòu)造BP神經(jīng)網(wǎng)絡(luò)模型，以I為輸入向量，O為輸出向量，即為I→O映射模型。本文中設(shè)置神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元個數(shù)為2，分別以[0，0]、[0，1]、[1，0]、[1 11]代表企業(yè)可持續(xù)發(fā)展的四級狀態(tài)。通過大量煤炭企業(yè)可持續(xù)發(fā)展評價的實例數(shù)據(jù)的收集，用樣本(I，O)對其進行訓(xùn)練，BP神經(jīng)網(wǎng)絡(luò)即可學(xué)習(xí)煤炭企業(yè)可持續(xù)發(fā)展的評價準則，在給定的誤差要求下，當網(wǎng)絡(luò)學(xué)習(xí)完成后，仟意給定煤炭企業(yè)可持續(xù)發(fā)展評價的指標值向量I，神經(jīng)網(wǎng)絡(luò)評價模型將給出其可持續(xù)發(fā)展結(jié)論O，從而完成對煤炭企業(yè)可持續(xù)發(fā)展的評價。

(2)神經(jīng)網(wǎng)絡(luò)評價模型的訓(xùn)練

本文將所獲得的煤炭企業(yè)可持續(xù)發(fā)展評價的數(shù)據(jù)按訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集分為兩部分，應(yīng)用Matlab 7中神經(jīng)網(wǎng)絡(luò)工具箱提供的函數(shù)對建立的訓(xùn)練數(shù)據(jù)集進行訓(xùn)練，I和O分別表示訓(xùn)練數(shù)據(jù)集的輸入和輸出，測試數(shù)據(jù)集的輸入和輸出分別為I′和O′，網(wǎng)絡(luò)訓(xùn)練完成后，將I′輸入該網(wǎng)絡(luò)，O_l為模型識別后的輸出結(jié)果。設(shè)定訓(xùn)練終止次數(shù)為100次，訓(xùn)練終止誤差為10^-2，訓(xùn)練函數(shù)為TRAINLM，經(jīng)反復(fù)試驗網(wǎng)絡(luò)在隱層神經(jīng)元個數(shù)為26個、經(jīng)68次訓(xùn)練達到誤差要求。然后將O+與O′進行比較，選取均方差MSE、隱層結(jié)點數(shù)N_h總評價錯誤率做為檢驗?zāi)Ｐ偷闹笜恕１?所示為訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)評價模型N的檢驗指標。

(3)神經(jīng)網(wǎng)絡(luò)集成評價模型

在神經(jīng)網(wǎng)絡(luò)集成識別模型中，個體神經(jīng)網(wǎng)絡(luò)的輸入、輸出向量的維數(shù)相同，結(jié)論合成方法采用相對多數(shù)投票法。先生成10個BP網(wǎng)絡(luò)作為神經(jīng)網(wǎng)絡(luò)集成的個體網(wǎng)絡(luò)，這些網(wǎng)絡(luò)的輸出神經(jīng)元分別表示可持續(xù)發(fā)展評價的結(jié)論。通過Matlab對神經(jīng)網(wǎng)絡(luò)集成識別模型進行仿真，神經(jīng)網(wǎng)絡(luò)集成評價模型的檢驗指標如表3所示。

按圖1的流程利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)集成對測試集進行識別，總評價錯誤率為9.2％，這個指標遠遠優(yōu)于表2中的單一神經(jīng)網(wǎng)絡(luò)。實證研究的結(jié)果表明神經(jīng)網(wǎng)絡(luò)集成學(xué)習(xí)的評價模型可以在很大程度上提高神經(jīng)網(wǎng)絡(luò)模型的泛化能力。

五、結(jié)束語

神經(jīng)網(wǎng)絡(luò)集成簡單地通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)并將其結(jié)果進行集成，顯著地提高神經(jīng)網(wǎng)絡(luò)系統(tǒng)的泛化能力。本文提出的基于神經(jīng)網(wǎng)絡(luò)集成的框架模型具有以下優(yōu)勢：(1)神經(jīng)網(wǎng)絡(luò)集成基于神經(jīng)網(wǎng)絡(luò)解決了非線性和時變性問題；(2)神經(jīng)網(wǎng)絡(luò)集成方法比單神經(jīng)網(wǎng)絡(luò)具有更強的泛化能力，預(yù)測也更為可靠。為神經(jīng)網(wǎng)絡(luò)在煤炭企業(yè)可持續(xù)發(fā)展評價方面的應(yīng)用提供了更加有效的手段。