煤與瓦斯突出預(yù)測的隨機(jī)森林模型

溫廷新，張波，邵良杉

WEN Tingxin,ZHANG Bo,SHAO Liangshan

遼寧工程技術(shù)大學(xué)系統(tǒng)工程研究所，遼寧葫蘆島125105

System Engineering Institute,Liaoning Technological University,Huludao,Liaoning 125105,China

1 引言

隨著煤礦開采深度和開采強(qiáng)度的增加，以及復(fù)雜的地質(zhì)條件和應(yīng)力環(huán)境變化等因素導(dǎo)致各種動態(tài)災(zāi)害的發(fā)生。其中，煤與瓦斯突出是煤礦進(jìn)行深部開采過程中一個主要的動力災(zāi)害。我國煤礦開采場眾多，煤與瓦斯突出是最為常見卻危害最為嚴(yán)重的事故，煤與瓦斯突出問題日益顯著[1-2]。煤與瓦斯突出是另一種類型的瓦斯特殊涌出，是圍巖和煤體內(nèi)部聚積的大量潛能的快速釋放。煤與瓦斯突出能夠在短時(shí)間內(nèi)向巷道噴出大量瓦斯及碎煤，破壞巷道內(nèi)的設(shè)施和風(fēng)流狀態(tài)，直接危害人的生命，造成人員傷亡和財(cái)產(chǎn)損失[3-4]。我國煤礦生產(chǎn)每年都會因?yàn)槊号c瓦斯突出導(dǎo)致數(shù)百人傷亡，煤與瓦斯突出是煤礦安全生產(chǎn)的巨大威脅。因此，煤與瓦斯突出預(yù)測研究是煤礦工程中值得重視的研究領(lǐng)域，構(gòu)建有效的煤與瓦斯突出預(yù)測模型對煤與瓦斯突出實(shí)現(xiàn)有效預(yù)測具有重大意義。

煤與瓦斯突出預(yù)測方法是指導(dǎo)煤與瓦斯突出防治工作的前提，目前對于煤與瓦斯突出預(yù)測和評價(jià)已經(jīng)出現(xiàn)很多研究方法。其中，劉俊娥等[5]人用支持向量機(jī)方法對煤與瓦斯預(yù)測作評價(jià)；郭德勇等[6]人在煤與瓦斯預(yù)測中運(yùn)用了神經(jīng)網(wǎng)絡(luò)模型；高衛(wèi)東[7]運(yùn)用Fisher判別法預(yù)測煤與瓦斯突出；以及還有時(shí)間序列法[8-9]等對煤與瓦斯突出作預(yù)測。雖然各位學(xué)者在煤與瓦斯突出預(yù)測和監(jiān)控問題中提出了自己的方法，每種方法都有各自的優(yōu)點(diǎn)，取得較好的應(yīng)用效果，促進(jìn)了該研究領(lǐng)域向前發(fā)展，但各方法也有自己的不足，如神經(jīng)網(wǎng)絡(luò)存在過學(xué)習(xí)、收斂速度慢，支持向量機(jī)依賴于核參數(shù)和懲罰參數(shù)的選取等缺陷。再加上煤礦井下深部開采所處的是一個自然的環(huán)境，地質(zhì)條件以及外界因素復(fù)雜，影響煤與瓦斯突出的因素多樣，以及因素之間存在一定的相關(guān)性，傳統(tǒng)的預(yù)測方法在預(yù)測結(jié)果上與實(shí)際情況會存在一定出入，煤與瓦斯突出等級的正確預(yù)測率仍需要進(jìn)一步提高。

在煤與瓦斯突出影響因素分析中，對選取的相關(guān)程度較高的影響因素，利用因子分析提取公共因子，進(jìn)行因素間的濃縮，減少影響因素之間的相關(guān)性，然后以分析得到的影響因素共同作為隨機(jī)森林的輸入變量，用隨機(jī)森林算法進(jìn)行訓(xùn)練預(yù)測。隨機(jī)森林算法是基于決策樹（decision tree）的分類器集成算法，融合了Bagging和隨機(jī)特征選取兩大機(jī)器學(xué)習(xí)技術(shù)[10]。隨機(jī)森林具有需要調(diào)整的參數(shù)較少、分類速度很快，能有效處理高維大樣本數(shù)據(jù)等特點(diǎn)，它避免了決策樹中出現(xiàn)的過擬合問題。因此，文中基于因子分析建立了煤與瓦斯突出預(yù)測的隨機(jī)森林模型，將其運(yùn)用到實(shí)際工程當(dāng)中，驗(yàn)證其預(yù)測模型的有效性。

2 相關(guān)理論

2.1 因子分析

因子分析（Factor Analysis）是多元統(tǒng)計(jì)分析的一個重要分支，是由英國心理學(xué)家C.Spearman提出的[11-13]。因子分析是通過對變量之間關(guān)系的研究，找出能夠綜合原始變量的少數(shù)幾個因子，使得少數(shù)幾個因子能夠反映原始變量的絕大部分信息，進(jìn)行數(shù)據(jù)的濃縮。因子分析的研究內(nèi)容十分豐富，常用的因子分析類型有R型因子分析和Q型因子分析。其中R型因子分析是針對變量作因子分析，Q型因子分析是針對樣品作因子分析。

根據(jù)文中研究的實(shí)際需求，選用R型因子分析。假設(shè)原有p個變量x1，x2，…，xp，且每個原有變量在進(jìn)行標(biāo)準(zhǔn)化之后都是均值為零、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)化變量，將原變量x1，x2，…，xp用m(m＜p)個因子F1，F(xiàn)2，…，F(xiàn)m線性組合來表示，因子分析的數(shù)學(xué)模型表示如下：

式（1）中εi是特殊因子，表示了因子變量不能解釋原有變量的部分；公共因子F1，F(xiàn)2，…，F(xiàn)m彼此之間是兩兩正交的；aij表示的是公共因子的負(fù)載，在各個因子變量不相關(guān)的情況下，因子載荷aij相當(dāng)于多元回歸中的標(biāo)準(zhǔn)回歸系數(shù)，就是第i個原有變量和第j個因子變量之間的相關(guān)系數(shù)（即xi在第j個公共因子變量上的相對重要性），aij的絕對值越大，則公共因子Fi和原有變量xi關(guān)系就越強(qiáng)。

2.2 隨機(jī)森林算法

隨機(jī)森林算法[14]是由Breiman于2001年提出的一種集成學(xué)習(xí)算法，常見的集成學(xué)習(xí)算法還包括裝袋算法和提升算法。集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式，現(xiàn)已成為國際機(jī)器學(xué)習(xí)界研究的熱點(diǎn)，集成學(xué)習(xí)方法彌補(bǔ)了單一方法的不足。隨機(jī)森林是以分類回歸樹CART為基本分類器，并且包含多個由Bagging集成學(xué)習(xí)技術(shù)訓(xùn)練得到的決策樹，當(dāng)輸入待分類的樣本時(shí)，最終的分類結(jié)果由單棵決策樹的輸出結(jié)果投票決定[15-16]。

隨機(jī)森林是一個樹型分類器{h(x，θk)，k=1,2,…，n}的集合。其中元分類器h(x，θk)是用CART算法構(gòu)建的沒有剪枝的分類回歸樹；x是輸入向量；θk是獨(dú)立同分布的隨機(jī)向量，決定了單棵樹的生長過程；隨機(jī)森林的輸出采用簡單多數(shù)投票法（針對分類）或所有樹輸出結(jié)果的簡單平均（針對回歸）得到。隨機(jī)森林算法步驟如下：

（1）從原始訓(xùn)練數(shù)據(jù)集S={(xi，yi)} (i=1，2，…，n)中bootstrap抽樣生成k個訓(xùn)練樣本集，每個樣本集是每棵分類樹的全部訓(xùn)練數(shù)據(jù)。

（2）每個訓(xùn)練樣本集單獨(dú)生長成為一棵不剪枝葉的分類樹hi。在樹的每個節(jié)點(diǎn)處從M個特征中隨機(jī)挑選m個特征(m≤M)，在每個節(jié)點(diǎn)上從m個特征中依據(jù)Gini指標(biāo)選取最優(yōu)特征進(jìn)行分支生長。這棵分類樹進(jìn)行充分生長，使每個節(jié)點(diǎn)的不純度達(dá)到最小，不進(jìn)行通常的剪枝操作。

（3）根據(jù)生成的多個樹分類器對新的測試數(shù)據(jù)xt進(jìn)行預(yù)測，分類結(jié)果按每個樹分類器的投票多少而決定，即分類公式為：

上式中，用majority vote表示多數(shù)投票，Ntree表示隨機(jī)森林中樹的個數(shù)。在訓(xùn)練過程中每次抽樣生成自助訓(xùn)練樣本集，原始訓(xùn)練數(shù)據(jù)集中不在自助樣本中的剩余數(shù)據(jù)被稱為袋外數(shù)據(jù)（out-of-bag，OOB），OOB數(shù)據(jù)被用來預(yù)測分類的正確率，每次的預(yù)測結(jié)果進(jìn)行匯總得到錯誤率的OOB估計(jì)。

隨機(jī)森林的邊緣函數(shù)[17]：

隨機(jī)森林的泛化誤差上界：

式（4）中，ρ是相關(guān)系數(shù)的均值，s是分類器的強(qiáng)度，s=Ex，ymr(x，y)。隨機(jī)森林通過在每個節(jié)點(diǎn)處隨機(jī)選擇特征進(jìn)行分支，最小化了各棵分類樹之間的相關(guān)性，提高了分類精確度。

3 煤與瓦斯突出預(yù)測的隨機(jī)森林模型及應(yīng)用

3.1 影響因素的相關(guān)性分析

對于煤礦井下深部開采是處于一個復(fù)雜的自然環(huán)境，影響煤與瓦斯突出的影響因素具有多樣性等，通常是在突出危險(xiǎn)區(qū)域測取和煤與瓦斯突出密切相關(guān)的一些物理參數(shù)或指標(biāo)觀察數(shù)據(jù)，同時(shí)考慮實(shí)際預(yù)測中影響指標(biāo)數(shù)據(jù)的易取性，選取能夠間接反映煤與瓦斯突出的影響因素進(jìn)行相關(guān)預(yù)測分析。

文中根據(jù)文獻(xiàn)[18]提供的數(shù)據(jù)，選取了最大主應(yīng)力（X1）、瓦斯壓力（X2）、瓦斯含量（X3）、頂板巖性（X4）、距斷裂距離（X5）、煤層厚度（X6）、開采垂深（X7）、絕對瓦斯涌出量（X8）和相對瓦斯涌出量（X9）9個影響因素作為煤與瓦斯突出預(yù)測的評價(jià)指標(biāo)，這幾個評價(jià)指標(biāo)對于煤與瓦斯突出的影響在文獻(xiàn)[18]中已相應(yīng)說明。

為了減少變量因素之間信息的冗余，提高相互獨(dú)立性，對這9個影響煤與瓦斯突出的因素（如表2）運(yùn)用SPSS軟件進(jìn)行普通相關(guān)性分析，求得Spearman等級相關(guān)系數(shù)和T檢驗(yàn)的統(tǒng)計(jì)值Sig。由分析的結(jié)果表明，最大主應(yīng)力（X1）、瓦斯壓力（X2）、瓦斯含量（X3）、開采垂深（X7）、絕對瓦斯涌出量（X8）和相對瓦斯涌出量（X9）這6個變量因素之間的T統(tǒng)計(jì)量的檢驗(yàn)值Sig小于0.05，相關(guān)系數(shù)是顯著異于0的，說明了這六個變量因素之間的相關(guān)性較強(qiáng)，存在著信息交互；而另外三個變量因素之間的T統(tǒng)計(jì)量的檢驗(yàn)值Sig大于0.05，說明了這三個變量之間的相關(guān)性比較弱，彼此關(guān)聯(lián)程度低。

3.2 因子分析檢驗(yàn)

在進(jìn)行相關(guān)性分析之后得到相關(guān)性較強(qiáng)的6個變量（最大主應(yīng)力、瓦斯壓力、瓦斯含量、開采垂深、絕對瓦斯涌出量和相對瓦斯涌出量），對這6個變量進(jìn)行因子分析提取公共因子，對影響因素進(jìn)行降維。但在對變量因素進(jìn)行因子分析之前，先要檢驗(yàn)這6個變量因素是否適合進(jìn)行因子分析。

運(yùn)用SPSS軟件對這相關(guān)性較強(qiáng)的6個變量因素進(jìn)行KMO檢驗(yàn)和巴特萊特球體檢驗(yàn)（Bartlett）。其檢驗(yàn)的結(jié)果如表1所示，KMO的檢驗(yàn)值為0.851，適合做因子分析；同時(shí)Bartlett球體檢驗(yàn)統(tǒng)計(jì)值的顯著性概率Sig為0，小于0.05的顯著水平，因此接受備擇假設(shè)，認(rèn)為適宜作因子分析。根據(jù)這兩個檢驗(yàn)的結(jié)果，表明了相關(guān)性較強(qiáng)的這六個變量因素可以進(jìn)行因子分析。

表1 KMO和Bartlett檢驗(yàn)

3.3 基于因子分析的煤與瓦斯突出的隨機(jī)森林預(yù)測模型

煤與瓦斯突出強(qiáng)度大小可以分為4個不同程度類型[18]，即無突出，小型突出，中型突出和大型突出四類。在該預(yù)測模型中數(shù)據(jù)來源于文獻(xiàn)[18]，選取了19組煤與瓦斯突出樣本作為訓(xùn)練數(shù)據(jù)（表2），另外選取其中5組樣本作為模型的測試數(shù)據(jù)（表4），對影響煤與瓦斯突出相關(guān)性較強(qiáng)的6個變量因素進(jìn)行因子分析，實(shí)現(xiàn)數(shù)據(jù)的降維，提取公共因子，再結(jié)合相關(guān)性較弱的影響因素共同作為預(yù)測模型的輸入，以四個不同突出強(qiáng)度作為輸出，建立基于因子分析的隨機(jī)森林預(yù)測模型。

將表2中相關(guān)性較強(qiáng)的最大主應(yīng)力、瓦斯壓力、瓦斯含量、開采垂深、絕對瓦斯涌出量和相對瓦斯涌出量，這六個變量因素運(yùn)用SPSS 16.0軟件進(jìn)行因子分析，由得到的碎石圖如圖1所示，由圖中可以看出前兩個公共因子的特征值變化比較明顯，從第二個公共因子之后的特征值變化就變得平緩許多，根據(jù)碎石原則，相關(guān)性較強(qiáng)的這6個變量因素進(jìn)行因子分析之后能提取出兩個公共因子F1和F2，這兩個公共因子的累計(jì)貢獻(xiàn)率為96.246%，即這兩個公共因子解釋了原來6個變量96.246%的信息。

提取F1和F2兩個公共因子，由因子載荷矩陣難以看出兩個公共因子的實(shí)際含義，所以通過旋轉(zhuǎn)坐標(biāo)軸，使負(fù)載盡可能向正負(fù)一或零的方向靠近，因而得到因子載荷旋轉(zhuǎn)矩陣（表3）。載荷旋轉(zhuǎn)矩陣使得兩個公共因子的實(shí)際意義凸顯出來，由表3可知，公共因子F1主要由瓦斯含量、開采垂深、絕對瓦斯涌出量和相對瓦斯涌出量四個因素組成，公共因子F2由最大主應(yīng)力以及瓦斯壓力組成。由碎石圖可看出公共因子F1的特征值變化明顯，說明了它在煤與瓦斯突出預(yù)測的影響因素當(dāng)中，其影響性比較大。再由旋轉(zhuǎn)后的因子得分矩陣可求得因子值，求出的F1和F2的對應(yīng)值如表2所示（部分?jǐn)?shù)據(jù)）。

表2 測試樣本數(shù)據(jù)（部分）

圖1 碎石圖

表3 因子載荷旋轉(zhuǎn)矩陣

通過相關(guān)性分析得到的三個相關(guān)性較弱的變量因素（頂板巖性、距斷裂距離、煤層厚度），和進(jìn)行因子分析所提取的兩個公共因子（F1和F2），這五個變量因素共同作為隨機(jī)森林預(yù)測模型的輸入，基于Matlab 7平臺上做隨機(jī)森林編程訓(xùn)練，設(shè)置變量個數(shù)mtry=4，隨機(jī)森林的樹的個數(shù)ntree=500，用表2中樣本數(shù)據(jù)進(jìn)行預(yù)測模型的訓(xùn)練，確定5個變量因素與4個煤與瓦斯突出強(qiáng)度之間的非線性關(guān)系，在樣本集的訓(xùn)練過程中，圖2是袋外數(shù)據(jù)的錯誤率變化，估計(jì)了隨機(jī)森林的泛化誤差，從圖中可看出隨機(jī)森林預(yù)測模型的錯誤率極低。

隨機(jī)森林預(yù)測模型訓(xùn)練好之后，用表4中5組數(shù)據(jù)進(jìn)行煤與瓦斯突出強(qiáng)度的測試，表4中數(shù)據(jù)依然需進(jìn)行因子分析提取公共因子作為預(yù)測模型變量輸入。為了驗(yàn)證該模型分類預(yù)測的準(zhǔn)確率，同時(shí)將其與Fisher判別分析方法（FDA，F(xiàn)isher Discriminant Analysis）[11]及BP神經(jīng)網(wǎng)絡(luò)方法進(jìn)行比較，其中運(yùn)用SPSS軟件操作完成Fisher判別預(yù)測，并設(shè)定BP神經(jīng)網(wǎng)絡(luò)的輸入層神經(jīng)元個數(shù)為5（輸入變量個數(shù)），隱含層神經(jīng)元個數(shù)為10，輸出層神經(jīng)元個數(shù)為3：0-0-0（無突出），0-0-1（小型突出），0-1-0（中型突出），1-0-0（大型突出），因此建立5-10-3結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)。隨機(jī)森林（RF）測試類別、Fisher測試類別（FDA）和BP神經(jīng)網(wǎng)絡(luò)（BPNN）測試類別與真實(shí)類別的對比結(jié)果如表4中所示。圖3是隨機(jī)森林對煤與瓦斯突出強(qiáng)度的測試結(jié)果，從圖中可看到，對于這5個小樣本測試數(shù)據(jù)，隨機(jī)森林的誤判率為0，同時(shí)從表4中各預(yù)測模型的結(jié)果對比得出：其他兩種預(yù)測模型在預(yù)測結(jié)果上與瓦斯突出實(shí)際類別存在出入，RF預(yù)測的準(zhǔn)確率要高于其他兩種算法模型，由此可以表明，基于隨機(jī)森林建立的煤與瓦斯突出強(qiáng)度預(yù)測模型具有較高的準(zhǔn)確率。

圖2 袋外數(shù)據(jù)錯誤率

圖3 RF預(yù)測結(jié)果

表4 預(yù)測模型測試結(jié)果對比

4 結(jié)束語

（1）本文在借鑒國內(nèi)外文獻(xiàn)的基礎(chǔ)上，運(yùn)用了因子分析方法，對影響煤與瓦斯突出預(yù)測的相關(guān)程度較高的影響因素進(jìn)行因子分析，減少變量因素之間的信息冗余，以提高模型預(yù)測精度，同時(shí)，通過相關(guān)性分析得到，就煤與瓦斯突出強(qiáng)度預(yù)測而言，文中選取的最大主應(yīng)力、瓦斯壓力、瓦斯含量、開采垂深、絕對瓦斯涌出量和相對瓦斯涌出量這個六個變量之間相關(guān)性極高。

（2）由相關(guān)性較弱的三個影響因素頂板巖性、距斷裂距離以及煤層厚度和因子分析提取的公共因子F1、F2，這5個變量共同作為隨機(jī)森林預(yù)測模型的輸入，經(jīng)過訓(xùn)練以及預(yù)測結(jié)果的對比顯示，基于因子分析建立的煤與瓦斯突出強(qiáng)度預(yù)測的隨機(jī)森林模型，其預(yù)測準(zhǔn)確率極高，預(yù)測的結(jié)果與煤礦的實(shí)際情況較為吻合，為煤與瓦斯突出預(yù)測提供了指導(dǎo)作用，同時(shí)也為該領(lǐng)域的研究提供了新的思路。

（3）本文嘗試著將因子分析理論和隨機(jī)森林理論結(jié)合運(yùn)用到煤與瓦斯突出等級預(yù)測問題當(dāng)中，通過測取一些與瓦斯突出相關(guān)的靜態(tài)因素的數(shù)據(jù)進(jìn)行預(yù)測。在后續(xù)工作當(dāng)中，需要考慮影響煤與瓦斯突出的時(shí)變性因素，測取大樣本數(shù)據(jù)，分析提取更具有代表性的影響因素，提高隨機(jī)森林的泛化能力，進(jìn)一步提高煤與瓦斯突出等級預(yù)測的正確率。

[1] Wold M B，Connell L D，Choi S K.The role of spatial variability in coal seam parameters on gas outburst behaviour during coal mining[J].International Journal of Coal Geology，2008，75（1）：1-14.

[2] 聶百勝，何學(xué)秋，王恩元，等.煤與瓦斯突出預(yù)測技術(shù)研究現(xiàn)狀及發(fā)展趨勢[J].中國安全科學(xué)學(xué)報(bào)，2003，13（6）：43-46.

[3] 劉俊娥，曾凡雷，郭章林.基于RS-SVM模型的煤與瓦斯突出多因素風(fēng)險(xiǎn)評價(jià)[J].中國安全科學(xué)學(xué)報(bào)，2011，21（7）：21-26.

[4] 李坤，由長福，祁海鷹.煤礦煤與瓦斯突出數(shù)學(xué)模型的建立[J].工程力學(xué)，2012，29（1）：202-206.

[5] 劉俊娥，曾凡雷，郭章林.基于RS-SVM模型的煤與瓦斯突出多因素風(fēng)險(xiǎn)評價(jià)[J].中國安全科學(xué)學(xué)報(bào)，2011，21（7）：21-26.

[6] 郭德勇，李念友，裴大文，等.煤與瓦斯突出預(yù)測灰色理論-神經(jīng)網(wǎng)絡(luò)方法[J].北京科技大學(xué)學(xué)報(bào)，2007，29（4）：354-357.

[7] 高衛(wèi)東.Fisher判別法在煤與瓦斯突出危險(xiǎn)程度預(yù)測中的應(yīng)用[J].中國安全科學(xué)學(xué)報(bào)，2010，20（10）：26-30.

[8] 董春游，曹志國，商宇航，等.基于G-K評價(jià)與粗糙集的煤與瓦斯突出分類分析[J].煤炭學(xué)報(bào)，2011，36（7）：1156-1160.

[9] 鄧明，張國樞，陳清華.基于瓦斯涌出時(shí)間序列的煤與瓦斯突出預(yù)報(bào)[J].煤炭學(xué)報(bào)，2010，35（2）：260-263.

[10] 馬昕，郭靜，孫嘯.蛋白質(zhì)中RNA-結(jié)合殘基預(yù)測的隨機(jī)森林模型[J].東南大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，42（1）：50-54.

[11] 馬慶國.管理統(tǒng)計(jì)[M].北京：科學(xué)出版社，2008：308-335.

[12] 邵良杉，趙琳琳.露天采礦爆破振動對民房破壞的旋轉(zhuǎn)森林預(yù)測模型[J].中國安全科學(xué)學(xué)報(bào)，2013，23（2）：58-63.

[13] 王玉寶，單仁亮，蔡煒凌，等.西山礦區(qū)煤巷掘進(jìn)速度影響因素因子分析[J].煤炭學(xué)報(bào)，2011，36（6）：925-929.

[14] Breiman L.Random forests[J].Machine Learning，2001，45（1）：5-32.

[15] 董師師，黃哲學(xué).隨機(jī)森林理論淺析[J].集成技術(shù)，2013，2（1）：1-7.

[16] 楊帆，林琛，周綺鳳，等.基于隨機(jī)森林的潛在k近鄰算法及其在基因表達(dá)數(shù)據(jù)分類中的應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2012，32（4）：815-825.

[17] 莊進(jìn)發(fā)，羅鍵，彭彥卿，等.基于改進(jìn)隨機(jī)森林的故障診斷方法研究[J].計(jì)算機(jī)集成制造系統(tǒng)，2009，15（4）：777-785.

[18] 朱志潔，張宏偉，韓軍，等.基于PCA-BP神經(jīng)網(wǎng)絡(luò)的煤與瓦斯突出預(yù)測研究[J].中國安全科學(xué)學(xué)報(bào)，2013，23（4）：45-50.