基于CEEMDAN-BO-BiGRU的礦井涌水量預測研究

侯恩科, 夏冰冰*, 吳章濤, 榮統(tǒng)瑞

(1.西安科技大學地質(zhì)與環(huán)境學院, 西安 710054, 2.陜西彬長小莊礦業(yè)有限公司, 咸陽 713500)

礦井涌水量是指在礦山建設和生產(chǎn)過程中,地表水和地下水通過各種途徑和方式,在單位時間內(nèi)涌入井巷中的水量,是選擇開采方案、礦井排水系統(tǒng)設計的重要依據(jù),提高礦井涌水量預測的準確度對于預防透水事故、保證安全生產(chǎn)十分重要[1-2]。由于礦井水文地質(zhì)條件復雜多樣,且影響因素眾多,導致礦井涌水量預測成為一項比較困難且復雜的工作[3-4]。因此,研究提高礦井涌水量預測準確度的方法具有重要意義。

中國礦井涌水量預測方法經(jīng)過長期發(fā)展,主要有解析法、水均衡法、數(shù)值模擬法、經(jīng)驗公式法、回歸分析法、模糊數(shù)學、灰色預測等[5]。此外還有神經(jīng)網(wǎng)絡、支持向量機等方法也運用到礦井涌水量預測[6-7]。但由于水文地質(zhì)條件復雜、所選參數(shù)缺乏代表、模型選擇不當往往導致預測結(jié)果偏差較大[8]。因此有部分學者選擇從涌水量的時間序列特征進行分析,研究其特征。李建林等[9]將混沌理論與廣義回歸神經(jīng)網(wǎng)絡(generalized regression neural network,GRNN)結(jié)合在一起,利用涌水量時間序列相空間重構(gòu)來確定GRNN輸入層神經(jīng)元的個數(shù)及其取值,建立混沌-廣義回歸神經(jīng)網(wǎng)絡模型,對礦井涌水量進行預測。劉曉丹等[10]分別建立X12季節(jié)調(diào)整模型、差分整合移動平均自回歸模型(autoregressive integrated moving average model,ARIMA)和季節(jié)性差分整合移動平均自回歸模型(seasonal autoregressive integrated moving average model,SARIMA)模型,比較3種模型預測結(jié)果的誤差,探討涌水量預測最優(yōu)模型。喬美英等[11]提出了利用遺傳算法(genetic algorithm,GA)優(yōu)化支持向量機(support vector machines,SVM)尋找其最優(yōu)參數(shù),提高涌水量預測的準確率。但由于涌水量數(shù)據(jù)的不穩(wěn)定性及隨機波動性,導致涌水量預測精度不高。

對于數(shù)據(jù)的波動性,經(jīng)驗模態(tài)分解(empirical mode decomposition,EMD),集合經(jīng)驗模態(tài)分解(ensemble empirical mode decomposition,EEMD)可將不穩(wěn)定原始變形序列分解為若干穩(wěn)定的分量,揭示原始序列的內(nèi)在規(guī)律,提高預測精度,但EMD與EEMD存在模態(tài)混疊和噪聲殘留問題導致分解效果不佳。對此María等[12]提出自適應白噪聲平均總體經(jīng)驗模態(tài)分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)算法可有效地將振動信號突變分解為高頻本征模態(tài)函數(shù)分量特征,該算法已廣泛應用于電力、交通、礦山等[13-15]領域的預測。且近年來隨著深度學習的發(fā)展,循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN)憑借其記憶能力被用于處理時序性和非線性問題,門控循環(huán)單元(gated recurrent unit,GRU)是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡的優(yōu)秀變體,其最大特點是不僅解決了RNN存在的梯度爆炸問題,而且提高了收斂速度與預測精度,但GRU只能單向處理數(shù)據(jù),只能學習過去時刻數(shù)據(jù)進行預測[16]。雙向門控循環(huán)單元(bi-directional gated recurrent unit,BiGRU)由前向與后向兩個GRU網(wǎng)絡構(gòu)成,能學習某一時刻前后數(shù)據(jù)信息進行預測[17],提高預測準確性。

深度學習算法在進行預測時需要對其參數(shù)進行調(diào)優(yōu),如隱藏層節(jié)點個數(shù)、迭代周期、學習率等,不同的參數(shù)取值會影響預測的精度,為此常采用優(yōu)化算法進行調(diào)優(yōu),貝葉斯優(yōu)化算法對目標函數(shù)進行次數(shù)很少的評估就能獲得最優(yōu)解,非常適用于求解目標函數(shù)表達式未知以及評估代價高昂的復雜優(yōu)化問題,且不需要大量的采樣點便可以得到最優(yōu)解,適合深度學習模型的超參數(shù)調(diào)優(yōu)問題[18-19]。

綜上,為去除涌水量數(shù)據(jù)不穩(wěn)定性即隨機波動性的影響,提高涌水量預測精度,提出基于自適應噪聲完備集合經(jīng)驗模態(tài)分解和貝葉斯優(yōu)化算法優(yōu)化雙向門控循環(huán)單元神經(jīng)網(wǎng)絡時間序列組合預測模型CEEMDAN-BO-BiGRU對礦井涌水量進行預測,首先通過CEEMDAN對涌水量數(shù)據(jù)進行分解,分解為多個子固有模態(tài)分量(intrinsic mode function, IMF)分量。然后利用貝葉斯優(yōu)化算法對BiGRU的超參數(shù)組合進行尋優(yōu),建立貝葉斯優(yōu)化(Bayesian optimization, BO)-BiGRU模型對各分量分別進行預測,最后疊加得到最終的涌水量多步預測結(jié)果。應用小莊煤礦礦井涌水量數(shù)據(jù)對該模型進行驗證。該方法可應用于礦井涌水量的預測,為礦井水害防治提供指引。

1 模型基本原理

1.1 CEEMDAN算法原理

CEEMDAN是一種針對EMD和EEMD改進的自適應后驗分解算法,通過在原始數(shù)據(jù)所分解的IMF分量中加入自適應的白噪聲,解決了EMD和EEMD算法存在的模態(tài)混疊和噪聲殘留問題。CEEMDAN具體步驟如下。

(1)

r1=x-IMF1

(2)

步驟2定義Ek(·)為EMD分解中獲得的第k階模態(tài)分量的算子,再次向殘余分量中添加白噪聲,得到新序列r1(i)=r1+ε1E1[n(i)],對r1(i)再次進行EMD分解得到IMF2。

(3)

式(3)中:ε1為添加的白噪聲。

去除二階分量IMF后的殘差r2為

r2=r1-IMF2

(4)

步驟3通過重復步驟2,得到第k+1階本征模態(tài)分量IMFk+1和第k個殘余分量rk。

(5)

rk=rk-1-IMFk

(6)

直到殘余分量信號極值點個數(shù)不超過2個為止,可得到k個本征模態(tài)分量IMFk,原始涌水量序列可表示為

(7)

式(7)中:R為最終殘差。

1.2 貝葉斯優(yōu)化超參數(shù)算法原理

貝葉斯優(yōu)化算法是一種利用概率代理模型對目標函數(shù)進行擬合,根據(jù)后驗概率分布構(gòu)造采集函數(shù),采樣函數(shù)在最大概率出現(xiàn)全局最優(yōu)區(qū)域選取新的樣本點,通過不斷迭代更新樣本點,使目標函數(shù)最小的全局優(yōu)化算法[18-19]。

貝葉斯優(yōu)化的核心是概率代理模型和采集函數(shù)的選取,常用的概率代理模型主要有高斯過程(gaussian process,GP),樹形Parzen估計器(tree parzen estimator,TPE),由于TPE相較于GP在效率和精度上均有提高,采用TPE作為貝葉斯優(yōu)化的概率代理模型,其定義為

(8)

式(8)中:p(c|q)為模型損失函數(shù)為q,超參數(shù)為c的后驗概率;c為超參數(shù)組合;q為目標函數(shù)評價目標值;q*為目標函數(shù)評價最大值;t(c)為觀測值ci損失函數(shù)小于q*時的概率密度;u(c)為觀測值ci損失函數(shù)大于q*時的概率密度。

采集函數(shù)主要用來衡量觀測點對函數(shù)擬合的影響并選取影響最大的點進行下一步觀測,采集函數(shù)采用期望增量(expected increment,EI),其定義為

(9)

式(9)中:γ=p(q

1.3 BiGRU原理

門控循環(huán)單元(GRU)由Cho等[20]在2014年提出,相比RNN的另一種變體長短期記憶神經(jīng)網(wǎng)絡(long short-term memory,LSTM)它具有快速收斂和參數(shù)更少的優(yōu)點,在保證預測性能的前提下,簡化了復雜的結(jié)構(gòu),提高了運算速度。因此,GRU更簡單、更有效。該網(wǎng)絡能夠?qū)W習時間序列的長期依賴關系,并對于時間序列相關問題的解決具有獨特優(yōu)勢。

GRU網(wǎng)絡主要由復位門和更新門組成,其單元結(jié)構(gòu)如圖1所示。

ht為隱藏層的輸出;xt為當前時刻輸入;σ、tanh分別為Sigmoid激活函數(shù)和激活函數(shù)圖1 GRU單元結(jié)構(gòu)Fig.1 Structure of GRU unit

rt=σ(Wrht-1+Urxt+br)

(10)

(11)

式中:Wr、Wh為不同門控機制對當前時刻輸入xt的權(quán)重;Ur、Uh為不同門控機制對隱藏層輸入ht的權(quán)重;br、bh為偏置向量。

zt=tanh(Wzht-1+Uzxt+bz)

(12)

(13)

式中:Wz為不同門控機制對當前時刻輸入xt的權(quán)重;Uz為不同門控機制對隱藏層輸入ht的權(quán)重;bz為偏置向量。

GRU網(wǎng)絡記憶功能強大,但其預測只依賴于之前所有時刻的信息規(guī)律,而輸出也與未來時刻的信息有一定關系。雙向門控循環(huán)單元神經(jīng)網(wǎng)絡BiGRU是傳統(tǒng)GRU的改進,通過結(jié)合一個前向GRU層,與一個后向GRU層組成,可以充分學習數(shù)據(jù)的前后信息特征,其結(jié)構(gòu)如圖2所示。

表示從初始到最終時刻正向計算隱藏層的狀態(tài);表示從最終到初始時刻反向計算隱藏層的狀態(tài)圖2 BiGRU網(wǎng)絡結(jié)構(gòu)Fig.2 BiGRU network structure

最終結(jié)合前向?qū)优c后向?qū)虞敵鼋Y(jié)果,得到相應時刻的輸出結(jié)果yt,相應表達式分別為

(14)

(15)

(16)

式中:f1、f2、f3為不同層間的激活函數(shù);ω1～ω6為各層相應權(quán)重。

2 CEEMDAN-BO-BiGRU多步預測模型構(gòu)建

2.1 組合模型構(gòu)建

為消除礦井涌水量數(shù)據(jù)波動所帶來的預測誤差和進一步提高BiGRU模型的預測精度,將3種算法進行組合,構(gòu)建CEEMDAN-BO-BiGRU組合模型。首先將礦井水量序列數(shù)據(jù)進行分解,得到有限個IMF分量。然后將各分量依次代入BiGRU模型,利用貝葉斯優(yōu)化確定模型最優(yōu)參數(shù),提高模型預測的準確性,最后對各IMF分量進行預測,并將各分量預測結(jié)果相加得到最終涌水量預測結(jié)果。具體步驟如下,流程圖如圖3所示。

圖3 CEEMDAN-BO-BiGRU組合模型結(jié)構(gòu)圖Fig.3 CEEMDAN-BO-BiGRU combined model structure

步驟1針對礦井涌水量的隨機性和不穩(wěn)定性利用CEEMDAN對礦井涌水量序列數(shù)據(jù)進行分解得到若干個平穩(wěn)且具有規(guī)律性的分量IMF和殘差余量。

步驟2構(gòu)建BiGRU,本次采用python3.10語言環(huán)境與tensorflow2.9.1框架下進行BiGRU網(wǎng)絡模型構(gòu)建如圖4所示,主要由一層BiGRU層,一層Dropout層,兩層Dense層構(gòu)成。其中Dropout層可以避免模型過擬合,提升泛化能力;Dense層為全連接層,最后一層全連接層通過轉(zhuǎn)換輸出維度得到最終的預測結(jié)果。該模型隱藏層激活函數(shù)采用Relu激活函數(shù),優(yōu)化器采用Adam優(yōu)化器,損失函數(shù)采用MSE。

圖4 BiGRU模型結(jié)構(gòu)Fig.4 BiGRU model structure

步驟3對各分量進行歸一化處理,然后采用滑動窗口以一定步長n對各分量進行劃分,如式(17)所示,把前n時刻的數(shù)據(jù)(xt-n,xt-n-1,…,xt-1)做為輸入,第n+1時刻數(shù)據(jù)xt作為輸出,構(gòu)建監(jiān)督學習模型BiGRU訓練輸入集與輸出集,由于各分量數(shù)據(jù)規(guī)律存在差異,為使預測結(jié)果更準確,因此采用貝葉斯優(yōu)化確定各分量最優(yōu)模型輸入步長n。

(17)

步驟4確定貝葉斯優(yōu)化采樣點個數(shù)與迭代次數(shù),將所構(gòu)建模型的學習率、隱藏層神經(jīng)元個數(shù)、迭代次數(shù)、滑動窗口步長設為尋優(yōu)超參數(shù)并設值參數(shù)尋優(yōu)范圍。把各分量訓練集及超參數(shù)的初始采樣點代入步驟3構(gòu)建的BiGRU模型進行訓練,以測試集的均方根誤差作為目標函數(shù)輸出,由式(8)和式(9)迭代更新得到各分量基于BiGRU模型關于學習率、隱藏層神經(jīng)元個數(shù)、迭代次數(shù)、滑動窗口步長的最優(yōu)超參數(shù)組合,以此構(gòu)建BO-BiGRU模型。

步驟5利用BO-BiGRU模型及其對應分量進行訓練及預測,將各分量結(jié)果相加得到最終涌水量預測結(jié)果,之后采用平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)和平均絕對百分比誤差(mean absolute percentage error,MAPE)對CEEMDAN-BO-BiGRU涌水量預測模型預測精度進行評價,各評價指標表達式分別為

(18)

(19)

(20)

2.2 遞歸多步預測過程

采用遞歸策略進行涌水量多部預測,首先利用上述構(gòu)建模型進行預測輸出xt+1,得到超前一步預測結(jié)果;然后將一步預測結(jié)果xt+1與前n-1步數(shù)據(jù)結(jié)合作為歷史數(shù)據(jù),輸入模型得到超前兩步預測結(jié)果xt+2,以此類推得到超前三步預測結(jié)果,其過程如圖5所示。

圖5 遞歸多部預測過程圖Fig.5 Recursive multi-part prediction process diagram

3 實例分析

3.1 涌水量數(shù)據(jù)選取及預處理

陜西彬長小莊礦業(yè)有限公司位于陜西省咸陽市彬長礦區(qū)中部,隸屬于陜西彬長礦業(yè)集團有限公司。井田面積約46.227 5 km2,主采4煤層,生產(chǎn)能力6×106t/a,礦井充水水源主要為大氣降水、地表水和側(cè)向補給等。本次實驗數(shù)據(jù)采集該礦2019年2月12日—2019年12月31日礦井單位涌水量日監(jiān)測數(shù)據(jù),共201條,如圖6所示,把2019年2月12日—2019年7月22日數(shù)據(jù)作為訓練集,2019年7月23日—2019年8月31日劃分為測試集,并利用以上數(shù)據(jù)進行建模與驗證。

圖6 礦井涌水量序列圖Fig.6 Sequence diagram of mine water surge

從圖6中可以看出,小莊礦井涌水量數(shù)據(jù)波動大,平穩(wěn)性差,礦井涌水量最大值為1 217.33 m3/h,最小值為692.25 m3/h,采用原始序列進行模型預測較困難,因此利用CEEMDAN方法對于礦井涌水量進行降噪和分解,最終分解為5個IMF分量和一個殘差分量,其結(jié)果如圖7所示,可以看出,分解后各分量更平穩(wěn),波動性更小,有利于BiGRU神經(jīng)網(wǎng)絡的學習。

圖7 涌水量CEEMDAN分解結(jié)果Fig.7 CEEMDAN decomposition results of the influx of water

3.2 貝葉斯超參數(shù)優(yōu)化

為進一步提高BiGRU模型預測精度,分別利用貝葉斯優(yōu)化對以上6個涌水量子分量建立BO-BiGRU模型。首先劃分合理的參數(shù)尋優(yōu)范圍,如表1所示,并設置貝葉斯優(yōu)化迭代周期為200;然后利用貝葉斯優(yōu)化算法對BiGRU模型超參數(shù)進行優(yōu)化。經(jīng)過優(yōu)化,得到各分量最優(yōu)參數(shù)組如表2所示。

表1 超參數(shù)約束條件Table 1 Hyperparameter constraints

表2 各分量參數(shù)優(yōu)化結(jié)果Table 2 Optimization results of each IMF component parameter

3.3 涌水量預測結(jié)果分析

利用BO-BiGRU模型對與其對應的IMF分別進行遞歸三步預測,將各個 IMF和殘差分量(residual components, Res)預測結(jié)果加和最終得到的未來1～3 d日單位涌水量預測結(jié)果,如圖8所示。可以看出,CEEMDAN-BO-BiGRU模型在單步及多步預測對于涌水量的變化趨勢均可以有效跟隨,且預測誤差較為平穩(wěn)。為說明CEEMDAN-BO-BiGRU模型的實用性,將預測結(jié)果與CEEMDAN-BiGRU模型、BiGRU模型、BP神經(jīng)網(wǎng)絡,SVM進行對比實驗,各模型未來1～3 d預測結(jié)果對比如圖9所示。

圖8 1～3步涌水量預測結(jié)果與真實值對比圖Fig.8 1 to 3 step surge prediction results and the real value of the comparison chart

圖9 各模型涌水量預測結(jié)果對比Fig.9 Comparison of the predicted results of each model surge

可以看出,CEEMDAN-BO-BiGRU模型在單步及多步預測對于涌水量的變化趨勢均可以有效跟隨,但隨著預測步數(shù)的增加,決定系數(shù)R2減小,即預測誤差逐步增大,這是由于遞歸多部預測采用前一步預測值作為真實值對后一步進行預測,產(chǎn)生的預測誤差累積造成的。對于采用CEEMDAN方法的模型在進行一步預測時對真實值均有較好的擬合,且沒有明顯的滯后顯現(xiàn),預測誤差相對平穩(wěn),沒有較大波動,尤其在數(shù)據(jù)變化較大的時候也有很好的跟隨性,在2步和3步預測也可以較好預測真實值,而BiGRU模型,BP神經(jīng)網(wǎng)路,SVM不僅誤差大而且存在明顯的延遲現(xiàn)象,預測效果差,這是由于通過CEEMDAN方法的分解可以解釋原始數(shù)據(jù)在不同時間頻率下的周期變化規(guī)律,減少涌水量數(shù)據(jù)的非平穩(wěn)性與隨機波動性,解決了BiGRU存在的預測滯后現(xiàn)象,提高預測精度。

針對各模型預測效果,采用MAE、RMSE、MAPE進一步對模型預測精度進行評價,其結(jié)果如表3所示,可以看出,CEEMDAN-BO-BiGRU 相比CEEMDAN-BiGRU預測誤差略有降低,表明貝葉斯優(yōu)化對模型參數(shù)進行尋優(yōu)也在一定程度提升了預測精度。綜合來看本文提出的CEEMDAN-BO-BiGRU模型涌水量對未來1～3步預測結(jié)果MAE、RMSE與MAPE均最小,擁有最好的預測效果。由此可見,CEEMDAN-BO-BiGRU模型可以有效學習礦井涌水量數(shù)據(jù)的歷史時刻的深層次特征信息進行預測,使其具有較高的預測精度。

表3 幾種模型評價指標比較Table 3 Comparison of several model evaluation indexes

4 結(jié)論

針對涌水量不穩(wěn)定性及隨機波動性,建立一種CEEMDAN-BO-BiGRU的礦井涌水量預測方法,利用彬長礦區(qū)小莊煤礦礦井涌水量數(shù)據(jù)對未來3步進行預測及對比分析。通過驗證得到以下結(jié)論。

(1)通過CEEMDAN分解礦井涌水量時間序列之后再預測,可以將復雜的涌水量數(shù)據(jù)分解為多個平穩(wěn)的子分量,減少數(shù)據(jù)不穩(wěn)定性即波動性所帶來的誤差,解決了BiGRU存在的預測滯后現(xiàn)象,提高模型預測精度。

(2)采用貝葉斯優(yōu)化算法對BiGRU模型超參數(shù)組合進行尋優(yōu),對于模型的預測精度在一定程度上有所提升。

(3)通過模型對比,CEEMDAN-BO-BiGRU可以充分挖掘和學習礦井涌水量歷史信息隱藏變化規(guī)律,對未來礦井涌水量1步進行準確預測,對2～3步進行較準確預測。該方法可應用于礦井涌水量短期預測,為礦井防治水提供依據(jù)。

(4)總體上該方法隨著預測步數(shù)增加,預測精度受影響變大,在今后的研究中可以通過引入涌水量相關因素,在模型中增加注意力機制,進一步減小多步預測誤差。