基于Keras長短時記憶網絡的礦井瓦斯濃度預測研究

張 震，朱權潔，李青松，劉 衍，張爾輝，趙慶民，秦續峰

(1.華北科技學院安全工程學院，河北 三河 065201；2.貴州省礦山安全科學研究院，貴州貴陽 550025；3.湖北省煙草公司十堰市公司，湖北 十堰 442000;4.山東能源淄博礦業集團有限責任公司，山東 淄博 255000)

隨著我國部分礦井煤炭資源開采向深部延伸，加之礦山井下地質條件復雜，導致煤礦瓦斯災害事故頻發。由于礦山井下地質條件的復雜性以及相關技術的局限性等，致使礦山企業在及時、準確、可靠地進行礦井瓦斯災害事故預測方面還存在諸多不足，瓦斯災害仍嚴重地影響著采礦作業的進行。因此，挖掘礦井瓦斯濃度潛在的發展規律，開展礦井瓦斯濃度變化趨勢的預測，對礦山安全生產具有重要的現實意義。

在礦井瓦斯濃度預測研究方面，諸多研究人員主要基于ARMA、灰色關聯分析、BP神經網絡等模型，挖掘礦井瓦斯濃度時間序列潛在的關聯關系，推斷礦井瓦斯濃度的發展趨勢。如黃元申等利用ARMA模型對華東某煤礦瓦斯濃度開展了預測，預測結果與實際變化趨勢較符合；黃東等在分析灰色系統理論與自記憶原理的基礎上，將兩者結合，實現了對礦井工作面瓦斯波動情況的準確預測。由于灰色神經網絡預測模型易陷于局部最優情況，胥良等利用GA算法對模型權值與閾值進行了訓練，從而達到了優化預測模型的目的;賈真在分析礦井瓦斯預警現狀的基礎上，將BP神經網絡成功地應用于礦井瓦斯預警系統中，結果表明該方法能降低礦井瓦斯濃度預測的誤差。在礦井瓦斯濃度預測過程中，干擾信號對預測結果的影響較大，因此為了降低礦井瓦斯濃度預測結果的誤差，趙愛蓉首先利用小波分析技術對礦井瓦斯濃度進行了清洗，然后基于BP神經網絡模型對去噪處理的礦井瓦斯濃度進行預測，結果表明該方法提高了礦井瓦斯濃度預測數據曲線與監測數據曲線的吻合度。在礦山安全生產中，由于靜態瓦斯濃度預測方法難以滿足人們對礦井瓦斯濃度及時預測的要求，因此郭思雯等在小波分析技術與BP神經網絡預測方法的基礎上，結合ARMA模型，提出了一種礦井瓦斯濃度動態預測方法，結果表明該方法將瓦斯體積分數預測平均相對誤差減小到5%；張昭昭等以相空間重構的礦井瓦斯動態監測數據作為樣本數據，通過樣本數據對預測模型進行訓練，不斷地調整模型相關參數，實現了對礦井瓦斯濃度的動態預測。

上述模型在礦井瓦斯濃度預測中發揮著重要作用，但礦井瓦斯濃度的發展變化規律受不同因素的影響，如何提高礦井瓦斯濃度預測的穩定性與準確性，仍是煤礦瓦斯災害防治中面臨的主要難題之一。隨著深度學習技術的發展，其在不同領域都有著廣泛的應用。其中，長短期記憶(Long Short-Term Memory,LSTM)網絡模型具有建模能力強等優點，已在相關文獻中證實其預測精度高于BP神經網絡預測模型。因此，針對礦井瓦斯濃度預測穩定性與準確性差、預測步長短的問題，本文基于LSTM網絡模型開展了礦井瓦斯濃度預測研究。首先基于Python語言Keras軟件包，利用LSTM網絡建立了礦井瓦斯濃度多步預測模型，該模型通過門結構(包括輸入門、遺忘門、輸出門)，有效地解決了循環神經網絡“梯度彌散”現象的發生；然后利用逐步試錯法、經驗法兩者聯合的方法高效、合理地選取隱含層維數，并利用逐點預測方式，實現了礦井瓦斯濃度變化趨勢的精準預測，增加了預測步長。

1 Keras簡介

Keras是以Python為計算機語言編寫的具有強大功能的人工神經網絡庫，其可作為Tensorflow、Microsoft-CNTK和Theano的高階應用程序接口，進行深度學習模型的設計、調試、評估、應用和可視化。Keras對硬件及開發環境要求門檻低，具有開源、可擴展性強的優勢，并通過面向對象方法實現了程序代碼的模塊化，降低了算法復雜度。

Keras作為最受歡迎的深度學習工具之一，其開發有優化器、函數等組件。其中，優化器組件可用于反向傳播算法，如下式為優化器組件的自適應梯度下降算法的更新公式：

(1)

式中：

θ

表示參數向量;

t

表示迭代時間；

η

表示學習率；

ε

表示平滑相；

G

∈

R

×表示一個對角矩陣；

g

,表示目標函數對參數的梯度。

Keras的函數組件開發有大量激活、損失函數等，其中Sigmoid激活函數表達式如下：

(2)

基于Keras開發的神經網絡API功能強大，支持使用者通過交互方式調用封裝的程序模塊，且在運用過程中，神經網絡API能夠調用Keras定義的函數與優化器等組件參與深度學習。

2 LSTM網絡模型

長短期記憶(LSTM)網絡模型是為了解決循環神經網絡(Recurrent Neural Network,RNN)在預測時易出現“梯度彌散”現象而改進的一種算法。其通過在隱藏層內部設計的“門”結構(包括輸入門、遺忘門、輸出門)來加強對時間序列數據的控制與保護，從而有效地防止了梯度消失和梯度爆炸現象的產生，并顯著提高了時間序列預測的學習能力。LSTM網絡模型結構如圖1所示。其中，輸入門、忘記門、輸出門作為獨立的3個邏輯門單元，主要用來控制數據流通過的多少，負責整個網絡的記憶模塊部分，并于邊緣修改權值的大小。圖2為LSTM網絡模型計算過程示意圖。具體計算過程如下：

圖1 長短期記憶(LSTM)網絡模型結構圖Fig.1 Structure of long and short term memory (LSTM) network model

圖2 LSTM網絡模型計算過程示意圖[21]Fig.2 Schematic diagram of LSTM network model calculation proces

(1) 忘記門：忘記門可對“細胞狀態(cell)”中的信息進行篩選，選取有用信息進行保留。具體數學表達式如下：

f

=

σ

(

W

·[

h

-1,

x

]+

b

)

(3)

式中:

σ

表示Sigmod激活函數；

h

-1、

x

分別為

t

-1、

t

時刻“細胞狀態”的輸出與輸入值；

W

為遺忘門的權重矩陣。(2) 輸入門：LSTM網絡模型單元內部傳輸的信息主要在輸入門層進行存放。具體為：①輸入門層可對傳輸的信息持續更新，并在更新過程中對信息進行判斷，篩選出有用信息替換原cell中需要遺忘的信息；②通過tan

h

層創建一個備選向量存放于cell中。具體數學表達式如下：

i

=

σ

(

W

·[

h

-1,

x

]+

b

)

(4)

(5)

(6)

式中:

i

、

C

分別表示輸入門與

t

時刻的細胞狀態。(3) 輸出門：隱向量

h

主要在輸出門層輸入。在細胞狀態中，利用Sigmoid層選擇出將要輸出值，并將輸出值與

C

經過tan

h

處理后的結果進行點乘，即可得到

h

，具體數學表達式如下：

O

=

σ

(

W

·[

h

-1,

x

]+

b

)

(7)

h

=

O

·tan

h

(

C

)

(8)

3 基于LSTM網絡的礦井瓦斯濃度預測模型建立

LSTM網絡模型是基于RNN改進得到的，能夠自動挖掘數據之間存在的潛在的關聯關系，根據歷史數據建立的時間序列計算未來的發展規律而捕獲一種數學映射，并通過某時刻的原始數據對下一時刻的變化趨勢進行預測，適用于礦井瓦斯濃度變化規律預測。圖3為基于LSTM網絡的礦井瓦斯濃度預測流程圖。具體預測過程如下：

圖3 基于LSTM網絡的礦井瓦斯濃度預測流程圖Fig.3 Flow chart of gas concentration prediction based on LSTM network model

3.1 數據處理

(1) 數據標準化處理：由于LSTM網絡模型以Sigmoid作為激活函數，因此在利用梯度下降法進行網絡優化過程中，當輸入的礦井瓦斯數據太多或太少時，會導致梯度趨于0，從而降低優化速度。為了在保障LSTM網絡模型預測精度的前提下，減少預測耗費時長，需要對用于訓練的時間序列樣本數據進行標準化處理。歸一化處理方法是LSTM網絡模型常用的數據標準化處理方法之一，其計算公式如下：

(9)

式中：

x

為所有輸入數據

x

中的最大值；

x

為所有輸入數據

x

中的最小值。

(2) 數據分割：在利用LSTM網絡模型進行預測前，模型會對時間序列進行自動分割。其中，分割得到的訓練集為模型的學習、挖掘時間序列潛在的變化規律提供數據支撐(訓練集數據量的多少決定著模型預測質量的優劣，若數據量太少，將使模型訓練不充分，從而導致模型預測精度低下)；測試集主要用來分析模型預測效果的優劣。

3.2 LSTM網絡模型結構設計

網絡模型結構設計是預測模型建立的重要環節之一，其參數選取的合理與否，直接影響著模型預測的效率和精準度。LSTM網絡模型的拓撲結構設計主要是對模型網絡層與不同層對應維數的設計。LSTM網絡模型網絡層一般由輸入層、輸出層和隱含層組成。其中，隱含層的設計尤為重要，其數量越多則模型預測性能也越高，同時也使模型網絡結構也越復雜，這將導致模型預測耗時加長。

網絡層維數對LSTM網絡模型泛化能力有影響，因此網絡層維數的合理選取亦是模型結構設計的重要環節之一。輸入層、輸出層維數分別與訓練數據、預測數據的維數一致。相比于輸入層、輸出層維數設計而言，隱含層維數的設計較為復雜，但隱含層維數對模型輸出有巨大的影響，當前暫無成熟的理論、公式進行隱含層維數確定，通常利用逐步試錯法、經驗法以及啟發式搜索對隱含層維數進行設計。為了保證礦井瓦斯濃度預測的準確度，本文利用逐步試錯法、經驗法兩者聯合的方法合理地選取隱含層維數。相較原始方法，該方法提高了隱含層維數選取的效率和準確性。計算隱藏層維數的經驗公式如下：

(10)

式中：

a

、

b

、

q

分別代表輸入層、輸出層和隱含層的維數；

c

為常數，一般取1～10范圍內的整數。

本研究先利用公式(10)確定隱含層維數選取的范圍；然后利用逐步試錯法，通過對比不同節點數對應的均方根誤差，選取均方根誤差值最小的維數作為隱含層維數。

3.3 LSTM網絡模型訓練與預測

LSTM網絡模型沿用了RNN模型對時間序列數據進行訓練的算法[反向傳播算法BPTT(Back Propagation Through Time，BPTT)]，其具體訓練過程為：先基于正向傳播算法解算出訓練集時間段內的預測數據；再基于反向傳播算法，通過計算梯度再求和的方法對輸入門、忘記門等的權重矩陣進行更新，從而達到優化網絡參數的目的，進而使模型預測值更逼近于實際值。

基于傳統LSTM方法，本文在預測方式方面進行了改進，相較原始方法，其創新在于利用逐點預測方式，實現了礦井瓦斯濃度變化趨勢的準確預測，增加了預測步長。逐點預測方式每次可對單個點進行預測，并調用預測值繪制相應的曲線，然后從測試集中獲取下個時刻的實際期望值，并將其提供給預測模型，用于下一個時間步驟的預測，以此類推，當循環次數等于測試集數據步長時停止預測。

3.4 LSTM網絡模型預測效果評估

預測效果評估的目的是檢驗上述LSTM網絡的預測準確度是否滿足要求。本研究利用損失函數對模型效果進行評估。損失函數可估算出預測數據與對應的實際數據的誤差，且損失函數越小，則表明所建立的預測模型魯棒性越好。該預測模型選用均方根誤差(Root Mean Square Error，RMSE)作為衡量標準，對時間序列預測效果的優劣進行判定。其數學表達式如下：

(11)

4 實例應用與分析

本文以貴州某煤礦掘進工作面為工程背景，利用上述建立的基于LSTM網絡的礦井瓦斯濃度多步預測模型，開展了該煤礦20916掘進工作面瓦斯濃度預測研究。

該煤礦位于畢節市境內，屬于高瓦斯礦井，其利用瓦斯監測系統以5 min/次為間隔對礦井20916掘進工作面瓦斯濃度數據進行了采集，本次選取2012年12月15日0時至2012年12月18日13時時間段內采集的800條瓦斯濃度原始監測數據作為試驗數據，建立該礦井瓦斯濃度時間序列，圖4為利用Python繪制的某礦井瓦斯濃度試驗數據曲線圖。

圖4 某礦井瓦斯濃度試驗數據曲線圖Fig.4 Curve of gas concentration test data of a mine

將選取的礦井瓦斯濃度樣本數據集劃分為訓練集數據與測試集數據兩部分，其中訓練集共計580條數據，測試集共計220條數據。為了提升礦井瓦斯濃度預測模型的收斂速度和預測精度，本文利用歸一化方法對礦井瓦斯濃度數據進行了標準化處理，圖5為標準化處理后的某礦井瓦斯濃度數據效果圖，其中圖5(a)為訓練集數據曲線圖，圖5(b)為測試集數據曲線圖。

圖5 標準化處理后的某礦井瓦斯濃度數據效果圖Fig.5 Effect diagram of gas concentration data of a mine after standardized treatment

基于Python程序語言，利用輸入層、輸出層和隱含層3層結構，建立基于LSTM網絡的礦井瓦斯濃度多步預測模型。由于該模型輸入與輸出的數據均為礦井瓦斯濃度數據，因此將輸入層與輸出層的維數確定為1，即

a

=1、

b

=1。隱含層維數的選取與輸入層、輸出層維數有關，先將

a

、

b

值代入公式(10)計算得出隱含層維數取值范圍為2～11；然后求取不同隱含層維數下的RMSE值，并通過對比RMSE值的大小，選取出最佳的隱含層維數q。

圖6為不同隱含層維數下的RMSE值曲線圖。

圖6 不同隱含層維數下的RMSE值曲線圖Fig.6 RMSE value curve of different hidden layer dimensions

由圖6可見，當

q

=8時，RMSE值為該曲線的最低點，故最佳的隱含層維數為8。

基于LSTM網絡的礦井瓦斯濃度預測模型的部分參數設置為：look_back=3，batch_size=1，預測步長為220。利用該模型調用訓練集數據進行訓練，并預測測試集數據對應的時間段內礦井瓦斯濃度。圖7(a)為該礦井瓦斯濃度預測效果圖,圖7(b)為對測試數據及礦井瓦斯濃度預測數據曲線圖進行放大展示的效果圖。

由圖7(a)可見，所建立的基于LSTM網絡的礦井瓦斯濃度預測模型，在保證精準預測礦井瓦斯濃度變化趨勢的前提下，可對礦井瓦斯濃度進行多步預測。

圖8為利用不同預測模型對該礦井瓦斯濃度進行預測的效果展示圖。

圖7 某礦井瓦斯濃度預測效果圖Fig.7 Prediction effect of gas concentration in a mine

圖8 基于不同模型對某礦井瓦斯濃度預測的效果展示圖Fig.8 Display chart of prediction effect of mine gas concentration based on different models

根據RMSE、預測步長、耗費時長3項指標對基于LSTM、ARMA和ARIMA建立的礦井瓦斯濃度預測模型的預測性能進行了比較，其結果見表1。

表1 不同預測模型的礦井瓦斯濃度預測性能對比

由表1可知，ARMA模型的預測耗時最短，但其預測效果最差；LSTM模型的預測誤差最小，與ARIMA模型的預測誤差接近，但ARIMA模型只能對礦井瓦斯濃度進行短期預測，其有效預測步長約為LSTM模型的1/5。在煤礦瓦斯災害防治過程中，由于煤礦瓦斯災害危險隱患處理具有復雜性和危險性，若礦井瓦斯濃度預測時長較短，則會導致危險隱患無法被及時地清除，因此礦井瓦斯濃度預測的準確度與時長對煤礦瓦斯災害的防治非常重要，是衡量預測模型預測性能的關鍵指標。

通過結合礦井瓦斯濃度異常變化原因，如放炮、掘進時新揭露面導致礦井瓦斯溢出量增加，這個過程中礦井瓦斯溢出量是隨機的。為了便于分析，假設所采集的數據來源于同一煤層采動釋放的，該煤層的地質條件變化不大，則新揭露煤體的礦井瓦斯溢出是典型的時間序列，可以采用時序方式進行分析，這是采用LSTM網絡模型進行分析的關鍵。LSTM網絡模型具有預測精度高、有效預測步長長的特點，這與上述問題分析相一致。而其他方法，如ARIMA模型、ARMA模型、BP神經網絡等方法，在挖掘時間序列潛在規律、預測穩定性等方面具有一定的缺陷，無法完整地表征時間序列變化規律的總體趨勢情況，且預測精度、效率均有所欠缺。因此，本文選擇基于LSTM網絡的模型作為礦井瓦斯濃度預測模型。實例應用結果顯示：該模型穩定性強，且預測得到的礦井瓦斯濃度變化曲線與實際監測曲線的吻合度高。

5 結 論

(1) 基于Python程序語言，利用輸入層、輸出層和隱含層3層結構，建立的礦井瓦斯濃度多步預測模型，有效地解決了RNN模型易發生“梯度彌散”現象的問題，能挖掘時間序列的潛在規律，適用于礦井瓦斯濃度變化趨勢的多步預測。

(2) 利用LSTM網絡建立的礦井瓦斯濃度多步預測模型，以貴州某煤礦掘進工作面采集的2012年12月15日0時至2012年12月18日13時時間段內礦井瓦斯濃度為樣本數據，開展了礦井瓦斯濃度預測研究。實例應用結果表明：該模型預測結果的均方根誤差(RMSE)最小僅為0.2%，說明該模型的預測效果良好。

(3) 通過對比分析不同預測模型即LSTM模型、ARMA模型與ARIMA模型的礦井瓦斯濃度預測效果可知，LSTM模型的耗費時間長，但預測精準度更高，且有效預測步長長。因此，基于LSTM網絡建立的礦井瓦斯濃度多步預測模型，可為煤礦瓦斯災害的防治提供科學依據。