基于CNN-LSTM的煤礦瓦斯濃度預測

荀曉玉 蘇璨 李威 龐明瑞

摘? 要：對瓦斯濃度進行預測是預防瓦斯事故的有效方式。卷積神經網絡（CNN）可以提取時間序列中的時間平移不變特征，長短期記憶神經網絡（LSTM）具有長期記憶能力，可以捕捉到具有長期相關性的信息，將CNN與LSTM結合，從時間序列的角度對采煤工作面瓦斯濃度進行預測。結果表明，與單獨使用LSTM進行預測及使用支持向量回歸（SVR）預測相比，CNN-LSTM模型具有更高的預測準確率。

關鍵詞：瓦斯濃度預測;時間序列;卷積神經網絡;長短期記憶神經網絡

中圖分類號：TP181? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）20-0149-04

Coal Mine Gas Concentration Prediction Based on CNN-LSTM

XUN Xiaoyu，SU Can，LI Wei，PANG Mingrui

（China University of Mining and Technology-Beijing，Beijing? 100083，China）

Abstract：Predicting gas concentration is an effective way to prevent gas accidents. Convolutional neural network（CNN）can extract the invariant features of time translation in time series. Long short-term memory neural network（LSTM）has long-term memory capabilities and can capture long-term relevant information. Combine CNN with LSTM to predict the gas concentration of coal mining face from the perspective of time series. The results show that the CNN-LSTM model has a higher prediction accuracy rate than using LSTM alone for prediction and support vector regression（SVR）prediction.

Keywords：gas concentration prediction;time series;convolutional neural network;long short-term memory neural network

0? 引? 言

煤炭在我國能源結構中占主體地位，煤礦井下環境復雜，開采過程中會遇到各種災害，其中瓦斯事故的危害最為嚴重，采煤工作面發生瓦斯事故的概率高于其他作業區域，對采煤工作面瓦斯濃度進行預測，及時采取相應措施，對煤礦安全生產具有重要意義[1]。國內外學者對瓦斯濃度預測做了大量的研究，目前比較常用的預測方法有：根據灰色理論建立灰色預測模型對瓦斯濃度變化進行動態分析[2];通過支持向量機對瓦斯濃度時間序列進行預測[3];使用混沌理論方法對瓦斯濃度時間序列進行相空間重構[4];使用神經網絡對瓦斯濃度進行預測等[5]。瓦斯濃度時間序列中包含大量災害系統動態演化的特征信息，通過非線性理論分析并研究瓦斯濃度時間序列的規律是目前瓦斯濃度預測的主流趨勢[6]。

為進一步提高煤礦瓦斯濃度預測精度，給煤礦安全生產提供可靠保障，作者對采煤工作面瓦斯濃度預測模型進行研究，并作為自己的畢業設計研究課題，提出了將CNN與LSTM相結合的瓦斯濃度預測模型。

1? CNN-LSTM預測模型構建

1.1? CNN

CNN是一種復雜的深度神經網絡，主要由卷積層、池化層、全連接層構成。卷積層利用卷積核在輸入數據上滑動做局部卷積操作，將卷積運算得到的特征經過激活函數處理從而得到最終特征。[7]卷積核是一個權重矩陣，也可稱為濾波器，矩陣中的各參數通過訓練CNN得到。在卷積操作過程中，采用了局部連接的方式，即使用同一個卷積核對目標進行卷積操作，降低了模型過擬合的風險并且可以減少程序運行所需的內存。卷積操作過程為：

（1）

其中，yl為經過l層卷積操作后的輸出，g為激活函數， 為是第l層第m部分卷積區域的輸入， 為第l層第m部分的權重，*為卷積運算， 為第l層的偏置項。圖1為一維卷積操作過程，卷積核的維度為3，輸入數據維度為8，設置移動步長為1，則卷積處理后的輸出結果維度應為6。

池化層通常夾在連續的卷積層之間，用于減少參數的同時保留主要特征，操作過程與卷積層相似，使用池化核在輸入數據上滑動，通過最大池化或平均池化取出操作區域的值。池化層中沒有需要訓練的參數，指定池化類型、池化操作的核尺寸及移動步長即可。池化操作過程為：

（2）

其中， 為第l層第m個數組的池化結果，? 為第l層第m個數組區域中第p個數值，g為池化函數。

全連接層可以將卷積層和池化層提取到的局部特征進行綜合從而得到輸入數據的全部特征。全連接層中每個神經元與前一層的神經元逐個相連，全連接層的計算公式為：

（3）

其中，dl為第l層全連接層的輸出，g為激活函數，為第l層數據輸入， 為第l層的權重系數， 為偏置參數。

一個完整的CNN工作過程是通過卷積層與池化層的堆疊進行層次級特征提取獲得具有代表性的特征，最后通過全連接層計算得到最終輸出。

1.2? LSTM

LSTM是為了解決原始的循環神經網絡中存在的長期依賴問題而設計出來的，是一種改進的循環神經網絡，適合處理和預測時間序列中間隔和延遲較長的重要信息。原始的循環神經網絡的基本結構如圖2所示，其中A為一組神經網絡，xt為輸入數據，ht為輸出數據。循環神經網絡處理數據時，使用一組內部狀態對當前數據的特性進行記錄，A可以保證每一步都可以保存以前的信息，在下一輪處理數據時會結合上一輪的內部狀態計算當前數據。

LSTM主要對原始循環神經網絡隱含層做了修改，在隱含層中引入了輸入門、輸出門和遺忘門來控制自循環，從而使其具有捕獲長期信息的能力。LSTM結構如圖3所示。

在時間序列中，有些時刻的數據對當前的輸出無關緊要，首先通過遺忘門ft對這些信息進行有選擇地丟棄，使用0～1之間的數值來表示遺忘程度，0表示全部遺忘，1表示全部記住，計算公式為：

ft=σ（wfxxt+wfhht-1+bf）? ? ? ? ? ? ? ? ? ? ? ? ?（4）

然后通過輸入門it決定增加哪些新的信息到內部狀態，并且通過一個tanh層處理上一時刻輸出信息和當前時刻輸入信息得到候選內部狀態 ，更新舊的內部狀態ct-1，產生新的內部狀態ct，即：

it=σ（wixxt+wihht-1+bi）? ? ? ? ? ? ? ? ? ? ? ? ?（5）

=tanh（wcxxt+wchht-1+bc）? ? ? ? ? ? ? ? ? ? ?（6）

ct=ft*ct-1+it*? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

最后輸出門ot控制輸出用于更新下一層網絡的信息，LSTM的最終輸出為ht：

ot=σ（woxxt+wohht-1+bo）? ? ? ? ? ? ? ? ? ? ? ?（8）

ht=ot*tanh（ct）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （9）

式（4）～（9）中，σ為sigmoid激活函數，w為相應的連接權重，b為相應的偏置。

1.3? CNN-LSTM模型結構設計

瓦斯濃度時間序列數據中一般包含長短期混雜模態，使用CNN提取時間序列中的特征，并將經CNN提取到的特征輸入到LSTM，捕捉到其中具有長期相關性的信息，綜合發揮CNN和LSTM的優點，所設計的CNN-LSTM模型結構如圖4所示。

采用兩層卷積層（Conv1D）及兩層最大池化層（Max-Pooling）提取特征，其中，每層卷積層中卷積核大小為1×2，卷積核個數為8，步長為1。池化層中選用最大池化方式，核大小為1×2，步長取1。將經過兩層卷積層和池化層提取到的特征通過Concatenate層聯合送入LSTM，充分學習各特征的長期相關信息。通過Dropout對參數進行正則化，并且使用激活函數ReLU對數據進行非線性處理，連接兩層全連接層（Dense）后使用全局最大池化（Global Max Pooling）進一步提取每個通道的特征，最后再通過一層全連接層將數據轉換為輸出預測數據。

2? 實例分析

2.1? 數據預處理

選用35 136條每5分鐘內采煤工作面瓦斯濃度的平均值作為數據集，煤礦井下環境復雜，監測數據易受環境和人為因素影響，數據存在異常及缺失，為提高數據質量，使用均值替換法對缺失值及異常值進行替換，并且使用小波閾值降噪對瓦斯濃度數據進行降噪。

小波閾值降噪主要是將帶有噪聲的信號進行小波分解，將有效信號和噪聲分離到不同幅值的小波系數之中，有效信號的小波系數大于噪聲的小波系數，選取合適的閾值，將小于閾值的小波系數作為噪聲抑制，大于閾值的作為有效信號保留，最后通過小波逆變換對信號進行重構從而達到降噪的效果。[8]

小波閾值降噪的效果取決于閾值的選擇，如果選取的閾值偏小，對噪聲的抑制不明顯，如果選取的閾值偏大，會引發信號的失真。目前使用較多的閾值是固定閾值：

（10）

其中，n為信號采樣長度，δ為含噪信號中噪聲的標準差，取值為：

（11）

確定閾值后，選擇合適的閾值函數處理信號，常用的閾值函數由軟閾值函數、硬閾值函數和Garrote函數。

軟閾值函數定義為：

（12）

硬閾值函數定義為：

（13）

Garrote函數定義為：

（14）

式（12）～（14）中，Wj，k為小波系數， 為經相應閾值函數處理后的小波系數，使用軟閾值函數處理過后的小波系數連續性較好，但原始信號會被壓縮造成一定的失真，使用硬閾值函數處理的信號邊緣性較好，但小波系數連續性較差，Garrote函數結合了軟閾值函數和硬閾值函數的特點，在接近閾值時，趨向于0，隨著小波系數增大，整體逐漸趨向于硬閾值函數，選取Garrote函數對瓦斯濃度數據進行處理。經過均值替換法和小波降噪處理后的部分數據如圖5所示。

將處理好的數據集按照6：2：2的比例劃分為訓練集、驗證集和測試集。

2.2? 超參數調整

在深層神經網絡模型中，有兩部分影響神經網絡的性能，一部分是權重和偏置等普通參數，另一部分是學習率等超參數，權重和偏置可通過模型在訓練集上學習得到，超參數是在學習過程開始之前設置的參數，需要根據經驗設定，依次對LSTM隱含層層數及每層節點數、滑動窗口數、學習率、Dropout和Batch Size進行調整從而確定性能較好的模型。選取平均絕對誤差（MAE）和均方根誤差（RMSE）作為評價指標。MAE為預測值和真實值之間的平均絕對偏離程度，RMSE為均方誤差的均方根值，當預測值和真實值之間相差較大時，會對評價指標的值造成較大影響，RMSE對誤差異常點反應敏銳，可以更加精密地評價預測精度，避免特大誤差所造成的影響。f（t）為測試集的真實值，為輸入測試集后得到的預測值，N為測試集樣本點數。

（15）

（16）

深度學習模型中每個超參數有多個候選值，在調節參數方面目前還沒有足夠強的理論支撐，采取控制變量法在驗證集上對超參數進行調整，得到性能相對較好的模型。最終所選取的超參數如表1所示，此時在驗證集上的MAE和RMSE分別為0.015 0和0.022 1。

2.3? 預測結果分析與對比

對比CNN-LSTM、LSTM和SVR預測未來1小時內瓦斯濃度數據的預測效果，使用各模型預測的曲線如圖6所示，當瓦斯濃度變化較小時，CNN-LSTM和LSTM都能獲得較準確的預測結果，當瓦斯濃度變化較大時，CNN-LSTM所表現出來的預測性能更優，使用SVR進行預測在三種預測方法中準確性最低。

各模型的預測誤差分析如表2所示，經分析，使用CNN- LSTM對瓦斯濃度進行預測具有較高的準確率，它的平均絕對誤差和均方根誤差均比LSTM和SVR低，分別為0.023 7和0.033 9。

3? 結? 論

提出一種將卷積神經網絡與長短期記憶神經網絡相結合的深層神經網絡模型CNN-LSTM在時間序列的角度對煤礦瓦斯濃度進行預測。CNN-LSTM模型利用卷積層和池化層堆疊提出瓦斯濃度時間序列數據中的時間平移不變性特征作為LSTM的輸入，最終得到瓦斯濃度預測結果。通過對未來1小時內瓦斯濃度預測，得出結論：CNN-LSTM模型能夠有效挖掘瓦斯濃度時間序列中的特征，提高了預測精度，為瓦斯事故的防治提供了有效參考。

參考文獻：

[1] 劉業嬌，袁亮，薛俊華，等.2007—2016年全國煤礦瓦斯災害事故發生規律分析 [J].礦業安全與環保，2018，45（3）：124-128.

[2] 馮亮，張立強.灰色理論預測煤層瓦斯涌出量的研究與應用 [J].煤炭與化工，2016，39（1）：44-47.

[3] 付華，訾海，孟祥云，等.一種EKF-WLS-SVR與混沌時間序列分析的瓦斯動態預測新方法 [J].傳感技術學報，2015，28（1）：126-131.

[4] 程健，白靜宜，錢建生，等.基于混沌時間序列的煤礦瓦斯濃度短期預測 [J].中國礦業大學學報，2008（2）：231-235.

[5] 張昭昭，喬俊飛，余文.基于動態神經網絡的瓦斯濃度實時預測方法 [J].控制工程，2016，23（4）：478-483.

[6] 耿越.基于混沌粒子群神經網絡的瓦斯濃度預測 [J].中國煤炭，2017，43（3）：124-129.

[7] 張新建，劉鋒，李賢功.基于小波降噪和循環神經網絡的煤礦瓦斯濃度預測 [J].煤炭技術，2020，39（9）：145-148.

[8] 趙建利，白格平，李英俊，等.基于CNN-LSTM的短期風電功率預測 [J].自動化儀表，2020，41（5）：37-41.

作者簡介：荀曉玉（1995—），女，漢族，遼寧凌源人，在讀碩士研究生，研究方向：深度學習應用。