基于SSA-LSTM的瓦斯濃度預測模型

蘭永青， 喬元棟， 程虹銘， 雷利興， 羅化峰

（1.山西大同大學 煤炭工程學院，山西 大同 037003；2.山西大同大學 建筑與測繪工程學院，山西 大同 037003）

0 引言

瓦斯是煤礦生產的關鍵致災因素之一，與瓦斯窒息、瓦斯燃燒、瓦斯爆炸、煤與瓦斯突出等事故息息相關。瓦斯濃度是一種隨時間變化的高動態、非線性時間序列數據，并受煤層賦存、采煤工藝、抽采工藝、風流等多種因素影響[1]，充分挖掘瓦斯濃度的時序性規律，實現瓦斯濃度精確、高效預測，對于預防瓦斯事故、保障煤礦安全生產具有重要意義。國內外學者最先采用統計學方法開展瓦斯濃度預測，如支持向量機[2-5]、自回歸積分滑動平均模型[6-7]等，這類預測模型結構較簡單，難以挖掘具有高度非線性的瓦斯濃度時序數據中隱含的相關特性。隨著人工智能技術的不斷發展，國內外學者將適用于大數據分析的深度學習方法應用到瓦斯濃度預測中，如循環神經網絡（Recurrent Neural Network，RNN）模型[8]、基于長短期記憶 （Long Short-Term Memory，LSTM）網絡的預測模型[9-12]、基于門控循環單元（Gated Recurrent Unit，GRU）的預測模型[13-14]等。這些研究方法極大地提高了瓦斯濃度預測精度，但尚未取得令人滿意的結果，原因在于部分模型易發生過擬合現象，預測精度和效率受限。針對該問題，學者們采用蝗蟲算法[15]、遺傳算法[16]、鯨魚算法[17]等優化深度學習模型對瓦斯濃度預測模型進行改進，在一定程度上改善了預測效果。

麻雀搜索算法（Sparrow Search Algorithm，SSA）是根據麻雀覓食并躲避捕食者的行為而提出的群智能優化算法，由于添加了偵察預警行為，其收斂速度很快。SSA在溫度預測、IGBT時間序列預測等方面的應用取得了良好的預測效果[18-20]。基于此，本文首先對比測試了SSA與灰狼優化 （Grey Wolf Optimization，GWO） 算法、粒子群優化（Particle Swarm Optimization，PSO）算法的性能差異，然后利用SSA優化LSTM網絡，提出一種基于SSA-LSTM的瓦斯濃度預測模型，采用實測數據進行了預測驗證。

1 基于SSA-LSTM的瓦斯濃度預測模型

1.1 LSTM網絡模型

LSTM網絡是RNN的一種特殊實現，其主要改進了RNN中的隱藏層，在隱藏層中增加了3個門控制單元控制自循環，解決了RNN不能捕獲長期依賴關系的問題。LSTM網絡結構如圖1所示。

圖1 LSTM網絡結構Fig.1 Structure of long short-term memory LSTM network

1） 遺忘門使用Sigmoid激活函數將上一時刻的記憶細胞與當前t時刻的輸入轉化為0～1的數值，0表示丟棄所有信息，1表示保留所有信息。該數值決定多少信息被保留。遺忘門ft計算公式為

式中：σ為Sigmoid函數；Wf為遺忘門的權重矩陣；ht-1為輸出神經元；xt為當前時刻的輸入神經元；bf為遺忘門偏置項。

2） 輸入門有2個部分：第1部分是Sigmoid層，決定了更新記憶細胞的狀態；第2部分是tanh層，創建1個新的候選記憶細胞狀態。輸入門It計算公式為

式中：WI為輸入門權重矩陣；bI，bc分別為輸入門與細胞狀態的偏置項；為備選更新信息；tanh為激活函數；Wc為記憶細胞權重矩陣；Ct為記憶細胞狀態。

3） 輸出門決定單元狀態輸出值。先利用Sigmoid層確定哪部分被輸出，再通過tanh處理并將其與Sigmoid函數的輸出相乘。輸出門Ot計算公式為

式中：W0為輸出門權重矩陣；b0為輸出門偏置項。

1.2 SSA及性能測試

SSA是一種模擬自然界麻雀群體覓食和尋找最佳棲息地的群智能優化算法，麻雀作為算法的主角，其只有1項屬性：位置，即表示其所尋覓食物的所在方位。對于每個麻雀個體，其可能存在以下3種狀態：① 充當發現者，帶領種群尋覓食物。② 作為追隨者，追隨發現者覓食。③ 作為警戒者，具備警戒機制，發現危險，放棄覓食。

發現者位置計算公式為

式中：為種群中第j代第i只麻雀在第d維的位置；α為（0,1]的隨機數；T為最大迭代次數；R2，S分別為預警值和安全閾值，R2∈[0,1]，S∈[0.5,1]；Γ為服從標準正態分布的隨機數;L為1×d的矩陣，矩陣內元素均為1。

當R2≥S時，部分麻雀發現捕食者，并向其他麻雀發出警告；當R2＜S時，表示當前環境周圍沒有捕食者，可繼續擴大搜索范圍。

追隨者位置計算公式為

式中：為第j次迭代時麻雀在第d維的最劣位置；n為種群大小；為第j+1次迭代時麻雀在第d維的最優位置；A+為1×d的矩陣，矩陣內元素隨機賦值為1或-1。

當i>n/2時，表明該追求者沒有獲得食物，存活率較低，需飛往其他區域覓食來獲取足夠能量。

警戒者位置計算公式為

式中：為當前全局最優位置；β為步長控制參數；Fi為第i只麻雀的適應度；Fg和Fw分別為麻雀種群當前最優和最差適應度；K為麻雀移動方向，其值為[-1,1]的隨機數；δ為接近0的常數。

當Fi>Fg時，表示麻雀處于群體活動的邊緣地帶，易受到襲擊；當Fi=Fg時，表示麻雀已經感知到危險，需盡快向其他麻雀靠攏，以減少被捕食的風險。

采用CEC2005函數集中的Quartic，Generalized，Kowalik's函數對SSA進行性能測試，種群規模為30，最大迭代次數為500。采用GWO，PSO算法對比驗證SSA在收斂速度、搜索精度及適應能力等方面的優勢。適應度曲線對比如圖2所示。可看出，在測試函數Quartic、Kowalik's中，3種優化算法最終都能夠收斂，其中SSA的收斂速度最快，GWO次之，PSO最慢；在Generalized函數中，仍是SSA的收斂速度最快，可看到SSA在尋優精度和收斂速度方面均優于GWO和PSO，證明了SSA的高效性、穩定性。

圖2 適應度曲線對比Fig.2 Comparison of fitness curves

1.3 SSA-LSTM瓦斯濃度預測模型

采用SSA算法改進LSTM網絡模型，構建瓦斯濃度預測模型，其流程如圖3所示。

圖3 基于SSA-LSTM的瓦斯濃度預測模型Fig.3 Gas concentration prediction model based on sparrow search algorithm(SSA)-LSTM

1） 在數據預處理中，為解決由傳感器造成的數據缺失、異常波動等情況，先采用均值法對缺失數據進行插值，再采用小波變換對異常波動數據進行降噪處理，最后對得到的數據集進行歸一化處理。歸一化公式為

式中：Yt′為歸一化后瓦斯濃度數據；Yt為歸一化前瓦斯濃度數據；Y為單個瓦斯濃度數據；minY，maxY分別為樣本數據中的最小值、最大值。

2） 構建基于LSTM網絡模型的基礎框架，采用均方誤差（Mean Squared Error，MSE）作為模型預測評價指標，MSE越小，模型預測的準確度越高。MSE計算公式為

式中：N為測試集中的樣本個數；Z(m)為測試集的真實值；(m)為預測值。

3） 初始化SSA中的種群數量、最大迭代次數等相關參數，然后利用SSA的自適應性依次對LSTM網絡超參數進行尋優，直到滿足條件，輸出最佳超參數組合。

4） 將得到的最佳超參數組合代入LSTM網絡模型中，完成最終預測并輸出預測結果。

2 模型參數尋優

2.1 實測數據及處理

實測數據來自同煤大唐塔山煤礦綜放工作面瓦斯日常監測數據，該礦主采石炭系3-5號煤層，平均煤厚為15.8 m，平均傾角為5°左右，煤層瓦斯含量為1.6～1.97 m3/t，設計生產能力為15 Mt/a，采用一井一面生產方式。工作面走向長度為2 500 m左右，傾斜長度為240 m左右，采用U型通風，最大通風量為3 500 m3/min，平均瓦斯涌出量為36.75 m3/min，呈典型的“低賦存，高涌出”的狀況。該工作面瓦斯涌出主要以采空區為主，占總涌出量的82%左右，采用頂板專用巷治理鄰近層和采空區瓦斯，回風巷瓦斯體積分數可控制在0.4%以下。瓦斯濃度數據每分鐘采集記錄1次，共獲取12 000條數據。為提高預測精度，對原始數據集進行預處理。

由于實測數據容易受到復雜的井下環境影響，數據集存在異常及缺失現象，并包含一定噪聲，所以需要對數據集進行預處理。由于瓦斯濃度作為時序數據在時間上有天然連續性，且一般情況下數據較平穩，故采集的瓦斯濃度時序數集中缺失和異常數據較少，于是利用缺失數據與異常數據前后間隔30 min數據的平均值進行替換。

原始數據集中的噪聲會降低預測的準確性，為保證數據的平滑性，采用小波閾值進行降噪處理，主要步驟如下。

1） 選取sym8小波基、5層分解層對瓦斯濃度數據進行分解[21-23]，對含噪信號進行相應層分解，然后對瓦斯濃度數據進行小波變換，將原始數據集轉換為小波域，利用分解信號將其分解為不同頻率的子信號。

2） 選取合適閾值，保留信號的信息并去除噪聲。閾值的選取對降噪質量有很大影響，若閾值過小，則去噪效果不理想；若閾值過大，容易導致信號失真。目前使用最多的是固定閾值：

式中：s為含噪信號中噪聲的方差；a為信號的采樣長度；median（·）為中值函數；BJ,k為小波系數，J，k為分解層數。

3） 對小波系數進行閾值處理，根據選取的閾值類型和大小，將小于閾值的系數置零。

4） 通過逆小波變換將處理過的小波系數轉換回時域，得到最終降噪后的瓦斯濃度時間序列數據。預處理前后的數據對比如圖4所示。

2.2 SSA參數確定

將構建好的LSTM網絡基本框架輸入到SSA中，SSA最小搜索維度為5，最大搜索維度為8；麻雀種群數量為6，最大迭代次數為8，優化參數個數為3；將MSE作為適應度函數F的值。尋優結果SSA搜索維度為6；麻雀種群數量為5，最大迭代次數為3；利用SSA自適應性覓食行為找到的最優位置為[0.008 9，27，0.047 9]。

2.3 LSTM網絡模型超參數尋優

根據經驗值確定初始超參數，選取MSE作為損失函數評價值，利用Matlab軟件得到不同算法優化后LSTM網絡模型的訓練損失曲線，如圖5所示。可看出在迭代100次時所有曲線都已接近平穩，所以接下來調整超參數時將模型訓練的迭代次數設置為100。

圖5 不同模型訓練損失曲線Fig.5 Training loss curves of different models

選取模型的均方根誤差（Root Mean Squared Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）作為評價指標，分析不同學習率、隱藏層節點個數、正則化參數對模型預測效果的影響。

1） 學習率控制了權重更新的步長，學習率的取值一般控制在0.001～0.1。學習率取值過小，會導致模型過擬合；學習率取值過大，會使損失函數震蕩不收斂。學習率對模型預測效果的影響如圖6所示。

圖6 學習率對模型預測效果的影響Fig.6 The influence of learning rate on model prediction performance

2） 隱藏層節點個數決定了LSTM網絡模型的復雜度和表達能力。節點數過少，會導致無法滿足訓練要求；節點數過多，會使得模型結構過于復雜，導致訓練時間過長。通過SSA搜索最佳的隱藏層節點個數，來提高模型的預測準確性。隱藏層節點個數對模型預測效果的影響如圖7所示。

圖7 隱藏層節點個數對模型預測效果的影響Fig.7 The influence of the number of hidden layer nodes on model prediction performance

3）正則化參數可降低LSTM網絡模型的復雜度，提高模型的泛化能力，防止出現過擬合現象。正則化參數對模型預測效果的影響如圖8所示。

圖8 正則化參數對模型預測效果的影響Fig.8 The influence of regularization parameters on modelprediction performance

最終確定LSTM網絡模型的超參數組合見表1。

表1 不同預測模型超參數選擇Table 1 Selection of hyperparameters for different prediction models

3 預測結果分析

3.1 SSA-LSTM模型預測結果

將預處理后的瓦斯濃度數據集根據常用的劃分原則，按8∶2的比例劃分為訓練集和測試集。同時，把利用SSA尋優得到的最佳超參數組合輸入到LSTM網絡預測模型中，對未來采煤工作面的瓦斯濃度進行預測。為了驗證采用SSA對傳統LSTM網絡模型超參數優化后預測精確度的提升，將傳統LSTM網絡模型預測結果和SSA-LSTM模型預測結果進行對比分析，結果如圖9所示。

圖9 LSTM網絡和SSA-LSTM預測結果對比Fig.9 Comparison of prediction results between LSTM network and SSA-LSTM

由圖9可知，經SSA優化后的LSTM網絡模型預測精度有很大提高，數據的擬合效果也較好，與傳統的LSTM網絡預測模型相比，RMSE減小了77.8%，MAE減小了83.9%，證明了基于SSA-LSTM的瓦斯濃度預測模型在提高預測精度方面的有效性。利用SSA算法對LSTM網絡模型超參尋優避免了模型易陷入數據過擬合的弊端，提高了模型預測性能。

3.2 不同模型預測結果對比分析

為了驗證本文所提瓦斯濃度預測模型的高效性，同時避免預測模型的單一性及片面性，采用PSO-LSTM、GWO-LSTM與SSA-LSTM模型的預測結果進行對比分析，各模型預測結果對比如圖10（a）所示。將測試集中波動較大的部分數據點（樣本序號為1 600—2 400）的預測結果局部放大，可更加清晰地展示各模型預測性能差異，如圖10（b）所示。

圖10 不同模型預測結果對比Fig.10 Comparison of prediction results of different models

從圖10可以看出，SSA-LSTM模型預測效果最佳，預測值更加接近真實值。GWO-LSTM模型次之，接下來是PSO-LSTM，進一步驗證了SSA優化LSTM網絡的瓦斯濃度預測模型具有更高的預測準確性、穩定性。

采用RMSE、MAE、運行時間、R2對PSO-LSTM、GWO-LSTM、SSA-LSTM模型的預測性能進行對比，結果見表2。由表2可知，SSA-LSTM模型的RMSE較PSO-LSTM，GWO-LSTM模型分別減少了58.9%，69.7%；SSA-LSTM模型的MAE較PSO-LSTM，GWO-LSTM模型分別減少了37.8%，70%；綜合R2、運行時間等評價指標來看，SSA-LSTM模型的預測精度最高，運行時間相對較短，取得了良好的預測效果。

表2 不同模型預測結果評價Table 2 Evaluation of prediction results of different models

4 結論

1） 采用3種不同的測試函數對SSA進行了性能測試，同時與PSO算法和GWO算法進行了對比，結果驗證了SSA在尋優精度、收斂速度和適應能力等方面的優勢。

2） 針對高度動態和非線性瓦斯濃度預測問題，本文提出一種利用SSA對LSTM網絡結構超參數進行優化的方法，該方法避免了預測模型陷入局部最優情況。相較于傳統LSTM網絡模型，SSA-LSTM模型預測精度更高，預測效果更好。

3） 對比LSTM，PSO-LSTM，GWO-LSTM與SSALSTM模型的預測性能，得出SSA-LSTM模型的預測效果最好，與其他模型相比，RMSE減少了58.9%～77.8%，MAE減少了37.8～83.9%。SSA-LSTM模型相較于其他預測模型擁有更高的預測精度，可為煤礦瓦斯災害防治提供有效決策支持。