融合注意力機制的煤層氣產量動態預測

李媛， 郭大立， 康蕓瑋

(西南石油大學理學院， 成都 610500)

煤層氣的產量預測研究可對后續的煤層氣開發提供建議，并有利于煤層氣經濟效益的預測，在煤層氣開發過程中發揮重要的作用[1-2]。傳統的煤層氣產量預測采用數值模擬方法，但該方法使用復雜，需要大量的儲層數據與生產數據并且計算結果對不同生產井的數據難以匹配[3]，因此一些學者將人工智能算法引入了煤層氣產量預測研究中。呂玉民等[1]利用反向傳播(back propagation，BP)神經網絡擬合煤層井的生產歷史；孔鵬等[4]利用主成分分析法得到了影響煤層氣產量的主控因素，并利用樸素貝葉斯方法預測煤層氣產量；朱慶鐘等[3]綜合考慮排采參數和產氣量的動態變化，根據隨機森林回歸模型進行煤層氣產量預測；Zeng等[5]改進了傳統的灰色預測模型用于中國煤層氣預測，在樣本量較小時預測效果良好。

煤層氣生產數據是隨時間不斷變化的時間序列數據，但是上述幾種模型的訓練方式為點對點映射，忽視了數據的時序性。因此，提出了可進行時序預測的長短期記憶神經網絡(long short term memory，LSTM)預測煤層氣產量。Guo等[6]利用近鄰傳播算法聚類鄰井數據，并利用LSTM網絡進行預測，該方法的精度高于傳統的淺層神經網絡與數值模擬；Xu等[7-8]利用多變量的LSTM網絡，對煤層氣產量預測取得了良好的效果，還將遷移學習引入神經網絡，給生產數據量不足時的產量預測提供依據；董維強等[2]也將LSTM網絡應用于煤層氣產量預測。但是傳統的LSTM網絡煤層氣產量預測結果的準確度還有能進一步提升的空間。

為了解決傳統煤層氣產量預測忽略的時序性問題，更好地提取煤層氣產量影響因素的有效信息，且進一步提高預測的準確度，現提出一種新的煤層氣產量動態預測模型，即融合注意力機制的CNN-LSTM的煤層氣產量動態預測模型。利用X區塊的煤層氣井數據，優選影響煤層氣產量的主控因素，建立煤層氣井產量動態預測模型，與傳統的LSTM網絡比較，結合了卷積神經網絡(convolutional neural networks，CNN)高效的特征提取能力和LSTM網絡處理長序列數據的能力，并融合注意力機制分配LSTM隱含層的概率權重，對于煤層氣井的日產氣量預測提供一種新方法。

1 基本原理

1.1 基于CNN網絡的特征提取

煤層氣的生產數據是非線性的，具有信息量大，信息種類多，各種參數與煤層氣產量之間關系復雜等特點[9]。卷積神經網絡(convolutional neural networks，CNN)可提取數據的深層次特征，對于處理非線性數據的能力更強，同時也避免了手工提取特征帶來的諸多不利[10]。其中一維卷積神經網絡學習非線性序列的數據準確性較高，可用于時間序列的特征識別和提取[11]，一般包括卷積層、池化層和全連接層。卷積層可自動提取數據中的特征向量；池化層可進行特征降維，避免過擬合；全連接層的作用為對輸出數據進行維數轉化。將LSTM網絡處理長時間序列的優勢與CNN網絡提取特征的能力優勢結合，避免因輸入序列過長導致精度降低的情況。

1.2 基于LSTM網絡的時序預測

長短期記憶神經網絡(LSTM)是一種可進行時序預測的時間循環神經網絡，包括輸入門it、遺忘門ft和輸出門ot，t為當前時刻。利用“門”可控制傳入信息的更新和替換，并有效解決信息的長期依賴問題[3]，t時刻LSTM網絡單元結構如圖1所示。輸入門控制信息的傳入，遺忘門控制信息的保留和丟棄，輸出門根據當前細胞狀態，控制有多少信息可作為當前時刻的輸出。LSTM網絡在t時刻的更新公式為

ft=σ(wf[ht-1，xt]+bf)

(1)

it=σ(wi[ht-1，xt]+bi)

(2)

C′t=tanh(wC[ht-1，xt]+bC)

(3)

Ct=ftCt-1+itC′t

(4)

ot=σ(wo[ht-1，xt]+bo)

(5)

ht=ottanhCt

(6)

式中：xt為t時刻的輸入信息；σ為sigmoid激活函數；ht-1與ht分別為t-1時刻與t時刻的隱含層狀態；wf、wi、wo和bf、bi、bo分別為遺忘門、輸入門與輸出門的權重與偏置；C′t為信息經過tanh函數變換后得到的候選狀態；C′t中的信息可能被更新到當前時刻的記憶單元中；wC、bC為候選狀態的權重、偏置；Ct-1與Ct分別為t-1時刻與t時刻的記憶細胞狀態。

LSTM的細胞狀態是根據加法門電路實現更新的，反向傳播時采用沿時反向傳播算法(back propagation through time，BPTT)學習模型中的權重與偏置參數[12]。在反向傳播時，根據鏈式法則，不再進行連乘操作而是進行累加操作，從而避免了隨著時間跨度的增加多個趨近于0的數進行連乘或多個大于1的數進行連乘的問題，從而解決了傳統循環神經網絡中梯度消失或爆炸的問題。

圖1 t時刻LSTM網絡單元結構Fig.1 t time LSTM network unit structure

長短期記憶神經網絡增加門的設置使得網絡得以保留關鍵信息，但是在輸入的序列過長時仍舊可能丟失重要信息，因此結合一維卷積神經網絡提取特征抓住重要信息，提高預測精度。

1.3 融合注意力機制的權重提取

注意力(Attention)機制[13-15]模仿人類大腦的注意力分配功能，將注意力放在需要關注的重點部分，使得重點區域獲得更多的有用信息，是高效的信息選擇和關注機制。

標準的長短期記憶神經網絡采用的是傳統的編碼-解碼結構，編碼器將網絡的原序列信息編碼成固定長度。雖然長短記憶神經網絡的記憶功能能夠保存長期狀態，但是對于信息量大，信息種類多的非線性煤層氣數據，在神經網絡的訓練時仍舊可能忽略一些重要的時間序列信息，導致模型的預測效果下降。引入注意力機制分配LSTM網絡隱含層的概率權重，可使得模型更容易處理長時間序列的依賴關系，克服網絡中計算效率低下的問題，提高神經網絡的解釋性與模型性能。對于煤層氣數據，輸入序列在不同時間預測點的貢獻不同，利用注意力機制分配隱含層概率權重，可突出重要信息對于煤層氣產量的影響，增強煤層氣產量預測模型的準確性。

2 融合注意力機制的CNN-LSTM煤層氣產量動態預測模型

煤層氣產量預測是多時序列問題，目標是學習t個時刻的輸入值(x1，x2，…，xT)和t時刻的輸出值yt之間的非線性關系。本文構建了一種融合注意力機制CNN-LSTM煤層氣產量動態預測模型，模型結構如圖2所示，主要包括輸入層、CNN層、LSTM層、Attention層和輸出層，圖2中c是將注意力系數αij分配給不同的中間狀態hj后的輸出。模型由輸入層對煤層氣生產數據進行輸入，利用1DCNN提取煤層氣數據的深層特征向量，并將提取的特征作為LSTM網絡的輸入，提取時間特征并預測，最后融入注意力對LSTM的不同時刻的隱含層向量求權重，再利用全連接層輸出。

模型中具體每層的敘述如下。

(1)輸入層。對煤層氣排采數據進行預處理，刪除缺失值，去除噪聲并標準化，處理后的數據作為模型的輸入。X={Xt-n，…，Xt-2，Xt-1，Xt}為待預測時刻之前的n個多維特征向量。

圖2 融合注意力機制的CNN-LSTM煤層氣 動態預測模型結構圖Fig.2 Structural diagram of CNN-LSTM coalbed methane dynamic prediction model integrating attention mechanism

(2)CNN層提取序列特征。將煤層氣排采數據輸入卷積層中，并通過池化層降維。

N=ReLu(wN?X+bN)

(7)

P=max(N)+bP

(8)

式中：N、P為卷積層、池化層的輸出；?為卷積運算；wN為權重；bN、bP為偏置；ReLu為激活函數。

(3)LSTM層做時序預測，將CNN層輸出的向量輸入LSTM網絡，這里采用雙層LSTM網絡：

ht=LSTM(Pt-1，Pt)

(9)

式(9)中：ht為LSTM網絡的隱含層狀態。

(4)Attention層，將ht作為Attention層的輸入。計算公式為

eij=utanh(wehj+Ueh′i-1+be)

(10)

(11)

(12)

式中：aij為注意力系數；eij為計算求得的前一時刻隱含層h′i-1和該時刻隱含層hj間的關系分數；eik為t-n時刻到t時刻的關系分數；u、we、Ue為權重矩陣；be為偏置；c為將注意力系數分配給不同的中間狀態后的輸出。

(5)輸出層。將輸出的向量轉換為1維并輸出。即

yt=ReLu(wc+b)

(13)

式(13)中：yt為t時刻煤層氣產量的輸出；w、b分別為權重、偏置。

3 實例與分析

利用Python3.8編寫程序，基于Tensorflow2.6.0框架實現模型，采用Origin進行可視化處理，將處理后的排采數據輸入模型，實現煤層氣產量預測。

3.1 研究區概況

研究區塊位于鄂爾多斯盆地東緣的X區塊，開采層位為山西組5號和太原組8號煤層。以5號煤層為例，煤層埋深為700～1 400 m，煤層含氣量平均為15.25 m3/t，屬于中等偏高含氣量煤層[16]。煤層孔隙度在1.90%～4.45%，為低孔隙度。煤層單層厚度2.8～8.5 m，煤層壓力6.75～11.5 MPa；煤的密度1.07～1.85 t/m3，平均為1.38 t/m3；煤巖類型主要包括光亮煤、半亮煤和黯淡煤，呈塊狀、碎塊狀和粉狀，割理、裂隙發育[17]。

3.2 評價指標與標準化

(1)評價指標。采用平均絕對誤差(mean absolute error，MAE)、均方根誤差(root mean square error，RMSE)和平均絕對百分比誤差(mean absolute percentage error，MAPE)展示不同煤層氣預測模型的誤差。三項指標的計算公式為

(14)

(15)

(16)

式中：f(xi)為煤層氣產量的預測值；xi為真實值。若3種誤差越小，則產氣量預測模型的精度越高。

(2)標準化處理。在煤層氣數據采集過程中由于記錄數據錯誤或缺失，設備故障等隨機因素的影響，可能存在噪音及異常值。這里選用Z-score標準化方法避免異常值和極端值影響。將每個參數的數據進行以列為單位進行標準化，公式為

(17)

3.3 煤層氣產量主控因素篩選

煤層氣產量的影響因素復雜，參數眾多，主要包括地質參數，工程措施參數和排采工藝參數。地質參數由煤層本質屬性決定，工程措施參數是在鉆井和壓裂工藝產生的參數，兩者對于單井而言是固定的，對單井的生產動態數值預測無法產生顯著影響。排采工藝參數主要是排采控制中產生的參數。在鉆井，壓裂過程完成后，排采過程中所產生的井底壓力、動液面、套壓、沖程、沖次等排采參數成為影響煤層氣井產量的主要因素。排采工藝參數大多是具有相同時間間隔且隨時間推移不斷采樣的時間序列數據，可呈現出隨時間動態變化的變化趨勢，挖掘其中的規律是對時間序列開展的主要研究工作。

不同參數的選取會對模型預測效果產生影響，隨機森林可計算每個排采參數在隨機森林中的每棵決策樹的貢獻度平均值，從而進行參數優選[4]。貢獻度平均值的選取方法包括基尼指數以及袋外分數，這里選用基尼指數評判貢獻度。將排采數據輸入隨機森林模型中，得出不同參數之間的重要性排序如圖3所示。由圖3可知，煤層氣排采參數的重要性排序為：井底壓力 > 動液面高度 > 套壓 > 沖次 > 沖程。

(1)井底壓力的重要性最高，是整個排水降壓過程的核心參數，反映了煤儲層壓降情況。在合理的排采制度下，井底壓力逐漸降低，產氣量不斷上升，若上升或者下降得過快，容易導致煤粉涌出堵塞滲流通道，影響產氣效果[18]。

(2)動液面高度對煤層氣產量影響的重要性僅次于井底壓力，液柱高度的變化可體現排采強度。

(3)套壓可以反映出套管氣體的壓強情況，在整個煤層氣排采過程中，套壓在井筒儲級效應[18]的影響下，在短時間內會對產氣量造成改變。

(4)增大或降低沖次頻率可影響排水速率。當沖次頻率增大，排水速率加快，但連續增大沖次頻率會損害煤儲層。

(5)沖程是在保證排量的條件下，盡可能地選擇抽油機的最大能力，同一口井的沖程一般維持不變。

由于沖程對產氣量的重要性遠低于其他參數，因此選擇井底壓力、動液面高度、套壓、沖次作為影響煤層氣產量的主控因素。

圖3 排采參數的隨機森林重要性排序Fig.3 Random forest importance of extortion parameters

3.4 模型訓練與驗證

根據X區塊生產數據統計資料，隨機選取JU01井進行模型訓練，該統計數據每天記錄一次，采樣間隔24 h。先對數據進行預處理，剔除空值與異常值。需要注意的是，在排采初期需要將煤儲層壓力降至臨界解吸壓力，在此期間產氣量的記錄數據為0，而其余數據參數波動幅度較大，該階段數據不具有預測價值，不采用；在排采過程中，由于油管或固定閥漏失，更換舉升和抽油設備等問題導致排采數據在一段時間內未被記錄或者數據急劇波動的階段不在本文討論范圍內，作刪除處理。最終以2013年2月—2019年2月共2 060 d的數據作為數據集。其中0～1 800 d的數據作為訓練集進行模型學習訓練，1 800～2 000 d的排采數據作為驗證集。在應用于不同生產井時，訓練樣本的時間序列個數(煤層氣井生產天數)對煤層氣井特征參數的個數和預測參數的個數無影響。

在處理時間序列問題上，需要劃分時間片段構造樣本數據集，網絡模型可以學習一個時間窗口內的輸入與時間窗口大小時刻的輸出之間的非線性關系。在模型訓練時優化器采用的自適應優化算法(Adam)，多次搜索調試后，將初始學習率設為0.001 55。通過在適當范圍內調整參數并不斷試算最終確定模型參數，其中輸入尺寸(input_size)為5，批次大小(batch_size)設為40，時間步長(time_step)設為15，喂入數據的形狀為(40，15，4)。CNN層的采用一層卷積層、一層池化層，卷積核設置為4個，池化窗口大小(pool_size)設為2，池化操作的移動步幅(strides)設為1，字符串(padding)為‘same’。LSTM層中，采用雙層LSTM，隱含層節點個數設為7。

經超參數調試后，計算JU01煤層氣井的日產氣量，訓練集損失函數下降曲線如圖4所示，損失函數利用均方誤差(mean-square error， MSE)表示。

通過迭代后，模型在訓練集上的1 800個樣本擬合值的平均相對誤差為6.10%，在驗證集上預測200個樣本的平均相對誤差為5.11%。JU01井訓練集與驗證集日產氣量實際值與計算值對比如圖5所示，通過模型訓練后的日產氣量計算值與實際日產氣量與對比，二者趨勢一致，說明模型具有良好的擬合效果。

圖4 JU01井訓練集損失函數下降曲線Fig.4 JU01 well training set loss function falling curve

圖5 JU01井日產氣量實際值與計算值對比Fig.5 The actual value and calculation value of JU01 well daily methane volume

3.5 模型預測對比分析

為了驗證模型的有效性，結合標準的LSTM模型、無注意力機制的CNN-LSTM模型、隨機森林回歸模型(random forest regression，RFR)、高斯過程回歸模型(gaussian processes regression，GPR)與本文模型做對比，預測JU01井未來60 d和200 d的產氣量。不同模型產氣量預測對比如圖6所示，圖6(a)和圖6(b)分別為預測60 d和預測200 d對比圖，不同模型預測日產氣量效果對比結果如表1所示。

由圖6可知，隨機森林回歸模型與高斯過程回歸模型的預測曲線較實際生產曲線偏差較大，標準LSTM模型在實際生產曲線附近波動較為明顯，無注意力機制CNN-LSTM模型較標準LSTM模型預測曲線波動有所改善，而融合注意力機制的CNN-LSTM煤層氣產量動態預測模型的預測趨勢與實際生產曲線最為貼近，更符合實際生產情況。

由表1可知，在相同預測天數下，隨機森林回歸模型的預測誤差低于高斯過程回歸模型，但兩者的誤差都高于標準的LSTM模型。融合注意力機制的CNN-LSTM煤層氣產量預測模型，MAE誤差、RMSE誤差和MAPE誤差均最低，比標準的LSTM模型的預測精度提高了3%～4%，并且增加了CNN提取特征后的無注意力CNN-LSTM模型比傳統LSTM模型預測精度也有所提高。可見在長短期神經網絡中引入一維卷積神經網絡提取特征并融合注意力機制，加強了神經網絡的預測效果，提高了預測精度。隨著煤層氣產量預測天數的增加，3種模型的MAE誤差、RMSE誤差和MAPE誤差均逐漸增大，即3種模型的預測精度都有所下降，但經過對比可知融合注意力機制CNN-LSTM模型預測誤差仍然最低。

圖6 不同模型的日產氣量實際值與預測值對比Fig.6 Actual value and predictive value of nissan quality of different models

表1 不同模型預測日產氣量效果對比Table 1 Different models predict a comparison of daily methane content

3.6 模型的復雜度分析

模型的復雜度包括模型的時間復雜度和空間復雜度，時間復雜度可用模型的訓練時間和浮點運算次數(floating point of operations，FLOPs)[19-20]表示，空間復雜度可用參數量表示，關于模型的算法復雜度對比實驗結果如表2所示，實驗數據集采用JU01井的數據。

由表2可知，融合注意力的CNN-LSTM模型在訓練時間、浮點運算次數與參數量上與無注意力的CNN-LSTM模型與差別不大，但兩者對比傳統的LSTM均有所提升，但提升較小，在可接受范圍內。而融合注意力的CNN-LSTM模型比無注意力的CNN-LSTM模型精度提升了2.05%，比傳統的預測精度提升了4.67%，由此可說明融合注意力機制的CNN-LSTM模型的復雜度問題可不考慮。

表2 模型復雜度對比實驗結果Table 2 Model complexity comparison experimental results

3.7 模型的適用性分析

除了JU01井以外，對同一區塊其他6口生產天數與產能不同的煤層氣井也做了日產氣量預測以驗證模型的適用性。進行適用性分析時，模型基本參數不變，若對不同區塊，不同生產井的相關參數進行自適應調整，可使模型預測誤差降低。隨機選取了該區塊生產天數介于700～3 100 d的6口的煤層氣井預測未來60 d與200 d的煤層氣產量，預測結果如表3所示。由表3可知，6口井預測60 d產氣量的平均相對誤差均小于5%，綜合6口井的誤差平均為2.71%；預測200 d產氣量的平均相對誤差均小于8%，綜合6口井的誤差平均為5.86%。可見，融合注意力機制的CNN-LSTM煤層氣產量動態預測模型具有良好的適用性。

在實際生產中，也需要注意煤層氣的月產量，因此以JU01井為研究對象，將煤層氣排采數據以月為單位放縮，得到68個月的煤層氣生產數據，預測15個月的煤層氣平均產量，結果如表4所示，平均相對誤差為4.94%，在可接受范圍內。

表3 X區塊不同井的煤層氣產量預測結果對比Table 3 Comparison of coalbed methane production prediction results of different wells in X block

表4 煤層氣月平均產量預測結果表Table 4 Prediction results of monthly average production of coalbed methane

4 結論

(1)利用隨機森林變量篩選模型優選出影響X區塊煤層氣產量的主控因素，變量的重要性排序為：井底壓力 > 動液面高度 > 套壓 > 沖次 > 沖程，最終確定主控因素為：井底壓力、動液面高度、套壓、沖次。在煤層氣排采過程中應合理控制井底壓力、動液面高度、套壓，選擇適合的沖次頻率。

(2)建立融合注意力機制的CNN-LSTM煤層氣產量動態預測模型，用1DCNN高效的特征提取優勢，挖掘更多有用信息，將提取的時序向量作為LSTM網絡的輸入，有效解決信息長期依賴性和信息丟失，對LSTM的隱含層融合注意力機制，突出重要信息。實驗表明：融合注意力機制的CNN-LSTM煤層氣產量預測模型具有良好的擬合和預測效果，比標準的長短期記憶神經網絡的預測精度提高了3%～4%，并且復雜度區別較小，更符合實際生產情況。

(3)對產氣量模型做適用性分析，計算同一區塊6口生產天數與產能不同的煤層氣井日產量，6口井預測60 d產氣量的平均相對誤差均小于5%，200 d產氣量的平均相對誤差均小于8%。進行月平均產量預測時，平均相對誤差為4.94%。分析表明，融合注意力機制的CNN-LSTM模型各方面均表現較優。