基于長短期記憶網絡和注意力機制的油井產油量預測

潘少偉， 鄭澤晨*， 王吉哲， 蔡文斌， 王朝陽

(1.西安石油大學計算機學院， 西安 710065； 2.西安石油大學石油工程學院， 西安 710065)

油氣數據分析技術在油氣行業中十分重要，尤其是面對海量的油田信息，在數據處理和管理時會造成信息的忽略[1]。在油井產油量預測問題中，因為一些增產措施，使得產油量出現波動，或者因為經濟原因導致油井減產。在這種復雜的狀況下，想要準確地預測和控制產油量，就必須平滑數據，改進預測模型。目前有一些學者使用調整指數遞減法的遞減率[2]、水驅曲線法[3]來解決油藏儲量和產量的預測問題。同時，任燕龍等[4]使用長短期記憶網絡(long short-term memory networks，LSTM)建立油田產量預測模型。Holdaway等[5]通過數據挖掘中的聚類方法和概率方法建立多井的產油量模型。Gupta等[6]針對頁巖油氣藏的產量預測提出數據挖掘方法和時間序列分析方法。Zhou等[7]采用聚類和多元回歸分析建立生產井的產能模型。Negash等[8]提出使用人工神經網絡方法和貝葉斯正則化算法訓練預測模型。這些方法大多是為了解決油田或油井產油量的預測問題，基本未涉及產油量的時間序列分析。所以，現提出通過采用隨機森林(random forest，RF)、LSTM和注意力機制(attention mechanism)相結合的方法來建立油井產油量的預測模型，以提取油井產油量數據中存在的時間相關性，提高它們的特征重要性。

1 原理與方法

1.1 RF

RF是一種包含多個決策樹的分類器，它基于Bagging思想，借助自助法重采樣技術，通過構建多個決策樹來組成隨機森林。RF的實現簡單、計算開銷小，抗過擬合能力強。

1.2 LSTM

LSTM是一種時間循環神經網絡，是為了解決一般的循環神經網絡(recurrent neural networks，RNN)存在的長期依賴問題而專門設計出來的[9]。LSTM神經單元包含三種門控：輸入門、遺忘門、輸出門。LSTM的長期和短期記憶正是由門控單元來完成，在每個時間點，使用幾種門控單元來調節沿序列傳遞的信息，捕獲數據序列中長記憶的依賴關系，如圖1所示。

t為時間步長；ht-1為前一時刻的隱含層狀態；ht+1為后一時刻的隱含層狀態；ht為當前時刻的隱含層狀態；it為輸入門；ft為遺忘門；Ot為輸出門；tanh為激活函數；σ為sigmoid函數；A為相鄰的LSTM單元；Xt-1、Xt和Xt+1分別為前一時刻、當前時刻和后一時刻的輸入信息；Ct-1和Ct分別為前一時刻和當前時刻的記憶細胞狀態； 為當前時刻候選的記憶細胞狀態圖1 LSTM神經單元結構示意圖Fig.1 Structure diagram of LSTM neural unit

1.3 基于LSTM與注意力機制的油井產油量預測模型

注意力機制模擬了人類在某些時刻注意到特定區域或特定物體時的場景。為了更加準確地識別物體，利用注意力機制可幫助人們有選擇性地獲取更多、更有效的物體特征信息，而忽略其無用信息[10]。在一些序列型數據中，注意力機制對于數據建模性能有著巨大的提升。

注意力機制還可以對神經元分配不同的權重概率。注意力機制可幫助突出油井歷史產油量數據中的關鍵信息，增強油井產油量預測模型的準確性。圖2為基于LSTM和注意力機制的、應用于油井產油量預測的深度學習模型。該模型建立時，時序數據之間的超前或者滯后關系對于油井產油量至關重要，預測目標的特征會被滯后的時序數據所影響。LSTM主要用于對時間序列中的長期依賴性數據進行建模，注意力機制主要用于了解模型中順序單元的哪些子集具有影響力。基于LSTM和注意力機制的油井產油量預測模型在油井產油量預測中可捕獲兩類關鍵信息：①在時間關系下不同影響因素和油井產油量之間的聯系；②不同影響因素對油井產油量的不同重要性。

yn、yn+1和yn+i分別是當時間滯后參數lag為0、1和i時，油井產油量預測模型的輸出圖2 產油量預測模型Fig.2 Prediction model of oil production

2 基于LSTM和注意力機制的油井產油量預測

把基于LSTM和注意力機制的油井產油量預測模型簡記為Attention+LSTM模型。

2.1 研究區概況

研究區位于中國南方某油田H3斷塊，面積約為2.5 km2，自1995年正式投入開發，主要產油層段為古近系阜寧組一段和阜寧組二段。其中阜寧組一段主要發育灰色粉砂巖、棕色含油粉砂巖和灰色泥巖；阜寧組二段主要發育灰色、深灰色粉砂巖、生物灰巖、鮞粒灰巖和泥巖。截止到目前，研究區油井和注水井總數達到60余口，積累了豐富的動靜態資料。

2.2 數據集構建

由于研究區內H3-32井、H3-34井和H3-35井的開發周期長，且數據的變化趨勢明顯，所以抽取這3口井進行油井產油量預測實驗。把這3口井1995年9月至2016年4月的數據作為訓練集，2016年5月至2018年5月的數據作為測試集。Attention+LSTM模型的輸出設置為油井的月產油量，輸入則設置為油井的油層厚度、泵深、泵徑、生產天數、動液面、泵效和含水率。

2.3 評價指標

為了評價Attention+LSTM模型對油井月產油量的預測精度，選取均方根誤差(root mean square error，RMSE)、平均絕對誤差(mean absolute error，MAE)和平均絕對百分比誤差(mean absolute percent error，MAPE)作為評價指標，它們的具體計算公式如下。

(1)

(2)

(3)

2.4 缺失值補全

油田工作中由于測井儀器傳感器的誤差或失靈會導致某些生產數據的缺失。在H3-32井數據集構建過程中，其動液面數據出現了缺失，如表1所示。鑒于RF的精度高于大多數的單個算法，并且能夠有效地避免過擬合，準確度也較高，所以采用RF補全了H3-32井缺失的全部動液面數據，具體如表1所示。

表1 缺失和補全后的數據Table 1 Missing data and data after completion

利用LSTM對H3-32井缺失數據和補全后的數據進行產油量建模，所得結果如圖3所示。三條曲線對比可發現：采用補全后數據構建的產油量預測模型的準確度更高，而且由補全后數據得到的產油量預測模型對H3-32井的實際產油量的變化趨勢擬合得更好。

圖3 缺失值補全前后模型的產油量預測值Fig.3 Predicted values of oil well production before and after the missing values are completed

2.5 參數選擇對Attention+LSTM產油量預測的影響

參數選擇對于LSTM模型的準確率有著較大的影響。本次實驗中的參數調整包括時間滯后參數lag、學習率衰減參數α和神經元隨機失活參數Dropout。利用H3-32井的訓練數據集和測試數據集優選出適合于Attention+LSTM模型的這3個參數的最優值，具體的結果如表2、表3和表4所示。

表2 數據時間滯后對于模型準確率的影響Table 2 Impact of data time lag on model accuracy

表3 Dropout對于模型準確率的影響Table 3 Impact of Dropout on model accuracy

表4 α對于模型準確率的影響Table 4 Impact of α on model accuracy

表2為不同的時間滯后參數對于Attention+LSTM模型準確率的影響。由表2可知，隨著時間滯后參數的增大，Attention+LSTM模型的3個評價指標都在不斷下降。當時間滯后參數增加到36時，RMSE的值為9.58，MAE的值為6.67，MAPE的值為0.108 3，說明Attention+LSTM模型此時表現出最高的準確率。而當時間滯后達到48時，Attention+LSTM模型的準確率突然減小，所以把36作為時間滯后參數的取值構成網絡結構。

在LSTM建模中，數據之間會存在一定的時序關系。隨著時間的推移，油井的產油量會越來越低，因此過擬合可能導致油井產油量模型無法準確地預測油井月產油量的下降情況。通過Dropout可以隨機地丟失神經元，使得油井產油量預測模型的泛化能力變強，但是Dropout的增大會導致過多的有效信息丟失，所以經過反復調試，得到了如表3的實驗結果。由表3可知，當Dropout為0.3時，Attention+LSTM模型的表現最佳。

表4為學習率衰減指數α對Attention+LSTM模型準確率的影響。學習率衰減指數α可以在Attention+LSTM模型訓練過程中不斷地調整學習率的衰減程度以達到精確地逼近最佳模型。選取0.1～0.9分別進行實驗，發現α=0.8時，Attention+LSTM模型表現出最高的準確率，所以將學習率衰減指數α的取值定為0.8。

在調整時間滯后指數lag、學習率衰減指數α和神經元隨機失活參數Dropout后，Attention+LSTM模型的性能均有較大的提高，所以最終把時間滯后定為36個月，學習率衰減指數定為0.8，神經元隨機失活參數定為0.3。

在時間滯后參數lag、學習率衰減指數α和神經元隨機失活參數Dropout的最優值確定后，通過H3-32井的數據對采用3個最優值的Attention+LSTM模型進行測試，所得結果如圖4所示。圖4為訓練過程中Attention+LSTM模型在訓練集和驗證集上的損失變化曲線，Attention+LSTM模型的損失這里設置為MAE。由圖4可看出，在整個迭代過程中Attention+LSTM模型的MAE不斷下降；在訓練集上，經過了前40次的迭代之后，Attention+LSTM模型的MAE逐漸變得平穩；在驗證集上，Attention+LSTM模型的MAE在經歷了最低的階段后開始緩慢地上升，當迭代次數為50左右時，開始變得平穩，之后一直保持著平穩狀態。

圖4 訓練過程中驗證集和訓練集的損失變化圖Fig.4 Loss curve of validation set and training set during training

2.6 多種模型的準確率對比

傳統的產油量預測模型多是基于以往數據建立線性模型進行產油量預測，因此把線性回歸(linear regression，LR)作為油井產油量預測實驗中的一種方法。并且，實驗中也把RF、支持向量回歸(support vector regression，SVR)、人工神經網絡(artificial neural networks，ANN)、LSTM的產油量預測結果與Attention+LSTM進行對比(表5)。由表5可看出LR、SVR和ANN三種方法的表現較差，而RF、LSTM和Attention+LSTM三種方法的表現較好。

表5 6種方法在H3-32井測試集上的預測結果Table 5 Prediction results of the six methods on H3-32 well test set

利用H3-32井測試集對RF和Attention+LSTM模型做進一步的測試，所得結果如圖5所示。由圖5可發現，RF模型對應的月產油量預測曲線的變化比較平緩，但與油井月產油量真實值曲線的擬合較差；而Attention+LSTM模型對應的月產油量預測曲線與油井月產油量真實值曲線擬合得較好。這進一步說明Attention+LSTM模型對月產油量的預測效果要優于RF模型。

圖5 RF和Attention+LSTM對月產油量預測的對比曲線Fig.5 Comparison curve of RF model and Attention+LSTM model for monthly oil production prediction

2.7 模型推廣性

將LSTM模型和Attention+LSTM模型在H3-34井和H3-35井上進行對比實驗，用來驗證它們在新數據上的通用性，所得結果如表6所示。由表6可以清晰地看出在H3-34井和H3-35井的測試集上，Attention+LSTM模型在MAE、RMSE和MAPE上的表現均優于單獨的LSTM模型。尤其在H3-35井的測試集上，Attention+LSTM模型的MAPE為0.127，相比LSTM模型降低了50%左右。

表6 注意力機制對于LSTM的影響列表Table 6 List of the effects of attention mechanisms on LSTM

H3-32井、H3-34井和H3-35井的歷史產油量與預測產油量的對比情況如表7所示。由表7可看出Attention+LSTM模型的月產油量預測誤差大多介于0.2%～20%，總體上預測產油量與實際產油量較為相符。對表7進行統計，得出H3-32井的實際產油總量為1 470.5 t，其預測值為1 442.33 t，相對誤差為1.92%；H3-34井的實際產油總量為1 564.5 t，其預測值為1 545.98 t，相對誤差為1.20%；H3-35井的實際產油總量為742.2 t，其預測值為772.12 t，相對誤差為4.05%。這進一步驗證了Attention+LSTM模型在油井產油量預測中的準確性與合理性。

表7 3口油井的月產油量歷史數據與預測數據列表Table 7 List of historical and predicted data of monthly oil production for the three wells

3 結論

(1)油田開發過程中，油井產油量會隨時間發生有規律的變化，但鑒于油井產油量數據的有限性，采用了單層LSTM網絡加注意力機制的方法防止油井產油量預測中出現的過擬合問題。

(2)利用泛化能力極好的RF對缺失的某些油井產油量相關參數進行補全，幫助油井產油量預測模型更好地學習油井產油量數據中的變化規律。

(3)分析時間滯后、學習率衰減和神經元隨機失活對油井產油量預測模型的影響，發現當這3個參數取值分別為36、0.3和0.8時，油井產油量預測模型的表現最佳。將時間滯后、學習率衰減和神經元隨機失活分別為36、0.3和0.8的Attention+LSTM模型應用中國南方某油田H3-32井、H3-34井和H3-35井的產油量預測中，取得了較好的應用效果。