基于改進Adam-DBN的油井工況診斷方法

王 通, 熊濤理

(沈陽工業大學 電氣工程學院, 沈陽 110870)

目前,我國石油開采企業多采用有桿泵抽油井采油[1].為了保障抽油設備的安全穩定運行,提高油井工況診斷的技術水平具有重要意義.

國內外現有油井工況診斷方法大多采用示功圖圖像作為依據.早期的示功圖人工分析法耗費大量人力和時間,無法滿足生產需要.近年來,基于機器學習的方法較好地運用于抽油機工況診斷之中,如隨機森林[2]、支持向量機[3]、極限學習機[4]等,正逐步取代傳統的人工分析.這些方法主要過程為:首先對示功圖數據進行特征提取,再對提取到的特征進行分類.然而,特征的選擇需要借助豐富的經驗知識,不同的特征提取方法可獲得不同的特征,導致診斷結果也有較大差異,影響了油井工況的準確判斷.

深度信念網絡(deep belief network,DBN)作為深度學習神經網絡的經典模型之一,以其優異的特征提取能力,近年來被應用在故障診斷與特征提取方法上,并且取得了較好的成績[5-10].DBN方法相比傳統的故障診斷方法,其通過逐層的貪婪無監督學習與有監督的調優,自動提取數據的特征,減少了人工參與帶來的不確定性.同時,為了有效保證DBN模型能夠達到令人滿意的結果,減少梯度擴散導致精度調節失敗,常采取梯度優化算法來提高網絡訓練速度與分類準確率.李忠剛等[11]采用DBN從行星齒輪箱提取機械故障震動的特征,并通過分析不同梯度優化算法的表現,使網絡更加有利于故障狀態分類.沈長青等[12]引入Nesterov動量法得到訓練速度更快速的模型,提升深度信念網絡的泛化能力,更好地實現了軸承故障診斷.因此,本文利用深度信念網絡在自動提取數據特征上的優勢,將深度信念網絡應用于油井工況識別.在傳統的梯度優化算法基礎上,提出一種改進Adam-DBN油井工況診斷方法.使用對比散度算法進行無監督的預訓練,獲取較優的初始權值;運用動量法預測梯度下降位置,用于更新下降方向和學習率,避免梯度擴散導致調節精度變差.

1 DBN模型

1.1 受限玻爾茲曼機

DBN是由多個受限玻爾茲曼機(restricted bolt-zmannmachine,RBM)堆疊而構成的多層深度學習網絡.通過對大量無標簽數據貪婪無監督學習,再對少量有標簽數據進行有監督的調優,獲得深層特征提取模型,實現對原始數據的降維.RBM是一種由可視層v和隱含層h組成的概率無向結構模型,如圖1所示.

圖1 RBM結構

輸入向量可以通過可視層v輸入到RBM網絡,根據RBM結構,對于任意狀態(v,h),其能量函數為

(1)

式中:θ={W,a,b},W為權重,a為可視層的偏置,b為隱含層的偏置;ω為可視層與隱含層的連接權重;V為可視層神經元個數;H為隱含層神經元個數.

可視層神經元v和隱含層神經元h的聯合密度分布定義為

(2)

(3)

隱含層節點與可視層節點的激活概率為

(4)

(5)

RBM訓練的目的就是求解參數θ={W,a,b},對參數求偏導數可得

ΔWij=〈vihj〉data-〈vihj〉model

(6)

Δai=〈vi〉data-〈vi〉model

(7)

Δbj=〈hj〉data-〈hj〉model

(8)

由于〈x〉model模型的期望在計算時比較困難,因此進行k步Gibbs采樣,通常情況下進行1步即可達到可視層和隱含層的平穩分布,更新公式為

Wij=Wij+η(〈vihj〉0-〈vihj〉k)

(9)

ai=ai+η(〈vi〉0-〈vi〉k)

(10)

bj=bj+η(〈hj〉0-〈hj〉k)

(11)

式中,η為學習率.

1.2 DBN結構模型

DBN采用順序堆疊RBM構成,結構模型如圖2所示.網絡包含兩個階段:無監督預訓練和有監督調優.

圖2 DBN結構

前向堆疊RBM學習屬于無監督學習,通過將無監督訓練后的模型參數傳遞給有監督訓練作為參數的初始化.反向微調階段是從DBN網絡最上層進行,在多層RBM網絡之后增加一個反向傳播(BP)層作為DBN網絡的輸出層,基于訓練樣本數據的類別,對使用Softmax分類器判定的類別進行統計,結合BP算法對DBN網絡反向訓練,采用梯度更新算法更新參數,微調各個初始連接權重.微調階段可以進一步優化DBN網絡中各個連接參數,使誤差損失值降低,從而提取出更為準確的數據特征.

1.3 Dropout優化DBN

當樣本數據較少時,為有效防止模型出現過擬合問題,引入Dropout正則化對學習算法進行約束.其思想是通過阻止特征檢測器的共同作用來提高神經網絡的性能.實現方式為在前向傳播的過程中,以某一概率選取部分神經元不再激活,即在訓練過程中部分神經元保留權重且不更新,同時失去連接,但下次樣本輸入時可能重新激活.DBN模型引入了Dropout技術后,減輕了不同特征之間的協同作用,從而有效減少了過擬合現象.

2 改進的Adam-DBN算法

參數更新算法的優劣影響網絡的訓練精度.目前應用在DBN中的參數梯度更新算法,最常用的方法為隨機梯度下降法(stochastic gradient descent,SGD).使用SGD更新梯度公式,即

θt=θt-1-ηθL(θt-1)

(12)

式中:t為迭代次數序號;L(θt-1)為損失函數;θL(θt-1)為L(θt-1)關于θ的梯度.算法中一個關鍵的參數為學習率η,學習率可通過多次實驗和訓練誤差最小來選取,然而實際選取初始學習率卻相當復雜,若η太大,訓練誤差將會反復波動,損失函數值可能會明顯增大.若η太小,則會導致訓練進程十分緩慢,損失函數值持續保持在一個較高的值,無法達到訓練誤差精度的要求.

2.1 Adam優化算法

針對SGD算法的缺點,提出了Adam算法,在迭代自變量之前,加入一階變量mt用于計算過去梯度的指數加權平均值,迭代過程為

mt=β1mt-1+(1-β1)gt

(13)

式中:0≤β1<1為超參數;gt=θL(θt).一階變量相當于E(gt),即當前梯度gt的期望.二階變量vt計算過去梯度平方的指數加權平均值,迭代過程為

vt=β2vt-1+(1-β2)gtgt

(14)

(15)

(16)

式中,ε為穩定性常數,目的是防止出現分母為零的情況,并且常取β1=0.9、β2=0.99.

2.2 改進算法

修改后的一階、二階變量更新公式為

mt=γmt-1+gt

(17)

vt=βvt-1+(1-β)mtmt

(18)

參數更新公式為

(19)

3 實驗與分析

1) 選擇現場示功圖數據集,將數據集劃分為訓練樣本和測試樣本.

2) 初始化參數,利用對比散度算法和訓練數據對DBN進行預訓練,得到最優初始化參數.

3) 將最優初始化參數和樣本數據傳遞到誤差傳播網絡中,進行參數微調.

4) 按式(17)、(18)計算反向微調過程參數梯度對應的一階、二階變量.

5) 按式(19)權值參數精調公式,計算并更新對應參數.

6) 判斷是否滿足最大循環次數,若是,訓練結束,模型訓練完成;否則,返回步驟3).

3.1 數據選取

實驗數據選取某采油平臺油井上近兩年示功圖數據,去除異常的示功圖后共584個.5種工況數目分別是正常300、供液不足130、氣體影響84、固定閥漏35、油泵下碰35,依次標記為工況Ⅰ～工況Ⅴ,5種工況示功圖如圖3所示.由數據可知,油井正常工況占比較大,非正常工況少量出現,這種情況符合油井生產狀態.本文實驗內容主要是對改進Adam-DBN有效性進行驗證,因此所有對比方法按照油田生產實際狀態進行建模測試.其中隨機抽取各工況訓練樣本數分別為270、110、70、30、30個,余下各工況樣本數30、20、14、5、5個作為測試樣本.

圖3 5種工況示功圖

為更好地實現數據的表示與分析,減少網絡輸入層的維度,首先對示功圖數據進行預處理,將示功圖圖像劃分成26×52網格的二值圖像,對經過曲線的網格賦值為1,未經過的賦值為0,DBN網絡的輸入層維數為1 352,示功圖預處理如圖4所示.

圖4 示功圖預處理

3.2 工況診斷實驗

網絡結構的隱含層設計為2層,神經元個數分別為90、30,輸入層維數為1 352,輸出層維數與輸出模式類別數相同,故網絡節點數為1 352-90-30-5;無監督訓練60次,有監督訓練50次,無監督動量因子為0.6,預訓練起始學習率為0.01,隱含層使用sigmoid激活函數.由于工況樣本數量較少,選取Dropout方法以P=0.1的概率,在訓練過程隨機選取部分神經元使之處于未激活狀態,減少過擬合現象的出現.

驗證改進的Adam-DBN算法對其他梯度優化方法在DBN中的應用對比.將改進的Adam-DBN算法與隨機梯度下降法(SGD-DBN)、動量法(momentum-DBN)、自適應學習率(Adagrad-DBN)、自適應矩估計(Adam-DBN)作用于微調階段梯度下降過程進行比較,5種算法調優參數設置如表1所示.訓練結果如圖5所示.

表1 DBN梯度優化算法參數

圖5 基于梯度下降相關算法的損失函數值對比

對比圖5中目標函數的收斂情況可知,改進Adam-DBN算法的損失函數值在第1次迭代之后,相較于另外4種方法就呈現最低的損失值,10次迭代時已經表現出良好的穩定性,損失函數值平穩后更加接近0.在測試數據集上表現出良好的穩定性,迭代開始就可以快速下降,收斂狀態時損失函數值的平穩值也更低,目標函數值保持平穩下降且沒有出現大幅振蕩情況,明顯優于對比算法.

為了進一步驗證改進Adam-DBN算法對油井工況識別的有效性,使用上述相同的樣本集,對常用于分類問題的支持向量機(SVM)、基于灰度矩陣極限學習機(GM-ELM)算法,以及基于上述4種優化方法的DBN進行油井工況診斷準確效果對比.不同方法的油井示功圖識別實驗仿真結果對比如表2所示.

表2 油井示功圖識別實驗結果對比

由表2可以看出,改進的Adam-DBN算法準確率達到94.59%,優于結果最好的Adam-DBN算法81.08%的準確率.運用于油井工況診斷的SVM與GM-ELM方法的準確率較高.對比算法在部分工況下的識別錯誤率較高,不能很好地識別出與其他工況的差異,導致較多工況發生誤判.改進的Adam-DBN算法能夠發掘更加細致的示功圖差異,提高了油井工況診斷的準確率.

4 結 論

本文提出了一種基于改進Adam-DBN的油井工況診斷方法,針對傳統油井工況診斷方法由于特征選擇困難和不確定性導致診斷效果不佳的問題,將深度信念網絡引入油井工況診斷領域.使用深層網絡來進行特征提取,同時對網絡參數訓練過程中有監督訓練階段梯度下降進行優化.在反向調優過程中,運用動量法預測梯度下降位置用于更新下降方向,利用學習率自適應選擇下降步長,有效避免梯度擴散導致調節精度變差的問題.仿真結果表明,該方法可以取得更低、更加穩定的損失函數值,能夠更準確判斷出相似工況的類型,通過與其他診斷算法進行對比可知,改進的Adam-DBN擁有更高的分類精度,為油田的安全生產運行多提供一份保障.