基于靈敏度分析的海洋油氣資源BP神經網絡預測模型的優化

趙 健,劉 展

(中國石油大學(華東)地球科學與技術學院,山東 青島 266580)

?

基于靈敏度分析的海洋油氣資源BP神經網絡預測模型的優化

趙 健,劉 展

(中國石油大學(華東)地球科學與技術學院,山東 青島 266580)

作者針對BP神經網絡結構設計中存在的問題,提出利用靈敏度分析方法對BP神經網絡預測模型進行優化。通過BP算法與參數靈敏度分析的結合,尋找網絡輸入屬性與輸出屬性之間的影響因子;在保證精度的前提下優選網絡輸入屬性,簡化網絡結構,以增強網絡的泛化能力,減少人為主觀因素對網絡設計的影響。最后以海洋油氣資源預測為例,結合實測資料建立BP神經網絡預測模型并進行了優化及預測精度評價,表明優化后的模型既能有效提高油氣資源預測結果的穩定性,又不損失預測精度。

BP神經網絡;網絡結構設計;靈敏度分析;模型優化

doi:10.11759//hykx20141113001

神經網絡模型由于其在非線性系統建模與優化求解方面的優勢,被廣泛應用于預測控制中。BP神經網絡是應用最為廣泛和成功的神經網絡之一,以其獨有的學習記憶和非線性逼近能力在油氣資源勘探資料處理中被廣泛應用。BP神經網絡可自動模擬各種影響因素之間的自然關系,進行全局優化搜索,減少人為干預,提高油氣預測的準確率[1]。

對于BP神經網絡預測,構建合適的網絡結構尤其是選取適當的輸入變量至關重要,直接決定著預測的精度。在實際應用過程中,BP網絡結構的設計帶有較大的主觀性,特別是隱含層節點數一般根據經驗確定,導致同樣的問題不同操作者會得到不同的結果[2]。為了解決上述問題,很多研究人員從BP網絡結構的優化方面進行了改進,如對學習算法附加動量項、變學習率、分級學習[3],利用智能算法調整權值等[4];針對網絡隱含層節點數確定問題,通過連接權大小刪除與合并隱含層節點[5]、灰色關聯分析與遺傳算法同時優化網絡結構與權值[6];利用統計分析如相關性、自相關和部分自相關分析等方法選取適當的輸入變量[7-8]。這些研究在一定程度上提高了BP網絡的性能,減少了網絡結構設計中的人為主觀因素。

作者在對BP算法進行深入分析的基礎上,利用參數靈敏度分析模型,對網絡輸入輸出間的變化關系進行分析,尋找網絡輸入屬性與輸出屬性間的影響因子,評價網絡結構性能并進行模型優化。最后應用該優化方法處理了海洋油氣資源勘探實測資料,表明優化后的模型既能有效提高油氣資源預測結果的穩定性,又能保持較高的預測精度。

1 BP神經網絡原理

BP神經網絡(Back-Propagation neutral network, BP)是指基于誤差反向傳播算法(BP算法)的多層前向神經網絡。BP網絡由輸入層、隱含層和輸出層3層構成,各層之間由權系數連接,每一層的輸出為下一層的輸入。理論上已證明:具有閾值和至少一個S型隱含層加上一個線性輸出層的BP網絡,能以任意精度逼近任意復雜的非線性函數。

BP算法基本思想是根據網絡實際輸出與期望輸出的誤差,從輸出層開始,反向調整網絡的權值,最終使輸出的均方誤差最小。隱含層節點的激活函數通常選擇S型函數,其表達式如下:

其中f為對數傳輸函數,z為隱含層與輸出層的神經元。

BP算法的誤差反向傳播實際是一種監督學習方法,它利用均方誤差和梯度下降法來實現網絡連接權值的修正,以保證誤差平方和最小。為消除輸入樣本順序對訓練結果的影響,可采取批處理方式修改權值。首先對網絡連接權值設置小的初值,當網絡經過全部學習模式的訓練以后,將每個學習模式產生的誤差梯度平均在一起,然后將累計平方誤差的平均值與目標誤差比較,再按照學習規則修正網絡中各個權值和閾值,直至算法收斂。

理論分析和實驗證明,BP算法的迭代學習誤差曲線上存在局部極小值,并且誤差曲線表面上絕大部分區域是下降斜率非常小的平坦區域,使得BP算法的收斂速度十分緩慢,同時還不能保證全局極小值的獲得[9-11]。因此將BP網絡應用于實際問題時,需要進行各種改進來適應問題的求解[3-8]。

2 BP神經網絡的優化

現實系統中,系統輸出常受多個參數的共同影響,在系統模型化的過程中,只需要對影響程度大的主要參數的數值進行準確估計,即可用以建立合理可靠的系統模型。參數靈敏度分析的目的正是計算各系統參數對于系統輸出的影響因子,從而對系統參數進行優選[12]。神經網絡能夠模擬復雜的非線性系統,關鍵在于其網絡拓撲結構與學習算法的合理搭配。作者借用靈敏度分析的計算方法求出BP網絡的靈敏度,根據靈敏度的大小找出對輸出影響較大的屬性,進而對網絡輸入層節點進行篩選,達到優化BP網絡結構的目的。

靈敏度指標一般取為一階靈敏度系數,即系統輸出對系統參數的一階導數。在復雜系統中,由于系統方程的復雜性,靈敏度指標常常無法直接計算得到。常用的簡化計算方法是進行單因素分析,即對某一系統參數進行微小攝動,同時固定其他參數取值,進行系統計算,得到相應系統輸出,然后采用差分計算得到靈敏度大小[13]。

2.1 BP網絡靈敏度分析

對于典型的3層BP神經網絡,網絡輸出o與網絡輸入x之間的映射關系為:

其中x為網絡的輸入向量,iz為第i層神經元的輸入向量,iw為第i–1層與第i層神經元間的連接權值矩陣,iθ為第i層神經元的閾值向量,if為第i層神經元的S型激活函數,1y為隱含層神經元輸出向量,o為網絡的輸出向量。將隱含層視為第一層,輸出層視為第二層。

在實際應用中,受S型激活函數數值計算范圍限制,BP網絡計算時需要對輸出輸入值進行歸一化處理,將數值限定在[0,1]區間內。在此限定x與o為歸一化處理后的向量。常用的歸一化計算公式為:

其中x*、 o*為網絡實際輸入、輸出; xmin、 xmax、omin、 omax分別表示網絡輸入和輸出向量的極小值和極大值。網絡輸出o相對于輸入x的靈敏度矩陣可由下式計算得到:

隱含層與輸出層的S型激活函數均取對數傳輸函數:

其導數為:

式(6)即為利用含一個隱含層的BP神經網絡計算靈敏度矩陣的表達式。利用學習模式數據對BP網絡進行訓練后,參數1w、1θ、2w可直接得到;再將式(8)代入式(6)即可方便地計算出靈敏度矩陣。提取矩陣中輸出變量相對于輸入變量的一階導數,就得到了各個輸入變量的靈敏度指標。靈敏度指標反映了輸入變量對輸出變量的影響程度,據此即可對BP網絡模型的性能進行評價。

2.2 BP網絡預測精度的評價

目前,對BP神經網絡預測精度的評價還沒有被廣泛認可的統一標準,通常需要利用多種指標對網絡預測能力進行評價,并分析不同指標評價結果的一致性。作者采用均方誤差RMSE、相關系數r兩種評價指標分析優化前后BP網絡的預測精度[8,13]。

(1)均方誤差RMSE

(2)相關系數r

其中,n為預測樣本數; vi、oi分別表示BP網絡預測樣本輸出的實測值及預測值(i=1,2,…,n);、分別表示實測值及預測值的平均值。RMSE、r分別從誤差大小、相關程度兩方面對BP網絡的預測精度進行分析,可以較好地評價網絡的泛化能力。

3 應用實例

基于上述BP神經網絡的分析,作者結合海洋油氣化探、地質、地球物理等勘探資料建立海洋油氣資源BP神經網絡預測模型,利用靈敏度分析方法對模型進行優化,并對優化前后BP網絡預測精度進行評價。

3.1 BP神經網絡預測模型結構設計

在石油勘探中,油氣化探、地質、物探等資料均可進行油氣資源評價,但這些信息與油氣藏之間并非都存在明確的一一對應關系,而且不同研究區域其對應關系也不盡相同。將油氣化探與地質、地震、非地震物探、遙感等勘探技術結合,不僅能克服單一方法存在的局限性和不確定性,從直接的油氣物質成分和間接的油氣賦存條件等多個方面提取綜合信息,還可以縮短油氣勘探周期,降低勘探成本。但在利用BP神經網絡進行油氣資源預測時,采用哪些指標進行預測具有較大的主觀性。較多的輸入信息個數會影響網絡性能,而且這些信息之間可能會包含許多彼此相關的因素,從而造成信息資料的重復和浪費[1]。

根據渤海灣某研究區勘探資料,通過對已知鉆井的分析研究,共選取7種指標組成BP網絡輸入屬性(表1)。首先進行了油氣地質綜合分析,主要考慮油氣生成、運移、成藏等因素及先后順序關系,得到油氣地質綜合評價(F5)指標。同時結合同步熒光330nm(F1)、酸解烴丙烷(F2)、酸解烴乙烯(F3)、熱釋烴乙烷(F4)等油氣化探指標,以及重力垂向二階導數(F6)、磁力垂向一階導數(F7)等組成BP網絡輸入,以實際油氣藏類型為網絡輸出目標值,輸出層節點數為6,具體含義如表2所示[1]。

表1 BP網絡輸入屬性Tab.1 Input significance of BP neural network

BP網絡隱含層設計為1層,節點數為10個。隨機選取研究區20組已知異常模式中的10組作為學習模式(表3)來訓練網絡,剩余10組用于測試BP網絡預測能力。

表2 BP網絡模型期望輸出含義Tab.2 Output signification of BP neural network

表3 BP網絡學習模式Tab.3 Study patterns of BP neural network

3.2 BP網絡靈敏度分析

對于上述設計好的BP網絡及學習模式,設最大學習次數30000次,系統最大誤差0.0001,網絡學習率設為0.15,并在權值調整過程中附加動量項。網絡訓練21443次后收斂,訓練過程結束,10組學習模式實際輸出與期望輸出如表4所示。

表4 BP網絡學習模式實際輸出與期望輸出Tab.4 Actual output and expected output of BP neural network study patterns

由訓練過程得到的參數1w、1θ、2w 利用式(6)即可計算出BP網絡的靈敏度矩陣,如表5所示。提取矩陣中輸出變量相對于輸入變量的一階導數,考察各個輸入變量對輸出變量的影響程度,分析結果見表6。

表5 BP網絡靈敏度矩陣Tab.5 Sensitivity matrix of BP neural network

表6 影響因素結果分析Tab.6 Results of the analysis of influence factors

(1)F1(同步熒光330 nm)、F2(酸解烴丙烷)、F3(酸解烴乙烯)屬性與油氣預測的關系為負相關,其中F1影響程度最大,F3較大,F2較小。

(2)F4(熱釋烴乙烷)、F5(油氣地質綜合評價)屬性與油氣預測的關系為正相關,其中F5影響程度大, F4較小。

(3)F6(重力垂向二階導數)、F7(磁力垂向一階導數)屬性與油氣預測的關系為負相關,其中F6影響程度較大,F7最小。

根據靈敏度分析結果,為優化網絡結構,去除影響程度較小的F4、F7屬性,僅選擇F1、F2、F3、F5、F6等5種屬性作為優化后的BP網絡輸入屬性。保留10組學習模式中的這5種屬性作為學習模式,則優化后網絡輸入層節點數變為5。仍設隱含層為1 層,節點數為10,最大學習次數30 000次,系統最大誤差0.0001,學習率設為0.15,并在權值調整過程中附加動量項。優化后BP網絡訓練25 468次后收斂,訓練過程結束。比較表7與表4可發現,雖然輸入屬性減少,優化后的BP網絡學習過程迭代次數稍有增加,但網絡輸出結果與優化前一致,由圖1可以看出優化后網絡期望輸出與實際輸出的偏差分布更為均勻,學習過程更為穩定。

表7 優化后BP網絡學習模式實際輸出與期望輸出Tab.7 Actual output and expected output of BP neural network study patterns after optimization

圖1 優化前后BP網絡學習模式偏差Fig.1 Deviations of BP neural network learning patterns before and after optimization

3.3 優化前后BP網絡預測精度評價

利用研究區剩余10組異常模式,分別利用優化前后的BP網絡模型進行預測,并由預測值與實測值計算各自的均方誤差RMSE與相關系數r,結果如表8所示。

表8 優化前后BP網絡預測精度Tab.8 Prediction accuracy of BP neural network before and after optimization

RMSE越小,表明網絡預測精度越高;而r代表了預測值與實測值之間的一致性,其絕對值越靠近1,表明預測結果越接近實際觀測?？梢钥闯鰞灮蟮腂P網絡在保證穩定性的同時,預測精度并無降低,網絡仍具有較強的泛化能力。

BP網絡預測精度受網絡結構(輸入層、輸出層節點數、隱含層數及節點數)、預測模式集大小、學習率等因素影響,不同網絡結構、不同模式數、不同學習率會產生不同的評價結果,應在對不同網絡結構模型預測精度分析的基礎上,綜合多種因素來優選最佳網絡結構。

4 結論

BP神經網絡作為一種具有高度非線性映射能力的計算模型,可自動模擬各種影響因素間的自然關系。作者在分析BP算法的基礎上,利用參數靈敏度分析方法研究BP網絡輸入屬性與輸出屬性之間的影響因子,對BP網絡結構進行優化。應用該方法對海洋油氣資源勘探實測資料的處理結果表明,優化后的BP網絡模型既能有效提高預測結果的穩定性,又能保證較高的預測精度。作者對網絡結構的優化是不斷試驗獲得的,因此針對海洋油氣資源預測,構建合適的網絡結構至關重要,BP神經網絡結構的設計還需要進一步的理論研究。

[1] 趙健,劉展,張勇.激光單分子BTEX異常的人工神經網絡評價技術[J].海洋科學,2008,32(3):6-12.

Zhao Jian,Liu Zhan,Zhang Yong.Artificial neural network evaluation technology for comprehensive evaluation of BTEX anomalies using a single molecule detection by laser[J].Marine Sciences,2008,32(3):6-12.

[2] 陰江寧,肖克炎,李楠,等.BP神經網絡在化探數據分類中的應用[J].地質通報,2010,29(10):1564-1571.

Yin Jiangning,Xiao Keyan,Li Nan,et al.Application of BP neural network in the classification of geochemical survey data[J].Geological Bulletin of China, 2010,29(10):1564-1571.

[3] Hagen M T,Demuth H B.Neural network design[M].Beijing:China Machine Press,2001.

[4] 張材,譚建平.基于遺傳算法反向傳播模型的板形模式識別[J].中南大學學報(自然科學版),2006,37(2): 294-299.

Zhang Cai,Tan Jianping.Strip flatness pattern recognition based on genetic algorithms-back propagation model[J].Journal of Central South University(Science and Technology),2006,37(2):294-299.

[5] 李曉峰,徐玖平.BP人工神經網絡自適應學習算法的建立及其應用[J].系統工程理論與實踐,2004,5:1-8.

Li Xiaofeng,Xu Jiuping.The establishment of self-adapting algorithm of BP neural network and its application[J].SystemsEngineering-theory&Practice,2004,5:1-8.

[6] 唐萬梅.BP神經網絡網絡結構優化問題的研究[J].系統工程理論與實踐,2005,10:95-100.

Tang Wanmei.The study of the optimal structure of BP neuralnetwork[J].Systems Engineering–theory & Practice,2005,10:95-100.

[7] 王國成,柳林濤,徐愛功,等.徑向基函數神經網絡在GPS衛星鐘差預報中的應用[J].測繪學報,2014, 43(8):803-807.

Wang Guocheng,Liu Lintao,Xu Aigong,et al.The application of radial basis function neural network in the GPS satellite clock bias prediction[J].Acta Geodaetica etCartographica Sinica,2014,43(8): 803-807.

[8] Li G,Shi J.On comparing three artificial neural networks for wind speed forecasting[J].Applied Energy,2010,87: 2313-2320.

[9] 沈云中,陶本藻.實用測量數據處理方法(第二版)[M].北京:測繪出版社,2012:165-178.

Shen Yunzhong,Tao Benzao.Practical methods for surveying data processing[M].Beijing:Surveying and Mapping Press,2012:165-178.

[10]Imani M,You R J,Kuo C Y.Caspian Sea level prediction using satellite altimetry by artificial neural networks[J].International Journal of Environmental Science and Technology,2014,11:1035-1042.

[11]Yu S W,Zhu K J,Diao F Q.A dynamic all parameters adaptive BP neural networks model and its application on oil reservoir prediction[J].Applied Mathematics and Computation,2008,195:66-75.

[12]俞集輝,韋俊濤,彭光金,等.基于人工神經網絡的參數靈敏度分析模型[J].計算機應用研究,2009, 26(6):2279-2281.

Yu Jihui,Wei Juntao,Peng Guangjin,et al.Parameter sensitivity analysis based on artificial neural network[J].Application Research of Computers,2009,26(6):2279-2281.

[13]Mohammad A G,Rahman K,Ali A,et al.Sea water levelforecasting using genetic programming and comparing the performance with Artificialneural networks[J].Computers& Geosciences,2010,36(5): 620–627.

(本文編輯:譚雪靜)

Structure optimization of ocean oil and gas resources via BP neural network prediction model based on sensitivity analysis

ZHAO Jian,LIU Zhan

(School of Geosciences,China University of Petroleum,Qingdao 266580,China)

Nov.13,2014

BP neural network;network structure design;sensitivity analysis;model optimization

To resolve problems existing in the backpropagation(BP)neural network structure design,we used the sensitivity analysis method to optimize the BP neural network prediction model.First,we investigated the impact factors of the input and output attributes of the network by combining the BP algorithm and parameter sensitivity analysis.Then,based on an accurate premise,we optimized the input attributes of the BP network and simplified the model network structure to improve the network’s generalization ability and to greatly reduce the subjective choice of the structural parameters.Lastly,taking ocean oil and gas resources prediction as an example,we established the BP neural network prediction model using the measured data,and conducted a sensitivity analysis and prediction accuracy evaluation.The results indicate that the optimized model can effectively improve the stability of the prediction results with no loss in prediction accuracy.

TP183,TE51

A

1000-3096(2016)05-0103-06

2014-11-13;

2015-04-03

山東省自然科學基金項目(ZR2014DQ008);中國石油科技創新基金項目(2015D-5006-0302);中央高校基本科研業務費專項基金(16CX02031A)

[Foundation:Shandong Provincial Natural Science Foundation,China,No.ZR2014DQ008;PetroChina Innovation Foundation,No.2015D-5006-0302;the Foundamental Research Funds for the Central Universities,No.16CX02031A]

趙健(1981-),男,山東齊河人,講師,博士,主要從事海洋空間信息技術與探測研究,電話:13793297350,E-mail:zhjianupc@163.com