天然氣水合物數據挖掘服務組件的設計與實現

李連偉　許明明　劉　展　林　峰　孫記紅　安聰榮

1(中國石油大學(華東)地球科學與技術學院　山東 青島 266580)2(北京中科九章軟件有限公司　北京 100190)3(青島海洋地質研究所　山東 青島 266071)

?

天然氣水合物數據挖掘服務組件的設計與實現

李連偉1許明明2劉展1林峰3孫記紅3安聰榮1

1(中國石油大學(華東)地球科學與技術學院山東 青島 266580)2(北京中科九章軟件有限公司北京 100190)3(青島海洋地質研究所山東 青島 266071)

天然氣水合物是21世紀一種具有巨大潛在價值的未來能源，在能源危機的今天已經引起各國政府和科研部門的重視。海域天然氣水合物勘探調查手段豐富多樣，不同的勘查方式涉及的相關地質參數的不確定性比較大，采用的天然氣水合物資源分析方法和預測評價方法也都相對較復雜。而數據挖掘技術在數據分析、預測評價等方面優勢明顯，且在石油勘探及礦山等很多地學領域進行了運用，結果可信度比較高，大大減少了勘測成本。通過對天然氣水合物勘查業務和數據進行分析，研究適用于水合物數據挖掘方法，設計并實現了基于IBMSPSSModeler的天然氣水合物數據挖掘服務組件，為天然氣水合物勘查領域數據挖掘智能決策產品的研究奠定了良好的基礎。同時也能夠為海洋地質數據庫建設和數據應用打下技術積累，從而為天然氣水合物的勘探開發和綜合評價提供幫助。

天然氣水合物數據挖掘服務組件

0　引　言

21世紀我國經濟將快速發展，隨經濟的快速發展，必然會帶來能源特別是化石能源的大量消耗。我國正面臨嚴重的能源短缺的問題，據統計，我國原油對外依存度由2005年的41%提高到2013年的59.16%，2014年預期將首度超過60%[1]。天然氣水合物作為一種新型高效潔凈型能源，被公認為是21世紀理想的替代能源，因此有必要加快尋找天然氣水合物能源的進程。

我國針對水合物勘查開展的118專項和127工程等大型的調查項目，在天然氣水合物實驗室模擬、物化性質、資源評價等方面開展了多種研究項目。隨著天然氣水合物勘探開發的不斷深入，物探、化探、多波束、鉆探、取樣及實驗室分析等數據量增長迅速，但相關數據未能得到的充分利用，存在數據量豐富、信息獲取貧乏的現象。如何充分有效地利用天然氣水合物勘探開發海量數據，對其賦存情況進行識別與預測，對天然氣水合物特性規律進行分析，發現數據中隱含的規律信息，需要一個強有力的數據分析工具，從海量數據中識別有價值的知識，為進一步的勘探開發和綜合評價提供決策支持。

數據挖掘技術在社會各領域已開展了大量應用研究，并取得良好的社會效益和經濟效益，由通用數據挖掘應用向特定領域的數據挖掘應用是數據挖掘技術發展的趨勢。在天然氣水合物勘探開發領域，很多學者重點針對天然氣水合物某一類數據或某一類問題，利用數據挖掘技術進行了研究。但是目前為止還沒有針對水合物勘探研究領域的數據挖掘應用整體研究，也沒有形成天然氣水合物數據挖掘應用產品。

本文基于面向服務體系架構SOA思想，基于IBMSPSSModeler進行天然氣水合物數據挖掘服務組件開發，提供高效、可靠、跨平臺的天然氣水合物數據挖掘服務，加快水合物數據的研究與應用。

1　天然氣水合物數據挖掘方法研究

研制天然氣水合物數據挖掘組件，首先應研究天然氣水合物勘查業務，分析勘探開發過程中產生的數據；在此基礎上研究適合天然氣水合物數據挖掘方法。

1.1水合物勘查業務與數據分析

(1) 水合物勘查業務分析

通過研究分析《海洋天然氣水合物資源勘查規范》和《海洋天然氣水合物數據庫數據結構》，在進行水合物勘查過程中，主要進行地形地貌勘查、地球物理勘查、地質取樣、地球化學勘查、實驗室模擬實驗分析和其他相關勘查[2]，如圖1所示。

圖1　水合物勘查業務分析

(2) 天然氣水合物數據分析

根據《海洋天然氣水合物數據庫數據結構》規范，天然氣水合物數據主要包括空間位置數據、調查數據、取樣數據、鉆探數據、走行觀測數據、定點觀測數據、樣品分析數據、資料解釋數據、實驗數據、成果報告及圖件等，又分為關系數據、空間數據、非結構數據[3]，如圖2所示。

圖2　水合物勘探數據分析

關系數據利用ORACLE數據庫采用了傳統的關系數據模型進行統一存儲和管理，非結構化數據以文件的方式進行存儲和管理，空間數據主要是指在水合物勘查過程中具有坐標的數據和分析后形成的具有坐標的異常圖，其中取樣位置數據包括海底表層取樣位置、孔隙水取樣位置、頂空氣取樣位置等；海洋環境圖主要是指海底溫度、壓力分布圖；地質構造圖又包括海底斷層分布圖、海底構造帶分布圖及海底構造單元分布圖等；海底地質圖主要包括地質剖面圖、地層柱狀圖等。

1.2數據挖掘方法研究

(1) 數據預處理

數據挖掘所需數據必須是干凈、準確、簡潔的數據。原始數據是從各實際應用空間數據庫、關系數據庫等多個數據庫中獲取的，不同的數據庫往往缺乏統一的數據標準和定義，數據結構也有較大的差異，量綱與單位不同，使得數據存在不一致性；對同一數據可能在不同的數據庫中都有記錄；數據在采集、存儲、傳輸等過程中也可能會出現某些數據的丟失或數據質量下降的情況。因此，首先需要對原始數據進行預處理[4-8]。

針對數據的不一致性和可能存在的重復，采用標準化、選擇、抽樣、合并四種方法來消除各數據單位與量綱的差異，篩選數據，統一標準；利用包括線性插值方法、克里金插值、反距離插值等插值方法來處理數據缺失現象；采用九點圓滑方法進行數據圓滑來解決數據在獲取或傳輸過程中可能存在的數據質量下降的現象。

(2) 數據分析

數據挖掘中常用的數據分析方法有統計分析方法、趨勢面分析方法、判別式分析方法、回歸分析方法、因子分析方法、聚類分析方法共6種[9-12]。利用統計分析方法可以對預處理后的數據進行探索分析，包括均值、方差、中數、標準差、總數等，可以初步了解數據的分布特征及規律；趨勢面分析方法可以確定區域背景異常，進而確定局部異常，根據趨勢分析結果，繪制背景異常等值線圖和局部異常圖；回歸分析方法是研究某一變量與多變量之間的線性關系，根據自變量對因變量的方差貢獻的顯著程度，“引入”或“剔除”指標，建立回歸方程，并對回歸方程式進行檢驗，確定變量間的關系，分線性回歸和非線性回歸兩種方法；因子分析方法指研究變量之間的相關關系，從研究相關系數矩陣的內部結構出發，找出數目較少的，相互獨立的基本變量，稱為主因子，并計算主因子的解，給出相應因子得分。由此可以排列各水合物判別指標在決定異常中所起的作用和須序；判別分析方法指從眾多指標中選擇對分類最優的指標形成綜合指標，對樣本進行判別分類；聚類分析的基本思想是根據各個評價指標之間某種相似性或者差異性通過采用某種數學方法進行定量研究[13，14]。

(3) 綜合評價

由于地學參數之間往往存在相關關系，評測目標比較多，目標參數間關系比較復雜，許多智能算法如模糊評價法、AHP層次分析法、灰色理論評價法等由于自身特點，無法解決地質數據非線性匹配的問題，而神經網絡和模式識別的發展讓人們有了更多的選擇，在一些專家意見難統一的領域，運用神經網絡和模式識別建立綜合評價系統往往能取得與令人信服的結果[15-17]。因此綜合評價方法選用模式識別和神經網絡兩種方法。

神經網絡通過構建數學模型完成對自然界存在的生物神經網絡的抽象、簡化和模擬實現計算機世界中信息資源的處理，它通過對樣本的學習訓練來改變自身的拓撲結構和連接權值，以此保證其不斷接近期望的輸出結果，通過學習調整，提高自身的性能[18]。模式識別通過計算機的輔助能夠自動模擬和識別客觀世界中的事物、事件、過程或現象[19]，它首先對數學領域的點集劃分采用核參數進行表示，然后對核參數進行評價，不斷輸入樣本來計算評價誤差的協方差在某一規則下實現分類。

2　組件設計與實現

2.1總體設計

本文采用B/S架構，基于SPSSModeler二次開發，以微軟通信框架WCF(WindowsCommunicationFoundation)服務的方式，按照服務組件設計->服務組件研制開發->服務組件測試->天然氣水合物數據挖掘服務平臺研制的全過程進行研究。

2.2功能設計

根據前文對水合物數據挖掘方法的研究及水合物數據特點分析的基礎上，對水合物數據挖掘服務組件進行功能設計。采用SPSSModeler二次開發和自主開發相結合的方式，主要包括數據服務、數據挖掘、結果展示3大部分。數據服務包括文件上傳、數據發布、數據瀏覽功能；數據挖掘包括數據預處理、數據分析、綜合評價功能；結果展示包括Text數據展示、圖形文件展示和Excel數據展示功能。其中數據挖掘是核心，所包含的數據預處理功能又包括抽樣、選擇、合并、圓滑、插值等模塊；數據分析功能又包括統計分析、趨勢面分析、判別分析、因子分析、回歸分析和聚類分析模塊；綜合評價功能又包括模式識別和神經網絡模塊。

2.3服務接口設計

服務接口是指一個組件各種業務可以通過接口定義來實現業務的功能。一個服務接口可以實現一個或者多個業務功能。而且每一個接口都有0個或者多個請求參數，也會有0個或者多個相應參數，根據用戶需求不一樣,這時參數可以是簡單的數據類型也可以是復雜的數據類型。根據組件功能設計，對每個組件的服務接口進行了詳細的設計，對每個接口建立了詳細的接口參數表。以K均值聚類組件為例，其參數如表1所示。

表1　K均值聚類組件接口詳細參數表

2.4關鍵技術

1) 基于SPSS Modeler二次開發

IBM公司的SPSSModeler是比較有影響的通用數據挖掘系統，該工具提供可視化、流程化的集成開發環境，用戶可以在其基礎上開發適于自己領域的特定應用。利用SPSSModeler進行數據挖掘又可以分為兩種方式，即流文件方式和腳本文件方式。SPSSModeler軟件提供了批處理模式(IBMSPSSModelerBatch)實現調用SPSSModeler的挖掘模塊，在此基礎上可以實現基于SPSSModeler的數據挖掘服務平臺快速構建和實現。

(1) 流文件方式

通過在SPSSModeler軟件的主工作區以拖拽的方式將與業務相關的數據操作圖表來創建業務相關數據流，每個操作都用一個圖標或者節點表示，這些節點連接在一起構建成一個業務流并輸出到本地，流保存格式為.str。在平臺調用時，首先要根據實際需求對流中的參數進行修改，然后以批處理的方式執行。具體流程表現為首先在SPSSModeler中創建流—選擇節點—連接節點—保存流，然后在服務平臺上實現創建流腳本—修改流參數—執行。

(2) 腳本編程方式

首先在服務平臺中創建相應腳本，根據挖掘業務編寫相應的腳本內容，內容中包括流和節點的創建、節點連接及相應的參數等信息，然后以批處理的方式調用執行。

本文以因子分析為例詳述采用腳本編程方式開發的過程如下所述。

第一步，編寫腳本文件。首先在腳本文件內實現流和節點的創建，將相應節點進行連接并設置相應參數，參考代碼如下：

createstream′NeuralNetworkStream′

//創建神經網絡流

varexcelimport

setexcelimport=createexcelimportnode

set^excelimport.full_filename= ″C:/MarineDataMiningForTest/Files/xls/r.xls″

set:^excelimport.excel_file_type=Excel2003

varimporttype

setimporttype=createtypenode

connect^excelimportto^importtype

set^importtype.type.′result′=Set

11月13日8版《聚焦核心素養》，其“2007年11月徐匯區開了先河。這是具有悠久歷史文化底蘊和優秀教育傳統的徐匯區，在教育史上書寫的大手筆:堪稱徐匯區教育界的大事，刷新上海區級層面舉辦此節的紀錄”，用“……開了先河……徐匯區，在教育史上的大手筆……大事，開創了上海區級層面舉辦此節的紀錄”為妥。書寫手筆，此話不通；是先河，何來“刷新”“堅定了徐匯教育走內涵發展、科學發展、持續發展的新思維”，用“強化了徐匯……的新思維”為好。

set^importtype.direction.′序號′=Input

set^importtype.direction.′經度′=Input

set^importtype.direction.′緯度′=Input

set^importtype.direction.′甲烷上′=Input

set^importtype.direction.′甲烷下′=Input

……

set^importtype.direction.′result′=Input

set^importtype.direction.′result′=Target

varneu

connect^importtypeto^neu

set^neu.method=MultilayerPerceptron

set^neu.model_name=″result″

execute^neu

savemodelresultasC:MarineDataMiningForTestFilesmodelsNeuraNet.gm

exportmodelresultasC:MarineDataMiningForTestFiles empNeuraNetwork.txt

第二步，腳本調用。該步驟是為了在平臺內執行腳本完成數據挖掘過程所必須的步驟，腳本執行代碼如下：

Processprocess=newProcess();

process.StartInfo.CreateNoWindow=true;

process.StartInfo.UseShellExecute=false;

process.StartInfo.FileName=spssModelerPathNoGUI;

process.StartInfo.Arguments=cmd;

process.Start();

execute^excelexport

//執行節點

以流文件方式進行SPSSModeler開發時，由于是事先在軟件中輸出流，開發難度較低，節點屬性修改方便，但由于節點與節點都已經固定，對流變動較大時(如增加刪除節點)就顯得靈活性不足。而以腳本文件方式進行開發則可以克服這一缺點，可以在腳本中對流進行修改，因此本文采用腳本編程方式來實現。

2) WCF服務發布

WCF是微軟提供的基于SOA的統一編程框架，用于構建面向服務的應用程序。他為數據通信提供了最基本最有彈性的支持，使得SOA架構的軟件開發效率大大提高[14]，WCF服務發布的步驟為定義服務契約接口—定義服務類實現契約接口—配置和托管服務—配置和建立客戶端—調用服務。

(1) 定義服務契約接口

契約接口中定義需要公開的操作契約(即方法)，接口聲明使用ServiceContract關鍵字，方法聲明使用OperationContract關鍵字，將服務暴露給客戶端。通過使用ServiceContract標記將接口公開為服務契約。

數據服務接口代碼如下所示：

[ServiceContract]

publicinterfaceIdataProvider

{

[OperationContract]

stringGetEntityList(stringpEntityName,stringstrHql);

[OperationContract]

byte[]GetEntityByteValue(stringstrHql);

//

……

//

}

(2) 定義服務類實現服務契約接口

服務契約接口中的所有操作都是沒有定義實現的，業務邏輯操作必須在服務類中完成。服務契約接口并不是必要的，但一般推薦有服務契約接口，這樣才能發揮其靈活性和擴展性優點。

(3) 配置和建立宿主

WCF服務的寄宿方式包括自托管、Windows激活服務WAS(WindowsActivationService)托管、IIS托管等方式，用戶可根據應用程序運行的具體網絡類型來選擇相應的寄宿方式。自托管是指將WCF服務寄宿于一個由開發者提供并管理的應用程序中。使用自托管時，配置和使用都相對簡單。本文采用自托管的方式，將WCF托管在宿主網站上。

(4) 配置和建立客戶端

本文采用VS開發環境，使用WCF服務時，直接在客戶端應用程序內添加相應的服務引用即可。

(5) 調用服務

首先以具體的服務名+Client來創建客戶端的服務實例，然后通過服務實例訪問公開的服務操作，來完成服務的調用。

3　實例驗證

本次研究以位于珠江口盆地南部凹陷帶的白云凹陷為驗證區域，結合水合物賦存條件、勘查業務與數據分析，選取進行水合物綜合評價的評價指標，主要包括地質條件、地球物理特征和地球化學特征3個方面的評價指標。溫壓條件是判斷水合物賦存的一個非常重要的指標，但所選驗證區域內絕大部分區域的溫壓條件都滿足水合物賦存需求，所以溫壓條件不作為本次研究中的評價指標。

結合收集的資料，首先進行數據的預處理，消除評價指標數據可能存在的單位與量綱差異、數據缺失、數據傳輸過程中質量下降的現象。主要預處理模塊如圖3所示。

圖3　數據標準化模塊和數據圓滑模塊

在水合物綜合評價過程中，雖然對水合物綜合評價所需的評價指標數據進行了數據預處理，但是評價指標過多會導致評價速度慢的缺陷，需要進行數據分析處理，以少量主要的有代表性的評價指標代替大量的評價指標。主要的數據分析模塊如圖4所示。

圖4　因子分析模塊和聚類分析模塊

經對各評價指標采用數據分析模塊分析后，最終選取地質條件(包括構造條件、沉積條件和氣源條件)、地球物理特征(包括似海底反射層BSR(BottomSimulatingReflector)、重力和磁力)和地球化學特征(頂空氣甲烷異常)3大方面的7個評價指標，以剩余重力異常為基礎圈定研究區域內的評價單元，如圖5所示。

圖5　白云凹陷重力異常評價單元

由于水合物鉆探樣品數據過少，無法滿足BP神經網絡學習訓練對樣本數量的要求，在水合物遠景預測時，可先通過“自學”模式識別方式，結合已有資料經相關專家分析選擇出典型的有代表性的樣本作為BP算法及相關改進算法的學習樣本，在此基礎上進行整個研究區域內水合物賦存區的識別，其模塊如圖6和圖7所示。

圖6　“自學”模式識別模塊

圖7　BP神經網絡模塊

采用“自學”模式識別算法運算需要輸入各評價指標數據定量化數據和權值，在進行權值計算時采用已有研究資料所確定的各評價指標的有利程度和層次分析法AHP(AnalyticHierarchyProcess)聯合進行。根據設計的BP神經網絡模型結構，通過對選定的樣本進行學習訓練，對研究區域所有樣本進行識別和預測，其結果如圖8所示。

圖8　白云凹陷BP算法識別與預測結果圖

從圖8可以看出，所選研究區域水合物有利賦存單元分布于區域中部和東部，較有利單元分布于其東北部和西南部。在選定的28個評價單元中，有利于水合物賦存單元為BY-5、BY-6、BY-10、BY-23、BY-25和BY-28單元，其中在BY-10區域已經成功鉆取出水合物樣品，在一定程度上驗證了本研究評價結果的可行性。

天然氣水合物綜合評價需要地質、地球物理和地球化學大量的評價指標數據，本研究僅基于收集整理的部分資料進行水合物綜合評價方法驗證，其結果需大量資料做進一步完善。

4　結　語

本文在對天然氣水合物勘探業務分析和數據分析的基礎上，研究數據挖掘方法，采用服務組件的開發思想，設計并實現了基于IBMSPSSModeler的天然氣水合物數據挖掘服務組件，并以白云凹陷區域為實例，進行了服務組件的驗證。構建的服務組件能夠對海量水合物數據的處理及綜合分析提供一定的幫助，為專題數據挖掘應用提供技術方案，為天然氣水合物勘查領域數據挖掘智能決策產品的研究奠定了良好的基礎，同時也能夠為海洋地質數據庫建設和數據應用打下技術積累。但是，隨著新的數據挖掘方法的出現，組件在功能上還需要進一步擴展，提供更加完善的數據挖掘功能。

[1] 王宇寧，石寶明，白雪松.2014年中國原油供求分析及展望[J].化學工業,2014，32(8)：1-5.

[2] 劉展，楊辰，魏合龍，等.基于EPICENTRE的海洋鉆探數據庫構建方法研究[J].計算機技術與發展,2012，22(6)：49-52.

[3] 李曼.面向對象天然氣水合物數據挖掘支持研究[D].青島:中國石油大學，2013.

[4] 劉明吉，王秀峰，黃亞樓.數據挖掘中的數據預處理[J].計算機科學,2000，27(4):54-57.

[5] 菅志剛，金旭.數據挖掘中數據預處理的研究與實現[J].計算機應用研究,2004，21(7):117-118,1587.

[6] 方洪鷹.數據挖掘中數據預處理方法研究[D].重慶:西南大學，2009.

[7] 關大偉.數據挖掘中的數據預處理[D].長春:吉林大學，2006.

[8] 劉莉，徐玉生，馬志新.數據挖掘中數據預處理技術綜述[J].甘肅科學學報,2003，15(1)：117-119.

[9] 周濤，陸惠玲.數據挖掘中聚類算法研究進展[J].計算機工程與應用,2012，48(12)：100-111.

[10] 孫劍.海洋環境數據倉庫與數據挖掘應用研究[D].青島:中國海洋大學，2011.

[11] 馬廷淮，穆強，田偉，等.氣象數據挖掘研究[J].武漢理工大學學報,2010，32(16)：110-114.

[12] 李德仁.論空間數據挖掘和知識發現的理論與方法[J].武漢大學學報:信息科學版,2002，27(3)：221-223.

[13]KaufmanL,RousseewPJ.FindingGroupsInData:anIntroductiontoClusterAnalysis[D].NewYork:JohnWiley&Sons,1990.

[14]MullerB,RrinhardtJ.NeuralNetworks:anIntroduction[D].Berlin:Springer-Verlag,1997.

[15] 高學輝，劉艷忠，王巧芝，等.基于在線支持向量回歸算法的短時交通流預測[J].山東科技大學學報:自然科學版,2011，30(1)：78-82.

[16]RumelhartDE,HintonGE,WilliamsRJ.LearingRepresentationsbyBack-PropagatingErrors[J].Nature, 1986,323(9):533-536.

[17] 劉展，許炳如.塔里木盆地航磁局部異常的自學模式識別分類及評價[J].石油地球物理勘探,1999，34(1)：71-78.

[18] 吳昌友.神經網絡的研究與應用[D].哈爾濱:東北農業大學，2007.

[19] 趙喜林，趙喜玲，江祥奎.模式識別方法及其比較分析[J].信陽農業高等專科學校學報,2004,14(3)：37-40.

[20] 張海靜.基于B/S模式的組態監控軟件Web發布系統[D].北京:北京交通大學，2013.

DESIGNANDIMPLEMENTATIONOFDATAMININGSERVICECOMPONENTOFGASHYDRATE

LiLianwei1XuMingming2LiuZhan1LinFeng3SunJihong3AnCongrong1

1(CollegeofGeoscienceandTechnology,ChinaUniversityofPetroleum,Qingdao266580,Shandong,China)2(BeijingJozzonSoftwareCo.,Ltd.,Beijing100190,China)3(QingdaoInstituteofMarineGeology,Qingdao266071,Shandong,China)

Gashydrate,afutureenergywithhugepotentialinthe21stcentury,ithasgotattentionfromgovernmentsandscientificresearchdepartmentsastheenergycrisisbecomesaseriousissue.Currently,therearevariousmethodstosurveyandexploregashydrateinmarinearea,notonlytheindeterminacyofgeologicparametersdiffergreatlywithdifferentexploringmethods,themethodsforanalyzing,predicatingandevaluatinggashydratearealsorelativelycomplicated.However,thedataminingtechniqueshavedistinctadvantagesinthefieldsofdataanalysis,predicationandevaluation,andithasbeenappliedtothepetroleumandmineexplorationandothergeosciencesfieldforalongtimewithhighreliability,reducingtheexplorationcostsgreatly.Therefore,inthispaper,thedataminingmethodforgashydrateisresearchedbyanalyzingthebusinessesanddatumofgashydrateexplorationwhilethedataminingservicecomponentsforgashydratearedesignedandimplementedbasedonIBMSPSSModeler,whichprovidegoodbasementforstudyingintelligent-decisionproductsfordata-mininginthegashydratefields.Besides,thestudyalsoaccumulatetechnologiesforconstructingmarinegeologicdatabaseandapplyingdatum,thusbeingusefulforgashydrateexploration,developmentandcomprehensiveevaluation.

GashydrateDataminingServicecomponent

2015-07-03。中央高校基本科研業務費專項資金項目(13CX06012A，15CX02005A)；國家海洋專項資金項目(GZH201100313)。李連偉，講師，主研領域：地理信息系統應用和系統設計開發。許明明，碩士。劉展，教授。林峰，研究員。孫記紅，工程師。安聰榮，講師。

TP

ADOI:10.3969/j.issn.1000-386x.2016.10.008