油田勘探開發(fā)數(shù)據(jù)集成研究

賈世宇+郭根旺+張曉燕

[摘 要]數(shù)據(jù)集成是勘探開發(fā)數(shù)據(jù)整合的重要環(huán)節(jié)，如何根據(jù)實際情況設(shè)計適用的數(shù)據(jù)集成模式，是數(shù)據(jù)集成工作順利開展的前提。本文介紹了油田勘探開發(fā)數(shù)據(jù)的發(fā)展和數(shù)據(jù)集成的必要性，重點論述了油田勘探開發(fā)數(shù)據(jù)集成的建設(shè)思路，闡述了當(dāng)前流行的集成模式，描述了適用華北油田的勘探開發(fā)數(shù)據(jù)集成模式、集成步驟、集成規(guī)則與需要使用的集成工具。

[關(guān)鍵詞]數(shù)據(jù)集成；油田；集成模式

doi：10.3969/j.issn.1673 - 0194.2017.08.033

[中圖分類號]TP391 [文獻標(biāo)識碼]A [文章編號]1673-0194（2017）08-00-02

0 引 言

隨著油田的數(shù)據(jù)建設(shè)，越來越多的系統(tǒng)應(yīng)運而生，但隨之也帶來了越來越突出的“數(shù)據(jù)孤島”問題。隨著各油田信息化應(yīng)用的不斷深入和“數(shù)字油田”“智能油田”的建設(shè)，數(shù)據(jù)交互的需求日益強烈，急切需要對已有的數(shù)據(jù)進行整合，解決“數(shù)據(jù)孤島”問題，共享數(shù)據(jù)。

因此，通過數(shù)據(jù)集成技術(shù)實現(xiàn)油田勘探開發(fā)數(shù)據(jù)的整合，達到勘探開發(fā)數(shù)據(jù)的相互關(guān)聯(lián)，對油田開發(fā)過程數(shù)據(jù)資產(chǎn)的利用具有重要意義。

1 油田勘探開發(fā)數(shù)據(jù)的發(fā)展

伴隨著信息技術(shù)的日新月異，華北油田勘探開發(fā)數(shù)據(jù)的發(fā)展也經(jīng)歷了從無到有、從紙質(zhì)資料到電子化資料、從數(shù)據(jù)表到數(shù)據(jù)庫、再從數(shù)據(jù)庫到“資源池”的過程。

1.1 數(shù)據(jù)標(biāo)準及模型的發(fā)展

華北油田信息建設(shè)初期，勘探開發(fā)數(shù)據(jù)沒有統(tǒng)一的標(biāo)準及模型，各油田科研、生產(chǎn)單位按照自己的工作與使用習(xí)慣設(shè)計表格或數(shù)據(jù)庫存儲所需數(shù)據(jù)，導(dǎo)致油田數(shù)據(jù)標(biāo)準不一致與不規(guī)范、數(shù)據(jù)模型差異大；中石油1991版勘探開發(fā)數(shù)據(jù)標(biāo)準及模型的發(fā)布，在勘探開發(fā)專業(yè)范圍內(nèi)規(guī)范了數(shù)據(jù)標(biāo)準，初步根據(jù)業(yè)務(wù)對數(shù)據(jù)進行了分類，初步認識到數(shù)據(jù)之間存在一定的邏輯關(guān)系，為油田各單位提供了權(quán)威的、可操作的數(shù)據(jù)標(biāo)準及模型；隨著應(yīng)用的深入，之后又發(fā)布中石油1997版及2002版勘探開發(fā)數(shù)據(jù)標(biāo)準及模型，數(shù)據(jù)模型在業(yè)務(wù)流程分析的基礎(chǔ)上進行設(shè)計，且注重源頭數(shù)據(jù)，實現(xiàn)了勘探開發(fā)一體化，數(shù)據(jù)之間的邏輯關(guān)系更加準確完善，使油田各單位的數(shù)據(jù)標(biāo)準及模型逐漸統(tǒng)一；但隨著石油技術(shù)的迅猛發(fā)展，新數(shù)據(jù)類型的出現(xiàn)、舊數(shù)據(jù)類型的變更，導(dǎo)致各單位不得不在標(biāo)準上進行擴充和修改，數(shù)據(jù)標(biāo)準及模型又呈現(xiàn)出多樣化；隨著中石油A1系統(tǒng)、A2系統(tǒng)的推廣實施，華北油田通過對業(yè)務(wù)流程的分析，參照POSC業(yè)務(wù)流程進行設(shè)計，發(fā)布了EPDM 1.0數(shù)據(jù)模型標(biāo)準，數(shù)據(jù)的完整性得到了加強，更加準確地描述了油氣勘探開發(fā)的實體和相互關(guān)系，更加易于擴展和維護。

目前，華北油田數(shù)據(jù)庫使用的標(biāo)準及模型主要有中石油1997版勘探開發(fā)數(shù)據(jù)標(biāo)準及模型、EPDM標(biāo)準及模型。

1.2 數(shù)據(jù)庫的升級及其歷史數(shù)據(jù)的遷移

華北油田存儲勘探開發(fā)數(shù)據(jù)的一系列數(shù)據(jù)庫從最初建設(shè)的DBF數(shù)據(jù)庫，發(fā)展到目前使用的Oracle數(shù)據(jù)庫。

華北油田勘探開發(fā)歷史數(shù)據(jù)的主要遷移過程是專業(yè)庫數(shù)據(jù)、電子文檔等遷移至A1數(shù)據(jù)庫，各廠開發(fā)數(shù)據(jù)庫數(shù)據(jù)遷移至A2數(shù)據(jù)庫。

1.3 成果數(shù)據(jù)的產(chǎn)生與存儲

科研人員通過對勘探開發(fā)數(shù)據(jù)的使用與分析，會產(chǎn)生個人或集體的研究成果數(shù)據(jù)。這些數(shù)據(jù)往往存儲在個人的硬盤中，無法分享。成果數(shù)據(jù)的分享可有效降低研究中的重復(fù)工作量，科研人員繼承前人成果，可提高研究效率。因此，成果數(shù)據(jù)的集成也是勘探開發(fā)數(shù)據(jù)集成的重要組成部分。

2 數(shù)據(jù)集成的建設(shè)思路

2.1 數(shù)據(jù)集成的范圍

在數(shù)據(jù)集成的過程中，需要根據(jù)需求和數(shù)據(jù)管理現(xiàn)狀，采取最合適的辦法。

華北油田勘探開發(fā)數(shù)據(jù)主要是為了滿足各種應(yīng)用系統(tǒng)的需要，目前針對勘探開發(fā)數(shù)據(jù)的主要應(yīng)用系統(tǒng)有中國石油天然氣集團公司統(tǒng)建的油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（A2）、勘探與生產(chǎn)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1）等以及華北油田自建的相關(guān)應(yīng)用系統(tǒng)，涉及的專業(yè)包括物化探、鉆井、錄井、測井、試油測試、分析化驗以及油氣生產(chǎn)數(shù)據(jù)等，相關(guān)的數(shù)據(jù)標(biāo)準及模型主要有中石油1997版勘探開發(fā)數(shù)據(jù)標(biāo)準及模型、EPDM標(biāo)準及模型以及少量特殊應(yīng)用自建的數(shù)據(jù)標(biāo)準，結(jié)構(gòu)化數(shù)據(jù)存儲主要是以O(shè)racle數(shù)據(jù)庫為主，非結(jié)構(gòu)化數(shù)據(jù)主要以文件形式保存，其格式多種多樣，如Word、Excel、txt等。

2.2 數(shù)據(jù)集成的模式及選取

2.2.1 數(shù)據(jù)集成的模式

在企業(yè)數(shù)據(jù)集成領(lǐng)域，已經(jīng)有了很多成熟的框架可以利用。目前，華北油田通常采用聯(lián)邦式、基于中間件模型和數(shù)據(jù)倉庫等方法來構(gòu)造集成的系統(tǒng)，這些技術(shù)在不同的側(cè)重點和應(yīng)用上解決數(shù)據(jù)共享和為企業(yè)提供決策支持。

2.2.2 數(shù)據(jù)集成模式的選取

數(shù)據(jù)集成模式的選取，需要根據(jù)數(shù)據(jù)應(yīng)用的需求和現(xiàn)有的管理情況而確定。目前，華北油田勘探開發(fā)數(shù)據(jù)絕大部分數(shù)據(jù)是集中存放的，數(shù)據(jù)標(biāo)準主要是中石油1997版勘探開發(fā)數(shù)據(jù)標(biāo)準、EPDM標(biāo)準，同時考慮本油田的特色應(yīng)用需求，暫不采取全部數(shù)據(jù)整合到一套標(biāo)準中，又考慮到勘探開發(fā)數(shù)據(jù)的特殊性，因此采用聯(lián)邦數(shù)據(jù)庫系統(tǒng)和中間件的混合模式。基于模式的選擇，確定實現(xiàn)集成的步驟。

（1）核心庫的建立：建立基本實體（井、井筒、地質(zhì)單元等）數(shù)據(jù)庫，作為所有數(shù)據(jù)庫基本實體的唯一來源，保證數(shù)據(jù)庫體系數(shù)據(jù)中基本實體的一致。

（2）數(shù)據(jù)模型管理：對華北油田97模型、EPDM模型及自建系統(tǒng)特殊模型的管理。

（3）數(shù)據(jù)同步：實現(xiàn)基本實體數(shù)據(jù)和專業(yè)數(shù)據(jù)在不同數(shù)據(jù)庫之間的及時更新和一致。

（4）數(shù)據(jù)遷移：把應(yīng)用可移植或可被替代的數(shù)據(jù)庫數(shù)據(jù)，遷移到相同標(biāo)準的、數(shù)據(jù)范圍更大的數(shù)據(jù)庫中。

2.3 制定數(shù)據(jù)集成規(guī)則

設(shè)計數(shù)據(jù)集成邏輯就是為了確定數(shù)據(jù)是怎樣實現(xiàn)集成的，這是實現(xiàn)數(shù)據(jù)集成的核心工作，需要從以下幾個方面進行。

2.3.1 進行數(shù)據(jù)模型比對

對于標(biāo)準化的數(shù)據(jù)項，進行比較。這種比較需要依據(jù)數(shù)據(jù)表設(shè)計的原則和專業(yè)劃分的不同，可能存在一對一數(shù)據(jù)表進行對比，也可能會是多對一、一對多或者多對多的對比。

2.3.2 基本實體的統(tǒng)一

對不同標(biāo)準、不同數(shù)據(jù)庫中的基本實體數(shù)據(jù)進行統(tǒng)一的規(guī)范，包括井號簡寫字的規(guī)范，如：【莫】修改為【鄚】，【壩】修改為【霸】等；名稱統(tǒng)一，地名、單位名稱，有時是簡稱；井號標(biāo)志的統(tǒng)一，如：【新】【老】【原】【加深】等標(biāo)志；數(shù)據(jù)項單位的統(tǒng)一等。

2.3.3 進行數(shù)據(jù)轉(zhuǎn)換

在將業(yè)務(wù)數(shù)據(jù)抽取到數(shù)據(jù)中心時，基本的數(shù)據(jù)轉(zhuǎn)換包括以下幾種類型。

（1）數(shù)據(jù)清洗。例如專業(yè)數(shù)據(jù)中字符型數(shù)據(jù)取值中包含有空格，需要將空格去掉；如果專業(yè)數(shù)據(jù)中含有無意義的數(shù)據(jù)，例如測試數(shù)據(jù)或者空行數(shù)據(jù)，也需要將這樣的記錄刪除。

（2）數(shù)據(jù)格式轉(zhuǎn)換。例如專業(yè)數(shù)據(jù)中有關(guān)時間的數(shù)據(jù)項為字符型，需要根據(jù)數(shù)據(jù)字典要求將其轉(zhuǎn)換為日期型。

（3）代碼轉(zhuǎn)換。專業(yè)數(shù)據(jù)中的代碼可能并不滿足信息標(biāo)準要求，在與其他數(shù)據(jù)庫進行數(shù)據(jù)交換時在與其他數(shù)據(jù)庫進行數(shù)據(jù)交換時，需要將專業(yè)數(shù)據(jù)中的代碼轉(zhuǎn)換為滿足其信息標(biāo)準的代碼。

（4）數(shù)據(jù)項匹對。要在不同數(shù)據(jù)庫的專業(yè)數(shù)據(jù)中的數(shù)據(jù)項間建立起對應(yīng)關(guān)系，有時兩者并非一一對應(yīng)，需要進行拼接與拆分。

（5）其他轉(zhuǎn)換。根據(jù)實際的數(shù)據(jù)狀態(tài)和要求，制定更多的細節(jié)轉(zhuǎn)換規(guī)則，例如大小寫轉(zhuǎn)換、字符轉(zhuǎn)換、取值域轉(zhuǎn)換等。

2.4 數(shù)據(jù)集成工具的使用

數(shù)據(jù)集成中工具主要用到模型管理工具和ETL工具。

2.4.1 模型管理工具

模型管理工具通過模型表，直觀的描述某個項目的數(shù)據(jù)庫結(jié)構(gòu)。它通過管理多組不同性質(zhì)的軟件模型，可以實現(xiàn)對公司內(nèi)部軟件模型的集中管理，也可以將各個模型快速創(chuàng)建成數(shù)據(jù)庫相應(yīng)的結(jié)構(gòu)。

2.4.2 ETL工具

ETL是BI/BW（商務(wù)智能/數(shù)據(jù)倉庫）的核心和靈魂。ETL工具可按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價值，是實現(xiàn)數(shù)據(jù)集成的重要工具。

隨著中石油勘探與生產(chǎn)技術(shù)數(shù)據(jù)管理系統(tǒng)（A1）2.0版的推廣實施，中油瑞飛的ETL工具DSB逐漸被各油田使用。DSB（Data Service Bus，數(shù)據(jù)服務(wù)總線）是一款靈活易用的數(shù)據(jù)集成產(chǎn)品，具有高效的數(shù)據(jù)處理引擎和靈活的可擴展性；在數(shù)據(jù)集成領(lǐng)域提供了良好的技術(shù)支持，支持多種數(shù)據(jù)處理的應(yīng)用場景。其包括的功能有數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)交換、數(shù)據(jù)遷移、數(shù)據(jù)對比Oracle日志同步、數(shù)據(jù)倉庫建設(shè)、石油專業(yè)文件適配、數(shù)據(jù)即時訪問以及EPDM建模等功能。

3 結(jié) 語

數(shù)據(jù)資源是油田的基礎(chǔ)資源，合理利用數(shù)據(jù)資源能夠為油田建設(shè)帶來多方面的效益。數(shù)據(jù)集成是數(shù)據(jù)資源建設(shè)的重要步驟，只有從實際出發(fā)，靈活運用多種手段，才能達到較好的效果，從而推動油田勘探開發(fā)應(yīng)用的發(fā)展，為“智慧油田”的建設(shè)保駕護航。

主要參考文獻

[1]韓明.油田開發(fā)數(shù)據(jù)綜合集成的研究[J].數(shù)字石油和化工，2009

（7）.

[2]楊宏英，林長松.異構(gòu)數(shù)據(jù)集成系統(tǒng)的應(yīng)用模式與技術(shù)實現(xiàn)[J].微電子學(xué)與計算，2006（8）.

[3]劉丹陽.高校數(shù)據(jù)中心數(shù)據(jù)集成方案設(shè)計的方法研究[J].實驗技術(shù)與管理，2011（4）.

[4]劉芳，盧國強，劉賓娜，等.大數(shù)據(jù)時代的數(shù)字圖書館異構(gòu)數(shù)據(jù)集成分析[J].電子技術(shù)與軟件工程，2015（22）.