油氣田企業能效數據融合研究與實踐

郭以東 馬建國 余 洋 何曉梅 李 峻

(1 中國石油勘探開發研究院西北分院；2 中國石油勘探與生產分公司)

0 引言

中國石油作為國家特大型能源央企單位，一直以來都高度重視信息技術發展對各業務的積極促進作用。針對各類業務管理模式和業務范疇，構建了服務于各層級的較為完整的信息服務支撐體系，相繼建成了勘探與生產技術數據管理系統（A1）、油氣水井生產數據管理系統（A2）、采油與地面工程運行管理系統（A5）、勘探開發一體化協同研究及應用平臺（A6）、勘探與生產調度指揮系統（A8）、油氣生產物聯網系統（A11）、勘探與生產ERP 系統（D2）[1-3]、公共數據編碼平臺（D15）、健康安全環保系統（E1）、節能節水管理系統（E7）、信息安全運行中心（F14）等信息系統，各信息系統的建設對企業開展能效對標、挖掘節能降耗潛力、提高能源管理效率等發揮了積極作用，極大地促進了能源科學化和管理精細化。

但是，各系統在建設初期由于所服務的業務部門不同、業務管理邊界存在交叉重疊，同類數據在統計口徑、粒度、精度、時效性及元數據定義標準上均表現出不同的差異，導致系統運行過程中出現同類數據來源不統一、標準不統一、精度不一致等諸多問題，給業務管理和上層決策造成一定困擾。如果能夠合理地利用多源數據對元數據進行數據源確權和相關性匯集融合，打通業務部門和系統之間的管理壁壘，建立業務所需的專業數據庫，解決好數據準確性、完整性、一致性和業務滿足度的校驗及數據二次加工豐度的擴展[4-6]等問題，那么就能夠實現數據整體質量的顯著提升和有效管理，促進各管理部門、多學科專業人員的協同工作與高效決策。本文以油氣田企業能效數據融合為切入點，展開多源能效元數據融合研究工作，形成相應的研究方法并具體應用。

1 能效數據多源現狀與融合必要性

油氣田能效元數據是企業在勘探、開發、生產與集輸過程中的各類生產管理源頭上采集的數據。各系統所采集的同類數據理論上應該保持一致，但由于各系統所采用的數據標準、統計口徑和數據獲取渠道的差異性，導致各系統間同類數據難以吻合。以能效管理的核心數據——油氣產量為例，來自A11 的單井實時數據累計加和、A2 的統計上報審核數據、A5 的集輸/站庫計量數據和來自E7 的統計上報數據均存在一定程度的差異，這種差異性由統計口徑、計量誤差、損耗、測算方式、精度累計誤差和統計周期不同等多種原因引起。各系統在多年運行中對單一業務領域的信息支撐作用均能滿足且適應其所服務的業務管理需求，均具有其合理性。但不同系統之間存在關聯數據但數據不統一的現狀，給能效管理業務整合、能效對標和基于數據資產的業務高效化等管理帶來很多難題。

1.1 能效數據的多源性導致數據確權困難

能效數據具有多源采集方式與多學科、多領域、多技術構成的復雜多源性特征。不同業務部門主導建設的信息系統采用了建設之初滿足當時設計需求的數據庫類型、數據格式和標準，系統數據僅僅適用于其內部流轉，無法有效支持其他系統的業務應用[7]。在系統間進行數據集成共享時，數據的權威出處、準確性和完整性驗證需要花費較大精力，一旦同類數據存在于多個不同業務系統中，數據確權就存在較大的難度。

1.2 數據冗余消耗大量的計算存儲資源

各系統依照業務管理需求進行功能設計，采集了大量支撐系統獨立運行的數據。以機采系統工藝環節為例，能效管理需要的指標數據在A2、A5、A11 和E7 系統中均有包含（圖1），這些逐漸云化存儲的數據中存在大量的冗余數據，且冗余數據之間又存在一定差異[8]，既浪費大量的存儲資源，又不能明確哪個數據更權威。對這些多源數據進行融合，能夠降低數據冗余，減少數據存儲和傳輸過程中不必要的資源浪費。

1.3 缺乏協同互補的數據共享機制

多系統間的數據種類繁多、來源廣泛，涉及不同的技術標準，給信息融合和資源共享的實現帶來諸多挑戰，隨著業務的精細化管理和信息系統的快速同步建設，系統功能也隨之不斷拓展和變化。如果基于傳統的數據集成共享方式，后期建設的每一個系統需要分別與多個先期建設的關聯系統建立數據交換接口、數據映射轉換、數據抽取推送和數據安全傳輸防護關系;隨著各系統版本的更新迭代和功能的改造提升，已建立好的數據交換方式和策略也要同步進行更替;各系統建設的時間差異又進一步給多數據接口、多數據同步的傳統數據集成共享方式帶來了額外的工作量。

1.4 系統間數據的互補性未能有效利用

信息系統的建設均有特定的服務群體和受眾對象，系統管理內容均具備其業務的專一性和局限性，在特定業務場景尤其是業務交叉管理的特定需求下，獨立運轉的系統往往存在額外的數據指標有待增補，而這些數據在其他已建信息系統中已經采集存儲，各系統間數據具有很強的業務數據互補性[8-12]，自身重新采集或建設會浪費不必要的資源和精力。打通各獨立系統數據之間的壁壘，建立集成共享關系，既能節約系統開發成本，又能保障同類數據的一致性。

中國石油信息化建設經歷了從分散到集中、從集中到集成應用、從集成應用到“共享中國石油”的融合更新迭代，形成了覆蓋整個集團公司的信息基礎設施統一規劃建設、“三地四中心”的數據中心、信息安全防護全域部署、云化技術架構全面應用的大好局面;打破了業務系統獨立建設、信息孤島帶來的管理壁壘。為進一步減少數據重復填報給基層單位帶來的額外工作壓力和因之造成的數據不一致問題，將信息化建設已積累的大量的、基礎的、權威的生產能效數據進行有效的集成融合，建立具備全面深入的大數據分析能力的數字化集成共享應用勢在必行。

2 能效數據融合方法研究

數據融合是一種在某種意義的控制結構和模型下，運用數學方法和技術工具，整合多源(同類或異類)表示一致的知識，以最終獲取高品質信息為目的的統一表示框架。研究能效數據融合的目的是在洞察數據多源性的基礎上，從能效數據應用的本質中以特定的組合規則關聯組織數據、迭代優化，從而產生新的數據體以獲取更多有效信息[13-17]，并在能效統計分析、能效對標、能源管控中通過建立復用數據模型，解決能效管理的應用實效。但數據融合并不是為了徹底消除數據之間相對的差異，而是要清晰地了解和把控導致這些差異的緣由，對每條數據從產出、流轉到加工應用全生命周期的科學詮釋，找出有效的管理手段來控制這些不合理的數據差異，并將原本看似不相關的各類數據通過大數據多維分析挖掘，構建數據之間內在邏輯聯系和相互作用機制，進而從不同的業務管理角度豐富數據廣度，增強業務之間的協同管理。

油氣田企業能效數據融合研究以涉及油氣田企業生產全業務流程管理的相關信息系統能效數據為融合對象，采用“統一云平臺架構、統一數據湖歸集為核心、數據融合共享為手段、應用為目標”的思路，用“一個平臺、一套數據”規范能效數據的標準化采集與應用，圍繞油氣生產經營數據、地面公用工程基礎數據、物聯網實時采集數據和能效綜合統計數據的融合銜接作為融合目標。能效數據融合按照3 個步驟開展，首先搭建數據融合研究有利環境，其次確定能效數據集成融合方式，最后明確數據融合策略并進行數據確權。

2.1 研究環境構建

中國石油上游業務板塊為適應業務需求變化和信息技術的快速發展，以推進集約化建設、信息共享和業務協同為著力點，制定了上游業務信息與應用共享平臺規劃藍圖。通過勘探開發一體化協同研究與應用平臺（A6）項目建設，同時以云計算、微服務架構并融合企業數據治理理念構建了“平臺＋能力＋應用”生態、“數據＋技術＋應用”的上游“勘探開發夢想云平臺和數據湖”開放共享環境，為上游業務信息化建設由豎井式系統開發向數字化、智能化、平臺化發展轉型，以及信息資源共享、軟件開發快速迭代、業務需求敏捷響應的全面平臺化發展創建了良好的基礎條件[18-20]。

充分利用基于Docker ＋Kubernetes ＋DevOps、微服務、中間件等開源技術集成研發的夢想云平臺優勢和數據湖強大的數據整合能力，既滿足了數據融合魯棒性、容錯性、廣適性、高效性和實時性的要求[11]，又同步享受到了前者所帶來的高效敏捷迭代開發、快速應用部署、異構數據互聯互通、資源彈性拓展、服務統一運營、整體安全防護等平臺技術便利。因此，本文以夢想云平臺和數據湖為基礎，采用SpringCloud 微服務架構、DevOps 軟件工程自動化工具和Docker 容器技術開展相關工作。能效信息融合構建架構如圖2 所示。

圖2 油氣田企業能效信息融合總體架構Fig.2 Overall architecture of energy efficiency information fusion of oil and gas enterprises

2.2 能效數據集成融合方式

勘探開發一體化數據庫作為業務資源的匯聚與應用服務中心，通過數據抽取(ETL)、數據同步(Data Sync.)、虛擬數據庫(Virtual Database)、數據聯邦(Data Federation)等技術，邏輯上集成了統建系統數據庫及油氣田自建系統數據庫，形成了基于上游勘探開發全業務鏈主數據、元數據的統一數據管理平臺與質量管理體系，實現了與各類異構數據庫間跨專業、跨機構、跨區域的數據互聯互通、跨域共享[21-24]。利用這一優勢特性，本文在數據集成共享基礎上，棄用了與多個相關系統直接點對點接口集成的傳統數據獲取方式，而是依照與數據湖專業領域數據集比對結果，直接從數據湖中獲取。無法獲取的數據通過油氣田能效管理系統進行補充采集，并將加工處理后的數據回推入湖（圖3）。該方法進一步消除了傳統系統數據集成方式所帶來的多接口、多數據映射轉換、多數據同步策略的煩瑣和不易同步運維的痼疾，實現了能效數據從數據湖的“源頭抓取，雙向存儲”，增強了能效數據的一致性、權威性和互補性。

圖3 能效數據集成融合機理Fig.3 Operation mechanism of energy efficiency data integration and fusion

2.3 能效數據融合策略與數據確權

油氣田業務能效數據具有大數據的異構性屬性，而異構性不可避免會導致數據特征存在差異。如何完成對異構數據的關聯、交叉，最終獲得數據間的關聯關系，是異構數據融合研究的重點[22]。與此同時，同類異構數據的采集源頭、跨學科/跨業務加工處理、存儲格式和精度等多源性特征，在融合應用之際的權威性認定上（多源性數據在特定業務領域應用時引用哪個數據更準確、更權威、更適合）是另一個不可忽視的問題。

勘探開發一體化數據庫（數據湖）早期對上游油氣勘探、井筒工程、采油氣工程、地面工程與生產、油氣藏研究與評價、經營管理與決策等全業務鏈數據進行規范性定義、梳理、清洗，形成了1.7PB 數據資產的入庫統一管理[18]。本文應用概率隨機統計模型——統計決策理論，以油氣田企業能效指標體系和集團公司上報國務院國有資產監督管理委員會數據報表的指標、維度為對比參照物，針對入湖130 多個數據集、2000 多個指標項的主數據、元數據的能效相關數據進行認真比對梳理，初步確定了相關指標數據來源，以及未納入數據湖管理的能效指標內容（圖4）。其中包括:描述企業和各層級用能單位整體生產、能耗、用水情況的宏觀綜合指標，涉及生產類、能耗類、用水類、單耗類、財務類和節能節水類六大類;描述各用能單元主要生產系統生產狀況和能效情況信息的工藝過程指標，涉及機采系統、集油系統、注水系統、注蒸汽系統、原油脫水系統、原油穩定系統、污水處理系統、集氣系統、氣處理系統和煤層氣系統十大類;描述各用能單元主要耗能設備基本信息和運行能效信息的終端設備指標，涉及抽油機、螺桿泵、潛油泵、加熱爐、鍋爐、變壓器、壓縮機、風機和機泵九大類。經過比對，用戶、組織機構、井、站庫、設備等基礎元數據可直接引用數據湖數據;開發生產指標中70%可從已入湖的A2 相關數據集中獲得;油藏類型、工藝類型等生產系統基礎信息、地質工藝過程指標中38%可以從數據湖中獲取。同時，還發現數據湖中相關用水數據較為零散，能耗用水數據只涉及生產單位，輔助非生產單位缺乏相關數據采集;數據湖缺少單耗、財務（能源單價）、節能節水量等能效相關指標，而相應數據在暫未入湖的E7 系統中已經采集，可以入湖補充。

圖4 數據湖能效指標梳理及融合機理Fig.4 Energy efficiency index management and data fusion mechanism in data lake

針對數據湖存在的數據冗余和冗余數據差異性問題，在數據確權方面，除跟進A6系統數據治理的同時，本文通過專家評價法確定能效宏觀綜合指標和能效評價關鍵性指標，制定了“針對源頭采集原始數據進行梳理融合，計算加工處理數據不融合;依據能效管理自身業務特性、管理需求和節能計算評價標準進行后續數據加工”的融合策略。通過規范參數定義，對數據篩選、匯總、去重、增補、異常值/偏離值判定和剔除等多項融合處置，應用標準數據采集流程和數據同步策略，保障源頭數據持續入湖、同步共享更新。同時，擴展數據湖缺少的能效相關財務數據（能源介質不同地域的即時單價等數據）、綜合能耗數據、單耗等業務數據，實現能效數據及時性、準確性、完整性、標準性和唯一性（權威性）的存儲、管理與共享[25-27]，形成了基于夢想云平臺統一的油氣田企業能效信息管理平臺與能效數據質量管理體系。

3 能效數據融合實例

通過油氣田企業能效數據融合方法的研究和平臺搭建應用，打通了上游業務能效管理相關統建系統的數據融合、集成共享通道。研發的能效融合數據共享服務、業務協同管理支撐平臺，改變了傳統能效管理模式數出多門的現狀，實現了油氣田企業的能效一體化統一平臺管理。

通過對數據湖中各類數據集的指標項比對校驗，結合相關能效統建系統的數據特性、油氣田企業自建系統實際應用情況等多種數據確權方法，確定了能效相關指標數據集來源、能效宏觀綜合指標和能效關鍵性評價指標內容。以機采系統能效對標體系為例，建立相應數據融合模型（表1）。

表1 機采系統能效對標數據融合模型實例Table 1 Data fusion model for energy efficiency benchmarking of machine mining system

續表

按照油氣田企業能效數據融合方法，分別完成各類能效數據融合模型的構建，通過細化能效對標指標定義、指標描述、極值判定、后臺運算邏輯配置和數據人工逐層復核等方式，制定數據抽取過濾策略，確保數據的質量，完成數據融合抽取工作（表2）。

表2 能效對標數據融合抽取情況一覽表Table 2 Summary of energy efficiency benchmarking data fusion and extraction

續表

基于確權的能效數據構建相應的能效指標可視化對比分析模型，根據油氣田類型、地質油藏類型、工藝類型、指標區間篩選、關鍵指標排序等多條件篩選機制，快速定位同質、同類工況條件對標數據，提高能效對標的準確度、吻合度和可對比性。能效對標分析應用如圖5、圖6 所示。

圖5 能效對標分析數據篩選截圖Fig.5 Screenshot of data filtering for energy efficiency benchmarking analysis

圖6 能效對標分析數據對比截圖Fig.6 Screenshot of data comparison for energy efficiency benchmarking analysis

通過油氣田企業能效數據融合方法的研究和平臺搭建應用，進一步明確了能效相關數據源權威出處，規范了能效數據標準，大幅提高了數據采集質量和效率，規避了傳統低效數據集成共享模式。能效數據的融合和數據自動抽取、推送，有效縮減了基層單位數據重復采集錄入、反復審核的工作量，顯著提高了工作效率;全面的能效融合數據服務、共享的科研管理支撐平臺，改變了傳統能效管理模式數出多門的現狀，實現了油氣田企業的能效一體化統一平臺管理。通過建立跨系統、跨學科、跨業務、跨部門的協同研究環境，促進了能效數據的全生命周期科學化管理和決策方式的轉變。

4 結語

油氣田企業能效數據融合研究充分借助中國石油勘探開發夢想云、數據湖的平臺優勢和數據優勢，優化了傳統信息系統數據集成共享的數據接口模式，大大簡化了數據交互的中間環節，提高了能效數據資源復用效率和服務應對能力，輔助并促進了相關部門開展業務協同工作。既實現了油田開發全生命周期能效數據的集成與綜合應用，又進一步促進了能效管理業務流程的優化，是提升能效管理工作效率的一個重要發展和進步，對今后持續有效支撐多學科專業人員的協同工作與高效決策具有重要意義。

從長遠意義來看，油氣田企業能效數據融合作為信息資源聚集融合的一次有益嘗試與實戰應用，開啟了信息整合、內容整合、服務整合、流程整合、業務協同等多方面更大的研究空間。隨著上游板塊建設數據統一采集平臺的構想被越來越多的有識之士認同，啟動統一數據錄入系統的研究建設將進一步從根本上解決數據重復采集錄入問題，有效保障數據的唯一性、準確性、權威性和快速可溯源特性，數據治理和資源整合的大環境有望得到進一步優化完善。