馬華鋒,馬 榮,高 鵬,衣博茹
(1.延長油田股份有限公司吳起采油廠,陜西延安 717600;2.大慶油田有限責任公司第四采油廠,黑龍江大慶 163000)
數據是石油公司最重要的資產之一。隨著石油企業的發展,油田在勘探開發過程中積累了大量的數據,為石油企業的生產和科研提供了大量的數據支持。但是,它也給石油企業的發展帶來了很多問題,即數據資源分散,數據共享困難。為了更好地適應石油企業的業務發展,迫切需要開展大規模的數據治理,使數據更加標準、統一。
隨著經濟的快速發展,科學技術水平也不斷提高,經過多年的數據開發,石油企業積累了一定的數據,但在數據管理的過程中還存在一些不足,亟待解決。數據治理是解決這些問題的數字轉換的方式,需要以多種方式來解決數據管理的問題,如組織職責、工作流程和系統規范,解決數據的不一致,最終建立標準化的數據應用標準,提高組織內數據質量,實現數據共享,充分發揮數據資產的價值[1]。
石油企業數據治理的內容主要包括5 個方面,以下就針對這5 個方面做詳細分析。
(1)建立數據模型:數據模型包括企業整個業務范圍,建立起具有穩定、容易使用等特點的全域統一模型,這也為針對不同應用展開分析打下了良好的基礎,在保障機構中也是具有靈活性和擴展性,打破了信息孤島帶來的限制,讓數據做到相互連接。
(2)數據質量管控體系:建立起企業級的數據質量管理,可以保證做到對數據質量問題進行全程的追蹤、監控,支撐了整個數據質量管理流程,建立起企業中統一數據質量檢查機制,為數據質量考核起到輔助作用,保證整個數據更加真實有效。
(3)元數據管理:判斷企業中業務領域中的數據資產,做到對企業數據資源做到統一盤查,通過科學有效的機制管理元數據,向開發人員和終端用戶提供元數據服務,保證滿足用戶在業務方面的需求,為企業業務系統、開發和維護數據平臺提供支撐。
(4)數據標準:該標準中涉及到多方面的內容,分別是元數據、主數據、參照數據、數據指標標準等。通過建立起數據標準體系,可以保證數據更加標準,管控能力也能得到很大程度的提高,使得數據在應用過程中更加具有一致性。建立標準的控制更新機制,使數據得到不斷的補充、完善,更好地支撐業務的開發。
(5)數據共享交換:在統一規則下,在元數據、統一工具下,實現數據的交換、整合、復制以及共享,讓不同客戶可以享受到在不同項目中的數據需求。不斷推進“互聯網+油田業務”,為了管理現場的數據,探索出新的技術應用,如區塊鏈技術,保證數據更加的安全可靠,并有序地共享數據。
本次研究中以某石油企業為例。該企業在前兩年處理數據中還存在著很多不足之處,然而在信息技術的快速發展下,治理的理念也發生了變化,提出了可以使石油企業發展的有效對策,具體的解決方案是:第一,數據治理以前,要做到整體性分析工程的技術框架,其中涉及到了治理工具、應用的技術、數據池;第二,要給予一定的技術支持,通過這種方式主要是因為數據治理過程中技術的作用是非常關鍵的。
該企業處理數據中采用的技術是Datist,此技術具有的優點是讀寫所有數據,在讀寫能力方面是非常強的。處理相關數據中,借助于Datist 技術,處理的整個過程都能觀看到。同時企業對數據處理的方法也是非常多,處理也是非常的優質。例如,在提取數據核心內容的過程中,首先要對數據進行過濾、排序和推送。在Datist 技術處理數據過程中,也可以和GIS 分析功能進行結合,保證數據可以及時、準確地呈現。一體化體系結構中,核心部位就是數據池,整個實施中需要合理地使用虛擬數據庫進行處理。數據庫越來越多地存儲在云端,在云端中的內容非常豐富。常見的數據庫是屬于一種關系性數據庫,包含的格式種類也是多種多樣,其中最常用的是Oracle、My SQL。數據池中有存儲著多種多樣格式的數據,也可以存放一些和數據沒有任何關系的文件。在這種體系結構中,不僅是包括了大量的數據池,而且這些數據池都是獨立的,相互之間不會產生影響,具有相對強勁的擴張性[3]。
案例選取的是某石油企業開/關日數據總賬,該總賬在井動態分析中起著非常重要的作用,工作中涉及的數據也非常廣泛。例如,開/關井日數據表、油井生產數據表等。這些表基本上集中在系統庫A 中,庫的數量很大,查詢相關數據和記錄需要花費大量的時間,從幾分鐘到幾十分鐘不等。查詢相關數據后,需要擴展各表數據的有效關聯,使關井前的生產計算更加合理。在使用這種方式的過程中,會消耗大量的人力和時間,導致工作效率下降,工作的整體質量也會下降。在本研究的過程中,希望能夠開展數據治理,更好地保證數據的有效性和真實性。
為了保證數據可以在最短的時間里計算出來,讓數據實現實用性,本次研究過程中就需要針對實施中存在的問題進行及時的解決。首先,提高查詢速度。如圖1 所示,借助于制定出完善的管理制度,通過大數據庫中的技術,定期檢查報表中涉及到的數據,在網絡的幫助下,將所有重要數據合理地同步到數據池中,通過這種方式可以有效提高查詢數據的速度,保證在幾分鐘的時間基礎上提高幾秒鐘。其次,加強對數據自動統計。根據標準化的技術體系,根據Datist 技術,制作完整的數據流(圖2)。Datist 技術不僅可以大大提高數據驅動能力,而且整個過程可視化,在過去完成更復雜的項目,需要大量的開發人員和程序員掌握復雜的數據庫知識,但隨著信息技術的快速發展,使用Datist 數據專家軟件盡可能快地設計。最后,呈現準確報表。對數據組織完成以后,Datist 技術就能直接計算出較為準確的報表[4]。

圖1 數據模型系統總體框架

圖2 使用Datist 技術對石油企業數據進行處理的功能分解
經過多次實踐和研究,該石油企業借助以往的數據管理項目建立了完善的數據池,使一定范圍內的問題能夠及時得到解決,主要問題是數據共享和集成。針對這種情況,將操作下的數據錄入,進行準確的交換和存儲,數據錄入和查詢同步進行,可以有效地提高工作效率,保證數據更加準確有效,也更有利于適應現代石油企業發展的需要。如果建立了完善的組織、管理、技術和治理體系,并開發出了獨特的解決方案,那么該解決方案的應用就應該以數據治理工具和數據池為中心。實現數據治理后,可以改變現狀,在很大程度上解決數據查詢的時間和速度。面對當前的發展形勢,借助這種新的治理模式和理念,可以有效開展石油企業的建設,實現大數據在企業中的合理應用,促進石油企業的健康可持續發展。通過設計出符合石油企業發展的數據治理總體框架,并對其中核心內容進行明確,分析數據治理過程中的現狀,借鑒國內外企業中針對數據治理的解決方案,最終構建出符合石油企業發展的數據治理體系方案,保證企業數據利用的效率,讓企業得到不斷的發展[5]。
通過將新技術引入石油企業信息化建設中,可以在很大程度上提高石油企業建設和發展的質量,將數據和業務緊密聯系起來。然而這樣的背景對石油企業的數據質量也提出了更高的要求,因此企業有必要借助數據管理技術對油田數據進行全生命周期管理,從而有效滿足石油企業在信息技術下的發展。數據管理工程及相關信息技術能夠在很大程度上促進石油企業的發展,使石油企業的經濟效益和社會效益實現統一。