淺談西部某油田數據利用的探索研究與實踐

［摘 要］隨著油田進入“數字化轉型、智能化發展”的新階段，圍繞油田業務產生的數據也呈爆發式增長。原有的應用系統大多圍繞審批流、報表統計的需求設計開發，已不能滿足越來越多樣化的生產需求，而且其所形成的歷史數據缺乏合理的整合利用渠道。為探索油田數據利用的路徑，西部某油田技術團隊通過對數據清洗、分析、可視化等技術的應用，培養技術人員靈活應用數據解決實際問題的能力，尋找歷史數據的再利用方式，為后續數據挖掘和性能調優進行先導技術論證，為油田發展貢獻信息化力量。

［關鍵詞］數據分析；數據清洗；數據可視化

doi：10.3969/j.issn.1673 - 0194.2023.06.038

［中圖分類號］F270.7；TE49 ［文獻標識碼］A ［文章編號］1673-0194（2023）06-0115-03

0" " "引 言

隨著油田進入“數字化轉型、智能化發展”的新階段，一方面，信息化建設的重要性日益凸顯，圍繞油田業務產生的數據也呈爆發式增長；另一方面，油田現有的信息系統主要由業務流、審批流和部分系統報表、簡單統計組成，這些應用系統中的數據具有實效性，整體利用率低下，數據的綜合利用仍處于起步階段，解決數據“孤島”問題迫在眉睫。西部某油田技術團隊通過研究數據利用技術的數據清洗、分析、可視化等不同領域，掌握數據利用的原理，培養技術人員的數據敏銳度和解決生產問題的能力，合理再利用歷史數據，借助數據力量，向各級領導提供決策依據，減少人為決策的主觀性，為企業提質增效提供幫助。

1" " "西部某油田現狀

目前，西部某油田的信息化建設蓬勃發展，油田信息化管理部門組建了專業高效的信息化建設團隊，技術人員水平日益精進。在集團公司提出“數字化轉型”的總目標后，油田公司積極響應要求，探索數字化轉型方向，期望通過建設“數字中臺”，從技術導向轉化為服務導向，使高新信息技術在油田各業務領域里更為可用、易用、好用。

另外，已投用的大部分應用系統仍然停留在數據收集、整理、存儲和簡單報表等初級階段，而數據具有實時性，僅依靠現有的信息化技術，不能高效整合利用數據，也難以使用科學的方法尋找規律、輔助決策。因此，信息化建設面臨著人力資源補充力量不足、數字化轉型道路曲折等問題。

鑒于此，該油田期望通過數據利用技術的研究，借助數據提供科學的決策依據，為油田發展貢獻信息化力量。

2" " "數據利用團隊建設

該油田公司充分考慮信息化人才新生力量不足、技術水平參差不齊的現狀，決定建立階梯式人才隊伍，為每個團隊成員找準技術路線及團隊定位，從而實現個人價值最大化。

在技術上，為確保技術人員快速掌握數據利用技術，團隊選取市場中易上手、應用廣泛的工具；多次邀請外部專家，按期交流分享經驗、優秀項目；積極將技術路線與油氣生產結合，與業務專家進行頭腦風暴；深入探索地圖實時數據的展示及預警等應用，以輔助油田生產調度、指揮控制為階段性應用目標，有力保證研究成果積極向油氣生產主業靠攏，并順利落地實施。

在管理上，按照技術力量評級，確認了技術探索、技術應用、技術對接3個小組。對小組成員進行動態管理，不設能力上限，允許技術人員跨組承擔工作任務，并做好支持和激勵，對態度積極、貢獻重大的成員設置專項獎金系數。

技術探索小組負責承擔數據利用的新技術研究，包括但不限于多維數據可視化、WebGIS、目標檢測等，要求技術人員具有鉆研探索精神，能敏銳感知領域技術動向，關注高新技術，掌握Python數據清洗及分析方法，掌握機器學習模型訓練、應用、迭代、評價的方法。

技術應用小組負責將完成研究的技術落地實施，要求技術人員具有使用模型及參數開發接口的能力，還能熟練使用數據可視化方案進行REST規范接口開發、React框架和Vue框架的前端開發；根據用戶需求的業務場景，定制基于ECharts、AntV的數據聚合駕駛艙；基于油田地理信息數據實現測量、導航等地圖功能，并結合生產數據完成數據實時更新及閾值預警；基于目標檢測算法，實現視頻人工智能（Artificial Intelligence，AI）識別和違規行為報警等功能。

技術對接小組負責數據利用的技術宣傳、用戶對接、應用復核和用戶回訪等工作，要積極與業務專家溝通交流，將技術資源向生產一線靠攏，挖掘油田主營業務的數據利用需求，并向油田內外推廣團隊成果，打造團隊金字招牌。

通過一年的團隊磨合工作，團隊成員的技術水平得到快速提升，小組成員分工明確，順利實現多個技術研究成果的落地實施，獲得上下級用戶的一致好評，成功為油田的數字化轉型、智能化發展添磚加瓦。

3" " "數據利用技術探索方法

為實現“煉數成金”的數據利用總目標，結合油田海量歷史數據現狀，團隊分別對數據探索及清洗、數據分析、數據可視化、數據安全管控及數據生命周期管理等多個領域的技術進行研究。

3.1" "數據探索及清洗

在數據探索及清洗的研究過程中，考慮到學習成本、使用范圍、是否開源等因素，選擇Python作為團隊主要的編程語言，主攻學習使用Anaconda工具包，掌握Pandas、Numpy等擴展庫和Jupyter Notebook工具，從異常值分析、缺失值分析、相關性分析、周期性分析等方向入手進行探索；使用Myplotlib、Seaborn、PyECharts等擴展庫，對探索結果進行可視化，并據此開展審核和清洗工作，主要清洗的臟數據包括離群點值、缺失值和不一致數據［1］，為保障數據質量打下堅實的基礎。此外，為保證數據能夠可持續利用，要對清洗后的數據進行標準化和屬性規約，進一步對數據分析進行全方位的梳理，從數據信息的基本分析上挖掘和發現問題，以避免因人工數據分析偏差而形成一些錯誤引導因素［2］，并將結果形成規則，應用于業務主數據核心庫。

3.2" "數據分析

數據的大規模蓬勃發展，帶動數據分析技術向更多分支、更深層次迭代。傳統的分類、預測、時序、聚類、回歸分析等算法逐漸不能滿足日益復雜的數據分析場景需求。因此，除學習搭建和訓練傳統的機器學習模型外，團隊還研究了Tensor Flow機器學習框架、Paddle Paddle深度學習框架，選擇目標檢測作為業務一線應用方向，著重訓練基于YOLO 算法的安全帽、人員、車輛的快速識別模型，并達到實際應用水平。此外，技術人員通過不斷歸納總結，形成數據分析觀念，包括數據意識、數據處理、數據隨機性、數據分析評價等方面，從而養成運用數據說明問題的意識［3］。

3.3" "數據可視化

在油田數據利用研究的過程中，技術人員一度為無法有效展示數據分析成果而苦惱，但隨著數據可視化技術的快速發展，這一問題迎刃而解。數據可視化技術是綜合運用計算機圖形學、圖像、人機交互等技術，將采集、清洗、轉換、處理過的符合標準和規范的數據映射為可識別的圖形、圖像、動畫甚至視頻，并允許用戶與可視化數據進行交互和分析［4］。為滿足油田信息化建設發展的新需求，助力前后端分離開發的實施，選擇ECharts、AntV、UCharts 3個數據可視化JavaScript庫，實現了二維坐標系、極坐標系、關系型、流程型的多種圖表，并在B/S開發模式、M/S開發模式中測試應用。

此外，地理信息數據作為油田重要的數據組成部分，也擁有光明的可視化前景。通過對WebGIS技術的研究，結合多領域數據，實現業務聯動和資源分配，填補了油田在地理信息自主開發方面的空白。

3.4" "數據安全管控及數據生命周期管理

隨著移動化開發的空前繁榮，數據的流轉和產生更為頻繁，一方面大力促進了數據利用技術更新迭代；另一方面，油田的數據安全管控和生命周期管理也需要更為先進的技術手段來保駕護航。

在數據安全管控方面，全面梳理油田生產、經營等業務流程，嚴格管理控制數據源頭，同時把好數據存儲、管理、流轉、應用的關口。設計應用數據調用日志，監督并嚴控廣域網環境的數據訪問，并對內部數據調用進行限制和約束。

在數據生命周期管理方面，積極探索多維度的數據價值評價體系，研究數據壓縮方法，建立相應的歷史數據歸檔機制，既能夠確保活躍數據的訪問速率，又能夠保證半活躍數據、靜態數據的歷史可查詢、源頭可追溯。

4" " "數據利用的應用實例

團隊在技術研究的同時，深入生產一線，傾聽用戶聲音，以使用數據利用技術解決困難為己任，積極探索并實現了數據清洗、數據分析、數據可視化等技術的應用。

4.1" "報表智能化生成

精細化管理為油田帶來可觀的管理效益，但對業務人員而言，短期內完成工作模式轉變是不小的挑戰。在與眾多一線用戶溝通的過程中，團隊成員敏銳地察覺到多個業務流程可以優化，根據不同的業務層級，鎖定需要按期上報或定時更新的報表；梳理報表的業務數據源頭及邏輯，從多個軟件系統中實時抽取數據，并按照報表規則整合清洗，向用戶交付“一鍵式”報表生成工具。此優化措施讓報表整理及上報工作從專人專干變為兼職，一舉解決人工核對數據量大、規則復雜、耗時過長的問題，有效降低工作強度和難度，縮短人工操作時間。

4.2" "數據質量檢驗

對廣泛存在于各應用系統的業務主數據進行整合，及時識別缺項、漏項、錯項，更新業務主數據核心庫，再對整合結果進行雙重清洗入庫，確保數據的及時性、準確性。結合中臺技術，實現“一套數據全業務共享”，有效降低信息系統的運維難度和強度，提高業務主數據的信息利用率和軟件系統的開發效率。經過兩年的推廣實施，該技術廣泛應用于油田的生產經營、綜合業務、黨風建設等工作領域。

4.3" "信息快速統計分析

利用問卷調查收集、歷史資料整合等方式，在3天時間內完成近3萬條住房、住戶信息的數據清理、匹配及核查工作，并據此開展數據分析及住戶畫像，建立起小區居民數據網絡。結合業務信息系統，使人員基本信息、流動情況等數據得到有效管理，為員工管理工作提供強大的信息化輔助手段。

4.4" "業務中臺的數據監控及分析

在油田信息化業務中臺建設過程中，數據質量把控和數據利用監控成為中臺運維人員的重要關注點。為滿足中臺使用需求，工作人員使用antV的折線圖、餅狀圖、柱狀圖等關系型圖表，實現對油田全局業務應用系統、通用服務應用程序接口（Application Program Interface，API）的監控，并靈活配置縮略軸、工具欄等實用功能組件，極大程度上緩解了運維人員的監控壓力。

4.5" "移動端數據可視化

相較于B/S模式開發，M/S模式的數據可視化要重新考慮視覺、交互、渲染等方面的問題。通過事件標準化，實現與傳統瀏覽器完全不同的用戶交互響應；抽離數據映射邏輯和用戶界面（User Intergace，UI）邏輯，實現圖表的靈活自定義，形成封裝組件，極大地豐富數據的映射能力，增強UI構造能力。

目前，油田移動端的應用場景越來越多樣化，也面臨著面向Web和面向Native的跨端調用問題。對于面向Web的數據可視化跨端方案，采取統一的數據接口標準建設和圖表組件封裝實現，兼顧響應和適配能力，在React、Vue移動端項目中均得到了有效應用［5］。下一步將繼續推進面向Native的跨端調用工作，爭取實現一套代碼多端運行。

4.6" "基于WebGIS的數據聯動展示

在油田的信息化建設過程中，地理信息數據作為不可或缺的一部分，廣泛服務于土地資源管理、應急指揮調控等工作。隨著微軟停止對Silverlight的更新，地理信息數據的利用面臨著安全性挑戰。為解決這一困境，團隊積極探索研究并應用WebGIS技術，將地理信息數據與多場景業務數據相結合，實現了開發、生產、應急、重大危險源等數據在地圖的聯動實時展示，為指揮決策者提供了全面的數據信息。

4.7" "數據歸檔機制的建立及應用

油田信息化建設持續發展，必然伴隨歷史數據的積累，如果不及時合理優化會導致應用系統的響應速度變慢、性能下降。據此，團隊設計并建立了數據自動歸檔機制，應用于業務中臺中的文件、日志、視頻、圖片等多項通用數據。通過長期觀察驗證可知，歸檔機制有效保證了數據調用的效率和API服務的運行穩定度。

5" " "結束語

在大數據時代，結構化、非結構化和半結構化數據無處不在，并呈幾何級數增長，潛在價值巨大，被譽為未來新石油。現如今，多數人了解數據分析的概念，但數據分析具體做什么工作、實現什么效果、達到什么目的并不清晰。在西部某油田數據利用團隊工作的過程中，成員逐漸意識到現有團隊的業務經驗不足，一致認為應當吸納更多業務專家進行指導，形成以業務專家為核心、以技術專家為支撐的新團隊架構，從而提出更加符合工作實際的數據利用需求和數據挖掘方向，統籌規劃、齊心協力促進數據利用的實施。

主要參考文獻

［1］趙可天，唐建華，倪劍，等.深海油氣管道數據清洗方法設計［J］.中國海洋平臺，2022（4）：49-54.

［2］張志忠.大數據分析在采油工程管理中的應用［J］.科學管理，2022（16）：62-64.

［3］雷宇，何璇.數據分析及其評價體系的應用［J］.電子技術，2022（8）：94-95.

［4］盧小華，劉靜.Echarts技術在教師考評系統數據可視化中的應用［J］.電子技術與軟件工程，2022（14）：235-238.

［5］史國舉.數據可視化技術在大數據分析領域的應用及發展研究［J］.無線互聯科技，2021（18）：96-97.