大數據技術在石油石化企業生產經營管理中的應用路徑探討

劉倩 閻君 杜國敏 徐舜華 王進

（1.中國石油天然氣股份有限公司規劃總院；2.中國石油國際事業有限公司）

0 引言

隨著石油石化企業自動化與信息化建設的不斷發展，以 SCADA（Supervisory Control And Data Acquisition，數據采集與監控系統）系統為代表的自控系統和以ERP（Enterprise Resource Planning，企業資源計劃）系統為代表的信息系統得到廣泛應用。這些系統的建立和應用將企業從上游勘探、開發到下游煉化、銷售所產生的大量生產數據和管理數據積累起來，但是，這些海量數據獨立存在于各信息系統和數據庫之中，并沒有得到很好的共享和銜接，數據分析和利用也存在不足，而且一些具有潛在價值的外部信息尚未被充分采集和綜合利用，越來越不適應石油石化企業上下游統籌協調發展、快速有效應對市場變化的業務需要。

大數據技術是讓花費巨大人力、物力和財力獲得的數據充分燃燒，讓數據發音，讓數據說話［1］。將大數據技術應用到石油石化企業的生產經營環節，充分利用自控系統和信息系統獲取到的數據，對現有未開發或未利用的數據資產重新認識，從大數據資源中不斷挖掘更多的規律和趨勢，協助企業進行生產經營決策分析，指導生產經營策略適時調整，對提高企業的核心競爭力和提升效益具有重要作用。

1 典型項目效果分析

1.1 生產經營數據類別

綜合數據類型和數據來源，石油石化企業的生產經營數據主要分為宏觀經濟數據、市場數據、價格數據、財務數據、生產數據和成果數據6大類，具體情況見表1。

表1 生產經營數據類別

1.2 生產經營數據特點

生產經營數據具有數據量大、數據來源多、數據結構復雜的特點，與大數據概念相符。

1）數據量大

石油石化企業長期從事勘探開發、煉油化工、油氣儲運和銷售等業務，屬于數據密集型行業，歷史上已經累積了海量的生產數據，并隨著時間的推移繼續呈指數級增長。同時，隨著實時監測系統的大量應用，數據生成的顆粒度和維度不斷精細化；而隨著一些計劃信息系統和優化系統的應用，又將不斷產生著大量的管理類數據，加之移動互聯網絡、智能終端的廣泛普及，生產經營數據的體量在不斷擴展。

2）數據來源多

石油石化企業規模體量大、業務鏈條長，這決定了其生產經營數據來源較多：既有來源于企業內部眾多信息系統的海量經營和財務等數據，又有來源于外部網站或系統的行業相關數據，還有企業眾多管理部門在日常業務過程中形成的各類數據。如何打破這些數據源在行政和管理上的壁壘，實現高效集成，是大數據技術在石油石化企業生產經營管理中有效應用的關鍵。

3）數據結構復雜

生產經營數據涉及的數據結構復雜：既有來源于企業已建信息系統的標準結構化數據，又有來源于日常業務過程的電子表格、報告、成果文檔等半結構化數據，以及來源于企業內外部和互聯網的一些非結構化數據。

1.3 數據管理現狀

1）對生產經營數據的管理手段有待提升

隨著時間推移，生產經營數據呈現數據量龐大、數據結構復雜、數據來源多的特點，石油石化企業傳統的數據庫存儲能力和計算能力已難以應對體量龐大、結構復雜、來源眾多的生產經營數據，尤其是難以適應當前大數據帶來的變化。

2）生產經營各類數據之間共享和銜接不足

目前，生產經營數據來源渠道較多，生產數據、內部價格數據、財務數據等分散于企業內部各獨立信息系統之中，各層次的數據共享程度有限；宏觀經濟數據、市場數據、外部價格數據等來源于互聯網的有價值數據，大部分石油石化企業尚未實現自動化與常態化的數據獲取，生產經營分析和決策需要的各類數據之間共享和銜接不足。

3）對生產經營數據深入挖掘和利用不充分

雖然石油石化企業傳統的信息系統已經能夠實現對系統內生產數據，經營數據的分類、匯總、統計和綜合分析利用，但是利用大數據技術挖掘數據規律和趨勢的比較少見，尚未對半結構化和非結構化等復雜類型的數據進行采集和深度分析，尚未提供一個方便快捷的數據分析平臺對企業生產經營全鏈條數據進行快速有效的分析與應用。同時，企業生產經營數據向信息、知識轉化方面仍存在較大不足。

2 大數據技術在石油石化企業生產經營管理中的應用

2.1 大數據技術應用必要性

2.1.1 業務發展需求

“十三五”及未來一段時間，石油石化企業發展面臨的外部環境具有較大不確定性，隨著國際油價的持續低迷，如何利用大數據技術，準確捕捉市場信息，及時根據市場變化調整企業生產經營方案，是企業掌握生產經營主動權、提升市場競爭力的關鍵性問題。

同時在“互聯網+能源行業”發展模式的持續發酵下，數據已被視為石油石化企業的核心資產，數據管理與分析已成為企業創新發展的重要手段，數據分析能力正在成為石油行業的核心競爭力。利用大數據技術來提升企業市場快速響應能力、提高生產經營管理和運作水平的必要性和緊迫性日益凸顯。

2.1.2 應用大數據技術的意義

1）發現和解決企業生產經營實際問題

企業應用大數據技術，有利于揭示隱藏在數據中的經營規律與特點，有利于生產經營管理人員和決策支持研究人員及時發現生產經營中存在的問題、瓶頸和矛盾，通過分析問題、解決問題，適時調整生產經營方案，提出相應的策略建議，從而實現企業上下游協調發展和整體效益的最大化。

2）為企業生產經營決策提供依據

企業內部生產經營數據、外部宏觀經濟數據、市場數據、價格數據，均是企業進行生產經營分析和生產經營策略制定的重要基礎。利用大數據技術，實現對結構化、半結構化、非結構化數據等復雜類型數據的收集和分析利用，提升各類數據的資產化價值，從而為生產經營決策提供更加全面和準確的依據。

3）提升企業數據管理能力和信息化水平

利用大數據技術，可以滿足石油石化企業對于計算能力和數據處理能力的高需求，實現計算能力的靈活可伸縮性，實現對計算能力和資源更好的管理，從而提升企業數據管理和利用的效能，提高企業信息化建設水平。

2.2 大數據技術應用場景

就生產經營管理來說，大數據技術在石油石化企業的應用場景可以分為兩個層次：一是總部層面業務鏈整體優化的應用，二是在企業上中下游各項業務領域的專業應用。

2.2.1 總部層面的應用

對于國有大型石油石化企業而言，大數據技術在總部層面的應用更能體現大數據技術本身的優越性和必要性。主要應用場景包括：業務鏈上中下游一體化優化、國內國外市場統籌優化、不同油價情景的資源配置優化、不同工況情景的生產方案優化等。

2.2.2 主要業務領域的應用

1）在勘探開發領域

大數據技術在勘探開發領域可用于產量預測分析、勘探開發分析、地震數據分析、鉆井分析、提高采收率分析、油氣完整性分析等［2］。

2）在煉油化工領域

大數據技術在煉油化工領域可用于生產運行分析與優化、能效預測分析與優化、煉化裝置運行分析等。

3）在銷售領域

大數據技術在銷售領域可用于市場需求預測、油價預測、物流優化、銷售分析、營銷活動分析、客戶分析、關聯商品分析等。

2.3 大數據技術應用路徑

大數據技術在石油石化企業生產經營管理中的應用路徑，主要包括以下三方面：大數據存儲技術、大數據并行處理技術、面向業務的數據分析技術。

1）大數據存儲技術

隨著企業生產經營數據量的日益龐大，常常存在對數據庫高并發讀寫的需求、海量數據高效率存儲和訪問的需求、數據庫高可擴展性和高可用性的需求、海量異源異構數據的存儲需求，而石油石化企業現有的數據存儲方式已無法滿足以上需要。將海量的數據低成本、低能耗、高可靠性的進行存儲是大數據面臨的嚴峻挑戰。

基于工業大數據云平臺的分布式數據集群存儲技術，能夠靈活擴展數據節點，便捷地設置數據副本配置策略，為集群環境提供高擴展和高可用的容量存儲能力，大幅降低海量數據應用的軟硬件成本。該技術支持海量結構化數據的快速檢索和非結構化數據的存儲應用，能夠保障查詢應用的快速響應，提升各類數據的訪問和處理速度，保障業務數據和優化成果的快速訪問。

HDFS（Hadoop Distributed File System，分布式文件系統）是適合在大規模集群中存儲海量數據文件的Hadoop分布式文件系統，通過HDFS能夠有效滿足大數據存儲要求，實現海量數據的存儲。

2）大數據并行處理技術

企業生產經營數據規模大且分布在多個信息系統的多臺服務器上，傳統的數據處理方法效率低，需要合適的算法和高性能計算能力才能為大數據分析帶來有意義的結果，所以需要一種能在多臺服務器上并行計算的框架。

MapReduce（映射規約）是一個高效的對海量數據進行分布式計算的模型框架，它可以并行處理超大規模數據量，很容易將計算擴展到多臺機器上并行進行，提高計算效率。利用MapReduce計算框架，可以實現海量數據的并行處理和復雜計算。

3）面向業務的數據分析

通過集成統計分析工具和數據挖掘工具，可實現對生產經營領域的海量數據的深入挖掘和分析。常用的統計分析工具有Hive，常用的數據挖掘工具有 Mahout。

2.4 企業大數據應用架構設計

石油石化企業構建大數據應用架構可以包括三個層次：大數據集成與管理、大數據分析、大數據應用與展示。

2.4.1 建立統一的生產經營數據管理平臺

充分利用企業已建的各類信息系統數據集成成果，進一步擴展集成宏觀經濟、市場、價格及產業政策等外部數據，搭建覆蓋全面、高效可靠、集成共享的生產經營數據管理平臺，為生產經營決策提供常態化、穩定的數據基礎。數據管理平臺一般包括數據集成模塊和數據存儲管理模塊。

1）數據集成模塊

數據集成模塊應當包括8大功能：數據源接口管理、數據映射管理、數據監控管理、數據編碼轉換管理、任務調度管理、數據調整管理、數據供給管理和平臺管理。

數據集成模塊能夠提供內外部多類數據實時抽取、采集調度、清洗管理等功能，為數據實時采集和入庫提供保障。根據數據來源和數據形式的不同，可采取多種采集方式，主要包括集成接口方式、網絡抓取方式和手工填報錄入三種。

2）數據存儲管理模塊

采用工業大數據云平臺的分布式數據集群存儲技術，集成各類結構化數據和非結構化數據，提供海量存儲環境和實時應用能力。同時建立6大類數據庫，即宏觀經濟數據庫、市場數據庫、價格數據庫、生產數據庫、財務數據庫和成果數據庫，實現對海量數據的分類管理。

2.4.2 建立統一的數據分析平臺

采用工業大數據云化技術，構建滿足企業生產經營海量數據大規模并行計算的軟件系統，利用MapReduce計算框架實現對各類數據的并行處理；對生產經營相關應用軟件和分析工具進行整合，利用Hive、Mahout等工具實現對各類數據的多維相關性分析；生產經營人員可依據需求選取相對應的專業應用軟件和工具進行數據分析，從而搭建大數據分析環境，便捷地實現數據加載、軟件及工具應用、數據的深入挖掘。

2.4.3 建立統一的應用展示平臺

數據只有通過動態展示，才能更好地發揮他的價值。應用多媒體交互技術，通過大屏幕、桌面、移動設備等媒介，實現各類生產經營數據，分析成果的在線查詢、可視化呈現與發布，輔助生產經營管理人員快速決策，為生產經營管理人員提供統一的生產經營應用展示平臺。

3 結束語

運用大數據技術，實現對石油石化企業海量結構化、半結構化、非結構化生產經營數據的統一采集、處理、存儲、分析、應用和共享，并建立統一的生產經營數據管理平臺、大數據分析平臺和應用展示平臺，是將大數據技術應用到石油石化企業生產經營管理中的一種實踐，對石油石化企業不斷探索實現大數據技術的應用具有借鑒意義。