大數據技術在石油石化行業的應用

任友誼（中國石油寧夏石化公司， 寧夏 銀川 750026）

大數據技術在石油石化行業的應用

任友誼（中國石油寧夏石化公司， 寧夏 銀川 750026）

隨著科學技術和石油石化行業的迅速發展，大數據技術已經是石油石化行業必不可少的發展重點，這項技術應用成果在我們的日常生活中已經隨處可見。現在的當務之急是要合理有效的運用這項技術，在石油石化信息化建設的優化當中，建立企業自己的數據標準及資源池，隨后才可根據業務的實際需求進行數據的抽取和展示，徹底杜絕信息孤島的存在。本文主要根據筆者在石化公司信息部門的所見所聞及其工作的相關經驗對這個問題進行探討。

大數據；石油石化行業；應用

企業平常運作時產生的飛速增長的數據中，雖然有超過80%的數據是沒有什么作用的，但是這些數據卻非常的真實。如果能分類整理并加以合理利用，對企業的生產經營可以起到至關重要的支持作用。隨著大數據時代的到來，各個行業都對其帶來的成果十分重視。但是這個時代卻給人類對于數據的操控能力發出了全新的挑戰，當然也為人們的潛力發掘開拓了新的空間。

1 信息化的現狀

隨著我國經濟實力的不斷增強，石油石化行業也得到了迅速的發展，各企業也逐漸認識到信息化建設對企業持續發展的重要性，在過去近十年的信息化建設過程中主要以建設各業務的獨立信息系統為主，即使有數據交互也是在各個獨立的數據庫之間進行，基本實現了業務信息的電子化，但是沒有實現真正意義上的系統整合。對于企業在運作時產生的龐大數據，怎樣將這些數據整合并合理的利用，成了各個企業信息化發展的瓶頸。

2 大數據技術的發展

從大數據技術出現以來，隨著技術的不斷成熟，部分企業也開始將這項技術應用到石油石化的生產中，以便讓企業獲得更多的經濟收益。當然，大數據技術在石油石化行業的發展、主要體現在了管理數據上面，當前很多石油石化行業的數據已經轉變成了超大規模的電腦管理模式，儲存的空間提高了千TB。這項技術的挖掘也解決了在石油石化開采中出現的大規模數據結構非常復雜的問題，將這個技術運用到實踐中，既能夠描述生產的過程記錄，又能在出現問題的時候及時發現，起到預測的功效，還可以時刻觀察設備的磨損并進行及時的修理，可以減少失誤率，降低不必要的維修成本。

3 大數據技術的應用

近年來，石化企業的信息化發展策略的重點是數據的采集，數據分析追求高質量和高效率，在建設智能化工廠時，需要合理的利用信息感知、“云計算”、大數據處理等技術。

①NoSQL數據庫技術。NoSQL（Not only SQL）數據庫，是指不同于傳統關系型數據庫的非關系型數據庫。它的數據類型是非結構化的，數據庫結構不需要事先定義就可以靈活改變。相較于傳統關系型數據庫以行模式進行數據存儲，NoSQL數據庫則是以列模式存儲，數據只要保持結果的匹配，不需要保持嚴密的一致性即可。它可以在數臺服務器上采用部分協作的方式來進行工作，支持多種非SQL語言，它處理數據的能力要比RDBMS大得多。對于那些廣泛使用Oracle數據庫的石化企業來說，Oracle NoSQL Database11g商用數據庫使得在今后使用NoSQL數據庫來處理工作中產生的大量非結構化數據的成本大大降低。像信息平臺采集到的MES系統、ERP系統以及指紋門禁等各類與生產管理相關的數據都可以利用NoSQL數據庫來處理。

②大數據中的MapReduce技術。MapReduce是一種編程模型，它主要用于大規模數據集的并行運算。它的主要思想是可以將需要執行的問題，如查詢、分析任務等進行自動分割，并拆解成映射（map）和化簡（reduce）的方式，然后再通過Map函數程序將數據映射成不同的區塊，并將它們分配給機群中的不同處理節點來解決，從而達到分布式計算的目的，最后再通過Reduce函數程序將結果匯整之后得出最終結果。MapReduce技術可以通過大量廉價的服務器來實現大數據的并行處理，以提高運算速度。石化企業在以往傳統的信息化建設中，擁有大量的廉價服務器，采用該技術后，可以大大降低進行數據處理的成本。

③大數據的ETL預處理技術。為了提高大數據的處理速度，要將采集到的數據進行填補、合并、規范化等預處理，而分散在各個應用系統里的不同數據庫中的數據，也要進行提取、轉換、加載等多維度預處理。ETL預處理技術，可以把多個數據庫包含的結構化、非結構化的數據提取到臨時中間層，然后進行清理、轉換、集成，最終加載到目標數據庫或者文件存儲系統中，以便運用到日后的數據挖掘中去。

4 結語

大數據技術讓數據的統一性和信息的利用率達到了一個更高的領域，伴隨著這個新時代的到來，曾經的石油石化行業中的不同企業已經深深地明白了這個時代將帶來非常大的機會和挑戰，將來的石油石化行業馬上就會進入一個全新的管理模式，所以，在以后的石油石化行業中，大數據技術是必不可少的，也是一個企業想要更好發展的唯一道路，筆者通過對于大數據技術引領時代的介紹，分析了目前的狀況及相應的特點，全面的講述了這項技術之后在石油石化行業中的運用，所以，在這個新的時代，我們這些石油石化行業的信息工作人員，一定要熟悉大數據的相關技術，并探索這項技術的運用對于以后的石油石化行業的發展走向，把最新、最先進的技術應用于現在的石油石化行業中去，使其產生更好的經濟效益。

［1］厲彥柏.石油石化行業工業生產企業事故統計分析工作中的幾個問題［J］.安全與健康（上半月版），2011，（9）:41-43.

［2］陸治榮.石化行業:迎接大數據時代［J］.自動化博覽，2015，（2）:32-33.

［3］郭江波，許云鳳，張冰，等.石化行業圖紙明細欄的數據VC#.NET提取研究［J］.內蒙古石油化工，2013，39（16）:15-17.