賴能和最近比較開心,因為他采用了IBM軟件定義的閃存基礎架構(Software Defined Flash infrastructure)以加速對海量地震數據的訪問,從而提升大數據時代油氣勘探的效率,也為他降低了不少成本。
賴能和是中國石油集團東方地球物理勘探有限責任公司(簡稱東方地球物理公司)研究院數據處理中心總工程師,他所在的公司主要從事國內外陸地、海上地震勘探及綜合物化探采集、處理、解釋,以及與地球物理(化學)勘探有關的技術及裝備研發、產品研制、技術引進與產品銷售等業務。目前,東方地球物理公司在陸上地震勘探市場份額位居全球第一。
東方地球物理公司還擁有亞洲最大的地震資料處理中心。在北京、新疆庫爾勒、烏魯木齊、甘肅敦煌、西安、唐山、任丘、大港設有處理分部,在伊朗、巴基斯坦、尼日利亞、蘇丹、休斯頓建有處理分中心。
賴能和介紹說,當前石油勘探已進入高密度采集、大數據的時代,需要大規模的計算機處理海量數據。由于近年業務規模發展迅猛,賴能和每年均需要購置大量的存儲空間以存放地震解釋處理數據。目前,東方地球物理公司處理中心存量在線數據超過10PB。由于原始數據量大、計算密集,運算過程又產生更多“中間數據”,因此需要高吞吐、高可靠、高擴展能力的海量并行存儲系統。
此外,之前東方地球物理公司處理中心部署了高性能計算HPC集群系統。為提高HPC計算集群系統的CPU利用率,應用部門加大了應用作業密度,因此在作業處理高峰時段,出現了數據讀寫較為緩慢、處理系統效率降低的現象。
賴能和告訴記者,東方地球物理公司采用了IBM軟件定義的閃存基礎架構解決方案,利用彈性存儲,將3.5TB元數據直接存放到高性能的閃存IBM FlashSystem 810上,其余的數據存放到DS3700存儲系統中。通過把元數據放到閃存中進行處理,明顯提升了系統的交互性能,監測作業進度的應用響應時間甚至縮短了14000倍左右。顯著的性能提升,使東方地球物理公司在以更高的吞吐處理海量數據的同時,還明顯提高了對作業的查詢及監控效率。
閃存技術在大數據時代煥發了新的生命力。閃存技術雖然早已經存在,但由于軟件技術及性價比的原因,其應用一直存在爭議。近年來,隨著閃存價格的下降以及軟件定義存儲的出現,越來越多的企業開始考慮采用閃存代替磁盤,或部分取代。特別在是大數據處理的情況下,由于大量和頻繁的數據調用,閃存比磁盤提供了更快的速度和更高的處理效率,甚至可以做到實時處理。
除了實時海量數據處理外,相對于磁盤存儲,閃存還有許多先天的優勢。閃存沒有機械部件,可以成倍地傳送數據。由于節約了機架磁盤,數據中心可心節省更多的空間用于CPU數據處理。由于閃存不像磁盤那樣轉動,不會產生摩擦,所以產生的熱量也少了很多,更為節能。
其實,閃存技術除了在存儲領域得到發展外,早已經在數據庫領域也取得了廣泛的認可。多家廠商推出內存數據庫,摒棄硬盤而采用內存,打造實時數據處理平臺,成倍提升了海量數據處理的效率。
全球70%石油石化行業的領導都認為,IT是非常重要的領域,大數據分析更是石油石化行業關注的熱點。IDC報告分析提出,2012年油氣上游行業生產領域IT投資量為376億美金,而這一數字到2016年,將接近500億美金。如何利用大數據分析提升生產力已經成為全球大型石油石化公司追逐的焦點。
當前,閃存存儲和軟件定義存儲解決方案已經廣泛應用于多個行業。IBM Flashsystem 810幫助東方地球物理公司有效地實現了元數據與生產數據的分離,不僅提升了元數據檢索的效率,而且保證了數據的可靠性和安全性,可謂一舉多得。