淺析軟件定義存儲在油氣行業的應用

張春生，馬　楠，隋永剛

（1.中國人民大學，北京 100872；2.中國石油規劃總院，北京 100083）

淺析軟件定義存儲在油氣行業的應用

張春生1，2，馬楠2，隋永剛2

（1.中國人民大學，北京 100872；2.中國石油規劃總院，北京 100083）

為解決油氣行業應用高性能計算及大規模數據分析導致的傳統存儲系統性能瓶頸，在介紹軟件定義存儲的含義及特點的基礎上，從油氣公司物聯網、ERP應用集成、云、大數據的建設以及業務發展的角度對存儲的現狀及軟件定義存儲的需求進行了分析，并對軟件定義存儲在油氣行業的應用模式進行了探討并給出相關建議。

油氣行業；軟件定義存儲；閃存；IOPS；存儲虛擬化

0　引言

云計算、大數據、內存計算、移動互聯等技術的發展改變了應用程序的交付方式，大大提高了系統的計算性能，使得用戶對OLTP、OLAP功能的需求以及對系統IOPS的要求不斷提高，為傳統的存儲技術帶來了挑戰。自20世紀80年代以來CPU和基于硬盤的存儲系統在性能上的差距以指數級逐年提高［1］。為滿足應用程序對高I/O性能的需要，IT專業人員通過使用高速緩存、磁盤陣列方案和智能固件等方法來彌補這一差距，但傳統硬盤（HDD）存儲系統仍難以滿足現代應用程序的要求。尤其在油氣行業，高密度采集已經成為油氣勘探整個趨勢，地質勘探已經進入了大數據時代，勘探公司的在線地震數據達到PB級，高性能計算HPC集群在地震解釋方面的應用更凸顯了底層存儲的性能缺陷。“十二五”期間油氣公司物聯網、移動應用以及ERP應用集成建設持續推進將產生海量數據，同時云的建設極大提高IT資源靈活部署能力和數據計算能力，對底層存儲架構的高效性、可擴展性及智能性提出更高的要求。

軟件定義存儲為基于容量的存儲提供了虛擬化和自動化，對內部磁盤、閃存系統和外部存儲系統等來自不同地點的物理存儲容量進行聯邦式管理，通過全面的企業級功能支持高性能和數據密集型工作負載，結合閃存的高I/O性能以及硬盤智能分層技術能夠大大提高系統性能［2］。油氣公司開始通過部署軟件定義存儲來解決數據量激增和存儲架構靈活性的問題。

1　軟件定義存儲概述

1.1軟件定義存儲含義

數據中心存儲架構從最初的為滿足關鍵系統的性能與容量需求的豎井式存儲架構，發展到以虛擬化架構來整合數據中心的存儲資源，提供按需的存儲服務和自動化運維，并進一步向存儲系統的智能化、敏捷化演進。近年來，軟件定義網絡、軟件定義數據中心等新技術革新了基礎設施架構，同樣軟件定義的理念被引入到存儲領域，軟件定義存儲架構是存儲虛擬化后的進一步發展［3］。

軟件定義存儲（Software Defined Storage，SDS）基于存儲的虛擬化，將存儲應用程序移出每個陣列控制器并移進存儲虛擬機管理程序或者存儲虛擬化服務器，實現各種存儲資源的軟件定義，以服務的形式提供給應用，滿足應用按需自動化使用存儲的需求［4］。從軟件定義存儲的含義可以看出，其以存儲虛擬化為基礎向存儲智能化有了進一步的發展。存儲虛擬化一般只能在專門的硬件設備上使用，很多量身定做的設備才能進行存儲虛擬化，而軟件定義存儲則沒有設備限制。軟件定義的存儲是現有操作系統和管理軟件的結合，能夠完整地實現用戶對存儲系統的部署、管理、監控、調整等多個要求，為存儲系統帶來靈活、自由和高可用等特點。其優點主要包括：①形成存儲資源池，采用低成本的商用存儲硬件，降低采購成本；②可線性擴展的容量和性能，應用閃存技術最高可達數百萬IOPS；③彈性基礎架構，高可用和安全性，通過跨服務器的數據冗余機制，保障了多臺服務器同時故障的情況下，數據仍然可讀寫、不丟失；④具有高度自動化，易于配置和管理，提供基于服務的基礎設施分配，按不同應用特征優化工作負載和存儲資源。

1.2軟件定義存儲相關產品

軟件定義存儲產品的廠商排名里既有傳統的硬件供應商，如EMC、IBM、HP等，也有新興的初創公司，如Nexenta、Tintri、Solidfire等。以軟件定義存儲技術為代表的新一代存儲革新需求一方面讓老牌企業正在走出技術鎖定的老路，另一方面也使新興企業憑借開放的創新切入新需求市場。

由于不像軟件定義網絡那樣較早地建立起了業界標準，當前各廠商在軟件定義存儲上的技術發展表現各異。供應商的軟件定義存儲技術實現可以歸納為數據保持、數據服務和數據消費三層。數據保持層是指存儲媒介對數據存儲方法的優化，如RAID、糾刪碼等；數據服務層是指存儲媒介對數據活動的優化，如重刪、備份、壓縮、加密等；數據消費層是指數據的訪問接口，如塊存儲、文件存儲、對象存儲、Hadoop系統等。

軟件定義存儲要求數據控制與管理的解耦表現為這三層服務的獨立，技術實現不存在相互依賴關系。由于經過了虛擬化和抽象，數據服務得以從物理存儲設備中分離出來，可以按需動態創建，具有很大的靈活性。同時創建的數據服務可以根據軟件定義存儲控制器統一調度，運行在任何一個合適的服務器或存儲設備上。

2　油氣行業存儲現狀及需求分析

油氣行業的海量數據不只存在于勘探領域，隨著業務的發展以及信息系統的深化應用，煉油與化工、銷售、天然氣與管道等領域的數據量也在指數級增長。油氣行業的信息系統多采用SAN存儲架構，少數采用NAS存儲架構，存儲設備多為磁盤陣列和磁帶庫。隨著業務的發展，傳統的FC SAN存儲數量多、組網復雜、成本高、存儲功能單一等弊端逐漸顯現。一方面，采購的國外供應商產品經常出現非標準機柜需要改造數據中心或FC網絡的問題，且高端存儲采購周期較長，維護周期較長。其次還存在部分高端存儲系統橫向擴展能力差，支持新業務的靈活度差，在業務量激增的大環境下存儲容量和性能的提升時間慢且花費昂貴等問題。

2.1物聯網、ERP應用集成建設的需求

物聯網項目在油氣公司各業務領域正在有序開展穩步推進，建立起包括感知層、傳輸層和數據管理平臺層的總體架構，部署了RFID等物聯設備，實現現場生產數據的自動采集、生產運行的實時監控。物聯網系統通過傳感器、視頻、移動終端、電子標簽等數據采集工具實時采集設備狀態、生產運行、人員、安全、監控、物流和銷售等數據，通過有線和無線的方式傳輸到數據管理平臺，為各業務領域的相關系統應用提供數據。ERP應用集成系統構建了統一、穩定、可靠的數據共享平臺，將各業務板塊分散的信息系統數據匯聚在一起，形成了體積龐大的生產經營數據集合。物聯網和ERP應用集成項目的建設導致企業數據以前所未有的速度迅猛增長，數據的存放、管理、優化、利用成為難題，傳統的存儲架構在靈活可擴展和自動化程度方面難以滿足實際需求。

2.2建設云的需求

石油企業的云平臺也在不斷完善提升，已經形成全局性云管理平臺和共享式資源池，同時構建互為備份的“兩地三中心”體系，能夠滿足各業務系統對大量計算資源以及應用靈活部署的需求。在云環境中IT資源以服務的形式提供，要求存儲架構具備足夠的靈活性和可擴展性以應對動態變化的隨機環境，在不顯著增加數據中心占地面積的前提下滿足日益增長的存儲架構需求，同時應具備提供隨需變化的服務等級、精確控制、快速部署和調整存儲資源的能力。

2.3部署大數據的需求

為了應對物聯網系統產生的海量傳感數據、各業務系統積累的巨量生產經營歷史數據，油氣行業將在“十三五”期間部署大數據項目，挖掘數據中的隱性知識、潛在規律以及背后的商業機會。但是大數據也對現有的基礎設施，對各種資源包括計算、存儲和網絡都提出了更高的需求，特別是數據存儲需要變得更為靈活、富有彈性，能夠適應大數據分析對I/O的動態需求。

2.4業務發展的需求

由于近年業務規模發展迅猛，油氣公司每年均需要購置大量的存儲空間以存放地震及其他生產數據。由于原始數據量大、計算密集，運算過程又產生更多“中間數據”，因此需要高吞吐、高可靠、高擴展能力的海量并行存儲系統以及高性能計算HPC集群系統。為提高HPC計算集群系統的CPU利用率，企業加大應用作業密度，因此在作業處理高峰時段，出現了數據讀寫較為緩慢、處理系統效率降低的現象，并為數據中心節能降耗增加壓力。

3　軟件定義存儲在油氣行業的應用模式

軟件定義存儲的解決方案一般為包括軟件和硬件兩部分，其中軟件為分布式文件系統，對外提供統一的、標準的存儲服務。存儲硬件系統主要由大容量、低成本的存儲陣列與閃存陣列組成。方案將元數據與生產數據分離，全閃存陣列承擔關鍵業務負載，存放元數據，海量的生產數據或者冷數據則存儲在磁盤陣列上。軟件定義存儲系統所有組件都是松耦合的關系，交換、存儲等不同模塊可以自由組合，提高存儲架構的伸縮性。解決方案以軟件形式實現并發存儲訪問、數據的分層以及數據在不同層級間的遷移，具備靈活的配置和功能調整能力，實現針對客戶的具體需求進行調整和優化。軟件定義存儲在油氣行業的應用可以包括以下幾點。

3.1推動存儲虛擬化向軟件定義存儲轉變

云技術平臺以及災難恢復系統均采用基于存儲設備的虛擬化技術構建了存儲虛擬化資源池。而實現存儲資源的有效共享，降低使用成本，進一步提升存儲系統的智能化，實現存儲容量、性能、QoS（服務質量，Quality of Service）等服務的按需供給，則需要應用軟件定義存儲技術對存儲資源進行全面管理。通過軟件定義存儲簡化網絡和硬件的復雜度，降低采購和維護成本，通過分布式存儲實現成本更低的安全容災。

3.2利用閃存推動存儲智能分層，提升系統性能

依據企業業務現狀，運用存儲智能分層技術設置分層策略，構造高效的存儲系統。在存儲Tier1層應用閃存，負責核心業務數據存儲；Tier2層為普通存儲介質，負責日常數據或者冷數據存儲。首先將熱數據寫入Tier1層，然后等待數據稍冷數據會被遷移到Tier2層。通過智能分層和閃存技術實現多種存儲設備的優化應用，提升信息系統性能，降低硬件成本。

3.3將閃存利用作為數據中心降低能耗的途徑之一

油氣公司在全球擁有數十個數據中心，每年為全球各地的數據中心支付電費數額已十分驚人，數據中心的節能降耗成為信息化治理的重要工作。閃存除了具有高效的讀寫性能，而且不像磁盤那樣轉動，不會產生摩擦，本身就比較節能。閃存沒有機械部件，可以成倍地傳送數據，節約了機架磁盤，數據中心可節省更多的空間可用于CPU數據處理。利用閃存提高數據存儲效率，縮短服務器運行時間，促進數據中心降低能耗。

4　結語

軟件定義存儲將各種存儲資源以服務的形式提供給應用，實現對存儲系統的部署、管理、監控、調整，為油氣行業夯實IaaS建設、推進PaaS建設并實現靈活的SaaS部署，支持上層各業務領域的商務智能、深度分析以及上下游產業鏈整體優化提供了支撐。油氣行業應基于存儲虛擬化資源池向軟件定義存儲轉變，進一步提升存儲系統的靈活性和智能化水平。將軟件定義存儲的部署納入云管理平臺進行統一規劃、統一設計，制定軟硬件技術標準、接口標準，實現集團級、區域級與地區公司級數據中心存儲資源的共享及全局范圍的資源優化配置。

主要參考文獻

［1］陸游游，舒繼武.閃存存儲系統綜述［J］.計算機研究與發展，2013，50 （1）：49-59.

［2］詹明非.軟件定義存儲技術及其應用研究［J］.電信技術，2014（12）：30-32.

［3］毛健彪，韓彪，孫志剛，等.支持高效管理的軟件定義DCN控制架構［J］.北京郵電大學學報，2015，38（5）：109-112，117.

［4］孫振正，龔靖，段勇，等.面向下一代數據中心的軟件定義存儲技術研究［J］.電信科學，2014，30（1）：39-43.

10.3969/j.issn.1673-0194.2016.11.103

TP309.3

A

1673-0194（2016）11-0172-03

2016-04-26

張春生（1982-），男，河北雄縣人，工程師，博士，主要研究方向：油氣行業信息技術應用、規劃。