地震資料數據備份系統建設①

金 弟, 莊錫進, 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質研究院 計算機應用研究所, 杭州 310023)

地震資料數據備份系統建設①

金 弟, 莊錫進, 王啟迪, 曹曉初, 王宗仁

(中國石油杭州地質研究院 計算機應用研究所, 杭州 310023)

地震資料數據安全成為油氣勘探領域判斷油氣藏的位置、規模等特性的關鍵因素. 數據備份是數據安全的重要組成部分, 通過分析地震勘探業務需求, 結合現有地震資料處理解釋應用系統實際現狀, 提出了一種基于分級的數據備份系統解決方案. 該方案能有效解決各類地震資料數據的集中備份與恢復、地震資料處理解釋應用系統的存儲子系統后備擴容以及不同存儲級間的數據遷移等用戶需求, 從而確保油氣勘探的數據安全.

地震資料數據; 數據備份系統; 分級存儲; 備份策略

地震勘探技術是油氣地球物理勘探領域主要手段,其地震資料是基礎數據, 是石油企業的重要資源[1].作者所在單位目前已擁有比較完善的地震資料處理解釋應用系統, 但隨著地震資料數據量的迅猛增長而產生的數據安全問題也日益突出. 隨著地震數據規模擴大與業務系統復雜性增加, 為了避免或降低不可預測的數據丟失而產生的損失, 建立一套安全、可靠、高效、便捷的完整地震資料數據備份系統至關重要.

1 需求及應用系統現狀

1.1 地震勘探業務需求

地震資料的采集、處理、解釋是地震勘探業務的三個關鍵環節, 分別對應三類核心業務系統, 分別涉及三類地震數據. 業務流程如圖1, 具有以下需求特點:

圖1 地震勘探業務流程

(1) 原始采集的地震數據是海量數據. 隨著萬道地震技術發展、地震觀測采樣精度提高, 原始采集數據容量越來越大, 例如采集數據面元3.125m*3.125m、采樣率1ms、覆蓋次數120次、滿覆蓋面積100km2的數據容量約40TB.

(2) 處理與解釋中間過程產生地震數據規模大、數據遷移頻繁. 地震數據在地震資料處理與解釋業務系統過程中, 通過計算節點集群的并行計算, 中間額外產生海量地震數據. 尤其是地震資料處理應用系統,例如10TB采集地震數據, 通過各個處理模塊, 額外產生大概30TB的中間地震數據.

(3) 處理解釋過程中與地震數據對應的的井、層位、斷層等數據以數據庫方式存儲.

(4) 數據規模增長迅速. 隨著各類應用系統建設、地震資料處理解釋在機項目與工區的日益增多, 數據每年以10%以上的規模增加.

1.2 現有應用系統環境

作者所在單位部署了64節點處理系統、128節點處理系統、256節點處理系統等地震資料處理應用系統與基于協同體系架構的地震資料解釋系統(簡稱解釋系統), 其存儲子系統達到PB級以上, 采用SAN架構, 利用存儲主機群多I/O節點與并行文件系統構建高性能并行I/O.

2 體系結構

地震資料數據備份系統設計不改變及影響現有應用系統的環境與運行, 利用地震資料處理解釋應用系統存儲主機群中的部分I/O節點作為介質服務器, 采用分級存儲模式思路構建. 依據各級的需求、特點, 采用不同的存儲架構、存儲性能容量、技術方法, 實現數據備份至不同級的存儲上, 不同存儲級間的數據方便高效遷移, 分級存儲描述如表1. 地震資料數據備份系統分為備份數據存儲、備份服務器和客戶端三部分,體系結構如圖2.

表1 分級存儲描述

圖2 地震資料數據備份系統體系架構

(1) 備份數據存儲是系統的數據存儲中心. 由存儲主機群、并行文件系統、SAN存儲網絡、磁盤存儲搭建的基于并行高性能的目標磁盤存儲子系統(簡稱目標存儲), 作為一級在線存儲(簡稱一級存儲)與二級近線存儲(簡稱二級存儲). 由基于FC接口的多磁帶驅動器構建LAN-Free[2]模式的基于并行智能的目標磁帶庫存儲子系統(簡稱目標帶庫), 作為三級離線存儲(簡稱三級存儲). 不同存儲級間的數據根據用戶需求方便高效遷移.

(2) 備份服務器采用Master/Slave結構, 由一個主服務器和一定數量的介質服務器組成. 主服務器集中配置與管理備份策略、控制通路及驅動介質, 通過策略管理負責數據備份與恢復作業的統一集中調度與監控管理, 是數據備份管理核心. 介質服務器是數據備份與恢復作業時實際的I/O驅動與執行, 從主服務器接收備份與恢復信息, 通過SAN數據通路直接驅動對存儲介質讀寫, 運行在LAN-Free模式下, 主要用于地震數據文件的備份與恢復.

(3) 客戶端通過LAN網絡將被備份數據傳送給介質服務器, 運行在LAN 模式下, 用于數據庫的備份與恢復.

3 備份數據存儲

3.1 分級存儲

如圖2, 目標存儲的存儲主機群接入現有應用系統的LAN網絡, 目標存儲的SAN網絡與現有應用系統的SAN網絡級聯, 構建目標存儲的存儲主機群與源磁盤存儲的存儲主機群相同的I/O執行角色, 實現常規數據備份與一級存儲作為現有應用系統的存儲子系統后備擴容. 采用SNFS并行文件系統命名服務[3], 通過對應用系統中的計算節點、解釋工作站及數據庫節點掛載與卸載目標存儲并行文件系統客戶端服務等授權配置, 完成一級存儲與二級存儲的互相轉化, 避免數據在實際存儲位置上的遷移.

三級離線存儲采用目標磁帶庫存儲子系統的多磁帶驅動器的FC接口接入不同源磁盤存儲的SAN網絡,搭建基于LAN-Free的多驅動器并行I/O讀寫磁帶的備份方式與數據遷移. 不同級存儲間的數據遷移方法如圖3.

3.2 并行存儲

合理優化的數據存儲組織方式是高效的存儲訪問機制的前提條件, 高效的存儲訪問機制對數據存儲組織方式中的存儲單元I/O性能得到最大發揮. 作為應用系統存儲子系統的后備擴容功能, 對磁盤存儲子系統I/O性能要求非常高的一級與二級存儲采用并行存儲設計, 其核心為存儲組織方式與存儲訪問機制.

3.2.1 存儲組織方式

存儲組織方式實現從物理層的磁盤驅動器到邏輯層的并行文件系統的各個環節中存儲元素的分布式組織布局. 本文基于Quantum QD6000[4]磁盤陣列設計的數據組織方式如下.

(1) 存儲單元物理層設計.

1) 磁盤驅動器布局. 一個磁盤柜共有5個抽屜,編號為D1至D5, 每個抽屜共有磁盤驅動器12個,編號為S1至S12, 如圖4所示. 每個磁盤柜采用滿配60個3TB磁盤驅動器, 通過2個磁盤柜級聯方式實現磁盤驅動器擴容構成360TB存儲裸容量.

2) RAID組規劃. 每個抽屜抽取2塊磁盤驅動器, 5個抽屜共10塊磁盤驅動器構建一個8+2的RAID6方式. 每個抽屜抽取方法為: (S1,S4), (S2,S5), (S3,S6), (S7,S10), (S8,S11), (S9,S12), 一個磁盤柜劃分6個RAID組.

(2) 存儲單元邏輯層設計.

1) LUN生成與映射. 對物理層設計的每個RAID組, 劃分2個LUN, 每個LUN的裸容量為12TB, 一個磁盤柜生成12個邏輯單元LUN. 通過LUN至主機端映射實現存儲主機對LUN的識別.

圖3 不同級存儲數據遷移

圖4 磁盤驅動器布局

2) 并行文件系統生成. 在一個磁盤柜中, 存儲主機端識別的LUN采用奇偶方法分成二組LUN集, 每組LUN集對應一個并行文件系統所屬的所有LUN,使用Quantum StorNex[3]生成二個并行文件系統.

3.2.2 存儲訪問機制

針對存儲元素的分布式分層優化組織特點, 為了充分提升存儲元素的讀寫性能, 存儲訪問模式基于并行機制的存儲主機群、多端口、多路徑模式. 如圖5所示, 計算節點集群的N個并行客戶端請求通過Quantum StorNext的DLS[3]機制負載均衡到n個存儲主機, 實現文件級并行I/O. 每個存儲主機的I/O數據流從HBA卡接口經SAN網絡至存儲控制器的多個存儲主機FC接口的路徑有多條, 采用IBM RDAC軟件進行多路徑管理, 實現LUN級并行I/O訪問機制.

3.3 智能磁帶庫

智能磁帶庫使用Quantum Scalar i6000[5], 雙機械臂配置, 8個基于LTO Ultrium6協議標準的并行磁帶驅動器, 500槽位, 單盤非壓縮容量為2.5TB. 針對現有應用系統的特點, 采用磁帶庫邏輯分區技術分為4個區對應4套應用系統的數據備份. 磁帶庫邏輯分區實現一臺物理帶庫在功能上模擬多臺物理帶庫使用, 分別備份或恢復不同應用系統的源數據.

磁帶庫的I/O接口拓撲如圖6所示, LTO-1至LTO-8 8個磁帶驅動器并行讀寫4個區中的磁帶數據, 10臺介質服務通過FC接口共享8個磁帶驅動器, 扮演實際的帶庫I/O節點角色, 向磁帶驅動器發送磁帶讀寫指令.

4 備份服務器

4.1 服務器部署

鑒于應用系統是Linux操作系統以及地震資料數據的特點, 選擇Symantec NetBackup7.6(簡稱NBU)作為企業級數據備份管理軟件. 基于NBU的服務器部署分為主服務器與介質服務器二部分. 主服務器采用一臺IBM X3650服務器, 包括安裝NBU主服務器端軟件、配置/etc/hosts、/usr/openv/netbackup/bp.conf、自動啟動和關閉服務腳本、添加許可密鑰與介質服務器名稱等.

由圖6可知, 4套應用系統的8個存儲主機與2個目標存儲的存儲主機共10臺介質服務器, 實現了冗余介質服務器部署. 備份作業自動選擇最不繁忙的介質服務器、I/O負載均衡以及消除介質服務器單點故障,提升備份性能與可靠性. 安裝配置NBU介質服務器包括介質服務器軟件安裝、存儲設備識別、許可密鑰添加、自動啟動和關閉服務腳本等.

4.2 策略設計

策略設計是數據備份系統的一個重要環節, 是定義備份任務執行的一種方法, 設計完策略后, 無需人工進行干涉, 備份系統自動按時備份各類數據. 策略設計主要從存儲策略、備份策略二方面來考慮制定.

(1) 存儲策略.

制定不同的客戶端數據寫入相應的備份池中, 根據應用類型區別劃分為64節點處理系統、128節點處理系統、256節點處理系統、解釋系統等四個存儲池.每個存儲池包含多個物理存儲卷, 每個物理存儲卷是磁帶或文件系統. 通過NBU的Storage Unit[6]進行存儲策略的配置.

(2) 備份策略.

備份策略管理是NBU管理最重要的部分, 通過NBU控制臺的Policy[6]進行備份策略定義, 實現既保留足夠長時間內的備份數據又保證備份介質合理循環利用.

圖5 存儲訪問模式

圖6 磁帶庫接口拓撲

完全備份(full backup)對數據進行完整備份, 恢復時不依賴其他任何數據, 缺點是備份數據量大、備份時間長. 增量備份(incremental backup)從上一次備份后的變化數據, 備份數據量小, 但是依賴上次全備份及之后每次的備份數據. 差異備份(differential backup)備份上次全備份之后的所有變化數據, 只依賴上次全備份的數據, 備份數據量比增量備份大. 針對上述三種備份策略的優缺點, 結合備份數據的特點, 采用3種結合方式, 描述如表2.

表2 備份策略

磁帶介質的好處是單盤磁帶成本低、取出做永久保留、尤其是通過增加磁帶數量的方式實現磁帶庫存儲容量規模不受限制. 所以除了表2描述的備份策略外, 在一級存儲與二級存儲上以磁盤方式存儲的備份數據, 增加在一定時間或磁盤空間到達設定閥值后,磁盤數據自動導入到三級存儲磁帶介質上的策略.

5 客戶端

NBU客戶端軟件安裝配置在應用系統的數據庫節點, 實現對應用系統數據庫的備份和恢復. 對地震資料處理解釋業務系統的Oracle數據庫備份和恢復進行配置. NBU 將 Oracle 恢復管理器 (RMAN) 的數據庫備份和恢復功能與 NBU的備份和恢復管理功能集成在一起[7], 配置流程如下.

(1) 建立鏈接. 編輯運行/usr/openv/ netbackup/ bin/下的 oracle_link 腳本. 將 Oracle Server 軟件與NBU for Oracle 安裝的NBU API 庫鏈接. Oracle 在需要讀寫NBU介質管理器支持的設備時使用此庫.

(2) 定制備份腳本. 編制RMAN 要在客戶端上執行的數據庫備份命令Shell腳本, NBU通過在 Oracle策略的文件列表中指定該腳本來啟動數據庫備份.

(3) 創建備份策略. 制定策略類型Oracle、存儲位置、備份周期、保留周期、選擇備份客戶端等配置數據庫備份策略.

6 性能測試與分析

為檢測本文所設計系統的性能, 分別對一級在線存儲、二級近線存儲、三級離線存儲進行數據備份與恢復測試, 其中一級在線存儲與二級近線存儲在數據備份與恢復性能測試方面是相同的, 所以只給出一級存儲的數據備份與恢復測試.

圖7圖8是針對不同應用系統測試100GB數據的備份與恢復. 一級存儲的數據備份與恢復速度范圍168MB/S至583MB/S, 其性能明顯高于三級離線存儲的數據備份與恢復速度范圍95MB/S至252MB/S, 滿足地震數據備份系統的分級存儲的用戶需求. 一級存儲的文件備份與恢復速度范圍556MB/S至583MB/S,其性能明顯高于一級存儲的數據庫備份與恢復速度范圍168MB/S至210MB/S; 三級存儲的文件備份與恢復速度范圍161MB/S至252MB/S, 其性能明顯高于三級存儲的數據庫備份與恢復速度范圍95MB/S至122MB/S, 充分體現LAN-Free模式比LAN模式具有的備份優勢.

圖7 一級(二級)存儲的數據備份與恢復

圖8 三級存儲的數據備份與恢復

圖9 是基于并行存儲技術設計的一級存儲作為256節點處理系統的存儲子系統的后備擴容時, 使用IOzone[8]測試不同計算節點I/O請求時的聚合吞吐量讀為4.2GB/S至4.6GB/S, 聚合吞吐量寫為4.4GB/S至4.7GB/S, 滿足地震資料處理解釋應用系統對高吞吐量要求.

表3為測試200GB文件在不同存儲級間的數據遷移, 可以看出讀磁帶速度最低為182MB/S, 并行文件系統級的數據遷移速度最高為605MB/S, 達到備份系統分級存儲的設計需求.

圖9 一級存儲聚合吞吐量

表3 不同存儲級間數據遷移測試

7 結語

利用本文設計的數據備份系統已累計備份各類地震勘探業務數據達500TB, 作為應用系統存儲后備擴容使用容量為150TB, 不同存儲級數據遷移20多余次共計容量600TB. 實踐證明該方案很好的保證了數據的完整性和地震資料處理解釋業務的連續性, 滿足地震資料數據備份與恢復、應用系統后備擴容、不同存儲級數據遷移的業務要求.

1 張向林,陶果,劉新茹.油氣地球物理勘探技術進展.地球物理學進展,2006,21(1):143–151.

2 楊旭,宋式斌,樊春,彭一明.北京大學數據中心備份系統建設.武漢大學學報,2012,58(s1):53–57.

3 Quantum. Stor Next File System User’s Guide. Seattle, USA: Quantum Press. 2012.

4 Quantum. Stor Next Q-Series Storage Hardware Cabling Guide. Seattle, USA: Quantum Press. 2012.

5 Quantum. Scalar i6000 User’s Guide. Seattle, USA: Quantum Press. 2013.

6 Symantec. Symantec NetBackup Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

7 Symantec. Symantec NetBackup for Oracle Administrator’s Guide. Cupertino, USA: Symantec Press. 2013.

8 Iozone Filesystem Benchmark. http://www.iozone.org/docs/ IOzone_msword_98.pdf.

Construction of Seismic Data Backup System

JIN Di, ZHUANG Xi-Jin, WANG Qi-Di, CAO Xiao-Chu, WANGZ Zong-Ren
(Department of Computer Application, Research Institute of Hangzhou Geology, Hangzhou 310023, China)

Seismic data security has become a key factor for determining the location and scale of oil and gas reservoirs in the field of oil and gas exploration. Data backup is an important part of data security, this paper analyses the seismic exploration business requirement, combines with the actual situation of the existing seismic data processing and interpretation application system, a solution based on hierarchical data backup system is put forward. The solution can effectively solve all kinds of centralized backup and restoration of seismic data, expansion of storage subsystem of seismic data processing and interpretation application system and data migration for different hierarchical storage, ensuring the data security of oil and gas exploration.

seismic data; data backup system; hierarchical storage; backup policy

2016-03-28;收到修改稿時間:2016-05-12

10.15888/j.cnki.csa.005508