海量地震數(shù)據(jù)的復(fù)合分層式存儲方案

摘要:該文介紹了網(wǎng)絡(luò)及其存儲技術(shù)在地震數(shù)據(jù)管理中的作用，分析了地震數(shù)據(jù)存儲面臨的特點，并通過分析對比各存儲結(jié)構(gòu)及網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)計了一個用于地震數(shù)據(jù)存儲的網(wǎng)絡(luò)存儲方案。

關(guān)鍵詞:地震數(shù)據(jù);存儲方案;網(wǎng)絡(luò)結(jié)構(gòu)

中圖分類號:U211 文獻標(biāo)識碼:A文章編號:1009-3044(2010)05-1056-02

Complex Distributed Storage Scheme of Massive Earthquake Data

WANG Zhao-qiang

(Unit 73841 of PLA， Nanjing 210003， China)

Abstract: This paper introduces the network and storage technology the effect of earthquake data management， and analyzes the characteristics of earthquake data storage. Finally， via contrasting storage framework and network structure， proposed a new network storage scheme used for earthquake data storage.

Key words: earthquake data; storage scheme; network structure

地震產(chǎn)生后對國家與人民的財產(chǎn)造成了無可估量的損失。但是地震產(chǎn)生后，隨之產(chǎn)生的大量的地震數(shù)據(jù)，卻是日后災(zāi)區(qū)重建、地震防治、地質(zhì)結(jié)構(gòu)研究、石油勘測中的重要數(shù)據(jù)，及時有效、安全的存儲與使用這些數(shù)據(jù)必能在未來的建設(shè)與研究中發(fā)揮巨大的作用。

1 概述

地震發(fā)生后首要的工作就是進行災(zāi)區(qū)重建，為了及時清楚的了解受災(zāi)嚴(yán)重程度的地區(qū)分部情況，最好的方式就是使用衛(wèi)星航拍圖來進行分析，然而地震的涉及范圍通常巨大，為了提高圖片的分辨率不得不增加存儲的圖片的容量，由此而產(chǎn)生的數(shù)據(jù)量成幾何級數(shù)的增加。

地震產(chǎn)生時，由地震處理解釋中心將地震信號通過地面提取出來，送到大型計算機進行處理，形成地下的地質(zhì)構(gòu)造及地下的成像，用于地質(zhì)結(jié)構(gòu)研究，并為進一步發(fā)現(xiàn)地下油氣，提供可靠的勘探數(shù)據(jù)。然而，地震信號是在三維空間中的數(shù)據(jù)，在如此廣大的地域內(nèi)，數(shù)據(jù)量是爆炸性的。

由此可以用看出，地震數(shù)據(jù)的海量性對現(xiàn)代的存儲系統(tǒng)提出了新的需求，基于單機存儲的倉儲系統(tǒng)對海量地震數(shù)據(jù)的儲存不再適用，我們希望借助分布式的網(wǎng)絡(luò)來實現(xiàn)有效的數(shù)據(jù)存儲，而地震數(shù)據(jù)又是從地震中采集而來，具有高度偶然性，因此數(shù)據(jù)非常珍貴。針對這些特點，本文主要就是對比了幾種存儲結(jié)構(gòu)的優(yōu)缺點，并選擇設(shè)計了一個用于地震數(shù)據(jù)存儲的存儲網(wǎng)絡(luò)方案。

2 復(fù)合分層式數(shù)據(jù)存儲方案

2.1 存儲結(jié)構(gòu)的選擇

網(wǎng)絡(luò)存儲有兩大要件，一者為存儲設(shè)備，一者為網(wǎng)通設(shè)備。企業(yè)的網(wǎng)絡(luò)存儲已行之有年，分為以下幾種架構(gòu):磁盤陣列柜(RAID， Redundant Arrays of Inexpensive Disks)、直連式存儲(DAS， Direct Attached Storage)、存儲局域網(wǎng)絡(luò)(SAN， Storage Area Network)和網(wǎng)絡(luò)附加存儲(NAS， Network Attach Storage)。

直連式存儲(Direct Attached Storage)，如圖1(a)，存儲設(shè)備與主機的操作系統(tǒng)緊密相連的一種存儲方式，由于早期的網(wǎng)路十分簡單，所以直連式存儲得到發(fā)展。其典型的管理結(jié)構(gòu)是基于SCSI 的并行總線式結(jié)構(gòu)。直連式存儲共享是受限的，原因是存儲是直接依附在服務(wù)器上的。從另一方面看，系統(tǒng)也因此背上了沉重的負擔(dān)。因為CPU必須同時完成磁盤存取和應(yīng)用運行的雙重任務(wù)，所以不利于CPU 的指令周期的優(yōu)化。

磁盤陣列 (Redundant Arrays of Inexpensive Disks)，如圖1(b)，有“價格便宜且多余的磁盤陣列”之意。其原理是利用數(shù)組方式來做磁盤組，配合數(shù)據(jù)分散排列的設(shè)計，提升數(shù)據(jù)的安全性。磁盤陣列主要針對硬盤，在容量及速度上，無法跟上CPU及內(nèi)存的發(fā)展，提出改善方法。磁盤陣列是由很多便宜、容量較小、穩(wěn)定性較高、速度較慢磁盤，組合成一個大型的磁盤組，利用個別磁盤提供數(shù)據(jù)所產(chǎn)生的加成效果來提升整個磁盤系統(tǒng)的效能。同時，在儲存數(shù)據(jù)時，利用這項技術(shù)，將數(shù)據(jù)切割成許多區(qū)段，分別存放在各個硬盤上。 磁盤陣列還能利用同位檢查(Parity Check)的觀念，在數(shù)組中任一顆硬盤故障時，仍可讀出數(shù)據(jù)，在數(shù)據(jù)重構(gòu)時，將故障硬盤內(nèi)的數(shù)據(jù)，經(jīng)計算后重新置入新硬盤中。而磁盤陣列柜就是裝配了眾多硬盤的外置的RAID。磁盤陣列柜通常比較適合在企業(yè)內(nèi)部的中小型中央集群網(wǎng)存儲區(qū)域進行海量數(shù)據(jù)存儲。

存儲區(qū)域網(wǎng)絡(luò)(Storage Area Networks)，如圖1(c)，到了二十世紀(jì)八十年代，計算由大型的集中式系統(tǒng)發(fā)展到靈活的客戶端服務(wù)器分布式模型。正是尚處在初級階段的局域網(wǎng)推動了這一轉(zhuǎn)變。連接服務(wù)器的存儲(Server-Attached Storage)和直連存儲類似，但使用的卻是分布式的方法，并仰賴與局域網(wǎng)的連接得以實現(xiàn)。隨著計算能力，內(nèi)存，存儲密度和網(wǎng)絡(luò)帶寬的進一步增長，越來越多的數(shù)據(jù)被存儲在個人計算機和工作站中。分布式的計算和存儲的增長對存儲技術(shù)提出了更高的要求。現(xiàn)在的SAN存儲網(wǎng)絡(luò)是一個用在服務(wù)器和存儲資源之間的，專用的，高性能的網(wǎng)絡(luò)體系。它為了實現(xiàn)大量原始數(shù)據(jù)的傳輸而進行了專門的優(yōu)化。可以把SAN 看成是對SCSI 協(xié)議在長距離應(yīng)用上的擴展。

網(wǎng)絡(luò)附加存儲(Network Attached Storage)，如圖1(d)，是一種專用網(wǎng)絡(luò)數(shù)據(jù)存儲\\備份器。網(wǎng)絡(luò)附加存儲設(shè)備(NAS)是一種專業(yè)的網(wǎng)絡(luò)文件存儲及文件備份設(shè)備，或稱為網(wǎng)絡(luò)直聯(lián)存儲設(shè)備、網(wǎng)絡(luò)磁盤陣列。一個NAS 里面包括核心處理器，文件服務(wù)管理工具，一個或者多個的硬盤驅(qū)動器用于數(shù)據(jù)的存儲。NAS 可以應(yīng)用在任何的網(wǎng)絡(luò)環(huán)境當(dāng)中。主服務(wù)器和客戶端可以非常方便地在NAS 上存取任意格式的文件，包括SMB 格式(Windows)NFS 格式(Unix， Linux)和CIFS 格式等等。NAS 系統(tǒng)可以根據(jù)服務(wù)器或者客戶端計算機發(fā)出的指令完成對內(nèi)在文件的管理。

復(fù)合式存儲結(jié)構(gòu):由于NAS與SAN都具有不受地域限制、高擴展性、高度自動化、高可用性群集、數(shù)據(jù)備份安全等特點，在數(shù)據(jù)容災(zāi)方面，也具有重要的作用。當(dāng)對SAN 和NAS 進行比較時，這兩種相互競爭的技術(shù)實際上是互補的。SAN 和NAS 是在不同用戶需求的驅(qū)動下的獨立事件。SAN 是以數(shù)據(jù)為中心的，而NAS 是以網(wǎng)絡(luò)為中心的。概括來說，SAN 具有高帶寬塊狀數(shù)據(jù)傳輸?shù)膬?yōu)勢，而 NAS 則更加適合文件系統(tǒng)級別上的數(shù)據(jù)訪問。可以部署 SAN 運行關(guān)鍵應(yīng)用，比如數(shù)據(jù)庫、備份等，以進行數(shù)據(jù)的集中存取與管理;而NAS 支持若干客戶端之間或者服務(wù)器與客戶端之間的文件共享，所以可使用NAS作為日常辦公中需要經(jīng)常交換小文件的地方，比如文件服務(wù)器、存儲網(wǎng)頁等。越來越多的設(shè)計是使用SAN 的存儲系統(tǒng)作為所有數(shù)據(jù)的集中管理和備份，而需要文件級的共享即File system I/O 則使用NAS 的前端(所謂前端，即只有CPU 及OS，OS 可以是windows 或Unix 的內(nèi)核或簡化版，不包含盤體裝載數(shù)據(jù))，后端還是會集中到SAN 的磁盤陣列中采取數(shù)據(jù)，提供高性能、大容量的存儲設(shè)備。因此我們選擇結(jié)合這兩種方式來設(shè)計存儲結(jié)構(gòu)，這樣的存儲結(jié)構(gòu)稱這為復(fù)合式存儲結(jié)構(gòu)。

2.2 網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計

通用網(wǎng)絡(luò)結(jié)構(gòu)主要有以下幾種:

1)星型網(wǎng):如圖2(a)，星型網(wǎng)又稱輻射網(wǎng)，該結(jié)構(gòu)存在一個中心轉(zhuǎn)接點，在數(shù)據(jù)存儲中，一般用作管理服務(wù)器或是中心交換機。所有的存儲結(jié)點都與中心結(jié)點相連接，N個結(jié)點就需要N-1條傳輸鏈路。優(yōu)點是降低了傳輸鏈路的成本，提高了線路的利用率;缺點是網(wǎng)絡(luò)的可靠性差，一旦中心結(jié)點發(fā)生故障或是轉(zhuǎn)接能力不足時，網(wǎng)絡(luò)將癱瘓。

2)環(huán)狀結(jié)構(gòu):如圖2(b)，該結(jié)構(gòu)中所有的節(jié)點都是首尾相連，組成一個環(huán)，N個節(jié)點的環(huán)需要N條鏈路。環(huán)狀網(wǎng)可以是單身環(huán)，也可以是雙相環(huán)，該網(wǎng)的優(yōu)點是結(jié)構(gòu)簡單，容易實現(xiàn)，雙向自愈環(huán)結(jié)構(gòu)可以對網(wǎng)絡(luò)進行自動保護:缺點是節(jié)點數(shù)較多時轉(zhuǎn)接時延無法控制，并且環(huán)形結(jié)構(gòu)不好擴容，每加入一個結(jié)點都要破壞環(huán)。

3)網(wǎng)狀網(wǎng):如圖2(c)，它是一個完全互連的網(wǎng)，網(wǎng)內(nèi)任意結(jié)點都與其它結(jié)點相連，N個結(jié)點組成的網(wǎng)絡(luò)需要N(N-1)/2條傳輸鏈路。其優(yōu)點是線路冗余度大，網(wǎng)絡(luò)可靠性高，任意兩點間可以直接通信，缺點是線路利用率低，網(wǎng)絡(luò)成本高，另外網(wǎng)絡(luò)的擴容也不方便，每增加一個結(jié)點，就需要增加N條線路。

4)總線型網(wǎng):如圖2(d)，它屬于共享傳輸介質(zhì)型網(wǎng)絡(luò)，總線型網(wǎng)中所有節(jié)點都連至一個公共的總線上，任何時候只允許一個節(jié)點占用總線或收發(fā)數(shù)據(jù)。該結(jié)構(gòu)的優(yōu)點是需要的傳輸鏈路少，節(jié)點間通信無需轉(zhuǎn)接節(jié)點，控制方式簡單，增減節(jié)點也很方便;缺點是網(wǎng)絡(luò)服務(wù)性能的穩(wěn)定性差，節(jié)點數(shù)目不宜過多，網(wǎng)絡(luò)覆蓋范圍也小。

5)復(fù)合型網(wǎng):如圖2(e)，它是將網(wǎng)狀網(wǎng)與星型網(wǎng)復(fù)合而成的。它以星型網(wǎng)為基礎(chǔ)，在業(yè)務(wù)量較大的轉(zhuǎn)接交換中心之間采用網(wǎng)狀網(wǎng)結(jié)構(gòu)，因而整個網(wǎng)絡(luò)結(jié)構(gòu)比較經(jīng)濟，且穩(wěn)定性較好。此種網(wǎng)絡(luò)結(jié)構(gòu)兼具了星型網(wǎng)和網(wǎng)狀網(wǎng)的優(yōu)點，因此我們選擇用此種網(wǎng)絡(luò)結(jié)構(gòu)來設(shè)計存儲網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)。

2.3 復(fù)合分層式數(shù)據(jù)存儲方案

為了擴大網(wǎng)絡(luò)的覆蓋范圍，我們引入分層式的思想到復(fù)合型網(wǎng)絡(luò)結(jié)構(gòu)中，并結(jié)合前面的復(fù)合式存儲結(jié)構(gòu)，設(shè)計如圖3復(fù)合分層式存儲方案。

本方案特點:

1)結(jié)合了數(shù)據(jù)集中處理概念，即各個核心部門的數(shù)據(jù)都統(tǒng)一集中在本地NAS上，便于管理和應(yīng)用。

2)將存儲設(shè)備與服務(wù)器徹底分離，集中管理數(shù)據(jù)，從而釋放帶寬、提高性能

3)SAN Network 部分網(wǎng)絡(luò)采用復(fù)合分層式網(wǎng)絡(luò)結(jié)構(gòu)，無單點故障，能夠提供無縫的異地容災(zāi)備份解決方案。

4)本地RAID磁盤陣列結(jié)構(gòu)，能為本地數(shù)據(jù)進行提供高效容錯的數(shù)據(jù)安全性。

5)SAN網(wǎng)絡(luò)高度優(yōu)化，能夠極大滿足地震數(shù)據(jù)傳輸?shù)臅r效性。不過也同時帶來方案部署的造價。

6)采用開放式的體系結(jié)構(gòu)，支持多種系統(tǒng)平臺的接入，亦即實現(xiàn)跨平臺操作。

7)異構(gòu)環(huán)境數(shù)據(jù)共享，即不同的平臺和數(shù)據(jù)庫系統(tǒng)實現(xiàn)相關(guān)數(shù)據(jù)的共享

3 結(jié)束語

本文首先介紹了地震數(shù)據(jù)及其特點，然后通過詳細的分析與比較傳統(tǒng)的存儲結(jié)構(gòu)的優(yōu)缺點，采用結(jié)合NAS與SAN優(yōu)點的存儲結(jié)構(gòu)，通過分析與比較了各種網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)缺點，將分層式的復(fù)合網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用到存儲網(wǎng)絡(luò)中，結(jié)合二者設(shè)計了一種復(fù)合分層式的存儲框架。

通過文章分析，我們可以知道這種存儲框架有諸多優(yōu)點，它利用了SAN的優(yōu)化網(wǎng)絡(luò)，因此能夠?qū)蘖看髩K的數(shù)據(jù)進行高效的傳輸與存儲，同時，在終端利用了NAS的文件級別可以存儲任意格式文件的特點，具有很高的靈活性，而復(fù)合分層式數(shù)據(jù)存儲結(jié)構(gòu)又使網(wǎng)絡(luò)具有高度的穩(wěn)定性，因此這種方案可以很好的滿足地震數(shù)據(jù)的海量性，數(shù)據(jù)珍貴性需要高容災(zāi)能力等特點。

參考文獻:

[1] 楊武軍.現(xiàn)代通信網(wǎng)概論[M].西安:西安電子科技大學(xué)出版社，2004.

[2] 謝希仁.計算機網(wǎng)絡(luò)[M].5版.北京:電子工業(yè)出版社，2008.

[3] NetApp 網(wǎng)絡(luò)存儲技術(shù)在地震數(shù)據(jù)管理中的應(yīng)用.http://article.pchome.net/content-424491.html，2007-08-07.

[4] NAS(網(wǎng)絡(luò)附加存儲)在數(shù)據(jù)容災(zāi)中的相關(guān)應(yīng)用.http://blog.chinaunix.net/u2/71502/article.html.