網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)解決方案的探討

李莉

摘 要 網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)解決方案的探討需要解決存儲虛擬化問題。在滿足大容量存儲需求的同時，需要解決許多技術(shù)上和設(shè)備上的難題。目前業(yè)內(nèi)仍未有最優(yōu)的統(tǒng)一解決方案，且已有解決方案也存在著諸多問題，本文旨在從三方面探討網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)的解決方案。

關(guān)鍵詞 網(wǎng)絡(luò)環(huán)境 海量存儲系統(tǒng) 解決方案

中圖分類號：TP333 文獻標識碼：A

網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)解決方案的探討簡言之就是探討存儲虛擬化的解決方案。在滿足大容量存儲需求的同時，需要解決許多技術(shù)上和設(shè)備上的難題。相應(yīng)的設(shè)備廠商都在推行自己的存儲虛擬化技術(shù)理念，但是業(yè)內(nèi)仍未有最優(yōu)的統(tǒng)一解決方案。網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)最優(yōu)解決方案的統(tǒng)一標準仍然任重而道遠。

1網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)面臨的挑戰(zhàn)

現(xiàn)如今，網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)的容量已經(jīng)非常之大，達到了PB量的級別（1PB=103TB=106GB=109MB）。那么如此大規(guī)模的海量數(shù)據(jù)存儲，對于對應(yīng)承載的硬件系統(tǒng)要求也超出了傳統(tǒng)的理念，于是傳統(tǒng)的設(shè)備已經(jīng)無法滿足數(shù)據(jù)存儲的需求。

如何能夠解決這一問題，即網(wǎng)絡(luò)上大規(guī)模的數(shù)據(jù)訪問，存儲，分配等問題，數(shù)據(jù)傳輸?shù)膸拞栴}的解決是關(guān)鍵所在。

2網(wǎng)絡(luò)環(huán)境中海量存儲系統(tǒng)面臨的機遇

現(xiàn)如今，網(wǎng)絡(luò)信息技術(shù)的發(fā)展速度十分迅猛，對于IT行業(yè)來說，面臨著許多的機遇。具體表現(xiàn)在以下方面：

2.1網(wǎng)絡(luò)用戶的增加

由于IPTV業(yè)務(wù)和手機移動業(yè)務(wù)的大幅度增加，相應(yīng)的網(wǎng)絡(luò)用戶也有一定程度的激增。據(jù)相關(guān)咨詢公司的報告顯示，在未來十年，網(wǎng)絡(luò)視頻類業(yè)務(wù)市場將增長3倍以上，中國的寬帶用戶將會達到3億左右，對應(yīng)著IPTV用戶數(shù)也會達到數(shù)千萬之巨。由于視頻業(yè)務(wù)有著數(shù)據(jù)量大，資源豐富的特點，因此需要配套的大規(guī)模網(wǎng)絡(luò)存儲系統(tǒng)。

2.2 3G移動通訊的流行

3G業(yè)務(wù)現(xiàn)在國內(nèi)已經(jīng)順利得以運營，4G業(yè)務(wù)也逐步開始進行宣傳推廣，這將大大派生許多相應(yīng)的多媒體網(wǎng)絡(luò)的應(yīng)用：視頻通話，視頻短信，對應(yīng)的游戲和郵件應(yīng)用。

這些業(yè)務(wù)的發(fā)展，需要相應(yīng)的存儲系統(tǒng)予以支持。如內(nèi)容的下載與緩存。據(jù)相關(guān)機構(gòu)的數(shù)據(jù)量的統(tǒng)計，平均每個3G及以上級別數(shù)據(jù)網(wǎng)絡(luò)業(yè)務(wù)的用戶需要至少1GB的儲存空間，空間分配多用于視頻點播業(yè)務(wù)，此項達到500MB以上，視頻電話、視頻短信需要緩存空間100MB，多媒體郵件服務(wù)需要300MB，省下的存儲空間需要分配給其他娛樂服務(wù)。根據(jù)數(shù)以億計的用戶的需求，國內(nèi)的存儲容量空間需求將會非常龐大，甚至接近700PB。

2.3 石油勘探的需要

由于國內(nèi)制造行業(yè)、重工業(yè)對于石油等能源產(chǎn)品的需求與日俱增。不僅依靠大量進口，同時我們也要自力更生勘探出國內(nèi)大中型油田以供使用需求。就目前勘探手段而言，國內(nèi)已經(jīng)逐步采用數(shù)字化勘探方式。據(jù)有關(guān)數(shù)據(jù)顯示，國內(nèi)從2006-2010年五年間，每平方公里的勘探儲存數(shù)據(jù)已經(jīng)從幾GB發(fā)展到了20G-500GB的規(guī)模，以此類推，僅僅1000平方公里的勘探數(shù)據(jù)也將達幾十TB之多。

2.4 視頻監(jiān)控的發(fā)展

同樣，由于交通需要，安全需要等考慮，視頻監(jiān)控的應(yīng)用也越來越廣泛。不管是公路、住宅、寫字樓還是學(xué)生宿舍等都需要進行視頻監(jiān)控。同時，為了加強治安管理，不僅街道安裝了攝像頭而且公共交通工具，比如地鐵、公交也安裝了大量的攝像頭。視頻監(jiān)控的發(fā)展已經(jīng)涉及到衣食住行各個方面，因此，涉及到的領(lǐng)域和地方十分廣泛，相應(yīng)產(chǎn)生的數(shù)據(jù)量也十分龐大。

3解決大規(guī)模硬盤儲存讀取的方法

目前國內(nèi)的存儲設(shè)備生廠商對于如何解決大規(guī)模硬盤存儲讀取提出了多種方法，其中以下面三種解決方案最為常見：

3.1不斷擴充存儲控制器的處理能力

由于在控制器體積的局限條件之下，它的緩存容量通常為4G-8GB，包含的CPU大約為2～4顆。因此，當(dāng)面臨海量數(shù)據(jù)的存儲壓力時，最直觀的解決辦法就是增加緩存數(shù)量和CPU的數(shù)量。但是這一簡單的解決方法由于只是等差增長，增長速度遠遠跟不上數(shù)據(jù)的增長速度，要達到PB級而言就會比較困難。

3.2設(shè)計專用存儲陣列擴充設(shè)備連接多臺存儲陣列

在存儲陣列與SAN 存儲網(wǎng)絡(luò)中間，可以提供專用的陣列處理單元，對SAN 存儲網(wǎng)絡(luò)而言，并不能夠真正了解后臺存儲陣列的真實分布和分配情形，只能夠看到陣列處理單元虛擬化的存儲空間。比如，可以在運行后臺安放數(shù)十臺設(shè)備陣列，從而可以實現(xiàn)PB級的數(shù)據(jù)存儲與讀取，并且通過相應(yīng)的處理單元能夠給前端的上百臺服務(wù)器提供同時訪問的可能。

3.3智能存儲網(wǎng)絡(luò)交換架構(gòu)

現(xiàn)如今，智能存儲網(wǎng)絡(luò)交換構(gòu)架的變化，可以使得網(wǎng)絡(luò)交換系統(tǒng)更加功能強大，使得便利性大大提升。而這種交換架構(gòu)的變化是指，利用智能存儲交換機或者路由器，從而將主機和交換組能夠自我組成真實的數(shù)據(jù)傳輸網(wǎng)絡(luò)，實現(xiàn)服務(wù)器主機順暢地訪問后端磁盤陣列。并且，這些虛擬化的設(shè)備，以及相應(yīng)的配套訪問路徑，可以實現(xiàn)海量儲存數(shù)據(jù)的實現(xiàn)。

并且這種只能存儲網(wǎng)絡(luò)交換系統(tǒng)可以通過不斷增加陣列的空間結(jié)構(gòu)從而增加實際存儲數(shù)據(jù)量，通過增加路由器或者交換機等中介設(shè)備增加鏈路的交換能力，通過增加主機交換機來增加服務(wù)器訪問讀取能力。這個解決方案可以很好地處理好PB級海量數(shù)據(jù)的存儲讀取與服務(wù)器數(shù)據(jù)訪問的問題，并且數(shù)據(jù)的吞吐量十分可觀。

參考文獻

[1] 武家麟.PB級海量存儲系統(tǒng)解決方案[J].聚焦存儲，2012（5）.

[2] 車建華.虛擬計算系統(tǒng)性能與可用性評測方法研究[D].浙江大學(xué)，2010.

[3] 苗帥.海量數(shù)據(jù)存儲與全文檢索[D].江蘇科技大學(xué)，2011.