云計算環(huán)境下的數(shù)據(jù)存儲

摘要:該文對云計算環(huán)境下的數(shù)據(jù)存儲技術(shù)進(jìn)行了分析。對云計算下的存儲需求，云計算IAAS層的云存儲架構(gòu)方法，PAAS層的云存儲實(shí)現(xiàn)方法進(jìn)行了探討。分析比較了幾種商業(yè)化云存儲系統(tǒng)，并給出了企業(yè)環(huán)境下構(gòu)建云存儲的一種方案。

關(guān)鍵詞:云存儲;NAS;SAN;虛擬化;存儲管理

中圖分類號:TP311文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2010)05-1032-03

Cloud Computing Environment Data Storage

LI Yu-ming， ZHANG Cai-neng， XIE Jie

(Department of Computer Science ，Shonan Institute，Chengzhou 423000，China)

Abstract: This paper analyzed data storage technology under cloud computing environment. Discussed the need of build cloud storage， compared the methods and protocols stored in the cloud layer of IAAS structure， analyzed the realization method of cloud storage in the PAAS structure， compared several commercial cloud storage systems， and gave a method to build enterprise's cloud storage.

Key words: cloud storage， NAS， SAN， virtualization， storage management

云計算是一種基于服務(wù)的架構(gòu)體系，有兩種基本服模式:云計算和云存儲。基于云計算服務(wù)的應(yīng)用程序，無論是金融服務(wù)還是網(wǎng)絡(luò)角色扮演游戲，幾乎在所有情況下都需要高性能的云存儲來滿足數(shù)據(jù)處理的需求[1]。網(wǎng)絡(luò)時代是一個信息時代，隨著Web2.0技術(shù)的成熟，大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上，如何應(yīng)對這種信息爆炸式的增長速度，如何對這些信息進(jìn)行有效存儲和管理，云存儲是否能夠應(yīng)對這種情況，如何才能保證云存儲的高性能，如何才能保證云存儲的靈活性，這些是本文探討的問題。

1 云計算環(huán)境下的云存儲實(shí)現(xiàn)

1.1 選擇云存儲的理由

我們可以列出相比現(xiàn)有存儲技術(shù)，選擇使用云存儲的理由。

首先，相比傳統(tǒng)存儲，云存儲的購買模式更加靈活。普通企業(yè)構(gòu)建一個數(shù)據(jù)中心(購買服務(wù)器，數(shù)據(jù)維護(hù)，能源消耗[2]等)，所需要的一次性投資巨大，而使用云存儲，企業(yè)可以根據(jù)經(jīng)濟(jì)狀況，靈活決定選擇租用公共云存儲或者自己實(shí)現(xiàn)私有云存儲。云存儲服務(wù)商都有專業(yè)的存儲解決方案，針對存儲效能進(jìn)行了最大的優(yōu)化，存儲成本在虛擬化平臺上實(shí)現(xiàn)顆粒性統(tǒng)計，盡力在使用成本和用戶可以接受的價格之間尋找平衡點(diǎn)，以規(guī)模經(jīng)濟(jì)來獲取效益。因此相對于用戶構(gòu)建的數(shù)據(jù)中心，普通的中小企業(yè)在平均業(yè)務(wù)數(shù)據(jù)量不大的情況下，租用合適的公共云存儲，可以很好的解決中小企業(yè)資金預(yù)算問題。

其次，云存儲可以很好的應(yīng)付突發(fā)的大訪問量。企業(yè)在構(gòu)建數(shù)據(jù)中心時，一般會考慮到數(shù)據(jù)中心的處理性能，為企業(yè)用戶提供良好的服務(wù)，但如果遇到突發(fā)性的大訪問量，企業(yè)自己的數(shù)據(jù)中心往往無法應(yīng)付，比如大型賽事的購票系統(tǒng)，餐飲行業(yè)的訂餐系統(tǒng)，試運(yùn)營階段的網(wǎng)絡(luò)聯(lián)機(jī)游戲等，都會遇到這種突發(fā)性大訪問量，這種情況下如果使用了云存儲服務(wù)，利用云存儲的服務(wù)器集群和虛擬化技術(shù)，臨時調(diào)用計算和存儲資源，分配給服務(wù)器和存儲子模塊，可以很好的為企業(yè)解決類似問題。

再次，可以提供存儲服務(wù)的同步升級和數(shù)據(jù)的有效管理。企業(yè)構(gòu)建自己的數(shù)據(jù)中心，需要購買相應(yīng)的網(wǎng)絡(luò)存儲控制器設(shè)備和存儲管理軟件，這些設(shè)備和軟件的升級管理往往需要在不影響用戶使用的情況下進(jìn)行。同時數(shù)據(jù)的備份、歸檔也需要有效的管理，防止突發(fā)性破壞事件影響用戶使用。這些活動都具有一定的風(fēng)險，需要經(jīng)驗豐富的數(shù)據(jù)管理人員進(jìn)行維護(hù)。而使用云存儲服務(wù)，則可以一定程度轉(zhuǎn)嫁這些風(fēng)險。客戶在與云存儲服務(wù)提供商簽訂云存儲服務(wù)時，都會就系統(tǒng)升級，數(shù)據(jù)備份、歸檔等達(dá)成協(xié)議，由云存儲服務(wù)提供商負(fù)責(zé)承擔(dān)，同時有響應(yīng)的風(fēng)險承諾，讓企業(yè)確信這些數(shù)據(jù)管理活動能夠?qū)L(fēng)險降至最低。

正是由于云存儲具有傳統(tǒng)企業(yè)數(shù)據(jù)中心所不具有的這些優(yōu)勢，越來越多的企業(yè)正在逐步將數(shù)據(jù)中心向云端轉(zhuǎn)移，那么如何構(gòu)建一個云端的數(shù)據(jù)存儲架構(gòu)。

1.2 云計算環(huán)境下數(shù)據(jù)存儲架構(gòu)

1.2.1 服務(wù)器架構(gòu)技術(shù)

構(gòu)建云存儲首先要構(gòu)建云存儲的服務(wù)器架構(gòu)，服務(wù)器架構(gòu)屬于云計算的IAAS部分，還沒有形成一個統(tǒng)一標(biāo)準(zhǔn)，可以通過多種架構(gòu)技術(shù)來實(shí)現(xiàn)。常用的構(gòu)架技術(shù)如附網(wǎng)存儲NAS和存儲區(qū)域網(wǎng)SAN。

NAS是一種分布式架構(gòu)的文件存儲系統(tǒng)，屬于松散結(jié)合型集群，通常可以滿足以云存儲為主導(dǎo)的環(huán)境需求。在NAS文件系統(tǒng)集群中，每個節(jié)點(diǎn)是一個獨(dú)立的實(shí)體，很多卷被分配到節(jié)點(diǎn)中，而集群中的其他節(jié)點(diǎn)是無法訪問這些卷的。在這里，最小的單位是文件，歸屬于節(jié)點(diǎn)。當(dāng)一份文件被保存在集群中的時候，它的數(shù)據(jù)就會被完整地保存在集群中某個特定節(jié)點(diǎn)中。雖然這個文件的多個副本會被重新定位到其他節(jié)點(diǎn)來提供冗余性，但只有該節(jié)點(diǎn)才能提供這個文件的單實(shí)例。NAS具有較低的成本，集群系統(tǒng)也易于擴(kuò)展，基于文件級別的節(jié)點(diǎn)易于提供安全控制機(jī)制，但在客戶端請求過多時，NAS服務(wù)器會成為系統(tǒng)瓶頸，一般使用NAS集群的云服務(wù)可以滿足企業(yè)二級存儲需求，云存儲市場已經(jīng)開始較多采用NAS這種松散結(jié)合型存儲集群，NAS存儲架構(gòu)如圖1所示。

SAN是一種集群架構(gòu)的塊存儲系統(tǒng)，屬于緊密結(jié)合型集群。隨著文件被保存到集群中，它們被分成了很多個數(shù)據(jù)塊，而且這些數(shù)據(jù)塊對于集群中的其他任何節(jié)點(diǎn)來說都是可訪問的。當(dāng)有文件請求的時候，每個節(jié)點(diǎn)會訪問這個文件的不同數(shù)據(jù)塊以處理應(yīng)用或者用戶的請求，利用P2P技術(shù)，SAN在用戶請求越多時，響應(yīng)請求的可用節(jié)點(diǎn)越多，性能就越高。SAN存儲架構(gòu)是一種集群式架構(gòu)，非常適合云服務(wù)提供商構(gòu)造自己的云服務(wù)器，可擴(kuò)展性良好，數(shù)據(jù)傳輸效率也很高，配合也適當(dāng)?shù)腜2P、重復(fù)數(shù)據(jù)刪除技術(shù)，能滿足企業(yè)一級存儲需求，但是使用SAN架構(gòu)的硬件成本較高，基于 SAN架構(gòu)的云存儲服務(wù)價格一般較高，可通過適當(dāng)?shù)男阅芙档蛠砜刂瞥杀荆琒AN存儲架構(gòu)如圖2所示。

除了以上兩種服務(wù)器架構(gòu)，還有其它的架構(gòu)技術(shù)，如OBS，集成文件系統(tǒng)等，都是在SAN的基礎(chǔ)上進(jìn)行擴(kuò)展，在追求更好性能的同時對成本進(jìn)行適當(dāng)控制。

1.2.2 服務(wù)器間數(shù)據(jù)傳送

針對以上兩種服務(wù)器架構(gòu)，有三種常用數(shù)據(jù)傳送方式。

NFS/CIF是NAS架構(gòu)的數(shù)據(jù)傳送協(xié)議[3-4]，使用NFS或者CIF數(shù)據(jù)傳送接口，可以實(shí)現(xiàn)異構(gòu)平臺之間的數(shù)據(jù)共享。前者在Windows客戶端上加載NFS客戶端軟件，使Windows客戶端融入以UNIX為主導(dǎo)的網(wǎng)絡(luò)，后者在UNIX服務(wù)器上加載CIFS服務(wù)器端軟件，使得UNIX服務(wù)器就像本地Windows服務(wù)器一樣工作。NFS/CIF使NAS架構(gòu)服務(wù)器之間連成一個整體，共同提供云存儲服務(wù)，在集群環(huán)境和分布式網(wǎng)絡(luò)環(huán)境下都有很好的表現(xiàn)，但是本身數(shù)據(jù)傳送效率一般。

iSCSI是SAN架構(gòu)的數(shù)據(jù)傳送協(xié)議，使得單個客戶端的應(yīng)用程序能夠像使用本地資源一樣的使用服務(wù)器上的資源，其操作后的結(jié)果對其他客戶端是不可見的。iSCSI擁有高速元數(shù)據(jù)緩存器，具有較高的存儲性能。但是iSCSI只適合集群架構(gòu)的SAN框架，如果將SAN以分布式云存儲方式實(shí)現(xiàn)，在將iSCSI的系統(tǒng)內(nèi)部塊級存儲訪問推廣到Internet上時，會遇到高數(shù)據(jù)流量、低延遲等性能、數(shù)據(jù)安全性以及系統(tǒng)級高容錯要求所產(chǎn)生的通信交互規(guī)則等技術(shù)難點(diǎn)。

FC是高速光纖通道，所構(gòu)建的云存儲系統(tǒng)具有快速、高效、可靠的數(shù)據(jù)傳遞效率，主要應(yīng)用在性能要求較高的金融、電信等領(lǐng)域。FC設(shè)備成本高，同時不支持直接在因特網(wǎng)上運(yùn)行，在進(jìn)行網(wǎng)絡(luò)互聯(lián)時，具有較為復(fù)雜的應(yīng)用異構(gòu)性，并且高速光纖具有物理覆蓋的局限性，因此在構(gòu)建云存儲系統(tǒng)時，F(xiàn)C一般僅適用于高效、高端云系統(tǒng)。

1.3 平臺層云存儲關(guān)鍵技術(shù)

選擇合適的服務(wù)器架構(gòu)和數(shù)據(jù)傳送方式，構(gòu)成了云存儲的硬件基礎(chǔ)，而如何在這個硬件環(huán)境下搭建合適的軟件平臺，則是充分發(fā)揮云存儲性能的保證。

1.3.1 虛擬化技術(shù)

虛擬化技術(shù)是數(shù)據(jù)中心虛擬化的核心技術(shù)，在云存儲系統(tǒng)中也是起著重要作用。通過虛擬化技術(shù)，如IBM的Enterprise Workload Manager[5]，可以將單臺服務(wù)器上的硬件資源進(jìn)行劃分，如處理器資源，內(nèi)存資源和存儲空間，都可以單獨(dú)劃分，然后根據(jù)客戶需要，將劃分的硬件資源通過虛擬化軟件技術(shù)(如Xen、Hype-y等)，進(jìn)行組合，組合出滿足客戶要求的虛擬系統(tǒng)，并且該虛擬系統(tǒng)可以根據(jù)使用情況，利用虛擬平臺的池化技術(shù)進(jìn)行動態(tài)變更，以滿足系統(tǒng)變化。云存儲效用計算就是基于虛擬化技術(shù)的，效用計算使云計算服務(wù)提供商可以根據(jù)虛擬出來的單個存儲單元的使用時間進(jìn)行收費(fèi)。通過虛擬化技術(shù)，可以滿足云存儲多租戶，可預(yù)測，自動調(diào)節(jié)等架構(gòu)需求。

1.3.2 存儲管理系統(tǒng)

構(gòu)建在虛擬平臺上的存儲管理系統(tǒng)，同樣在云存儲系統(tǒng)中擔(dān)負(fù)著重要角色。一款基于云存儲的優(yōu)秀存儲管理系統(tǒng)，可以為云存儲的性能帶來極大的提升。如設(shè)備發(fā)現(xiàn)功能，允許服務(wù)提供商為云系統(tǒng)動態(tài)增加新的服務(wù)器，提升云的整體配置;故障管理功能，自動故障檢測功能，如果用戶租用的虛擬系統(tǒng)對應(yīng)的服務(wù)器發(fā)生故障，自動為用戶開啟新的存儲空間，并從冗余備份服務(wù)器中恢復(fù)資料;集群管理功能，實(shí)現(xiàn)負(fù)載的監(jiān)視、均衡和轉(zhuǎn)移，自動調(diào)整用戶應(yīng)用在服務(wù)器中的轉(zhuǎn)移，控制云系統(tǒng)集群服務(wù)器的使用情況，給用戶提供最優(yōu)服務(wù);分級存儲功能，根據(jù)對數(shù)據(jù)存儲的不同需求和節(jié)省成本的考慮，利用成本和使用效率不同的存儲介質(zhì)，提供在線、近線和離線存儲功能，在保證存儲可用性的同時，自動選擇最經(jīng)濟(jì)的存儲方案，為用戶數(shù)據(jù)的歸檔、備份、鏡像和恢復(fù)提供保證;安全管理功能，保證資源的訪問控制和存取控制等。一款優(yōu)秀的存儲管理系統(tǒng)，是底層存儲架構(gòu)能充分發(fā)揮其性能的重要保證。

1.3.3 云存儲服務(wù)API

云存儲服務(wù)API能夠使獨(dú)立軟件供應(yīng)利用云存儲功能開發(fā)產(chǎn)品。通過提供云存儲API，獨(dú)立軟件供應(yīng)商對數(shù)據(jù)保存的方式和位置有更高的控制權(quán)，節(jié)省部署流程所需的時間。如EMC開發(fā)的Archive Services Platform API，Amazon的Restful API[6]，都可以為應(yīng)用提供除了簡單云存儲之外的更強(qiáng)大功能，通過使用SOAP或者Restful網(wǎng)絡(luò)服務(wù)，提供包括搜索、找回和保存等功能。這樣的API可以向軟件供應(yīng)商的應(yīng)用中增加新功能而不需要進(jìn)行額外的部署，這對獨(dú)立軟件供應(yīng)商來說是一個強(qiáng)有力的支持。軟件供應(yīng)商可以通過增加新功能、節(jié)約部署投資和減少實(shí)際部署時間來加速進(jìn)入市場的進(jìn)程。云存儲API為SAAS層應(yīng)用服務(wù)，為了能夠使用戶在不同的云系統(tǒng)之間進(jìn)行數(shù)據(jù)的自由遷移，越來越多的云服務(wù)提供商都在考慮將自己的云存儲API開源，希望在API接口上形成統(tǒng)一標(biāo)準(zhǔn)。

1.4 云存儲系統(tǒng)構(gòu)成

云存儲構(gòu)建于云計算環(huán)境，因此其分層結(jié)構(gòu)應(yīng)該與云計算分層結(jié)構(gòu)一致。如圖3所示，IAAS層由服務(wù)器集群技術(shù)構(gòu)成，PAAS層由虛擬軟件，存儲管理軟件和云服務(wù)API接口構(gòu)成，SAAS層由云服務(wù)和云應(yīng)用構(gòu)成。通過貫穿于云計算環(huán)境下的各層要素，共同構(gòu)成云存儲系統(tǒng)，如圖3所示。

2 構(gòu)建企業(yè)云存儲

2.1 商業(yè)化的云存儲系統(tǒng)

基于云存儲理論的商業(yè)化存儲產(chǎn)品已經(jīng)在數(shù)據(jù)存儲領(lǐng)域涌現(xiàn)。

Amazon是最早推出云存儲服務(wù)的公司，開發(fā)了自己的一系列存儲技術(shù)。布了簡單存儲服務(wù)(simple storage service，簡稱S3)，用戶使用SOAP協(xié)議存放和獲取自己的數(shù)據(jù)對象;出了簡單隊列服務(wù)(simple queue service，簡稱SQS)，這項服務(wù)能夠使得托管虛擬主機(jī)之間發(fā)送的消息，支持分布式程序之間的數(shù)據(jù)傳遞，無須考慮消息丟失的問題;提供了EBS(elastic block storage)服務(wù)，為用戶提供塊級別的存儲接口。Amazon通過自己的探索，在云存儲概念明確之前，已經(jīng)開始提供良好的云存儲服務(wù)。

Google是最早提供開源云存儲API接口的公司，定義了一套大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable，并提供了MapReduce分布式編程環(huán)境，除了用于Google自己開發(fā)的云服務(wù)以外，也用于云存儲應(yīng)用開發(fā)商開發(fā)自己的云存儲服務(wù)和云應(yīng)用服務(wù)。Google開發(fā)的GFS(Google File System，一種基于SAN架構(gòu)的集群文件系統(tǒng))，在性能、伸縮、可用性和可靠性都有較好的表現(xiàn)。

IBM的藍(lán)云結(jié)合了GFS集群文件系統(tǒng)和基于塊設(shè)備方式的存儲區(qū)域網(wǎng)絡(luò)SAN。由SAN提供塊設(shè)備接口，并在這些塊設(shè)備接口上選擇了GFS分布式文件系統(tǒng)。SAN的一個標(biāo)準(zhǔn)的文件系統(tǒng)如果被多服務(wù)器同時使用的話，數(shù)據(jù)容量很快就能讓整個系統(tǒng)崩潰。為了能夠?qū)ν瑫r修改該系統(tǒng)的其它文件系統(tǒng)進(jìn)行協(xié)調(diào)，藍(lán)云使用了GFS，可以針對全球的Linux文件系統(tǒng)進(jìn)行協(xié)調(diào)。

各種商業(yè)化云存儲系統(tǒng)在不斷出現(xiàn)，隨著云存儲標(biāo)準(zhǔn)的逐漸完善，這些系統(tǒng)將不斷朝著更優(yōu)的服務(wù)，更好的兼容性，更低的成本方向發(fā)展。

2.2 云存儲構(gòu)建企業(yè)數(shù)據(jù)中心

企業(yè)的數(shù)據(jù)中心經(jīng)歷了從傳統(tǒng)數(shù)據(jù)中心到虛擬化數(shù)據(jù)中心的變革。隨著云計算和云存儲概念和技術(shù)的不斷成熟，企業(yè)數(shù)據(jù)中心正經(jīng)歷著向云數(shù)據(jù)中心轉(zhuǎn)變的新的變革。小型企業(yè)通過將數(shù)據(jù)中心向云存儲端轉(zhuǎn)移，可以很好的控制數(shù)據(jù)中心成本;而大型企業(yè)除了租用公共云存儲服務(wù)以外，也開始著手建立自己的私云存儲數(shù)據(jù)中心。

對于數(shù)據(jù)中心要求較高的大型企業(yè)，往往對數(shù)據(jù)安全有較高的要求，租用公共云存儲服務(wù)，將企業(yè)生存的命脈數(shù)據(jù)存放于云服務(wù)提供商的云端數(shù)據(jù)中心，仍然會存在一定的風(fēng)險，因此可以采取構(gòu)建私云存儲來解決這個問題。如果企業(yè)私云存儲自己提供存儲災(zāi)備和冗余備份系統(tǒng)，那么它在IT資源合理化重組上仍然具有本地厚重配置，高成本，缺乏彈性之類的典型特征。因此，企業(yè)可以將生產(chǎn)數(shù)據(jù)等企業(yè)核心數(shù)據(jù)作為第一級存儲，采用FC-SAN等高速存儲架構(gòu)構(gòu)建私云存儲，同時將租用的，價格低廉的，采用NAS低速架構(gòu)的云存儲服務(wù)作為第二、三級存儲，為企業(yè)提供文件數(shù)據(jù)存儲和冗災(zāi)備份功能的存儲服務(wù)，通過這種混合云的體系架構(gòu)，達(dá)到存儲的優(yōu)化配置。

3 小結(jié)

云計算是網(wǎng)絡(luò)時代發(fā)展的又一個高潮，隨之伴生的云存儲在其中起著推波助瀾的重要作用。如何構(gòu)筑高效云存儲，如何控制云存儲系統(tǒng)成本，如何利用有效云存儲系統(tǒng)，這些問題隨著云存儲技術(shù)的廣泛應(yīng)用將會逐漸得到解決，我們密切關(guān)注著這一進(jìn)程。云存儲問題的有效解決將為云計算應(yīng)用的普及打好堅實(shí)基礎(chǔ)。

參考文獻(xiàn):

[1] 張海濱. 通過Esxi實(shí)現(xiàn)數(shù)據(jù)中心虛擬化[J].中國教育網(wǎng)絡(luò)， 2009(3):73-74.

[2] 魯豐玲，李朝永.淺析網(wǎng)絡(luò)存儲技市[J].計算機(jī)與網(wǎng)絡(luò)，2009(26):221-221.

[3] 陳康， 鄭緯民.云計算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J].軟件學(xué)報，2009(5):1337-1348.

[4] 馮丹.網(wǎng)絡(luò)存儲關(guān)鍵技術(shù)的研究及進(jìn)展[J].移動通信，2009(11):34-39.

[5] 郭勁，李棟，張繼征，等.iSCSI， CIFS， NFS協(xié)議的性能評測[J].小型微型計算機(jī)系統(tǒng).2006(27):833-836.

[6] 可彥，張延園.基于SAN的存儲管理系統(tǒng)的設(shè)計與實(shí)現(xiàn)[J].微處理機(jī)，2009(3):125-128.