網(wǎng)絡(luò)存儲關(guān)鍵技術(shù)的研究及進展

馮　丹

【摘要】文章介紹了幾種典型的網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)，包括直接連接存儲DAS、附網(wǎng)存儲NAS、存儲區(qū)域網(wǎng)SAN以及面向?qū)ο蟠鎯BS，并比較了其特點，對近年來發(fā)展迅速的基于對象的存儲系統(tǒng)和云存儲相關(guān)技術(shù)的研究現(xiàn)狀和發(fā)展趨勢進行了深入分析。

【關(guān)鍵詞】網(wǎng)絡(luò)存儲 存儲系統(tǒng) 云存儲

處理、傳輸和存儲是當(dāng)今數(shù)字信息技術(shù)的三大基石，計算設(shè)施、網(wǎng)絡(luò)設(shè)施以及存儲設(shè)施合在一起，成為以互聯(lián)網(wǎng)為代表的現(xiàn)代信息社會的基礎(chǔ)設(shè)施。以往的存儲設(shè)備隱藏在服務(wù)器中，但隨著數(shù)字化信息的爆炸性增長，存儲系統(tǒng)已成為獨立的部分，而且在當(dāng)前信息設(shè)施投資中比例已超過50%。隨著數(shù)據(jù)量的進一步快速增長，對存儲的需求持續(xù)高漲，存儲成為整個IT業(yè)發(fā)展的新動力，新的技術(shù)和產(chǎn)品層出不窮，市場已經(jīng)十分巨大，而且還在迅速擴展。

1 幾種典型網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)

自計算機誕生以來，隨著大規(guī)模集成電路技術(shù)的發(fā)展，計算機系統(tǒng)中CPU計算速度以每年40%~100%的速率提高，而磁盤尋道速度僅以每年7%的速率增長[2]，因此，計算機系統(tǒng)中CPU/主存與存儲子系統(tǒng)之間的訪問速度差距越來越大。為了彌補這個差距，各國學(xué)者把注意力放在了存儲系統(tǒng)并行訪問能力的提高上，技術(shù)上最先獲得突破的是磁盤陣列技術(shù)（RAID，Redundant Array of Inexpensive Disks）。RAID通過將數(shù)據(jù)分條存儲在不同磁盤上，采用交叉讀寫技術(shù)，利用時間和空間的重疊，對多個磁盤進行并行I/O訪問，從而大大提高了訪問性能。

上世紀(jì)九十年代以來，隨著網(wǎng)絡(luò)技術(shù)的發(fā)展與處理能力的大幅提高，傳統(tǒng)的單機數(shù)據(jù)處理方式被依附在網(wǎng)絡(luò)上的以數(shù)據(jù)為中心的數(shù)據(jù)處理方式所取代，使存儲系統(tǒng)與網(wǎng)絡(luò)系統(tǒng)結(jié)合起來，產(chǎn)生了網(wǎng)絡(luò)存儲系統(tǒng)。基本的網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)包括傳統(tǒng)以服務(wù)器為中心的直接連接存儲（DAS，Direct Access Storage）、附網(wǎng)存儲（NAS，Network Attached Storage）、存儲區(qū)域網(wǎng)（SAN，Storage Area Network）以及最近研究的——面向?qū)ο蟠鎯Γ∣BS，Object-Based Storage）。

1.1 直連存儲DAS

傳統(tǒng)的直連存儲DAS結(jié)構(gòu)中，將具有塊接口的存儲設(shè)備（如磁盤、陣列）通過專用I/O通道，直接連接到文件服務(wù)器上，存儲設(shè)備相當(dāng)于服務(wù)器的一部分，由服務(wù)器提供存儲管理與對外服務(wù)。在DAS結(jié)構(gòu)存儲系統(tǒng)中，數(shù)據(jù)的傳輸是以服務(wù)器為中心的，可以方便地集中管理數(shù)據(jù)，具有比較好的數(shù)據(jù)安全性。但是，客戶訪問存儲系統(tǒng)中的數(shù)據(jù)時，數(shù)據(jù)需要在存儲設(shè)備和服務(wù)器間多次轉(zhuǎn)發(fā)，盡管文件服務(wù)器并不關(guān)心數(shù)據(jù)內(nèi)容，通常也不對數(shù)據(jù)本身進行處理，但數(shù)據(jù)請求與傳送都需要文件服務(wù)器的介入。當(dāng)大規(guī)模用戶進行數(shù)據(jù)訪問時，給服務(wù)器的存取轉(zhuǎn)發(fā)控制帶來非常大的開銷，使得文件服務(wù)器成為了整個系統(tǒng)中的性能瓶頸，對系統(tǒng)整體讀寫性能與可擴展性產(chǎn)生很大影響。

1.2 附網(wǎng)存儲NAS

NAS是一種以數(shù)據(jù)為中心的存儲結(jié)構(gòu)，存儲子系統(tǒng)不再通過專用I/O通道附屬于某個服務(wù)器，而是通過專門系統(tǒng)的定制，將通用服務(wù)器上無關(guān)的功能去掉，只保留存儲相關(guān)功能，可以看成是一臺專門負(fù)責(zé)存儲的“瘦”服務(wù)器，具有比DAS更高的讀寫性能。NAS提供文件級數(shù)據(jù)訪問，支持NFS與CIFS網(wǎng)絡(luò)文件協(xié)議，實現(xiàn)異構(gòu)平臺之間的數(shù)據(jù)級共享，在文件級別上建立安全機制也很容易。但是，NAS沒有從根本上改變服務(wù)器/客戶機的訪問方式，因此當(dāng)客戶端數(shù)目或來自客戶端的請求較多時，NAS服務(wù)器仍將成為系統(tǒng)的瓶頸。

1.3 存儲區(qū)域網(wǎng)SAN

SAN對前兩種存儲系統(tǒng)結(jié)構(gòu)進行了比較大的改進，真正地將存儲子系統(tǒng)從服務(wù)器上分離出來獨立地連接在高速專用網(wǎng)上的，是一種以網(wǎng)絡(luò)為中心的存儲結(jié)構(gòu)，目前典型兩種結(jié)構(gòu)是基于光纖通道的FC-SAN和基于IP網(wǎng)絡(luò)的IP-SAN。客戶通過高速專用網(wǎng)與存儲設(shè)備連接在一起，通過虛擬化軟件進行存儲系統(tǒng)的集中管理，具有較好的擴展性。SAN中的服務(wù)器專門用來存放元數(shù)據(jù)，元數(shù)據(jù)描述了數(shù)據(jù)本身的屬性，完成文件到存儲設(shè)備物理塊的映射。客戶在訪問存儲系統(tǒng)時，通過從元數(shù)據(jù)服務(wù)器得到的元數(shù)據(jù)，直接訪問存儲設(shè)備，避免了傳統(tǒng)服務(wù)器因轉(zhuǎn)發(fā)帶來的延遲，使得SAN具有較高的性能。但是，由于SAN是以塊為訪問接口，其安全性管理非常有限；隨著存儲設(shè)備與客戶數(shù)量的提高，元數(shù)據(jù)服務(wù)器的負(fù)載過大，成為系統(tǒng)中的潛在瓶頸。

1.4 基于對象的存儲OBS

OBS采用對象接口，大小動態(tài)可變，吸收了NAS與SAN的優(yōu)點，既有“塊”接口的快速，又有“文件”接口的便于共享；同時克服了NAS與SAN的不足，削弱了影響性能提升的環(huán)節(jié)，系統(tǒng)具有較高的性能與可擴展性。OBS最顯著的特點就是把數(shù)據(jù)存儲的物理視圖下放到對象存儲設(shè)備（OSD，Object-Based Storage Device）上，元數(shù)據(jù)服務(wù)器上只負(fù)責(zé)維護全局邏輯視圖，用戶在進行數(shù)據(jù)傳輸時，直接與OSD通信，元數(shù)據(jù)服務(wù)器沒有直接干預(yù)，從而大大減輕了元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)，弱化了系統(tǒng)中的瓶頸環(huán)節(jié)。

圖1描述了上面四種存儲系統(tǒng)的結(jié)構(gòu)，可以看到，在SAN與OBS中客戶都是可以與存儲子系統(tǒng)直接傳遞數(shù)據(jù)，而OBS系統(tǒng)將文件存儲的物理視圖下放到存儲設(shè)備上，避免了SAN中元數(shù)據(jù)服務(wù)器形成的瓶頸。

2 基于對象的存儲系統(tǒng)

基于對象存儲中最基本的概念就是對象（Object），它是一種數(shù)據(jù)的邏輯組織形式，是容納了長度可變的數(shù)據(jù)塊和可擴展的存儲屬性的基本容器，提供與文件類似的訪問方式，例如打開、關(guān)閉、讀/寫等。

基于對象存儲系統(tǒng)的最基本思想就是將存儲系統(tǒng)中的數(shù)據(jù)交互分為數(shù)據(jù)通路與控制通路兩部分，是一種帶外傳輸方式，由客戶、MDS與OSD組成了三方架構(gòu)，如圖2所示。其中的控制通路負(fù)責(zé)數(shù)據(jù)的控制、管理功能，由MDS實現(xiàn)；數(shù)據(jù)通路負(fù)責(zé)數(shù)據(jù)的存儲管理功能，數(shù)據(jù)的存儲管理功能被分離出來交由智能的OSD實現(xiàn)。通過數(shù)據(jù)通路與控制通路的分離，將元數(shù)據(jù)服務(wù)器與存儲設(shè)備分離，大大減輕了讀寫過程中元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)。客戶進行文件訪問時，首先通過控制通路從MDS得到該文件在OSD集群上的分布信息與訪問授權(quán)命令，之后通過數(shù)據(jù)通路直接訪問OSD。系統(tǒng)通過高速網(wǎng)絡(luò)連接起來，共同協(xié)作為用戶提供服務(wù)，不存在明顯的瓶頸環(huán)節(jié)。

2.1 MDS、OSD與客

戶端交互過程

MDS、OSD與客戶端之間的交互過程為：

（1）用戶將文件讀寫請求提交客戶端，客戶端將要訪問的文件名、數(shù)據(jù)長度等信息以一定的格式傳遞給MDS；

（2）MDS收到客戶端請求，對客戶進行安全檢測，通過后，將該次訪問涉及到的元數(shù)據(jù)與授權(quán)證書發(fā)送給客戶；

（3）MDS通知OSD有客戶即將與其進行數(shù)據(jù)傳輸，做好數(shù)據(jù)發(fā)送或接收的準(zhǔn)備，并將相關(guān)的安全認(rèn)證信息告訴此OSD；

（4）客戶使用MDS反饋的元數(shù)據(jù)和安全授權(quán)，與相應(yīng)服務(wù)器直接進行數(shù)據(jù)交換；

（5）文件訪問結(jié)束，OSD向MDS通知數(shù)據(jù)傳輸完畢，并提交對象更新信息，MDS進行相應(yīng)元數(shù)據(jù)的更新。

2.2 各種原型系統(tǒng)

基于對象的存儲系統(tǒng)具有性能高、可擴展性好等諸多優(yōu)點，它的設(shè)計理念一經(jīng)提出，便成為學(xué)術(shù)界與工業(yè)界關(guān)注的熱點，眾多機構(gòu)和廠商先后推出了各具特色的原型系統(tǒng)。

（1）NASD

基于對象的存儲的研究最早起源于卡內(nèi)基梅隆大學(xué)并行數(shù)據(jù)實驗室的NASD（Network-Attached Security Disks）項目，基本思想是將處理器集成到磁盤驅(qū)動器，使它具有一定的智能，能夠獨立管理其自身的安全、存儲和網(wǎng)絡(luò)通信。NASD采用一種命令接口結(jié)構(gòu)將文件管理器的大部分工作轉(zhuǎn)移到磁盤上。對于流量大、要求迅速響應(yīng)的操作，如讀/寫，可直接對磁盤驅(qū)動器進行操作；對于帶寬依賴小的操作，如全局目錄空間的管理，則由專門的文件服務(wù)器處理。NASD的提出從系統(tǒng)架構(gòu)上給出了基于對象存儲的原始模型。

（2）Lustre

Lustre是Cluster file system公司在SAN存儲結(jié)構(gòu)基礎(chǔ)上加以改進，得到的基于對象存儲的高性能存儲系統(tǒng)。Lustre對象存儲系統(tǒng)就是由客戶端（Client）、存儲服務(wù)器（OST，Object Storage Target）和元數(shù)據(jù)服務(wù)器（MDS）三個主要部分組成，三部分通過高速互聯(lián)網(wǎng)連接，是一種典型的三方存儲架構(gòu)。Lustre提供標(biāo)準(zhǔn)的POSIX接口，客戶端可以透明地訪問Lustre系統(tǒng)中的數(shù)據(jù)，而無需知道這些數(shù)據(jù)的具體位置。Lustre具有較高的讀寫性能與可擴展性，已經(jīng)在美國多個國家實驗室的高性能計算中得到應(yīng)用。

（3）ActiveScale

ActiveScale是Panasas公司推出的一個商業(yè)化的對象存儲系統(tǒng)，應(yīng)用于大規(guī)模Linux集群環(huán)境，該系統(tǒng)硬件環(huán)境由StorageBlade、DirectorBlade和高速互連網(wǎng)絡(luò)組成。StorageBlade就是對象存儲體系結(jié)構(gòu)中的OSD，是具有一定智能性的存儲設(shè)備，可以管理存儲刀片上的數(shù)據(jù)；DirectorBlade充當(dāng)MDS的角色，具有很強的處理能力與高速的互連網(wǎng)接口。整個系統(tǒng)的架構(gòu)與工作流程與傳統(tǒng)對象存儲系統(tǒng)模型一致，同時設(shè)計了專用的Panasas文件系統(tǒng)，使ActiveScale在Linux集群環(huán)境中性能表現(xiàn)優(yōu)異，可擴展性良好。

（4）Storage Tank

Storage Tank是IBM公司參考對象存儲的設(shè)計思想，在SAN存儲架構(gòu)上設(shè)計出的異構(gòu)可擴展存儲系統(tǒng)。Storage Tank采用緩存策略在客戶端緩存文件元數(shù)據(jù)和數(shù)據(jù)，提高了訪問速度并減少了MDS的負(fù)載；采用分布式元數(shù)據(jù)管理方法，將文件系統(tǒng)元數(shù)據(jù)劃分為多個文件集，不同的文件集可以分配到不同的元數(shù)據(jù)服務(wù)器處理，緩解元數(shù)據(jù)服務(wù)器瓶頸問題。將基于策略分配、卷管理和文件管理引入到數(shù)據(jù)存儲領(lǐng)域，提供了一個基于鎖的數(shù)據(jù)一致性的模型，使每個客戶端可以像使用本地文件系統(tǒng)一樣使用分布式文件系統(tǒng)。

（5）HUST-OBS

HUST-OBS是華中科技大學(xué)開發(fā)的基于對象的存儲系統(tǒng)，其主要特點是：引入主動存儲對象概念，結(jié)合磁盤陣列技術(shù)構(gòu)成基于對象的存儲設(shè)備OSD（Object based Storage Device），它既可獨立使用提供存儲服務(wù)，也可作為對象存儲系統(tǒng)的存儲節(jié)點；OSD根據(jù)對象屬性歷史記錄自動分析負(fù)載規(guī)律，通過自學(xué)習(xí)和策略觸發(fā)機制，實現(xiàn)存儲主動服務(wù)；多OSD構(gòu)成系統(tǒng)時，由存儲系統(tǒng)實現(xiàn)自我組織與管理，針對不同應(yīng)用環(huán)境實現(xiàn)自我優(yōu)化調(diào)節(jié)，使系統(tǒng)整體性能最佳；利用對象“封閉”特性，使系統(tǒng)具有安全性；通過數(shù)據(jù)、節(jié)點冗余等提高系統(tǒng)可靠性，在故障出現(xiàn)時實現(xiàn)快速恢復(fù)。即HUST-OBS自組織對象存儲系統(tǒng)具有如下特性：自組織（Self-Organize）、自調(diào)節(jié)（Self-Adjust）、自安全（Self-Secure）和自愈（Self-Heal）。

3 云存儲

云存儲（Cloud Storage）是在云計算（Cloud Computing）概念上延伸和發(fā)展而來的。與云計算類似，它是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過虛擬化軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。

云存儲概念一經(jīng)提出，就得到了眾多廠商的關(guān)注和支持。Amazon推出Elastic Compute Cloud（EC2：彈性計算云）云存儲產(chǎn)品，為用戶提供互聯(lián)網(wǎng)服務(wù)同時提供更強的存儲和計算功能。內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商CD Networks和云存儲平臺服務(wù)商Nirvanix發(fā)布了一項新的合作，并宣布結(jié)成戰(zhàn)略伙伴，以提供云存儲和內(nèi)容傳送服務(wù)集成平臺。微軟推出了提供網(wǎng)絡(luò)移動硬盤服務(wù)的Windows Live SkyDrive Beta測試版。近期，EMC宣布加入道里可信基礎(chǔ)架構(gòu)項目，致力于云計算環(huán)境下關(guān)于信任和可靠度保證的研究，IBM也將云計算標(biāo)準(zhǔn)作為全球數(shù)據(jù)備份中心的3億美元擴展方案的一部分。

云存儲可能獲得成功的原因在于其具有相對較低的價格，而且具備可擴展性、靈活性、訪問便利性和廠商選擇性多等優(yōu)點。例如，目前企業(yè)級存儲區(qū)域網(wǎng)SAN的存儲設(shè)備每GB成本約為20美元，相比之下，云計算存儲設(shè)備每GB的成本僅為1美元，其成本也遠(yuǎn)低于EMC的Symmetrix或者Clariion陣列、IBM DS8000、DS4000和NetApp陣列等的存儲設(shè)備。在可擴展性和靈活性方面，以EMC近日推出的一款被命名為Atmos的基礎(chǔ)信息管理應(yīng)用軟件為例，它能辨認(rèn)世界各地網(wǎng)頁的數(shù)據(jù)副本，可以通過策略和自我配置使用戶管理其分支機構(gòu)。Atmos可以提供基礎(chǔ)信息管理服務(wù)，因此數(shù)據(jù)會按照不同客戶的需求以不同的進度被分類發(fā)送到客戶手中，從而可以靈活有效地為客戶服務(wù)。

云存儲作為一項新的存儲技術(shù)，有望把管理及保護數(shù)據(jù)的負(fù)擔(dān)轉(zhuǎn)移給云存儲提供商，有效降低大規(guī)模存儲系統(tǒng)的總體擁有成本。但云存儲服務(wù)進入實用化還有不少研究開發(fā)工作要做。最近Amazon的Simple Storage Service（S3：簡單存儲服務(wù)）出現(xiàn)一些故障，導(dǎo)致S3離線3個小時；Google GMAIL的偶發(fā)故障也使得其用戶逐漸開始關(guān)注對數(shù)據(jù)內(nèi)容的本地備份等。2009年4月6號開始的SNW（Storage Networking World）詳細(xì)地分析了云存儲平臺方面的技術(shù)趨勢和創(chuàng)新，包括使用大眾化存儲節(jié)點組成的網(wǎng)格架構(gòu)、全局命名空間，也包括云存儲對存儲基礎(chǔ)架構(gòu)的需求、Web服務(wù)描述語言（WSDL）如何描述存儲基礎(chǔ)架構(gòu)的功能、基于Web的文件訪問協(xié)議等等。因此云存儲發(fā)展道路上，還要重點解決性能、安全性、可靠性和支持性等多方面問題，為用戶提供多樣化的存儲服務(wù)。

4 結(jié)束語

本文介紹了幾種典型的網(wǎng)絡(luò)存儲系統(tǒng)結(jié)構(gòu)，分析了基于對象的存儲系統(tǒng)和云存儲相關(guān)技術(shù)的研究現(xiàn)狀和發(fā)展趨勢，可為網(wǎng)絡(luò)存儲研究和應(yīng)用提供一定參考。

參考文獻

[1] D A Patterson,G A Gibson, R H katz. A Case for Redundant Array of Inexpensive Disks(RAID)[J].ACM SIGMOD,June 1998:109-116.

[2] 張江陵,馮丹. 海量信息存儲. 北京:科學(xué)出版社[M], 2003:105～107.

[3] Garth A Gibson, Rodney Van Meter. Network Attached Storage Architecture,Communications of the ACM[J]. Nov,43(11):2000:37-45.

[4]Tom Clark. IP SANs:A Guide to iSCSI,iFCP,and FCIP Protocols for Storage Area Networks[M]. Addison-Wesley,2002:1-10.

[5]Mesnier M,Ganger G. R,Riedel E. Object-based Storage[J]. Communications Magazine,IEEE,2003, 41(8):84-90.

[6] Mesnier M,Ganger G R,Riedel E. Object-based Storage:Pushing More Functionality into Storage[J]. Potentials,IEEE,2005,24(2):31-34.

[7]Garth A Gibson, David F Nagle,William Courtright,et al. NASD Scalable Storage Systems[M]. USENIX 1999, Linux Workshop. Monterey,CA,America:USENIX,1999:1-6.

[8] Cluster File Systems Inc. Lustre: A Scalable, High-performance File System. Cluster File Systems,Inc Whiter Paper[EB/OL]. http://www.clusterfs.com. 2002:1-12.

[9]Tang Hong,A Gulbeden,Zhou Jingyu,et al. The Panasas ActiveScale Storage Cluster- Delivering Scalable High Bandwidth Storage[J]. In: Proceedings of the ACM/IEEE SC2004 Conference on Supercomputing. 2004. 53-62.

[10]J Menon,D A Pease,R Rees,et al. IBM Storage Tank-A Heterogeneous Scalable SAN File System[J]. IBM SYSTEMS JOURNAL,2003,42(2):250-261.★

【作者簡介】

馮 丹：華中科技大學(xué)教授，博士生導(dǎo)師，現(xiàn)任華中科技大學(xué)計算機學(xué)院副院長、973項目“下一代互聯(lián)網(wǎng)信息存儲組織模式與核心技術(shù)研究”首席科學(xué)家、863重大項目“海量存儲系統(tǒng)關(guān)鍵技術(shù)”總體專家組組長。主要從事網(wǎng)絡(luò)存儲系統(tǒng)、分布式并行存儲系統(tǒng)、容錯等方面的研究工作。