基于ＩＮＤ的智能存儲系統(tǒng)

摘要：分析了目前的三大存儲方案，即DAS、NAS、SAN，指出了它們的優(yōu)劣，特別是共同存在的服務(wù)器性能瓶頸與單點故障問題。提出一種新的存儲解決方案——IND系統(tǒng)存儲，并分析了這種存儲方案的原理、特點。在對幾種存儲方案進行比較后，認(rèn)為IND系統(tǒng)是一種很有發(fā)展?jié)摿Φ拇鎯鉀Q方案。

關(guān)鍵詞：直接連接存儲； 附網(wǎng)存儲； 存儲區(qū)域網(wǎng)； 智能網(wǎng)絡(luò)磁盤

中圖分類號：TP302．1文獻標(biāo)志碼：A

文章編號：1001－3695(2007)08－0064－03

數(shù)據(jù)信息是全球商務(wù)環(huán)境的動力，也是今天各公司最具有動態(tài)性和最有價值的戰(zhàn)略資產(chǎn)。目前，隨著科學(xué)研究的大量開展和多媒體技術(shù)的廣泛應(yīng)用，信息量正以令人難以置信的速度增長。據(jù)統(tǒng)計，數(shù)據(jù)量每十個月就翻一番，這給數(shù)據(jù)存儲帶來了很大的壓力。同時，企業(yè)在ＩＴ方面的投資費用中，花在數(shù)據(jù)存儲方面的比重與日俱增。如何安全保存、及時傳輸、快速恢復(fù)各種龐大而復(fù)雜的信息和數(shù)據(jù)，使企業(yè)避免因數(shù)據(jù)丟失而造成重大損失，已日益成為數(shù)據(jù)存儲領(lǐng)域所關(guān)注、探討的熱門話題。這一切又有力地推動了數(shù)據(jù)存儲技術(shù)的飛速發(fā)展。截至目前為止，在所使用的存儲方案中，尚有諸多不盡如人意之處。因此，亟待一種具有前瞻性的存儲管理方案來滿足用戶的數(shù)據(jù)存儲需求。

1目前的存儲方案

1．1直接連接存儲方案

DAS存儲方案的核心思想是DAS的存儲設(shè)備直接與服務(wù)器相連。其結(jié)構(gòu)如圖1所示。

DAS存儲方案是以服務(wù)器為中心的數(shù)據(jù)傳送方式，結(jié)構(gòu)簡單，便于理解與實現(xiàn)，在小規(guī)模數(shù)據(jù)存儲情況下運行較好。但它沒有獨立的存儲操作系統(tǒng)，數(shù)據(jù)共享與管理復(fù)雜、維護成本高。在DAS中還可能存在大量相互獨立的、沒有統(tǒng)一控制的數(shù)據(jù)，它們會浪費系統(tǒng)的存儲資源，影響數(shù)據(jù)的一致性。DAS的接口為SCSI。這種接口連接設(shè)備數(shù)量與距離受限、存儲容量有限、不易擴充、不適應(yīng)海量數(shù)據(jù)存儲的要求。由于高度依賴服務(wù)器為中心進行數(shù)據(jù)交換與存取，隨著Ｉ/O請求的集中、存儲量的增加，服務(wù)器就成為性能提高的瓶頸，存在單點失效問題。當(dāng)服務(wù)器出現(xiàn)故障時會使整個系統(tǒng)癱瘓。

1．2NAS附網(wǎng)存儲方案

NAS存儲方案的核心思想是：存儲設(shè)備通過一種內(nèi)嵌的數(shù)據(jù)服務(wù)器設(shè)備（NAS）直接連接在互聯(lián)網(wǎng)上；它將以服務(wù)器為中心的方案轉(zhuǎn)變成以數(shù)據(jù)為中心，數(shù)據(jù)通過網(wǎng)絡(luò)接口直接連接在網(wǎng)上。其結(jié)構(gòu)如圖2所示。

NAS是一種實用數(shù)據(jù)存儲系統(tǒng)，因其具有瘦服務(wù)器的特點，擴充方便，將NAS設(shè)備連接在網(wǎng)上十分便捷。NAS設(shè)備支持NFS和CIFS兩種文件系統(tǒng)，具有較好的兼容性，能實現(xiàn)網(wǎng)絡(luò)環(huán)境下用戶跨平臺的網(wǎng)絡(luò)數(shù)據(jù)共享。NAS采用了集中式存儲管理結(jié)構(gòu)，擯棄了傳統(tǒng)方式下服務(wù)器只對各自文件進行管理和分散存儲管理備份，克服了DAS存儲方案中擴充難、存儲管理分散的不足，很受客戶歡迎。但是，從NAS的構(gòu)成看，其I/O路徑本質(zhì)上仍為傳統(tǒng)服務(wù)器存儲設(shè)備，NAS 作為附網(wǎng)上的專用文件服務(wù)器只是精簡了一般服務(wù)器的某些功能，在網(wǎng)絡(luò)環(huán)境下提供文件服務(wù)。ＮAS存儲方案仍然沒有消除對服務(wù)器的依賴性，只是有所減輕而已。NAS已經(jīng)成為一個事實上的文件服務(wù)器，I/O性能瓶頸依然存在，單點故障隱患也沒有消除。

1．3存儲區(qū)域網(wǎng)存儲方案

SAN存儲方案是在網(wǎng)絡(luò)環(huán)境下采用存儲設(shè)備與服務(wù)器分離技術(shù)，通過一個從局域網(wǎng)中分離出來的單獨網(wǎng)絡(luò)來進行存儲并提供企業(yè)級的存儲服務(wù)，將存儲子系統(tǒng)網(wǎng)絡(luò)化，服務(wù)器與存儲網(wǎng)絡(luò)中的任意存儲設(shè)備能進行點到點的連接。從理論上說，SAN幾乎可以擁有無限容量的存儲空間。這種網(wǎng)絡(luò)使用高速光纖通道——FC（fiber channel)作為傳輸媒體，以FC+SCSI協(xié)議作為存儲訪問協(xié)議，實現(xiàn)真正的高速共享存儲。SAN傳送的是數(shù)據(jù)塊，由專門處理該請求的文件系統(tǒng)，負(fù)責(zé)將該請求轉(zhuǎn)換為磁盤設(shè)備上的特定數(shù)據(jù)塊的操作。于是，SAN就可用區(qū)域網(wǎng)連接，進行集中管理。SAN存儲方案的體系結(jié)構(gòu)如圖3所示。

在SAN 存儲方案中，存儲網(wǎng)中物理上分散的存儲設(shè)備在邏輯上完全一體，具有邏輯上的統(tǒng)一性；實現(xiàn)數(shù)據(jù)的集中管理，降低了管理費用；使用獨立的存儲網(wǎng)絡(luò)后，容易進行海量存儲擴充。它具有很高的容錯能力，如果出現(xiàn)某個存儲局部點故障，可以利用網(wǎng)絡(luò)的可容單點故障進行錯誤糾正，提高了系統(tǒng)的可靠性；以光纖網(wǎng)絡(luò)為傳輸介質(zhì)，充分利用網(wǎng)絡(luò)帶寬，提高了存取速度。此外，存儲網(wǎng)絡(luò)還具有很大的靈活性，能滿足在Internet計算大環(huán)境下各種計算變化對存儲的要求。因此，它受到客戶的歡迎。但是，在SAN存儲方案中，使用光纖作為傳輸媒介，與以前使用的媒介不相容，不利于保護原有投資，且光纖價格昂貴，不利于推廣，用戶不能與存儲網(wǎng)絡(luò)直接連接，必須通過服務(wù)器，服務(wù)器依然是用戶進行數(shù)據(jù)存儲的關(guān)鍵部位。系統(tǒng)因服務(wù)器造成的性能瓶頸與單點故障依然無法擺脫，而這對于數(shù)據(jù)存儲的高速度和高可靠性要求來說是不容忽視的。

IP SAN存儲方案是對SAN存儲方案的擴展。它是基于成熟的以太網(wǎng)技術(shù)，利用ISCS協(xié)議把兩個或多個SAN網(wǎng)絡(luò)無縫連接成一個網(wǎng)絡(luò)。它集成了SAN的優(yōu)點，充分利用了SAN的資源，但其系統(tǒng)復(fù)雜、協(xié)議較多，服務(wù)器的性能瓶頸與單點失效問題無法消除。

2IND——一種新型存儲方案

2．1IND存儲方案的提出

從以上分析可見，不同的存儲方式各有其特點，且在各自應(yīng)用領(lǐng)域內(nèi)發(fā)揮了積極作用，但它們均有不盡如人意的地方，如DAS方案不易擴充、管理困難，SAＮ方案不利于保護現(xiàn)有投資、成本高。更重要的是，DAS、SAN、NAS存儲方案均無法消除以服務(wù)器為中心的數(shù)據(jù)存儲造成的性能瓶頸與單點失效問題。因此，本文提出了一種新型存儲解決方案——IND系統(tǒng)存儲方案，又稱為智能網(wǎng)絡(luò)磁盤系統(tǒng)存儲。其結(jié)構(gòu)如圖4所示。

IND系統(tǒng)存儲方案采用開放式的體系架構(gòu)，利用現(xiàn)有網(wǎng)絡(luò)，整個系統(tǒng)由許多物理地址上相互獨立的同構(gòu)型IND集成。系統(tǒng)在邏輯上統(tǒng)一，內(nèi)部結(jié)構(gòu)對用戶透明，提供給用戶一個統(tǒng)一的接口。每個同構(gòu)型IND均是通過一個基于嵌入式架構(gòu)的磁盤接口電路掛接在網(wǎng)絡(luò)上，不再通過集中的服務(wù)器進行連接，在軟件的支持下完成數(shù)據(jù)存儲。

2．2IND存儲方案分析

組成IND系統(tǒng)的同構(gòu)型IND結(jié)構(gòu)如圖5所示。其由嵌入式CPU、磁盤接口、Ethernet接口、flash和SRAM等部分組成。其軟件組成從邏輯上看分為三個層次：底層為網(wǎng)絡(luò)驅(qū)動與磁盤驅(qū)動，以實現(xiàn)網(wǎng)絡(luò)連接與磁盤讀寫；中層為操作系統(tǒng)，以實現(xiàn)軟硬件資源特別是文件的管理；上層為應(yīng)用軟件，以實現(xiàn)系統(tǒng)的單一用戶接口、并行磁盤調(diào)度、路由算法、負(fù)載均衡和容錯與糾錯等應(yīng)用，使系統(tǒng)能實現(xiàn)安全、高效、智能的數(shù)據(jù)存取。為了充分利用有限的硬件資源，選用Linux操作系統(tǒng)。它有很好的網(wǎng)絡(luò)功能，支持１０~１ ０００ Ｍbps的網(wǎng)絡(luò)連接，滿足數(shù)據(jù)傳送要求；對硬件支持良好，對于驅(qū)動程序的管理有獨到之處；非常注重效率，速度快，屬于多任務(wù)系統(tǒng)；便于裁減，穩(wěn)定性高，支持異構(gòu)平臺下的文件系統(tǒng)；所要求硬件資料少。使用目前比較成熟與常用的IDE接口為硬盤接口。因成熟及性價比高，采用DMA方式進行傳輸。以太網(wǎng)接口硬件部分采用成熟而通用的RTL8029芯片實現(xiàn)。把經(jīng)過裁減的TCP／ＩＰ協(xié)議與特別設(shè)計的磁盤接口驅(qū)動程序、裁減后的Linux操作系統(tǒng)與高層應(yīng)用算法寫入flash中，加電后，執(zhí)行相應(yīng)的初始化程序；然后把控制權(quán)交給精簡后的操作系統(tǒng)，在應(yīng)用軟件的干預(yù)下，數(shù)據(jù)流能在用戶與存儲系統(tǒng)之間通過網(wǎng)絡(luò)進行透明傳輸。為了實現(xiàn)跨平臺的數(shù)據(jù)共享，本文開發(fā)了一種虛擬文件系統(tǒng)，它兼容NFS和CIFS文件系統(tǒng)，適合于異構(gòu)型平臺用戶數(shù)據(jù)存取。在IND高層應(yīng)用算法中開發(fā)了用戶接口算法，它對用戶提供統(tǒng)一的接口，使系統(tǒng)內(nèi)部物理地址上獨立的各個同構(gòu)IND對用戶具有透明性、邏輯統(tǒng)一性。路由表算法用來定位要進行讀寫的IND，指引IND動作，采用自學(xué)習(xí)的方法進行維護。負(fù)載均衡算法用來維護各個IND的最佳性能，以保證整個系統(tǒng)處于最優(yōu)化中。容錯算法用來提高系統(tǒng)的可靠性。用戶權(quán)限管理用來檢驗訪問I/O權(quán)限，提供安全機制。這些高層軟件運行于系統(tǒng)后，可以實現(xiàn)存儲系統(tǒng)智能化，高性能地進行數(shù)據(jù)存儲。

在實際運行中，當(dāng)用戶有I/O請求時，由高層接口程序啟動系統(tǒng)，權(quán)限管理驗明合法I/O請求后，請求在系統(tǒng)內(nèi)部采用廣播機制。系統(tǒng)內(nèi)的IND掛接在一個局域網(wǎng)內(nèi)，各個IND內(nèi)部均維護著一張路由表，依路由算法，相匹配的IND執(zhí)行操作。路由表采用自學(xué)習(xí)的方法進行維護。當(dāng)有數(shù)據(jù)要求寫入時，文件系統(tǒng)按一定的策略進行數(shù)據(jù)分組，按負(fù)載均衡算法得出的決策，使數(shù)據(jù)并行寫入合適的IND中，實現(xiàn)并行寫入，同時修改路由表。讀取時依路由算法，各IND檢查各自所帶的路由表，對應(yīng)的IND按一定的策略并行輸出數(shù)據(jù)，組合成用戶所需數(shù)據(jù)。這樣成倍地提高了數(shù)據(jù)的響應(yīng)速度。隨著磁盤數(shù)量、容量的增加，其性能不會下降，整體性能保持穩(wěn)定。負(fù)載均衡算法在存儲系統(tǒng)空閑時還會進行負(fù)載分布計算，并依負(fù)載情況在各個IND之間進行必要的數(shù)據(jù)轉(zhuǎn)移；同時修改路由表，以平衡各個IND負(fù)載，優(yōu)化并行I/O性能。系統(tǒng)通過自動獲取各磁盤的負(fù)載分布情況而決定數(shù)據(jù)存儲通路的選取，始終維護整個IND系統(tǒng)的性能穩(wěn)定。

2．3IND存儲方案的特點

IND存儲方案的特點有：采用開放的體系結(jié)構(gòu)，具有動態(tài)擴展能力，可以在不必停機的情況下增加存儲容量，支持海量擴充；不再使用集中的服務(wù)器，消除了單點故障，提高了系統(tǒng)的可靠性，大大提高了系統(tǒng)的可維護性；IND系統(tǒng)構(gòu)建在現(xiàn)有的網(wǎng)絡(luò)上，充分利用已有的網(wǎng)絡(luò)投資環(huán)境，保護已有投資；智能化，能在加載于其上的應(yīng)用軟件干預(yù)下，自動執(zhí)行備份、糾錯以及安全權(quán)限管理。

2．4幾種存儲方案的比較

DAS、NAS、SAN、IND系統(tǒng)存儲方案的比較如表1所示。

3結(jié)束語

目前，在實驗室已建立起以三星S3C44b0微處理器為核心控制器，以IDE接口為磁盤接口，以RTL8029為以太網(wǎng)接口的IND存儲系統(tǒng)硬件平臺原型，重新設(shè)計了IDE驅(qū)動程序，裁減了TCP/IP協(xié)議，精簡Linux以適應(yīng)本文的嵌入式硬件資源，暫時使用NFS文件系統(tǒng)。高層應(yīng)用中設(shè)計了自學(xué)習(xí)路由算法、靜態(tài)負(fù)載算法，在１ ０００ Ｍbps局域網(wǎng)內(nèi)采用四個IND組建系統(tǒng)。實驗表明：其性能穩(wěn)定，系統(tǒng)內(nèi)部結(jié)構(gòu)對用戶透明，用戶界面友好。在線擴充時其性能不隨容量的增加而下降，單點失效時系統(tǒng)依然運行良好，因此，擴展容易，單點故障與服務(wù)器性能瓶頸問題已經(jīng)完全解決，初步達(dá)到了預(yù)期的目標(biāo)。下一步要研究的重點是系統(tǒng)內(nèi)部如何最優(yōu)化并行I/O調(diào)度以進一步提高系統(tǒng)的響應(yīng)速度；如何保持與維護最有效的路由信息表，尋找新的動態(tài)負(fù)載均衡算法與容錯機制，以達(dá)到高可靠性與高載荷時性能的穩(wěn)定；開發(fā)虛擬文件系統(tǒng)以適應(yīng)異構(gòu)平臺的文件共享；研究可靠的容錯與安全機制，以實現(xiàn)真正的智能化。相信經(jīng)過不斷的研究與完善，IND系統(tǒng)存儲方案將會成為一種很有發(fā)展?jié)摿Φ拇鎯Ψ桨浮＊?/p>

參考文獻：

［1］靳超，鄭緯民，張悠慧. 主動存儲系統(tǒng)結(jié)構(gòu)[J].計算機學(xué)報， 2005，28(6):10131020.

[2］PATTERSON D A， HESSESSY J L. Computer architecture:a quantitative approach[M].2nd ed.北京:機械工業(yè)出版社，1999：45－88.

[3］FARLEY M. SAN存儲區(qū)域網(wǎng)[M].孫功星，等譯. 北京:機械工業(yè)出版社，2001:79104.

[4］張江陵，馮丹. 海量信息存儲[M]. 北京:科學(xué)出版社，2003:63－72.

[5］BRIGHT J D， CHANDY J A. A scalable architecture for clustered network attached storage[C]//Proc of the 20th IEEE/the 11th NASA Goddard Conf Mass Storage Systems and Technologies. 2003：196－296.

[6］WELSH M， CULLER D， BREWER E. SEDA: an architecture for wellconditioned， scalable Internet services[C]//Proc of the 18th Symposium Operating Systems Principles (SOSP18). 2001：372－385.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文”