基于云存儲的元數(shù)據(jù)管理關鍵技術研究

馬伯元 甄 義 張 詣

（石家莊鐵路職業(yè)技術學院 河北石家莊 050041）

基于云存儲的元數(shù)據(jù)管理關鍵技術研究

馬伯元 甄 義 張 詣

（石家莊鐵路職業(yè)技術學院 河北石家莊 050041）

云存儲已經(jīng)得到越來越廣泛的應用，而它的構建離不開分布式文件系統(tǒng)的支持。本文借鑒當前主流分布式文件系統(tǒng)的設計理念，提出了一種適合云存儲環(huán)境的元數(shù)據(jù)管理方案；利用基于保留值的緩存替換算法能提高緩存命中率從而使云存儲中元數(shù)據(jù)管理的效率明顯提高；最后設計云網(wǎng)盤系統(tǒng)。

云存儲 元數(shù)據(jù)管理 元數(shù)據(jù)緩存替換

1 引言

云計算是通過在計算機網(wǎng)絡上的資源共享來形成一個連貫的、規(guī)模經(jīng)濟的實際應用，能夠?qū)崿F(xiàn)計算機網(wǎng)絡所聯(lián)系的計算資源的統(tǒng)一分配和共同利用。云計算在發(fā)展中便延展出一個新的概念——云存儲[1]，云存儲最大的特點就是規(guī)模十分龐大，它需要強大的分布式文件系統(tǒng)作為底層支撐，并將集群應用技術、網(wǎng)格技術結合起來。云存儲把大量類型不同的存儲節(jié)點集合起來，通過應用軟件讓它們協(xié)同起來工作，對外提供數(shù)據(jù)存儲的能力，共同處理業(yè)務訪問請求。從本質(zhì)上來說，云存儲就是一個特殊的云計算系統(tǒng)，只不過它把數(shù)據(jù)存儲和管理作為系統(tǒng)的核心。

云存儲與普通存儲系統(tǒng)相比，有很多明顯的優(yōu)勢[2,3]。首先，由于云存儲中有大量的存儲節(jié)點構成集群共同提供存儲能力，所以它可以存儲超大規(guī)模的數(shù)據(jù)量，這是普通存儲系統(tǒng)所望塵莫及的。第二，云存儲管理起來十分方便，因為云存儲的容量可以隨需求的改變而隨意伸縮，理論上講，甚至能進行無限擴展。第三，虛擬化。用戶不需要知道云存儲內(nèi)部的結構，就可以對云存儲進行便捷的訪問，所以云存儲系統(tǒng)對用戶是透明的。第四，高可靠性。云存儲中的數(shù)據(jù)都存有副本，并且具有很好的容錯能力，系統(tǒng)如果出現(xiàn)故障，也能訊速的自動恢復，這就使云存儲中的數(shù)據(jù)比本地存儲具備了很高的可靠性。第五，量身訂制的解決方案，云存儲產(chǎn)品除了提供用戶海量存儲能力，還能滿足企業(yè)針對自身系統(tǒng)的各種不同需求。

由于元數(shù)據(jù)在文件系統(tǒng)中是最主要的訪問對象，所以必須研究更有效的機制，以保證系統(tǒng)的元數(shù)據(jù)服務具有高可用性。本文主要研究了云存儲中元數(shù)據(jù)管理的關鍵問題，包括元數(shù)據(jù)的分布和元數(shù)據(jù)緩存策略。

2 云存儲中元數(shù)據(jù)管理概述

2.1 文件系統(tǒng)中的數(shù)據(jù)與元數(shù)據(jù)

存儲在磁盤中的文件系統(tǒng)可分為兩個部分：一部分是數(shù)據(jù)，另一部分是元數(shù)據(jù)。前者就是文件內(nèi)容本身，后者其實是描述該文件的一些屬性信息。元數(shù)據(jù)就是“關于數(shù)據(jù)的數(shù)據(jù)”，它是關于數(shù)據(jù)或信息資源的一種結構化數(shù)據(jù)，是對數(shù)據(jù)或信息資源的結構化的描述。

在傳統(tǒng)的文件系統(tǒng)中，元數(shù)據(jù)和數(shù)據(jù)都被存放于同一個設備，均由同一個文件系統(tǒng)進行管理，而且它們在物理上的分布位置也采用就近原則[4-6]。在云存儲系統(tǒng)中，元數(shù)據(jù)很容易成為訪問文件系統(tǒng)的性能瓶頸，為了避免這種情況，提高數(shù)據(jù)訪問效率，云存儲中大多采用了將文件數(shù)據(jù)與其元數(shù)據(jù)解耦的方式。分別存儲在不同的節(jié)點上進行管理，這就把文件數(shù)據(jù)傳輸通道和元數(shù)據(jù)傳輸通道分離開來。

2.2 云存儲中元數(shù)據(jù)管理特性

1.3.1 學生評價 發(fā)放調(diào)查問卷，問卷內(nèi)容包括4項，每項分為5個等級，對應相應評分（見表1），由學習興趣、自主學習能力、臨床思維能力、理論知識的運用方面組成。

云存儲系統(tǒng)中，元數(shù)據(jù)管理的重要性主要有以下兩點：

第一，元數(shù)據(jù)是最重要并且最經(jīng)常被訪問的系統(tǒng)數(shù)據(jù)?？蛻舳嗽谧x寫云存儲系統(tǒng)中的文件時，首先要查詢是否有對該文件的讀寫權限，還要訪問一些文件相關屬性信息，而這些信息包含在元數(shù)據(jù)中，所以必須先訪問元數(shù)據(jù)后，才能訪問文件數(shù)據(jù)。如果不能正確的定位元數(shù)據(jù)，就無法保證文件數(shù)據(jù)的正常訪問。所以系統(tǒng)中元數(shù)據(jù)的可靠性和正確性必須得到保證。

第二，元數(shù)據(jù)的訪問性能與整個云存儲系統(tǒng)的性能息息相關，在云存儲系統(tǒng)中，元數(shù)據(jù)常常被頻繁訪問，而元數(shù)據(jù)本身往往非常小，當客戶大量訪問云存儲中的小文件時，就會造成系統(tǒng)性能瓶頸。

2.3 云存儲中元數(shù)據(jù)管理的目標

本文的研究目標是設計和實現(xiàn)兩個適用于云存儲中分布式元數(shù)據(jù)管理的策略，保證系統(tǒng)不但能夠?qū)崿F(xiàn)對海量文件元數(shù)據(jù)的存儲和高并發(fā)的訪問請求處理，而且可以保證每個用戶的處理時間在用戶可接受的范圍內(nèi)。總的來說，主要設計目標是提供大數(shù)據(jù)量、高擴展性、高訪問效率、一定程度可靠性支持的分布式元數(shù)據(jù)管理服務。具體的實際目標包括：

（1）系統(tǒng)能夠支持海量元數(shù)據(jù)的存儲。

（2）系統(tǒng)有較好的元數(shù)據(jù)訪問性能。

（3）元數(shù)據(jù)集群易于擴展，能較好的平衡系統(tǒng)性能和擴展帶來的消耗。

3 元數(shù)據(jù)管理策略

現(xiàn)有的分布式文件系統(tǒng)在元數(shù)據(jù)的分布管理上均存在一些不足：首先是基于表的映射法，該方法需要在表的劃分粒度和查找性能之間尋求一個平衡，其次是目錄子樹劃分法，它有靜態(tài)和動態(tài)兩種機制，靜態(tài)子樹劃分雖然能很好的保證目錄本地性，但卻不能保證負載均衡，也無法保證元數(shù)據(jù)能均勻的分布到 MDS 集群中。

本文定義的元數(shù)據(jù)格式如表1所示。

表1 元數(shù)據(jù)格式

根據(jù)元數(shù)據(jù)格式設計了基于偽隨機序列的元數(shù)據(jù)分布算法：

（1）選擇元數(shù)據(jù)的 PDID 生成一個固定的全局唯一哈希碼；

（2）n，則需要獲取 0-n 之間的隨機序列。

（3）需要分布的元數(shù)據(jù)則沿著這個隨機序列尋找它自己的分布位置。

（4）從性能方面考慮，對于（2）中獲取隨機數(shù)時，序列中的隨機數(shù)可以一個一個進行獲取，然后判定是否在線，而不必一次性全部獲取。

元數(shù)據(jù)的定位方法是將映射表與偽隨機序列分布法相結合，在元數(shù)據(jù)管理系統(tǒng)中需要部署元數(shù)據(jù)管理服務器，建立一個的映射表。

該策略主要有兩個優(yōu)勢，首先它能在系統(tǒng)訪問負載相對平均的時候，保證 MDS 集群的負載均衡，當修改目錄屬性信息時，也能保證 MDS 不需要對元數(shù)據(jù)進行遷移；其次，由于本策略根據(jù)每個文件的PDID來計算隨機數(shù)，那么元數(shù)據(jù)分布的粒度被劃分成目錄級別，這樣便可保證相同目錄之下的文件元數(shù)據(jù)可以被分布在相同的 MDS 上，從而實現(xiàn)了目錄的存儲本地性。

4 緩存管理策略

元數(shù)據(jù)緩存的容量是有限的，當元數(shù)據(jù)緩存已滿，如果需要繼續(xù)裝入某條元數(shù)據(jù)，則需要調(diào)出某個元數(shù)據(jù)緩存項，在定義了元數(shù)據(jù)緩存保留值的基礎上，依據(jù)元數(shù)據(jù)緩存保留值調(diào)出閾值[9]，設計如下基于保留值的元數(shù)據(jù)緩存替換策略，具體流程如下：

（1）在元數(shù)據(jù)調(diào)入緩存時，計算其保留值以判斷是新創(chuàng)建的元數(shù)據(jù)還是從磁盤中讀入的元數(shù)據(jù)。

（2）在云存儲運行設定時間之后，對保留值進行更新，并以 保留值的大小對緩存中所有的緩存對象進行排序。

（3）當需要調(diào)入新的緩存而緩存的容量不足時，則找出緩存中保留值小于閾值并且從磁盤讀入的元數(shù)據(jù)的緩存項，從中選擇最小的一項替換出去，然后根據(jù)緩存寫回策略將其寫回到磁盤。

（4）若當緩存需要替換時，緩存中沒有保留值小于閾值的緩存項，則找出緩存中所有從磁盤讀入的元數(shù)據(jù)的緩存項，并從中選擇保留值最小的一項替換出去，然后根據(jù)緩存寫回策略將其寫回到磁盤。

（5）若當需要緩存替換時，既沒有保留值小于閾值也沒有從磁盤讀入的元數(shù)據(jù)的緩存項，則將緩存中保留值最小的一項替換出去，然后根據(jù)緩存寫回策略將其寫回到磁盤。

5 云網(wǎng)盤系統(tǒng)的實現(xiàn)

云網(wǎng)盤系統(tǒng)的總體功能即是圍繞存儲展開，提供對數(shù)據(jù)的上傳下載刪除重命名等基本功能。云存儲中，數(shù)據(jù)本身與元數(shù)據(jù)分開放置，因此需要提供相應的元數(shù)據(jù)服務。同時，云存儲應當考慮到安全問題，因此需要訪問控制子系統(tǒng)來保障。另外，整個系統(tǒng)需要提供相應的運維系統(tǒng)，以監(jiān)視系統(tǒng)運行狀況并做相應的管理操作。系統(tǒng)總體結構如圖1所示，軟件的總體功能為：

（1）存儲服務引擎：功能調(diào)度、負責對數(shù)據(jù)的存取操作，緩存元數(shù)據(jù)；

（2）元數(shù)據(jù)子系統(tǒng)：元數(shù)據(jù)存儲，元數(shù)據(jù)讀寫等基本操作，元數(shù)據(jù)管理；

圖1 系統(tǒng)總體結構圖

（3）訪問控制子系統(tǒng)：賬戶管理、賬戶認證、賬戶授權；

（4）運維：配置管理、系統(tǒng)監(jiān)控、預警管理、拓撲結構、權限管理。

6 結論

元數(shù)據(jù)管理系統(tǒng)在分布式文件系統(tǒng)中有著非常重要的作用，其采用的元數(shù)管理策略的好壞直接影響到整個文件系統(tǒng)的性能。本文在研究了眾多分布式文件系統(tǒng)的基礎上，提出了一種適用于云存儲的分布式元數(shù)據(jù)管理系統(tǒng)。 通過研究現(xiàn)有的主流元數(shù)據(jù)分布算法，提出一種偽隨機序列分布算法，該算法不僅能將元數(shù)據(jù)均勻地分布式到元數(shù)據(jù)存儲集群中，達到一定負載均衡的目的，也能較好的適應系統(tǒng)的動態(tài)擴展，其計算性能也顯著高于目前比較常用的一致性哈希算法。在元數(shù)據(jù)管理中引入了緩存技術，提出了一種適應云存儲的元數(shù)據(jù)緩存替換策略，而且能適應不同類型的負載情況，滿足云存儲對各類應用的需求，從而提高了云存儲中元數(shù)據(jù)的管理效率和適應能力。 最后融合上述研究設計了云網(wǎng)盤系統(tǒng)。

[1]王鶴群.云存儲應用[J].記錄媒體技術,2008, 11(5):60-64

[2]李冰.云計算環(huán)境下動態(tài)資源管理關鍵技術研究[D].北京:北京郵電大學,2012.

[3]吳偉.海量存儲系統(tǒng)元數(shù)據(jù)管理的研究[D].武漢:華中科技大學5.

[4]K Shvachko, H Kuang, S Radia, et al. The hadoop distributed file system[C]. Mass Storage Systems and Technologies, 2010 IEEE 26th Symposium on. IEEE, Incline Village, 2010, 1-10.

[5]Y.Zhu, H.Jiang, J.Wang, et al. HBA: Distributed Metadata Management for Large Cluster-Based Storage Systems[J].IEEE Transaction on Parallel and Distributed Systems, 19(6), June 2008: 750-763.

[6]Giuseppe DeCandia, Deniz Hastorun, et al. Dynamo: Amazon's highly available key-valuestore[C]. Proceedings of the 21st ACM SIG0PS symposium on Operating systems principles. Stevenson, Washington, 2007, 205-220.

[7]Jin Xiong, Yiming Hu, Guojie Li,et al. Metadata Distribution and Consistency Techniques for Large-Scale Cluster File Systems[J]. IEEE Transactions on Parallel and Distributed Systems, 2011, 22(5):803-816.

[8]Yu Hua, Hong Jiang, Yifeng Zhu, et al. Semantic-Aware Metadata Organization Paradigm in Next-Generation File Systems[J]. IEEE Transactions on Parallel and Distributed Systems, 2012, 23(2):337-344.

[9]王超宇.緩存替換策略研究[D].哈爾濱:哈爾濱工程大學,2012.

On Evaluation Quality Model of Order-Oriented Information Training in Higher Vocational Colleges

MA Bo-yuan ZHEN Yi ZHANG Yi
(Shijizhuang Institute of Railway Technology Shijizhuang Hebei 050041 China)

With the rapid growth in the application of cloud storage systems, it can’t be set up without the support of dispersed file system. In this paper, a feasible cloud storage metadata management solution referred to the existing mainstream distributed file system is proposed. The new cache replacement policies are used to enhance the cache hit rate. Therefore, it effectively improves the efficiency of cloud storage metadata management. At last, the cloud network disk system is designed.

cloud storage metadata management metadata cache replacement

A

1673-1816(2016)04-0062-05

2016-03-12

馬伯元（1978－），男，河北保定人，漢，碩士，副教授，研究方向計算機應用。

河北省教育廳自然科學項目（QN2015125）；河北省教育廳重點科學項目（ZD2016057）；河北省教育廳人文項目（SZ16105）；科技廳項目（15210328）；河北省社會科學基金項目（HB15JY016）