云存儲環境下基于QoS的動態副本策略研究

林清瀅，陸錫聰，馮健文

（韓山師范學院計算機科學與工程系，潮州 521041)

云存儲環境下基于QoS的動態副本策略研究

林清瀅，陸錫聰，馮健文

（韓山師范學院計算機科學與工程系，潮州 521041)

為了解決靜態副本策略中易造成負載不均衡、用戶服務質量需求得不到滿足等問題，提出一種動態副本生成算法和動態副本調整算法；在CloudSim平臺上仿真實驗，結果表明，與默認副本策略相比，該策略能夠根據用戶的訪問需求動態為數據文件增刪副本，大大地減少用戶訪問時間，滿足用戶的服務質量需求。

云存儲；副本策略；動態副本；服務質量

0 引言

云存儲是隨著云計算的誕生而延伸和發展出來的，它通過集群技術、網格技術和分布式文件系統等功能，將網絡中大量異構的存儲設備集合起來協同工作，從而對用戶提供數據存儲和訪問服務[1]。云存儲旨在為用戶提供可靠、可用、安全、快速、廉價的基礎設施，使得用戶以按需付費的方式獲得對存儲資源的使用[2]。既然云存儲作為一種特殊的云計算系統，提供的是存儲服務，因此，其服務質量（Quality of Service,QoS）的保障技術得到了企業界和學術界的廣泛研究。云存儲的服務質量包含多個方面，常見的有I/O性能、可靠性、可用性、安全性、可擴展性、服務成本等[3～6]。而副本策略是保證云存儲中數據可靠、可用和服務成本的關鍵技術之一，合理的副本策略將為用戶帶來更好的服務質量：如縮短訪問響應時間、減少遠距離數據傳輸、降低網絡通信流量、平衡節點負載、增強數據可靠性、提高資源容錯能力，等等[7]。目前大部分云存儲系統采用的是靜態隨機的副本生成策略，如Google的GFS和Hadoop的HDFS都是由配置參數靜態確定副本的數目，然后隨機地把副本放置到多個機架和節點上，而實際中，每個節點的存儲能力不同，而用戶的訪問需求也不同。由于在云存儲環境下，用戶數量龐大，一旦用戶在某一時間段內頻繁地訪問同一數據文件，將很容易造成網絡瓶頸，系統的性能會急劇下降。因此有必要根據用戶的訪問需求動態為數據文件增刪副本，這樣可以大大地減少用戶訪問延遲，節約網絡帶寬資源，提高系統的性能和可靠性。

1 HDFS默認副本策略

我們將基于Hadoop的分布式文件系統HDFS來架構云存儲環境。HDFS采用的是主從架構模式，主節點稱為NameNode，負責元數據管理；從節點稱為DataNode，負責實際數據存儲。由于云存儲環境是由大量存儲節點組成，存儲節點的故障將不可避免，為了避免個別節點的失效而導致存儲數據的丟失。一般情況下，HDFS將存儲的文件劃分為若干個數據塊，每個數據塊在存儲時采用多個副本，在選擇數據塊副本存儲節點時采用的是機架感知（Rack-Aware）策略，該策略通過靜態設置的方式，設置了數據副本數，默認情況下，副本數為3，然后將數據塊副本同時存放在本地機架與一個隨機的遠端機架的不同節點上，如圖1所示，從而保證數據存儲時的可靠性。

HDFS這種靜態副本策略不能根據存儲節點狀態、用戶訪問需求等動態地增加或者刪除副本，從而滿足用戶的服務質量需求。因此，我們根據文件訪問熱度增加或者刪除副本，達到在不影響服務質量的同時，滿足云存儲系統的可靠性。

2 動態副本的策略

2.1 模型描述

為了更好地描述該動態副本的策略，我們定義了如下的數學模型：

定義1數據塊副本矩陣。假設數據文件F存儲時被劃分為n個數據塊，每個數據塊有m個副本，因此，我們可以用矩陣Fn×m來表示文件F在云存儲系統中數據塊副本的存儲情況[8]。

定義2數據塊的訪問次數矩陣。假設數據文件F在某一時間段T內的訪問次數可用矩陣BVn×m來表示。其中bvij表示的是定義1中數據塊副本bij在時間段T內的訪問次數。

因為當有n個數據塊m個副本的文件F被訪問時，每一個數據塊每次只有一個副本被訪問到。因此，文件F在時間段T內的訪問次數可用公式（1）來計算。

定義3動態副本計算函數。通過分析數據文件的訪問次數，我們可以用公式（2）計算數據文件F在云存儲集群中的副本數。

其中，lm，h1，h2，h3，m是正整數，m是數據文件F的最大副本數，lm是數據文件F的最小副本數，1≤lm＜m-2，lm可通過分析數據文件F的訪問次數而動態設置；h1，h2，h3根據云存儲集群的情況給出。該函數通過用戶的訪問特征和云存儲集群的情況，動態計算出合適的副本數，從而滿足用戶的服務需求，提高存儲資源的使用和減少訪問時延。

2.2 算法描述

在云存儲中，當用戶要訪問數據文件時，首先向NameNode查詢要訪問文件的信息。由NameNode查詢得到數據塊的編號以及對應的DataNode并返回給用戶。用戶根據得到信息向數據塊所在的DataNode發送訪問請求。DataNode收到訪問請求后，記錄被訪問數據塊編號和訪問時間，然后向用戶返回請求文件數據。下面我們設計了動態副本的生成算法和調整算法，假定動態副本策略的執行周期為T，當系統啟動時，每一周期開始時，DataNode負責記錄本周期內數據塊的訪問次數；NameNode負責執行下面的算法過程，第一個周期結束時，執行了算法1，即動態副本生成算法；從第二周期開始，以后的每個周期結束都執行算法2，即動態副本調整算法。算法過程如下：

算法1動態副本生成算法

算法2動態副本調整算法

3 實驗結果和分析

為了評價文中給出的動態副本策略，我們在云仿真工具CloudSim上進行了模擬實驗，CloudSim能夠通過重寫代碼和配置創建云計算環境下的用戶任務和資源。設定文件的訪問次數VF隨機產生在[0，1000]之間，這樣，公式（2）中的h1，h2，h3可分別設為300、600、 900。

實驗仿真結果如圖2所示。

圖2 在不同的訪問次數下兩種策略的響應時間

如圖所示，隨著訪問次數的增加，在默認副本策略和動態副本策略下，對用戶的響應時間都開始增加。默認副本策略在訪問次數不是很大時響應時間增加緩慢，但是當訪問次數進一步增加時，系統響應時間急劇增加。在動態副本策略下系統響應時間增加平緩且達到一定峰值后緩慢回落。這是因為隨著訪問次數的增加，系統開始增加副本。由于副本生成需要時間，因此超過在默認副本策略下系統的響應時間。但隨著副本增加完成后，由于對數據的分流，使得系統響應時間開始明顯降低，并逐漸達到一種比較穩定的狀態。由此可得，隨著對文件訪問次數的增加，動態副本策略較之默認策略更加有效。

4 結語

在云存儲環境下，采用數據副本策略是保證系統可靠、可用的關鍵技術。合理的副本策略將降低用戶訪問的響應時間，提高服務質量。因此，本文提出一種數學模型，以描述用戶訪問數據文件的特征，從而給出一種動態副本生成算法和動態副本調整算法；最后在CloudSim平臺上仿真實驗，結果表明，與默認副本策略相比，文中提出的策略能夠根據用戶的訪問需求動態為數據文件增刪副本，大大地減少用戶訪問時間，滿足用戶的服務需求。

參考文獻：

[1] Zhao Y，Ou K，Zeng W，et al.Research on Cloud Storage Architecture and Key Technologies[C].2nd International Conference on In teraction Sciences:Information Technology，Culture and Human，ICIS 2009:1044～1048

[2] Abadi D J.Data Management in the Cloud:Limitations and Opportunities[J].IEEE Data Eng.Bull.，2009，32(1):3～12

[3] Wu J C，Brandt S A.Providing Quality of Service Support in Object-Based File System[C].24th IEEE Conference on Mass Storage Systems and Technologies，MSST 2007:157～168

[4] Wang J，Varmany P，Xie C.Avoiding Performance Fluctuation in Cloud Storage[C].17th International Conference on High Performance Computing，HiPC 2010

[5] Mesnier M，Chen F，Luo T，et al.Differentiated Storage Services[C].23rd ACM Symposium on Operating Systems Principles，SOSP 2011：57～70

[6] Ju J，Wu J，Fu J，et al.A Survey on Cloud Storage[J].Journal of Computers，2011，6(8):1764～1771

[7] 付偉，肖儂，盧錫城.QoS感知的副本放置問題研究綜述[J].計算機研究與發展，2009，46(suppl.)：36～43

[8] 廖彬，于炯，張陶，張興耀.基于分布式文件系統HDFS的節能算法[J].計算機學報，2013，36(5)：1047-1064

Research on the Dynamic Replica Strategy in Cloud Storage Environment Based on QoS

LIN Qing-ying，LU Xi-cong，FENG Jian-wen
（Department of Computer Science and Engineering，Hanshan Normal College，Chaozhou 521041）

The load balancing may be destroyed and the user QoS requirement is not satisfied due to the static replica strategy in the existing default replica strategy.In order to solve these problems,proposes a dynamic replica generation algorithm and a dynamic replica adjust algorithm. Simulates the experiment using CloudSim toolkit,the results show that the proposed strategy is superior to the default replica strategy because it dynamically adds and deletes replicas according to the user's access requirements,which will reduce response time and satisfy user's QoS requirement.

Cloud Storage;Replica Strategy;Dynamic Replica;Quality of Service

1007-1423（2015）02-0006-04

10.3969/j.issn.1007-1423.2015.02.002

林清瀅（1970-），女，廣東潮州人，碩士，副教授，研究方向為分布式系統、云計算

陸錫聰（1973-），男，廣東潮州人，碩士，高級實驗師，研究方向為分布式系統、云計算

2014-12-09

2014-12-23

廣東省科技計劃項目（No.2012B010100036）、韓山師范學院科研團隊項目（No.LT201102、LT201101）

馮健文（1975-），男，廣東廣州人，博士，副教授，研究方向為SOA和云計算