對等結(jié)構(gòu)的混合集群的層次化存儲策略研究

涂超凡 張啟飛 陳應(yīng)莊 張昱昶 劉二騰 干紅華 張尉東 白 凡 鄭賢榕

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計算機(jī)科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計算機(jī)科學(xué)系 美國 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

對等結(jié)構(gòu)的混合集群的層次化存儲策略研究

涂超凡1張啟飛1陳應(yīng)莊1張昱昶1劉二騰1干紅華1張尉東2白 凡3鄭賢榕4

1(浙江大學(xué)軟件學(xué)院 浙江 寧波 315048)2(北京大學(xué)電子工程和計算機(jī)科學(xué)系 北京 100871)3(西北大學(xué)電子工程和計算機(jī)科學(xué)系 美國 埃文斯頓 60201)4(浙大網(wǎng)新中央研究院 浙江 杭州 310030)

隨著分布式存儲系統(tǒng)的規(guī)模迅猛增長，能耗問題日益凸顯。在存儲集群混合低能耗節(jié)點(diǎn)已成為解決能耗問題的重要途徑之一。針對如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點(diǎn)的問題，在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS上設(shè)計并實(shí)現(xiàn)了一種基于對等結(jié)構(gòu)的層次化存儲策略——虛擬節(jié)點(diǎn)分層重映射(VHR)。該策略不影響對等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動區(qū)分使用不同類型存儲節(jié)點(diǎn)，可操作性強(qiáng)。實(shí)驗(yàn)在真實(shí)X86和ARM混合集群上進(jìn)行。實(shí)驗(yàn)表明，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類型存儲節(jié)點(diǎn)的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

存儲系統(tǒng) 對等結(jié)構(gòu) 混合集群 層次化

0 引 言

2020年的全球的數(shù)據(jù)量將從2013年的4.4 ZB 擴(kuò)展到44 ZB[1]，爆發(fā)增長的數(shù)據(jù)量必然伴隨急劇增加的存儲需求。業(yè)界對大規(guī)模存儲系統(tǒng)進(jìn)行了具體的實(shí)踐，比如Google公司的GFS[2]、Amazon的Dynamo[3]以及開源的HDFS[4]。存儲系統(tǒng)的規(guī)模迅猛增長使得存儲系統(tǒng)的能耗問題日趨嚴(yán)重。一些大型存儲系統(tǒng)的能耗占到整個數(shù)據(jù)中心能耗的三分之一以上[5-6]。相關(guān)人員在存儲系統(tǒng)節(jié)能領(lǐng)域做了相關(guān)大量研究，主要可以分為軟件節(jié)能技術(shù)與硬件節(jié)能技術(shù)兩類[7]。

軟件節(jié)能技術(shù)通過創(chuàng)造時機(jī)讓設(shè)備、節(jié)點(diǎn)進(jìn)入低能耗狀態(tài)從而節(jié)能。Gurumurthi等人使磁盤依據(jù)負(fù)載 調(diào)整轉(zhuǎn)速從而降低能耗[8]；Harnik等人規(guī)律性地關(guān)閉周期性空閑的存儲節(jié)點(diǎn)以此降低能耗[9]；Leverich等人改變某種分布式存儲系統(tǒng)的數(shù)據(jù)副本放置方法從而關(guān)閉空閑節(jié)點(diǎn)，降低9～50%系統(tǒng)能耗[10]；Pinheiro等人把數(shù)據(jù)分為原始和冗余兩種并放置到不同位置，關(guān)閉空閑節(jié)點(diǎn)實(shí)現(xiàn)能耗下降[11]。

硬件節(jié)能技術(shù)是指通過引入低能耗設(shè)備降低系統(tǒng)能耗。比如Szalay等人將SSD應(yīng)用在輔助節(jié)點(diǎn)上，關(guān)閉普通節(jié)點(diǎn)以降低能耗[12]；Hamilton構(gòu)建適用于低能耗Athlon處理器的服務(wù)器機(jī)架結(jié)構(gòu)以降低能耗[13]；Vasudevan等人使用嵌入式芯片和快速閃存構(gòu)建了一個7倍于普通機(jī)器能效的存儲集群[14]。近年來，隨著ARM的快速發(fā)展，搭載ARM的低能耗存儲節(jié)點(diǎn)得以應(yīng)用。Facebook公司在Open Vault冷區(qū)存儲中使用一個4核ARM處理器驅(qū)動了15塊硬盤，降低了系統(tǒng)能耗[15]；Baidu公司開發(fā)了支持X86和ARM節(jié)點(diǎn)混合部署的云存儲系統(tǒng)，存儲密度提升了70%，TCO降低了25%[16]。

在存儲集群混合低能耗節(jié)點(diǎn)已成為解決能耗問題的重要途徑之一。目前進(jìn)行混合節(jié)點(diǎn)的研究實(shí)踐主要是基于主從結(jié)構(gòu)，主從結(jié)構(gòu)的分布式存儲系統(tǒng)存在擴(kuò)展性差、單點(diǎn)故障等問題。高擴(kuò)展特性的對等結(jié)構(gòu)的分布式系統(tǒng)如Dynamo[3]、Ceph[17]等受到日益重視，而對等結(jié)構(gòu)的系統(tǒng)一般采用定位算法替換了傳統(tǒng)的查文件分布表機(jī)制，這也帶來了如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點(diǎn)的問題。針對這個問題，本文在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS[18]上進(jìn)行了混合集群的層次化存儲的研究。

1 ZDFS

ZDFS使用和Dynamo[3]相似的一致性哈希算法。ZDFS有三個主要組件：DataNode存儲所有數(shù)據(jù)；Client暴露存儲接口給上層應(yīng)用,直接向DataNodes集群發(fā)起數(shù)據(jù)讀寫請求；Monitor負(fù)責(zé)維護(hù)存儲節(jié)點(diǎn)集群全局信息，處理節(jié)點(diǎn)加入和離線事務(wù)。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)

ZDFS中有虛擬節(jié)點(diǎn)概念，如圖2所示。其中，該數(shù)據(jù)文件存儲到Vnode c所對應(yīng)的DataNode上。

圖2 一致性哈希環(huán)

與Ceph[17]數(shù)據(jù)尋址方式相似，ZDFS的Client僅僅使用不定期更新的少量本地元數(shù)據(jù)，即可確定存放File的DataNode地址，如表1所示。

表1 虛擬節(jié)點(diǎn)路由表

ZDFS預(yù)設(shè)每個數(shù)據(jù)有3份拷貝。Monitor將三個連續(xù)的虛擬節(jié)點(diǎn)放置在三個不同的DataNode上，在此基礎(chǔ)上，DataNode將依據(jù)后繼節(jié)點(diǎn)規(guī)則進(jìn)行數(shù)據(jù)備份，如圖3所示。

圖3 三副本備份機(jī)制

2 虛擬節(jié)點(diǎn)分層重映射

ZDFS是作為大規(guī)模的分布式系統(tǒng)設(shè)計，ZDFS分布式系統(tǒng)具有良好的可拓展性，在ZDFS上進(jìn)行混合節(jié)點(diǎn)集群層次化存儲研究主要有以下原因：

(1) 冷區(qū)數(shù)據(jù)量很大

系統(tǒng)的高可靠性要求使得其采用了3副本備份機(jī)制，而備份數(shù)據(jù)卻不常使用。系統(tǒng)容量與存儲機(jī)器規(guī)模成正相關(guān)，這意味著需要部署更多的存儲節(jié)點(diǎn)來滿足系統(tǒng)的存儲需求，極大地增加了系統(tǒng)能耗。

(2) 層次化存儲是數(shù)據(jù)中心提升效率的必然要求

在存儲節(jié)點(diǎn)集群中混合不同的結(jié)構(gòu)、性能的節(jié)點(diǎn)，若不加以區(qū)別利用，可能增加系統(tǒng)延遲，帶來不穩(wěn)定性因素，以及高性能類別節(jié)點(diǎn)的硬件優(yōu)勢將不能得到充分發(fā)揮。

本文用HighNode和LowNode分別表示兩種不同類型的物理存儲節(jié)點(diǎn)。策略是在HighNode上優(yōu)選使用高能耗高性能處理器和高速存儲介質(zhì)，LowNode上優(yōu)選使用低功耗處理器和普通存儲介質(zhì)。表2是ZDFS下混合集群執(zhí)行層次化混合和無層次化混合情況下兩種物理存儲節(jié)點(diǎn)的功能。

表2 不同類型節(jié)點(diǎn)的功能

無層次化策略下的后繼節(jié)點(diǎn)規(guī)則可以表式為：

{vnode(i)_next=vnode(i+1)(i為小于N的自然數(shù)，N為虛擬節(jié)點(diǎn)總數(shù));vnode(i)_next=vnode(0)(i等于N-1時)}

層次化混合下的LowNode和HighNode功能不同，ZDFS系統(tǒng)必須區(qū)分使用這兩種不同類別的存儲節(jié)點(diǎn)。但ZDFS使用了一致性哈希算法替換了傳統(tǒng)的主從結(jié)構(gòu)中的文件分布表，系統(tǒng)無法通過查表區(qū)分不同類別的節(jié)點(diǎn)。為應(yīng)對這個問題，本文提出了一種對等結(jié)構(gòu)下區(qū)別使用不同類型節(jié)點(diǎn)的層次化存儲策略——虛擬節(jié)點(diǎn)分層重映射VHR，系統(tǒng)無需查表即可自動區(qū)分使用不同類型的存儲節(jié)點(diǎn)，且不影響系統(tǒng)的高拓展性。

由于本文的混合集群中只混合了兩種類型節(jié)點(diǎn)，將虛擬節(jié)點(diǎn)分類為奇數(shù)類虛擬節(jié)點(diǎn)和偶數(shù)類虛擬節(jié)點(diǎn)。設(shè)定將所有奇數(shù)虛擬節(jié)點(diǎn)映射到LowNode集群，所有偶數(shù)虛擬節(jié)點(diǎn)映射到HighNode集群，如圖4所示。

圖4 奇偶虛擬節(jié)點(diǎn)分別映射不同類型節(jié)點(diǎn)集群

相應(yīng)的后繼節(jié)點(diǎn)規(guī)則設(shè)定為：

{vnode(2j)_next=vnode(2j+1);vnode(2j+1)_next=vnode(2j+3)(j為小于N的自然數(shù)，2N為虛擬節(jié)點(diǎn)總數(shù))}

從上可知，主數(shù)據(jù)存放在HighNode集群中；備份數(shù)據(jù)存放在LowNode集群中.當(dāng)設(shè)定Monitor只向Client發(fā)送偶數(shù)虛擬節(jié)點(diǎn)的路由表信息，LowNode集群將對Client不可見。

接下來探討虛擬節(jié)點(diǎn)分層重映射的細(xì)節(jié)，用數(shù)學(xué)抽象描述了其中的兩個重要部分。

2.1 節(jié)點(diǎn)加入流程

系統(tǒng)獲取新加入存儲節(jié)點(diǎn)，記為p，然后執(zhí)行節(jié)點(diǎn)加入流程，其使用：

算法1 節(jié)點(diǎn)加入算法

a) 平均化收集預(yù)分配的虛擬節(jié)點(diǎn)，放入收集容器集合φ；

b) 選取元素i，其中i∈φ,更新i對應(yīng)的物理存儲節(jié)點(diǎn)映射歸屬，即R(i)=p；

c) 遷移對應(yīng)物理存儲節(jié)點(diǎn)下至p，即D(i)=p；

d) 更新存儲節(jié)點(diǎn)與i有關(guān)的邏輯前驅(qū)和后繼關(guān)系；

e)φ=φ-{i}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實(shí)現(xiàn)上，步驟a)主要是對對應(yīng)類型的虛擬節(jié)點(diǎn)總數(shù)進(jìn)行回收，得到回收節(jié)點(diǎn)集合φ，ZDFS提出了不同的存儲節(jié)點(diǎn)標(biāo)記為不同的存儲域，數(shù)據(jù)的各個備份要保證放在不同的區(qū)，保證某區(qū)的存儲節(jié)點(diǎn)宕機(jī)時，能從其他備份區(qū)中恢復(fù)。因而，具體策略實(shí)現(xiàn)上，回收再分配時需保證邏輯相鄰兩個虛擬節(jié)點(diǎn)不能映射至相同的物理存儲節(jié)點(diǎn)；

步驟b)中，R(i)=p關(guān)系函數(shù)為虛擬節(jié)點(diǎn)x的映射主機(jī)。Monitor更新φ的映射關(guān)系至p，并協(xié)調(diào)p建立相應(yīng)的存儲目錄區(qū)。

步驟c)中，D(i)=p關(guān)系函數(shù)為虛擬節(jié)點(diǎn)i對應(yīng)存儲的數(shù)據(jù)所存儲的主機(jī)為p，Monitor協(xié)調(diào)φ集合對應(yīng)的物理存儲主機(jī)，將數(shù)據(jù)遷移至p，并更新(刪除)數(shù)據(jù)的對象。

步驟d)中，告知并更新其他存儲節(jié)點(diǎn)的前驅(qū)和后繼的映射關(guān)系，保證數(shù)據(jù)的備份機(jī)制的實(shí)施。

2.2 節(jié)點(diǎn)離線流程

若p出現(xiàn)宕機(jī)情況，系統(tǒng)刪除該物理節(jié)點(diǎn)，然后執(zhí)行節(jié)點(diǎn)離線流程，其處理使用：

算法2 節(jié)點(diǎn)離線算法

a) 獲取p節(jié)點(diǎn)所分配的虛擬節(jié)點(diǎn)集合φ；

b) 選取元素x，其中x∈φ,將x節(jié)點(diǎn)分配至新的物理節(jié)點(diǎn)q；

c) 分別遷移x的邏輯第一前驅(qū)px1和第二前驅(qū)px2對應(yīng)的物理節(jié)點(diǎn)數(shù)據(jù)至q的x目錄下的第一二拷貝區(qū)；

d) 更新的邏輯前驅(qū)及后繼關(guān)系；

e)φ=φ-{x}，如果φ不為空，執(zhí)行步驟b)，否則完成。

實(shí)現(xiàn)上，步驟b)把虛擬節(jié)點(diǎn)p重映射到相同類型的存儲節(jié)點(diǎn)，和節(jié)點(diǎn)加入流程一致，需確保邏輯相鄰兩個虛擬節(jié)點(diǎn)不能映射至相同的物理存儲主機(jī)；步驟c)將確保在新的物理存儲節(jié)點(diǎn)q成為p節(jié)點(diǎn)的替代節(jié)點(diǎn)之前，已經(jīng)完成遷移存儲節(jié)點(diǎn)的之前存儲數(shù)據(jù)。

本文設(shè)計實(shí)現(xiàn)的虛擬節(jié)點(diǎn)分層重映射(VHR)將不同虛擬節(jié)點(diǎn)集合分層映射到不同類型的存儲節(jié)點(diǎn)上，實(shí)現(xiàn)了在對等結(jié)構(gòu)下不同類型存儲節(jié)點(diǎn)的層次化，具有以下運(yùn)行特點(diǎn)：

(1) 自動的混合節(jié)點(diǎn)集群管理

存儲節(jié)點(diǎn)加入或離線時，系統(tǒng)根據(jù)其節(jié)點(diǎn)類型，自動分配或回收對應(yīng)的虛擬節(jié)點(diǎn)。同時，虛擬節(jié)點(diǎn)的分配與回收機(jī)制在保證數(shù)據(jù)拷貝存儲到互異存儲節(jié)點(diǎn)的情況下，通過均衡算法保證存儲數(shù)據(jù)在集群中的均衡化存儲，具有較高的可用性。

(2) 不破壞系統(tǒng)的高拓展特性

在混合集群的數(shù)據(jù)遷移過程中，Monitor節(jié)點(diǎn)的負(fù)載很輕，只負(fù)責(zé)向某一時間加入或宕機(jī)的存儲節(jié)點(diǎn)發(fā)送相應(yīng)指令，具體數(shù)據(jù)遷移操作在存儲節(jié)點(diǎn)之間自動獨(dú)立完成。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)在真實(shí)網(wǎng)絡(luò)環(huán)境下進(jìn)行，拓?fù)浣Y(jié)構(gòu)如圖5所示。所有節(jié)點(diǎn)均在同一個局域網(wǎng)中。圖5中包含有6臺HighNode、6臺LowNode、1臺Monitor、1臺Client。交換機(jī)采用1臺TP-Link的10/100/1000M自適應(yīng)交換機(jī)，能耗功率測量使用了多臺TECMANTM9微型電力檢測儀。

圖5 系統(tǒng)拓?fù)?/p>

各個節(jié)點(diǎn)軟件主要采用C語言編寫，軟件運(yùn)行環(huán)境為Ubuntu14.04。實(shí)驗(yàn)中，HighNode運(yùn)行在X86 架構(gòu)的PC工作站上，LowNode運(yùn)行在ARM評估板上。如表3所示。

表3 硬件配置

3.1 能耗水平

實(shí)驗(yàn)通過對4個不同的實(shí)驗(yàn)組的對比測試進(jìn)行，每一個實(shí)驗(yàn)組的配置均不相同，每一個實(shí)驗(yàn)組的運(yùn)行時的整體能耗水平如表4所示。

表4 不同實(shí)驗(yàn)組的能耗水平

實(shí)驗(yàn)組1中全為HighNode，故其整體能耗水平最高；實(shí)驗(yàn)組2的存儲集群中全部部署為LowNode，故其整體能耗水平最低；實(shí)驗(yàn)組3和實(shí)驗(yàn)組4在存儲集群中混合部署了相同數(shù)量的HighNode和相同數(shù)量的LowNode，整體能耗水平相近。接下來的兩個小節(jié)分別進(jìn)行了不同實(shí)驗(yàn)組的吞吐性能和文件下載用時測試。

3.2 吞吐性能

最大吞吐性能測試的文件規(guī)模為100GB，測試方式是采集Client節(jié)點(diǎn)的以太網(wǎng)端口的最大I/O數(shù)據(jù)，測試結(jié)果如表5所示。

表5 不同實(shí)驗(yàn)組的最大吞吐性能 MB/s

實(shí)驗(yàn)組3比實(shí)驗(yàn)組4在最大吞吐性能上有輕微的優(yōu)勢，因?yàn)閷?shí)驗(yàn)組4的混合集群中LowNode對Client是隱藏的，LowNode不參與對Client的數(shù)據(jù)傳輸。隨著文件大小的增加，實(shí)驗(yàn)組1、實(shí)驗(yàn)組3和實(shí)驗(yàn)組4的最大吞吐表現(xiàn)趨于一致，系統(tǒng)限制開始成為制約系統(tǒng)最大吞吐的主要因素。

3.3 下載時間

下載時間測試在每一個實(shí)驗(yàn)組上分別進(jìn)行，Client從存儲集群中選擇10 GB大小的數(shù)據(jù)文件進(jìn)行下載，記錄所有數(shù)據(jù)全部完成下載的用時，測試結(jié)果如表6所示。

表6 不同實(shí)驗(yàn)組的10 GB規(guī)模的文件下載時間 s

實(shí)驗(yàn)組1有最短的測試結(jié)果，因其部署的節(jié)點(diǎn)全為HighNode；實(shí)驗(yàn)組2的下載用時最長，因其部署的節(jié)點(diǎn)全為LowNode；實(shí)驗(yàn)組4執(zhí)行了本文的VHR混合策略，系統(tǒng)區(qū)分使用了不同的存儲節(jié)點(diǎn)，在數(shù)據(jù)文件下載時，Client只與混合集群中的HighNode進(jìn)行數(shù)據(jù)傳輸，故測試結(jié)果和實(shí)驗(yàn)組1相近；而實(shí)驗(yàn)組3執(zhí)行了普通的無層次化混合，系統(tǒng)不能區(qū)分使用不同的存儲節(jié)點(diǎn)，Client與LowNode進(jìn)行數(shù)據(jù)傳輸時引起了更多時間開銷。除此之外，對等結(jié)構(gòu)下在無層次化混合下的文件查找、目錄列表等功能如ls命令，低性能的節(jié)點(diǎn)將進(jìn)一步增加系統(tǒng)延遲，給系統(tǒng)帶來不穩(wěn)定因素。

結(jié)合上文的能耗、吞吐測試結(jié)果，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類型的存儲節(jié)點(diǎn)的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。

4 結(jié) 語

針對如何在對等結(jié)構(gòu)的混合集群中區(qū)別使用不同類型存儲節(jié)點(diǎn)的問題，本文在一個對等結(jié)構(gòu)分布式系統(tǒng)ZDFS上進(jìn)行了混合集群的層次化存儲的研究，設(shè)計并實(shí)現(xiàn)了一種基于對等結(jié)構(gòu)的層次化存儲策略——虛擬節(jié)點(diǎn)分層重映射(VHR)。該策略不影響對等結(jié)構(gòu)的高拓展特性，使系統(tǒng)可自動區(qū)分使用不同類型存儲節(jié)點(diǎn)，可操作性強(qiáng)。實(shí)驗(yàn)在真實(shí)X86和ARM混合集群上進(jìn)行，實(shí)驗(yàn)表明，VHR實(shí)驗(yàn)組運(yùn)行良好，充分發(fā)揮了不同類型存儲節(jié)點(diǎn)的優(yōu)勢，在性能降低不明顯的情況下，整體能耗水平降低了44.8%。本文接下來的工作包括繼續(xù)優(yōu)化系統(tǒng)，支持更多類型節(jié)點(diǎn)等等。

[1] Dell EMC.The Digital Universe of Opportunities:Rich Data and the Increasing Value of the Internet of Things[OL].http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

[2] Ghemawat S,Gobioff H,Leung S T.The Google file system[J].ACM SIGOPS Operating Systems Review.New York:ACM,2003,37(5):29-43.

[3] DeCandia G,Hastorun D,Jampani M,et al.Dynamo:Amazon’s Highly Available Key-Value Store[J].ACM SIGOPS Operating Systems Review,2007,41(6):205-220.

[4] Shvachko K,Kuang H,Radia S,et al.The Hadoop Distributed File System[C]//Mass Storage Systems and Technologies (MSST),2010 IEEE 26th Symposium on.New Jersey:IEEE,2010:1-10.

[5] EPA.Report to Congress on Server and Data Center Energy Efficiency[OL].https://datacenters.lbl.gov/sites/ all/files/EPA_Datacenter_Report_Congress_Final1.pdf.

[6] Battles B,Belleville C,Grabau S,et al.Reducing data center power consumption through efficient storage[R].WP-7010-0709,NetApp White Paper,2007.

[7] Wang Y,Sun W,Zhou S,et al.Key Technologies of Distributed Storage for Cloud Computing[J].Journal of Software,2012,23(4):962-986.

[8] Gurumurthi S,Sivasubramaniam A,Kandemir M,et al.Reducing Disk Power Consumption in Servers with DRPM[J].Computer,2003,36(12):59-66.

[9] Harnik D,Naor D,Segall I.Low power mode in cloud storage systems[C]//2009 IEEE International Symposium on Parallel and Distributed Processing.IEEE,2009:1-8.

[10] Leverich J,Kozyrakis C.On The Energy (In)Efficiency of Hadoop Clusters[J].ACM SIGOPS Operating Systems Review,2010,44(1):61-65.

[11] Pinheiro E,Bianchini R,Dubnicki C.Exploiting Redundancy to Conserve Energy in Storage Systems[C]//Proceedings of the Joint International Conference on Measurement and Modeling of Computer Systems,2006:15-26.

[12] Szalay A S,Bell G C,Huang H H,et al.Low-power amdahl-balanced blades for data intensive computing[J].ACM SIGOPS Operating Systems Review,2010,44(1):71-75.

[13] Hamilton J.Cooperative expendable micro-slice servers (CEMS):low cost,low power servers for internet-scale services[C]//Conference on Innovative Data Systems Research,2009:1-8.

[14] Vasudevan V,Franklin J,Andersen D,et al.FAWNdamentally Power-efficient Clusters[C]//Proceedings of the 12th Conference on Hot Topics in Operating Systems.Berkeley,CA,USA:USENIX,2009:22.

[15] Open Compute Project.ARM Server Motherboard Design for Open Vault Chassis Hardware v0.3[OL].http://www.opencompute.org/wp/wp-content/uploads/2013/01/Open_Compute_Project_ARM_Server_Specification_v0.3.pdf.

[16] Anna Wang.Chinese Internet Giant Baidu Rolls Out World’s First Commercial Deployment of Marvell’s ARM Processor-based Server[OL].http://developer.baidu.com/en/events.html.

[17] Weil S A,Brandt S A,Miller E L,et al.Ceph:A scalable,high-performance distributed file system[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.USENIX Association,2006:307-320.

[18] Zhang Q,Zhang W,Li W,et al.Cloud Storage System For Small File Based on P2P[J].Journal of Zhejiang University (Engineering Science),2013,47(1):8-14,93.

RESEARCH ON HIERARCHICAL STORAGE STRATEGY ON P2P HYBRID CLUSTER

Tu Chaofan1Zhang Qifei1Chen Yingzhuang1Zhang Yuchang1Liu Erteng1Gan Honghua1Zhang Weidong2Bai Fan3Zheng Xianrong4

1(SchoolofSoftwareTechnology,ZhejiangUniversity,Ningbo315048,Zhejiang,China)2(SchoolofElectronicsEngineeringandComputerScience,PekingUniversity,Beijing100871,China)3(DepartmentofElectricalEngineeringandComputerScience,NorthwesternUniversity,Evanston60201,USA)4(CentralInstitute,InsigmaTechnologyCompanyLtd,Hangzhou310030,Zhejiang,China)

With the scale of distributed storage systems growing rapidly, the problem of energy consumption has become increasingly prominent, and storage cluster hybrid low-power node has become one of the important ways to solve this problem. To face the problem of how to use different types of storage nodes discriminatively, in this paper, a hierarchical storage strategy called vnode hierarchical remapping (VHR) is designed and implemented based on a P2P distributed system of ZDFS. The strategy didn’t affect the high scalability of P2P, so that the system can automatically distinguish between the use of different types of storage nodes with strong operability. Experiments are carried out on a real X86 and ARM hybrid cluster, and experiments show that the VHR works well and plays to the advantages of different types of storage nodes. Under the condition of the performance degradation is not obvious, the overall level of energy consumption was reduced by 44.8%.

Storage system P2P Hybrid cluster Hierarchical

2015-11-20。國家關(guān)鍵科技支撐項(xiàng)目(2014BAH23F03)；國家環(huán)境公益項(xiàng)目(2013A610064)；寧波自然科學(xué)基金項(xiàng)目(2013B10036)；寧波智能交互多媒體遠(yuǎn)程教育系統(tǒng)項(xiàng)目(2013B10036)。涂超凡，碩士生，主研領(lǐng)域：分布式系統(tǒng)，物聯(lián)網(wǎng)。張啟飛，講師。陳應(yīng)莊，碩士生。張昱昶，碩士生。劉二騰，講師。干紅華，副教授。張尉東，博士生。白凡，碩士生。鄭賢榕，高工。

TP3

A

10.3969/j.issn.1000-386x.2017.04.002