基于Ceph分布式數(shù)據(jù)糾刪碼更新優(yōu)化策略

張開(kāi)碧 鄧杰銘 付蔚

【摘要】對(duì)于Ceph分布式存儲(chǔ)設(shè)備數(shù)量大的分布式集群，發(fā)生故障是在所難免，也是其一大挑戰(zhàn)。面對(duì)分布式存儲(chǔ)出現(xiàn)的故障，系統(tǒng)怎么能快速的發(fā)現(xiàn)故障，定義類(lèi)型，并且解決故障呢。在現(xiàn)在最經(jīng)常使用的方法是RS糾刪碼，糾刪碼可以保證系統(tǒng)的可靠性，用低冗余的方法進(jìn)行數(shù)據(jù)的恢復(fù)，糾刪碼修復(fù)數(shù)據(jù)之前，我們需要對(duì)節(jié)點(diǎn)進(jìn)行更新，保證數(shù)據(jù)是最新的狀態(tài)。對(duì)于常規(guī)的糾刪碼使用的延遲或者立即更新不太能滿(mǎn)足對(duì)數(shù)據(jù)準(zhǔn)確率和修復(fù)效率的要求。所以設(shè)計(jì)出了一套基于Ceph分布式數(shù)據(jù)糾刪碼更新優(yōu)化策略。該方案利用閾值設(shè)計(jì)出更新觸發(fā)時(shí)機(jī)，再利用立即延遲對(duì)數(shù)據(jù)混合更新的方式能更好的滿(mǎn)足數(shù)據(jù)修復(fù)的準(zhǔn)確性和效率。

【關(guān)鍵詞】Ceph;RS糾刪碼;閾值;

0引言

糾刪碼技術(shù)因其較高的空間利用率和數(shù)據(jù)可靠性被廣泛應(yīng)用于分布式存儲(chǔ)系統(tǒng)中。在實(shí)際的分布式存儲(chǔ)系統(tǒng)中，糾刪碼數(shù)據(jù)的更新是一項(xiàng)較為頻繁且涉及范圍較廣的操作[1]，同時(shí)更新過(guò)程需要消耗較大的網(wǎng)絡(luò)開(kāi)銷(xiāo)和完成復(fù)雜的計(jì)算。隨著數(shù)據(jù)量的增大以及用戶(hù)行為的多樣化，多點(diǎn)更新逐漸成為了一種常態(tài)。相比于單點(diǎn)更新，糾刪碼的的多點(diǎn)更新表現(xiàn)出兩個(gè)特點(diǎn)：一是更新過(guò)程中網(wǎng)絡(luò)開(kāi)銷(xiāo)成倍增長(zhǎng)，這是因?yàn)樗械拇鹿?jié)點(diǎn)都需要向?qū)?yīng)的編碼節(jié)點(diǎn)傳輸數(shù)據(jù)[2]，每增加一個(gè)待更新節(jié)點(diǎn)，編碼節(jié)點(diǎn)的數(shù)據(jù)量就會(huì)明顯;二是更新過(guò)程中的計(jì)算復(fù)雜度與計(jì)算量成倍增加，這時(shí)因?yàn)槊總€(gè)編碼節(jié)點(diǎn)需要編碼所有的待更新數(shù)據(jù)與原始編碼數(shù)據(jù)以獲取更新的編碼數(shù)據(jù)，每增加一個(gè)待更新節(jié)點(diǎn)，每個(gè)編碼節(jié)點(diǎn)都需重新計(jì)算一遍。因此，多點(diǎn)更新過(guò)程中的網(wǎng)絡(luò)開(kāi)銷(xiāo)和編碼計(jì)算量成倍增加，極大限制了糾刪碼的廣泛應(yīng)用。這是因?yàn)椋紫龋S著數(shù)據(jù)量和節(jié)點(diǎn)數(shù)目的增大，分布式存儲(chǔ)系統(tǒng)中的中較大的網(wǎng)絡(luò)開(kāi)銷(xiāo)不僅會(huì)降低數(shù)據(jù)更新效率，同時(shí)也會(huì)影響其他應(yīng)用的正常運(yùn)行。其次，較為復(fù)雜的計(jì)算會(huì)占用節(jié)點(diǎn)較多的計(jì)算資源，進(jìn)而造成更新效率的下降。因此，如何降低多點(diǎn)更新過(guò)程中的網(wǎng)絡(luò)開(kāi)銷(xiāo)以及計(jì)算量以提高更新效率成為了新的挑戰(zhàn)[3]。

1.策略?xún)?yōu)化

1.1數(shù)據(jù)更新觸發(fā)

先確定輸入的編碼參數(shù)（n，k），n為總共的更新數(shù)據(jù)量，k為觸發(fā)時(shí)的數(shù)據(jù)量，我們先定義一個(gè)hold組，設(shè)置hold組為DEFAULT_SIZE，判讀更新時(shí)數(shù)據(jù)量m如果大于k，則縮小閾值大小hold+=hold，else if m<2，則擴(kuò)大hold+=hlod，hold代表了時(shí)間間隔閾值，通過(guò)調(diào)整hold大小，可以映射出時(shí)間間隔，比如說(shuō)五小時(shí)進(jìn)行一次更新。

1.2.立即和延遲對(duì)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)更新

我們可以以時(shí)間間隔作為觸發(fā)的指標(biāo)，使系統(tǒng)能夠精確的控制更新的觸發(fā)時(shí)機(jī)，我們可以由及時(shí)更新和延時(shí)更新的結(jié)合示例圖進(jìn)行示例分析，及時(shí)更新和延時(shí)更新如圖所示。

圖1顯示了3個(gè)待更新節(jié)點(diǎn)node0、node1、node2和3個(gè)待更新的編碼節(jié)點(diǎn)parity0、parity1、parity2，再時(shí)刻t1，node0收到了更新的信息并完成了數(shù)據(jù)塊的更新。再t2時(shí)刻，node1同node0一樣完成了更新，并同時(shí)把D*1-D1發(fā)送到node0中，node0收到發(fā)送的信息通過(guò)：

合成臨時(shí)的編碼塊 。在t3時(shí)刻，node2完成數(shù)據(jù)塊的更新后也講D*2-D2的信息發(fā)送至node0，然后node0通過(guò)：

合成臨時(shí)的編碼塊 。若通過(guò)時(shí)間閾值設(shè)置到在時(shí)刻t4更新，node0將合成的臨時(shí)模塊 分別發(fā)送至node0、node1、node2。最后通過(guò)：

完成編碼塊的更新。此次數(shù)據(jù)就快速的進(jìn)行了更新，也保證了數(shù)據(jù)塊的一致性，編碼塊的快速性。

2實(shí)驗(yàn)結(jié)果與分析

使用對(duì)象從1000G到3500G對(duì)象大小來(lái)測(cè)試原生的系統(tǒng)和采用混合更新的糾刪碼策略。其更新時(shí)間如圖1所示。

由圖1可知，1500G之前原生系統(tǒng)和混合更新機(jī)制相差的更新時(shí)間差不多，是因?yàn)閷?duì)象不夠大，混合更新中延遲更新和立即更新的時(shí)間沒(méi)有達(dá)到閾值。當(dāng)對(duì)象數(shù)據(jù)夠大的時(shí)候，該機(jī)制的優(yōu)勢(shì)就能大幅度體現(xiàn)出來(lái)。提升了8%左右。

3 結(jié)束語(yǔ)

本文針對(duì)海量的文件數(shù)據(jù)容錯(cuò)機(jī)制的研究，以Ceph為分布式系統(tǒng)，糾刪碼為容錯(cuò)機(jī)制為研究對(duì)象進(jìn)行分布式系統(tǒng)的糾刪碼數(shù)據(jù)更新。對(duì)于糾刪碼修復(fù)數(shù)據(jù)之前，我們需要對(duì)節(jié)點(diǎn)進(jìn)行更新，保證數(shù)據(jù)是最新的狀態(tài)。在多點(diǎn)更新的場(chǎng)景下需要消耗大量的網(wǎng)絡(luò)開(kāi)銷(xiāo)和完成成倍的計(jì)算，所以，怎么以低成本和高效的方式完成糾刪碼修復(fù)更新成為了新對(duì)挑戰(zhàn)。對(duì)于糾刪碼種的數(shù)據(jù)塊、編碼塊，它們對(duì)于數(shù)據(jù)的要求是不一樣的，數(shù)據(jù)塊需要的是數(shù)據(jù)的一致性，編碼塊需要的是它的更新效率，所以我們對(duì)此需要設(shè)計(jì)出一種更新效率的算法，對(duì)兩種特性都能兼顧到，能更好的對(duì)數(shù)據(jù)進(jìn)行高效率的更新。該混合更新的機(jī)制能更好的應(yīng)對(duì)分布式的場(chǎng)景，減少系統(tǒng)更新時(shí)間，提高系統(tǒng)的性能。

【參考文獻(xiàn)】

[1]鐘鳳艷，王艷，李念爽.異構(gòu)環(huán)境下糾刪碼的數(shù)據(jù)修復(fù)方法綜述[J].計(jì)算機(jī)應(yīng)用研究，2019，36（08）：2241-2249+2255.DOI：10.19734/j.issn.1001-3695.2018.04.0269.

[2]董妍，耿臻.糾刪碼系統(tǒng)中基于協(xié)作方式的更新方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2019，40（01）：92-96.DOI：10.16208/j.issn1000-7024.2019.01.015.

[3]王意潔，孫偉東，周松，裴曉強(qiáng)，李小勇.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J].軟件學(xué)報(bào)，2012，23（04）：962-986.