復旦大學跨校區(qū)數據備份方案

文/ 沈佳杰 萬儼慧 向望 趙澤宇

糾刪碼[1]廣泛應用于分布式存儲系統(tǒng)[2]來保證數據可靠性。通過將用戶數據編碼生成多個塊并保存至多個存儲節(jié)點，糾刪碼存儲系統(tǒng)可以保證在部分存儲節(jié)點失效的情況下恢復出用戶原始數據。與此同時，糾刪碼存儲系統(tǒng)能通過并行化讀取存儲節(jié)點中保存的用戶數據來提升數據讀取操作的性能[3]。

跨數據中心數據備份研究

由于單個數據中心存在數據失效和網絡不可達等問題，跨數據中心分布式存儲系統(tǒng)需要在各個存儲節(jié)點執(zhí)行數據備份操作。在單個數據中心存儲節(jié)點失效時，糾刪碼存儲系統(tǒng)將使用新存儲節(jié)點替換失效節(jié)點，恢復出失效節(jié)點存儲的數據。

為了保證存儲數據的可靠性，糾刪碼存儲系統(tǒng)需要執(zhí)行數據分片操作和數據編碼操作，生成多個數據分片，將編碼后的數據寫入到各個校區(qū)存儲節(jié)點。同時，為了保證存儲節(jié)點存儲數據的負載均衡，大規(guī)模存儲系統(tǒng)需要引入一定數量的邏輯控制節(jié)點[3]。邏輯控制節(jié)點需要根據各個存儲節(jié)點負載情況，選擇適合的存儲節(jié)點寫入分片數據。

圖1展示了大規(guī)模糾刪碼鍵值存儲系統(tǒng)數據寫入過程。當用戶端設備收到數據寫入請求后，邏輯控制節(jié)點會選擇4個存儲節(jié)點執(zhí)行數據寫入操作。邏輯控制節(jié)點將用戶數據編碼生成數據分片A和數據分片B，編碼生成校驗分片A+B和校驗分片A+2*B，并將這些分片寫入存儲節(jié)點。通過執(zhí)行這些數據寫入操作，糾刪碼存儲系統(tǒng)能保證在部分存儲節(jié)點失效的情況下依然可以獲取原始的用戶數據分片A和數據分片B。

圖1 大規(guī)模糾刪碼鍵值存儲系統(tǒng)數據寫入過程

在實際存儲系統(tǒng)中，邏輯控制節(jié)點下屬的存儲節(jié)點往往部署在同一校區(qū)的數據中心。當出現跨校區(qū)的主干網絡擁塞和單校區(qū)數據中心失效等故障時，基于單校區(qū)數據中心的糾刪碼鍵值存儲系統(tǒng)往往難以保證存儲數據的可用性。

為了應對可能出現單個數據中心失效的問題，數據備份方案需要將用戶數據存儲到分布在各個校區(qū)數據中心的存儲節(jié)點。當單個數據中心存儲節(jié)點失效時，糾刪碼存儲系統(tǒng)可以讀取存儲在其他校區(qū)數據中心的數據，恢復出失效數據中心的數據，實現對多個校區(qū)用戶端設備持續(xù)提供在線存儲服務。同時，為了提升數據備份操作的網絡傳輸效率，糾刪碼存儲系統(tǒng)需要充分利用各個節(jié)點之間的網絡帶寬資源。

跨校區(qū)數據備份方案

本文設計了跨校區(qū)數據備份方案來保證數據可靠性，并將數據備份方案部署到了復旦大學校園網絡。

基于網絡拓撲結構的邏輯控制平面

為了充分利用跨校區(qū)主干網的帶寬資源，邏輯控制節(jié)點被部署在各個校區(qū)的數據中心來轉發(fā)需要備份的用戶數據，將接收到的備份數據寫入存儲節(jié)點。同時，使用層次化存儲結構[3]來歸并數據備份過程中的數據傳輸操作，提升跨校區(qū)數據中心之間執(zhí)行數據備份操作的性能，保障用戶應用的存儲服務質量。

圖2展示了邏輯控制與存儲空間分離的糾刪碼存儲系統(tǒng)結構。用戶端設備根據本機的IP信息獲取其所在校區(qū)的邏輯控制節(jié)點，并將數據讀寫請求發(fā)送到該邏輯控制節(jié)點。在接收到數據寫入請求時，邏輯控制節(jié)點將數據寫入到其所屬校區(qū)的存儲節(jié)點。當數據量較小的情況下，邏輯控制節(jié)點會將數據緩存在本地存儲空間來保證數據寫入的效率。

圖2 邏輯控制和存儲空間分離的存儲架構

在此基礎上，邏輯控制節(jié)點需要執(zhí)行數據備份操作，即將用戶寫入的數據保存到其他校區(qū)數據中心的存儲節(jié)點。由于小數據量讀寫操作會引起較大數據傳輸時延，數據備份方案需要優(yōu)化備份數據跨校區(qū)傳輸過程來提升數據傳輸操作的執(zhí)行效率。

圖3展示了跨校區(qū)數據備份操作的傳輸過程。當接收到本校區(qū)的用戶端設備和應用服務器的數據備份請求后，本校區(qū)邏輯控制節(jié)點將緩存這些數據備份請求，并將其歸并后傳輸到其他校區(qū)的邏輯控制節(jié)點來完成數據備份操作。

圖3 跨校區(qū)數據備份操作的傳輸過程

由于諸多用戶端設備需要將數據寫入本校區(qū)邏輯控制節(jié)點，邏輯控制節(jié)點需要高效的數據備份機制，充分利用跨校區(qū)網絡帶寬資源來處理和傳輸這些備份數據。

基于對象內容的數據備份方案

為了提升跨校區(qū)數據備份操作的執(zhí)行效率，本文提出了基于對象內容的數據備份方案，將多個待備份對象數據歸并成數據包，保障備份數據的傳輸效率，減少數據備份操作所消耗的時間。

圖4展示了用戶端設備執(zhí)行數據寫入操作的過程。當用戶端設備向本校區(qū)邏輯控制節(jié)點執(zhí)行數據寫入操作時，邏輯控制節(jié)點會將接收到的數據寫入緩存區(qū)。當緩存的數據量超過一個閾值，邏輯控制節(jié)點將緩存的本地存儲節(jié)點的備份數據打包發(fā)送到備份邏輯控制節(jié)點。

圖4 邏輯控制節(jié)點數據寫入過程

此外，邏輯控制節(jié)點會接收來自其他校區(qū)邏輯控制節(jié)點的數據備份請求，將備份數據根據編碼規(guī)則寫入各個存儲節(jié)點。由于執(zhí)行跨校區(qū)數據讀取操作通常會帶來較大的數據讀取時延，糾刪碼存儲系統(tǒng)能利用各個校區(qū)的備份數據來提升用戶端設備讀取數據的性能。

圖5展示了跨校區(qū)邏輯控制節(jié)點之間數據備份操作的執(zhí)行過程。當接收其他校區(qū)節(jié)點發(fā)送的備份請求，備份邏輯控制節(jié)點會將其中的對象寫入到本校區(qū)的存儲節(jié)點。為了保證各個校區(qū)可以充分利用備份提升數據讀取操作的性能，備份節(jié)點所在校區(qū)用戶發(fā)起數據讀取操作時會直接從其存儲節(jié)點讀取用戶數據。

圖5 跨校區(qū)數據備份操作的執(zhí)行過程

緩存?zhèn)浞輸祿x取性能優(yōu)化

為了減少在線應用執(zhí)行跨校區(qū)數據讀取操作所消耗的時間，本文提出了基于域名解析的讀寫重定向方案。根據域名和源IP地址，域名解析服務器將返回同一校區(qū)的邏輯控制節(jié)點的地址。在此基礎上，用戶端設備將訪問同一校區(qū)的邏輯控制節(jié)點，執(zhí)行用戶數據的讀寫操作。

在日常數據讀寫過程中，用戶端設備通過HTTP協(xié)議來訪問存儲在遠端的用戶數據。根據糾刪碼存儲系統(tǒng)的域名，用戶端設備能訪問存儲在糾刪碼存儲系統(tǒng)中的用戶數據。通過將用戶的數據讀寫請求重定向到同一校區(qū)的邏輯控制節(jié)點，基于域名解析的數據重定向方案有效避免了跨校區(qū)數據傳輸操作帶來的開銷。

圖6展示了基于域名解析的讀寫重定向方案的執(zhí)行過程。邏輯控制節(jié)點將注冊信息發(fā)送到域名解析服務器。在不同校區(qū)的用戶端設備通常會被分配不同地址段的IP地址，域名解析服務器能根據訪問的域名和源IP地址，分析用戶端設備所處的校區(qū)，將相應校區(qū)的邏輯控制節(jié)點IP地址返回給用戶端設備，實現將訪問用戶數據的請求重定向到統(tǒng)一校區(qū)的邏輯控制節(jié)點。

圖6 讀寫重定向執(zhí)行過程

原型糾刪碼鍵值存儲系統(tǒng)實現

為了測試該跨校區(qū)數據備份方案的有效性，本文實現了原型糾刪碼鍵值存儲系統(tǒng)執(zhí)行數據備份操作。由于小數據量讀寫操作往往會帶來較大時延開銷，基于對象內容的數據備份算法需要緩存用戶寫入的數據，并將其發(fā)送到備份邏輯控制節(jié)點。

圖7展示了邏輯控制節(jié)點中數據備份功能模塊的軟件架構。邏輯控制節(jié)點接收從用戶端設備發(fā)送的數據寫入請求，并將待寫入的數據存放到緩存區(qū)。當緩存區(qū)的數據量超過一個閾值，備份請求生成器生成數據備份請求，實現將數據備份請求通過通信接口發(fā)送到備份邏輯控制節(jié)點和存儲節(jié)點。由于緩存區(qū)的數據保存于本地存儲空間，糾刪碼存儲系統(tǒng)能保障在線應用讀寫數據的性能。

圖7 邏輯控制節(jié)點緩存區(qū)設計

為了描述備份對象的特性，原型系統(tǒng)在邏輯控制節(jié)點之間傳輸的備份數據中加入了元數據，生成數據包發(fā)送到備份邏輯控制節(jié)點。

圖8展示了各校區(qū)邏輯控制節(jié)點之間傳輸備份對象數據的過程。發(fā)起數據備份操作的邏輯存儲節(jié)點將多個對象組成對象數據包，并在傳輸數據的頭部加上元數據，發(fā)送到備份邏輯控制節(jié)點。

圖8 邏輯控制節(jié)點傳輸對象的過程

當備份邏輯控制節(jié)點接收到其他邏輯控制節(jié)點發(fā)送的數據備份請求時，會將備份數據分解為用戶寫入的對象，并寫入其所在數據中心存儲節(jié)點。這樣當備份節(jié)點所在校區(qū)用戶端設備執(zhí)行數據讀取操作時，就可以直接從備份節(jié)點讀取數據。

測試實驗

實驗設置

為了驗證本文中提出的跨校區(qū)數據備份算法的有效性，本文設計了測試實驗，在復旦大學邯鄲校區(qū)和江灣校區(qū)數據中心部署了25臺服務器作為用戶端設備、邏輯控制節(jié)點和存儲節(jié)點來測試不同數據備份方案的性能。

實驗測試了在各種數據量情況下,分析批量傳輸操作對備份用戶數據的影響，以及從邯鄲校區(qū)向江灣校區(qū)數據備份操作的性能，主要比較了跨校區(qū)執(zhí)行數據備份操作消耗的時間和吞吐率。其中，吞吐率為單位時間內備份的數據量，單位為MB/s。

此外，實驗將分析數據備份存儲對數據讀取操作性能的影響。實驗統(tǒng)計了不同數據量情況下數據備份操作和數據讀取操作的時延和吞吐率。其中，時延為完成數據讀取操作需要的時間，吞吐率為單位時間用戶端設備讀取的數據量。

數據備份操作性能分析

為了分析在數據備份過程中對多個對象執(zhí)行數據歸并操作對數據傳輸效率的影響，實驗測試了對象歸并前后備份數據的效率。圖9展示了不同對象大小情況下，數據備份操作的性能。

圖9（a）展示了不同對象大小情況下，數據備份操作消耗的時間。由于跨校區(qū)主干網存在較大數據傳輸時延，頻繁執(zhí)行小數據量的備份操作會消耗較多的時間。通過歸并對象數據，數據備份方案能充分利用跨校區(qū)網絡帶寬資源，減少數據備份操作消耗的時間。

圖9（b）比較了不同對象大小情況下，數據備份操作的吞吐率。當需要備份的對象數據量較小的情況下，通過歸并小數據量備份操作，基于對象內容的數據備份方案可以有效提升數據備份操作的跨校區(qū)傳輸性能。

圖9 不同對象大小情況下，數據備份操作的性能

數據讀取操作性能分析

在沒緩存的情況下，用戶端設備將訪問本校區(qū)的邏輯控制節(jié)點，獲取保存在其他校區(qū)存儲節(jié)點的數據。為了分析跨校區(qū)的數據讀取性能，實驗將測試各個校區(qū)緩存的備份數據對數據讀取操作性能的影響。圖10展示了不同數據量情況下，邏輯控制節(jié)點執(zhí)行數據讀取操作的性能。

圖10（a）展示了不同數據量情況下，數據讀取操作的時延。當讀取數據量較小，由于需要執(zhí)行跨校區(qū)數據傳輸操作，在沒有緩存?zhèn)浞輸祿闆r下用戶端設備往往消耗較長的時延來讀取存儲節(jié)點保存的數據。

圖10（b）展示了不同數據量情況下，數據讀取操作的吞吐率。當執(zhí)行小數據量讀取操作時，用戶端設備能讀取邏輯控制節(jié)點所在校區(qū)的存儲節(jié)點保存的備份用戶數據，減少跨校區(qū)數據傳輸帶來的時延，提升糾刪碼鍵值存儲系統(tǒng)數據讀取操作的效率，保障在線應用的用戶體驗。

圖10 不同數據量情況下，邏輯控制節(jié)點所在校區(qū)數據讀取操作的性能

總結來看，本文研究了跨校區(qū)糾刪碼鍵值存儲系統(tǒng)數據備份方案。通過合理使用跨校區(qū)主干網絡資源，設計了基于網絡拓撲的邏輯控制平面。為了減少小數據量傳輸對跨校區(qū)數據備份操作和數據讀寫操作的影響，提出了基于對象內容的數據備份方案和基于域名解析的讀寫重定向方案。同時，實現了原型糾刪碼存儲系統(tǒng)，并部署了提出的數據備份方案。依托復旦大學校園網絡，實驗驗證了該糾刪碼存儲系統(tǒng)數據備份方案可以有效地提升數據備份操作的執(zhí)行效率，減少跨校區(qū)數據讀寫操作的傳輸開銷。