云備份服務的架構設計與實現

陳東偉

【摘 要】為了解決傳統備份技術使用成本較高、易用性和擴展性較差的難題，引入云計算技術，存儲后端采用云存儲，研究新型的備份服務技術，提出云備份服務架構設計方案。實驗證明，云備份服務具有低成本、高可擴展性和高可用性的特點，既可以有效解決傳統備份技術的不足，又可以減輕中小企業在備份服務使用上的成本壓力。

【關鍵詞】云備份 智能備份 云存儲 混合備份

1 引言

傳統的備份技術雖然在一定程度上能滿足當前市場對備份的需求，但其使用成本較高，易用性和擴展性方面也表現得不盡如人意，對中小企業而言，在備份服務上投入資金和人力，也是一種巨大的負擔。引入云計算技術，研究新型的云備份服務，利用云服務的低成本、高可擴展性和高可用性的特點，既可以有效解決傳統備份技術的不足，又可以減輕中小企業在備份服務使用上的成本壓力。

傳統備份軟件采用代理服務器及備份服務器的架構來實現，備份服務器提供Web等管理界面，負責調度、備份任務、創建備份策略、客戶端信息管理、元數據管理。代理服務器則負責把客戶端數據業務備份到具體存儲介質中。作為用于存儲數據的存儲后端，需要存儲的備份數據會不斷增加，由于數據量的激增，傳統存儲技術對數據的索引效率逐步下降，面臨大數據更會顯得捉襟見肘。本方案服務端融合代理服務器及備份服務器功能，突破傳統架構局限，精簡備份結構，并以云存儲[2]作為存儲后端，避免存儲系統與計算系統間存在傳輸瓶頸及單點故障的問題，降低備份系統管理維護成本，為數據存儲的可靠性、穩定性提供保障。

2 云備份服務總體架構

研究云備份技術旨在形成具有行業前瞻性的云備份服務，并結合軟件開發中主流的源代碼管理工具、缺陷管理工具等開源技術，形成目前比較完整的企業級云備份解決方案，可以為中小型企業提供安全、穩定、可靠的云備份服務。本系統采用LAN-Base[3]組網方式，對中小企業而言，數據備份流量對備份服務器節點不會造成太大壓力。

2.1 平臺兼容性設計

總體而言，云備份從結構上可以分成兩個部分：即管理整個備份還原等功能的Web管理控制臺部分和底層根據管理控制臺生成的配置文件實際執行備份操作的部分。軟件設計的云備份過程由服務端驅動，備份數據由客戶端傳到服務端，再由服務端存儲到云存儲。恢復過程備份數據從云存儲直接恢復到客戶端。提供云存儲的域名以及secret key和access key[4]即可在該設備上正常使用該用戶的對象存儲進行備份數據的存取。備份到云存儲的數據可以不限時間不限地域不限終端地訪問。

2.2 平臺特性

本云備份服務特性之一是不使用任何專有格式備份數據，使用操作系統標準的基本應用程序dump[5]和tar[6]，也提供在許多操作系統上可用的開源工具GNUtar[7]與smbtar[8]，來將客戶端需要備份的數據備份到備份服務器本地磁盤或者云存儲中。本備份服務系統在結構設計上使用這些標準工具而不使用專有數據備份格式的目的是，在發生災難或任何其他緊急情況時，用戶可以手動恢復數據，即使沒有安裝云備份服務。

通信及身份驗證方面，云備份客戶端通過TCP和UDP之上自己的網絡協議與云備份服務器進行通信，并使用系統root主目錄中的.rhosts文件進行登記授權，使通信更為安全。云備份服務器端設計上可以指定允許與哪些客戶端進行通信，以及允許執行的操作類型。對于數據恢復，出于安全原因只允許使用root用戶恢復數據。客戶端身份驗證方面，除了通過使用自帶的身份驗證方式外，使用OpenSSH[9]來保障數據傳輸安全，備份客戶端的身份驗證。

3 平臺核心組件工作原理

云備份服務平臺的核心設計和實現主要包括三部分：云備份客戶端、云備份服務端、云備份管理平臺。系統中多個核心組件之間相互配合，共同完成將備份數據備份至云存儲及還原的功能，系統整體設計思想和基本工作原理如圖2所示。

3.1 云備份客戶端

云備份使用的是C/S（Client-Server）架構[10]。云備份服務結構中，客戶端接收到來自服務器端的備份命令后，對備份數據以標準壓縮格式進行打包壓縮并將壓縮數據寫到標準輸出，云備份服務端收集數據并傳輸到存儲設備（本地磁盤或者云存儲）。索引文件保留對文件的索引信息，由客戶端在數據打包時生成并發送給服務端。在數據還原時，服務端能夠高效、準確地找到所需還原文件。

備份數據分為冷數據和熱數據。對熱數據而言，備份客戶端采用Windows VSS（Windows Volume Shadow Copy Service）快照對數據進行熱備份，避免在備份時對這些數據的使用用戶及應用程序造成影響。熱數據備份流程如圖3所示。

客戶端集成VSS服務，通過VSS代理請求器發送快照復制給VSS服務。獲取到該服務對應用程序執行的快照后，由備份客戶端將備份數據發送到備份服務端。

3.2 云備份服務端

云備份中的核心組件是云備份服務器，統一管理各客戶端，管控如何將數據從客戶端備份到云存儲，及如何將數據還原到客戶端。用戶通過瀏覽器打開服務器端備份管理界面制定備份計劃。服務器接收到執行計劃后在開始備份前預估備份計劃，然后按照用戶制定的執行計劃，發送備份命令至客戶端讓客戶端打包好數據，抓取數據到服務器端進行緩存，并將數據索引存儲進索引目錄后再寫入至云存儲。

預估備份計劃主要檢測云備份客戶端上哪些文件發生改變且發生改變的文件可能的大小，為后續備份方式的選擇提供判斷依據。

為降低備份架構帶來的成本開銷及保證核心備份組件功能的統一，備份服務器融合了備份介質服務器的功能，因此服務器又用于緩存數據。從客戶端文件系統或客戶端目錄備份過來的數據只是一堆存放在磁盤上的文件。服務器使用一個獨立的進程，使用盡可能大的吞吐量以實現將服務器中緩存的數據通過具體云存儲接口寫入云存儲。云備份支持設置多個緩存目錄，以便不同客戶端的備份數據可以被發送到不同的緩存目錄上。這增加了云備份的可擴展性，并提供了更好的負載，因為緩存目錄可以在不同的控制器下用于平衡I/O。

云備份服務器端在完全備份、增量備份、差異備份三種備份[11]方式的基礎上實現智能備份功能。智能備份主要通過獨特的方法來調度，優化負載平衡。根據當前變化數據量等信息智能安排增量備份級別，根據整個服務端的負載合理安排全量備份。智能備份調度方法大致如下：例如，需要在周三和每個星期日為客戶A、B、C進行全量備份，為客戶D、E和F在其他時間執行增量備份。類似上例需求，通過對系統設置一些基本規則，然后讓云備份自己去控制調度。例如，可以告知云備份以下規則：在7天時間內至少有一個全量備份，其他時間則是增量備份。這里全量備份之間的最大間隔時間稱為“全量備份周期”。為了計算出最佳的備份級別，云備份在每次開始備份前都會執行一個所謂的“預估”操作。每個云備份客戶端會運行專門的程序來檢查哪些文件已經發生改變，并且改變的文件的可能大小。預估過程可能需要一些時間，特別是如果有許多客戶端和文件系統的情況下。從所有客戶端收集數據結束后，云備份進入所謂的“計劃階段”，并計算所有客戶端的全量備份和增量備份的最佳組合。

假設整個系統有兩個客戶端，客戶端備份目錄為/home1和/home2，客戶端B的備份目錄為/home3和/home4，假設每個主目錄為100 GB，數據變化率是15%，而全量備份周期為4天。為簡單起見，假設云備份每次寫備份數據到獨立標記的目錄中，且每次都是執行級別為1的增量備份。每次運行云備份會安排數據總量×1/全量備份周期的數據進行全量備份。為了簡化，設置全量備份周期為4天，因此周期內備份1中會有四分之一的數據進行全量備份，例如/home1。對于周期內備份2中又會對另一個1/4做全量備份，例如/home2和/home1增量備份是15 GB（100 GB的15%），依此類推對周期內備份3會做/home3的全量以及/home1和/home2的增量備份。4天初始備份完成之后，云備份將運行一個/home目錄的全量備份和其他所有home目錄的增量備份，簡單計算每個周期內備份數據的總量如表1所示。

周期內的第一次和第二次備份的數據量計算是很簡單的，第三次運行時的/home1備份，必須要考慮其中的一個15%是100 GB的15%中再次發生變化的數據。為了避免重復計算，必須從30 GB減去兩次變化重疊的區域。因此，對于增量為/home1的周期內備份3的備份數據規模將是：

4 與傳統備份的比較分析

本系統采用LAN-Base組網架構，為了對比的需要，展示相同組網架構下的傳統備份架構，具體如圖4所示：

如圖4所示，傳統備份中心由介質服務器、備份服務器、備份介質構成。備份數據必須經過備份介質服務器才能存入備份介質中。LAN-Free[3]組網架構下的傳統備份更是每臺需要備份數據的服務器都得安裝介質服務器，這就增大了成本開銷及運維開銷。在可靠性方面，傳統備份架構簡單，數據保護能力差。而云備份基于云存儲做后端存儲，云存儲服務的耐久性給數據可靠性提供保障。在擴展性方面，傳統備份擴展性低，需要花巨大開銷進行擴展，云備份提供無限的擴展能力，無需擔心后端存儲的擴展問題。

備份方法上，傳統的備份方法主要采用直接從生產環境中通過磁帶備份連續寫入的方式。這種方式效率較低，難以應對數據量激增給IT環境帶來的超負荷挑戰。傳統的備份方法不能全局性地解決冗余數據激增的問題，這一問題會導致對網絡、存儲和管理資源的過度消耗。這些都限制了企業恢復和使用受保護數據的能力，增加了數據恢復和查找所需的時間。基于分布式云存儲后端的云備份，依靠其易擴展性，處理冗余激增只需擴展其存儲空間即可。在備份方案上，傳統的備份解決方案往往基于一系列松散集成的工具，這將越來越難以滿足這種大規模、多樣化的數據備份需求。對云備份集成系統基本工具而言，即使云備份系統崩潰，也能通過系統基本工具進行恢復。因此，由上述比較可知，云備份在大多數方面是優于傳統備份的。

5 結束語

本文所設計的系統主要為中小企業提供便捷可行的云備份服務平臺。在結構上與傳統備份結構存在差異，核心組件融合備份服務端功能及備份介質服務功能。在三種備份方式上添加智能備份，智能地選擇對數據的備份級別，有利于服務器端備份數據量動態負載均衡。存儲后端采用云存儲，為備份數據的可靠性、安全性提供保障。隨著云計算技術的不斷發展，分布式云存儲的優勢不斷地在實際應用中展現，利用云存儲的高擴展性、高可用性和低成本來解決常規備份介質的不足已經在業界得到共識，使用云備份取代傳統備份已經成為發展趨勢。

參考文獻：

[1] 羅軍舟，金嘉暉，宋愛波，等. 云計算：體系架構與關鍵技術[J]. 通信學報， 2011（7）： 3-21.

[2] 任宇寧. 云計算時代的存儲技術——云存儲[J]. 科技傳播， 2012（3）： 214-215.

[3] taojin1240. 圖解三種備份方式（LAN，LAN free，Server free）[EB/OL]. [2017-05-10]. http：//taotao1240.blog.51cto.com/731446/839702.

[4] Amazon Web Services. Amazon Simple Storage Service（Amazon S3）[EB/OL]. [2017-05-10]. http：//aws.amazon.com/cn/s3/.

[5] runoob.com. linux dump命令[EB/OL]. [2017-05-10]. http：//www.runoob.com/linux/linux-comm-dump.html.

[6] linuxde.net. Tar命令[EB/OL]. [2017-05-10]. http：//man.linuxde.net/tar.

[7] Gnu Operating System. Gnu Tar[EB/OL]. [2017-05-10]. http：//www.gnu.org/software/tar/.

[8] smbtar（1）-Linux man page. smbtar-shell script for backing up SMB/CIFS shares directly to UNIX tape drives[EB/OL]. （2016-10-21）[2017-05-10]. https：//linux.die.net/man/1/smbtar.

[9] openssh.com. OpenSSH Features[EB/OL]. [2017-05-10]. http：//www.openssh.com/features.html.

[10] xinpo66. CS架構介紹[EB/OL]. （2012-11-15）[2017-05-10]. http：//blog.csdn.net/xinpo66/article/details/8187998.

[11] zhaowcheng. 三大備份方式（完全備份、增量備份、差異備份）淺析[EB/OL]. （2014-04-02）[2017-05-10]. http：//blog.csdn.net/zhaowchengblog/article/details/22821627.