999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于CDM技術的IT系統數據保護實踐

2017-03-30 09:28:21林岳鑫
移動通信 2017年4期

林岳鑫

【摘 要】為了解決傳統備份與恢復時效低、大量占用備份資源的問題,通過采用業界最新的數據保護技術,分析了各種現有數據保護技術的優缺點,并提出了快速恢復的方案。經過實踐驗證了CDM技術的高效性,既提升了業務系統的保障水平,又降低了備份資源的使用,為IT系統特別是大規模生產系統的數據保護能力建設提供有益的借鑒。

【關鍵詞】數據保護 CDM 快速恢復

IT System Data Protection Practice Based on Copy Data Management Technique

[Abstract] In order to tackle problems of the low real time and massive backup resource occupation of the traditional backup, the state-of-art data protection technique in the industry was used to analyze advantages and disadvantages of existing data protection techniques, as well as a fast recovery scheme was proposed. The high efficiency of copy data management (CDM) was validated by the practice. CDM technique not only enhances the guarantee level of the service system, but also reduces the utilization of the backup resource to provide a useful reference to the data protection capability construction of the IT system and the large-scale production system.

[Key words]data protection copy data management fast recovery

1 現狀及問題

某運營商系統每套核心生產數據庫均有10 TB數據量,采用傳統的數據備份解決方案。基于傳統的數據備份方案進行災難恢復,配備與備份一致的基礎環境下,數據恢復需要接近12 h。

某運營商的這套備份系統存在大量的冗余備份數據。這些數據在收集、存放、保管等環節都極大地消耗了系統維護的人力和物力,而備份和恢復的效果卻遠遠達不到運營商對RTO(Recovery Time Objective,復原時間目標)和RPO(Recovery Point Objective,復原點目標)的要求。

2 建設目標

對于生產系統來說,RTO要求是半小時,即在任何停機情況下,維護人員需要在半小時內實現業務的恢復。IT系統面臨著各種各樣的停機風險,這些風險都可能造成業務系統非計劃內停機,如各種災難事件、各種人為錯誤、各種系統錯誤等。通過對這些事件進行分析,可大致分為小概率機房級故障和大概率機房內故障兩類。

2.1 小概率機房級故障

小概率機房級故障如火災、水災等事件。這類事件發生的概率很小,但影響范圍至少是機房級的,甚至是地區級的,即整個機房內運行的業務系統都會受影響。

2.2 大概率機房內故障

大概率機房內故障如各種邏輯錯、物理損壞等。這類事件發生的概率較大,是各種業務系統非計劃停機的主要因素,但影響范圍主要是系統級的,即一般是單個業務受影響。

某運營商IT中心在業務連續性保護方面的建設主要包括容災系統和備份系統。第一類事件由容災系統進行業務系統的保護;第二類事件原規劃是由預期容災和備份的結合進行保護。但在實際中容易出現以下問題:

(1)容災系統處理單個業務停機時非常困難。例如,一個數據庫停機了,如果通過容災技術在容災端進行切換,那么應用服務器是否切換?如果不切換,則生產端的應用服務器和容災端的數據庫之間的網絡延遲會造成很大業務影響;如果切換,則其他應用和這個應用之間的依賴關系會造成嚴重問題。

(2)容災系統是基于數據實時復制實現的,所以它并不能處理各種邏輯錯誤。例如,生產端被誤刪除一張表,容災端的數據也立即被刪除。

(3)數據庫的數據量都是TB級的。備份系統在進行恢復時耗時過長,一般需要幾個小時甚至以天為單位才能完成恢復,與半小時的RTO要求差距較大。

基于上述現狀,某運營商IT中心希望建設一個快速恢復系統,從而彌補容災系統和備份系統的不足,如表1所示。

3 各種數據保護技術的研究和比較

為了解決上述問題,某運營商IT中心對市場上現有的各種技術進行了分析研究。

3.1 傳統備份軟件技術

傳統備份軟件是基于磁帶技術為核心發展起來的,數據備份集格式采用的是適合流媒體介質的格式,適合批量的順序寫(備份)和讀(恢復)。

傳統備份技術的發展主要體現在兩個方面:一是備份介質的發展;二是備份數據獲取技術的發展。

(1)備份介質發展歷程

物理磁帶庫:通過使用更多數量、更加高速的磁帶驅動器,一個備份作業同時利用多個驅動器的技術,以解決業務系統數據量越來越大帶來的備份窗口的挑戰。

VTL(Virtual Tape Library,虛擬磁帶庫):VTL的出現解決了磁帶較容易損壞的問題,同時由于重復數據刪除技術的出現,極大地降低了VTL的總體成本。雖然VTL使用磁盤,但是其內部的數據格式、數據管理、對外接口等和物理磁帶庫是相似的,因此VTL在備份和恢復的速度上并不能超越物理磁帶庫。

備份一體機:傳統備份軟件進行安裝時,需要配置管理服務器、介質服務器、備份客戶端。備份架構、維護的復雜度較高。備份一體機將虛擬磁帶庫和備份軟件整合在一起,組合成軟硬件一體化的設備,簡化了備份架構并降低了維護的復雜性。但備份一體機的優勢主要在管理及運維上的簡化,而沒有在備份和恢復的速度方面有所改進。

(2)備份數據獲取技術

備份數據獲取技術可以概括為以下三類:

LAN(Local Area Network,局域網)備份:如圖1所示,備份數據通過IP網絡從生產服務器傳輸到備份設備。LAN備份方式一般用于數據量較小的應用。

LAN-Free備份:如圖2所示,備份數據通過FC網絡從生產服務器傳輸到備份設備。LAN-Free備份方式一般用于大數據量的應用。

Server-Free備份:如圖3所示,采用上述備份方式均需要生產服務器長時間進行備份,導致大量的IO資源消耗,影響生產穩定。Server-Free備份基本不需要生產服務器參與整個備份過程,其實現方式是備份設備直接從生產存儲獲取數據(生產存儲對應用數據做快照)后掛載快照,再將快照備份。這種方式能將備份的資源消耗從服務器轉移到存儲上,從而減少對生產的影響。Server-Free備份方式需要存儲系統的支持。

雖然備份軟件一直在優化進步,但遠遠跟不上數據量增長的速度以及業務對數據恢復的要求。以10 TB的數據庫為例,如果備份設備硬件配置高,則可以達到2 TB/h,即需5 h實現全量備份。在這個速度下,生產服務器的資源消耗巨大,且10 TB數據的恢復時間至少要10 h以上。

3.2 CDP技術

從功能上看,CDP(Continual Data Protection,連續數據保護)比較適合解決前述備份軟件的問題。它能提供數據備份,快速恢復數據。CDP的原理是通過截取生產應用的寫操作并傳輸到CDP設備中,將寫操作按次序保存下來。當需要恢復時,CDP可以根據這些寫操作虛擬出一塊磁盤,再掛載給服務器。CDP技術減少了傳統備份在恢復時需要將數據從備份設備恢復到目標存儲的過程,實現分鐘級的恢復,恢復時間和數據量的大小沒有關系,也不需要有專門的備份窗口。由于保存了寫操作,所以它可以恢復到任意時間點。

但CDP技術在架構上有一個很重要的前提是:它必須集成到生產系統的IO鏈路中,并以同步方式截取寫操作。它必須保存寫操作的順序,也不能有任何寫操作的缺失,所以這個寫入CDP的操作和生產系統的寫操作必須是一個同步的關系。這樣會極大地影響生產系統的IO性能,同時也要求CDP存儲的性能必須要和生產存儲的性能是等同的,對成本的要求極高,如圖4所示:

由于客觀條件的限制,CDP技術在推出多年之后仍然沒有取代傳統備份技術。它在中小企業IT系統中使用較廣泛,但較少在大型企業的核心系統中使用。

3.3 Oracle零數據丟失一體機

Oracle零數據丟失一體機是Oracle于2015年推出的最新技術,它能實現數據庫的永遠增量方式備份,結合日志傳輸技術,數據丟失量可以達到秒級。Oracle零數據丟失一體機技術可極大地減少備份時間,有效解決了傳統備份軟件的備份時間窗口等問題,如圖5所示:

但從數據恢復的角度來看,它仍然沒有解決恢復時效問題,同樣需要將數據從一體機內恢復到生產環境,如圖6所示。并且它只支持Oracle數據庫,不能支持其他數據庫、文件系統和虛擬機等。

3.4 Oracle數據庫復制技術

數據庫復制技術(如Oracle的Data Guard)是通過實時傳輸數據庫日志實現數據復制的。這種技術主要用于防止災難事件發生,即生產數據庫因災難事件(如火災、存儲宕機等)發生停機,目標端的數據庫可以快速接管業務。其原理如圖7所示。

數據庫復制技術需要在目標端數據庫上不斷請求日志,從而盡可能地使目標端生產庫和生產數據庫保持一致。因此,這種技術并不能應對邏輯錯、人為錯等需要恢復到歷史時間點狀態的錯誤。

3.5 CDM技術

如圖8所示,CDM(Copy Data Management,復制數據管理)技術是一種創新型的備份技術。Gartner認為在兩個場景中可以提供非常高效的解決方案:一是備份恢復的現代化;二是開發測試環境的快速搭建。

CDM的核心技術是備份出來的數據格式是原始格式,即備份數據可以直接掛載給目標服務器實現分鐘級恢復,和數據量的大小無關,這是和傳統備份軟件最大的區別。由于備份數據是原始數據格式,并且存放在磁盤上,所以它可以根據新的增量數據和已有的全備數據,在備份系統內合成新的全量備份,從而實現永遠增量備份。

由于CDM本身是備份技術,所以它可以應對各種宕機場景,包括邏輯錯、人為錯等大概率小事故。增量備份和增量合成功能可以極大地降低備份窗口以及備份時系統資源的消耗。并且它還可以實現分鐘級的恢復時間,滿足業務對恢復的時間要求。

3.6 小結

綜上所述,當出現業務需求但生產系統出現問題時,可以快速實現恢復,包括邏輯錯、人為錯等大概率小事故。各技術對業務保護的滿足程度具體如下:

(1)傳統備份軟件技術:在大數據量情況下,備份、恢復時間都過長。

(2)CDP技術:可以實現業務需求,但對生產系統影響大。

(3)Oracle零數據丟失一體機:永遠增量備份功能可以解決備份窗口問題,但恢復時間過長。

(4)Oracle數據庫復制技術:主要實現容災功能,無法解決邏輯錯、人為錯等問題。

(5)CDM技術:可以實現業務需求、分鐘級恢復、永遠增量備份功能解決備份窗口問題。由于它是備份技術,因此對生產系統的影響小。

4 項目實踐

某運營商IT中心通過對上述各種數據保護技術綜合分析后,選擇了CDM技術進行應用,在開展嚴謹的POC測試后才進行選型、建設。系統上線后,實現的效果符合預期。

4.1 CDM實踐方案工作原理

如圖9所示,在恢復過程中,當需要恢復某個時間點的備份時,CDM主機會在系統內部做一個指針式快照,然后把這個快照掛載給需要恢復的主機,恢復速度在分鐘級別(當某份數據要恢復到多臺主機時,CDM主機會做多份快照,多份快照可同時掛載)。在做歸檔時,若數據需要保存的時間長,CDM主機可以把近線備份以外的數據通過重刪的方式備份進重刪池。

4.2 CDM方案備份實踐效果

備份系統第一次備份時需要進行全量備份,后續的備份每次只需要進行增量備份,系統內部再自動合成新的全量數據,這樣既可以極大減少備份時間,又可以減少數據備份時對系統資源的消耗。項目負責人將備份頻率增加到間隔4 h做一次全量備份,并對兩個Oracle數據庫進行了備份,實際的數據量分別為3.63 TB(A庫)、

7.51 TB(B庫)。

3.63 TB數據量的Oracle數據庫備份效果如表2所示,增量備份和合成的平均時間為00:11:22。

7.51 TB數據量的Oracle數據庫備份效果如表3所示,增量備份和合成的平均時間為00:20:44。

4.3 CDM方案恢復實踐效果

所有合成后的備份數據都可以掛載給服務器,直接恢復成數據庫,恢復效果達到規劃要求。快速恢復系統實現架構如圖10所示。

對A、B兩個數據庫進行全量數據的快速恢復測試,具體如表4所示。

對多個Oracle RAC數據庫統一一個快速恢復系統實現保護,可配置一個恢復驗證服務器,用于備份數據的驗證。在業務停機或需恢復事件發生時,主要突發情況以及應對處理措施如下:

(1)整個機房出現問題:采用容災系統進行切換。

(2)數據庫停機(存儲損壞、數據庫Bug、邏輯錯等):將備份數據掛載到生產服務器,實現快速恢復。故障解決后,將數據從快速恢復系統遷移到生產存儲。

(3)數據庫服務器停機(RAC或2節點服務器同時損壞等):將備份數據庫掛載到恢復驗證服務器,接管業務。故障恢復后,將數據庫遷移到原生產數據庫環境。

(4)數據庫沒停機,但出現邏輯錯和人為錯:把錯誤發生前一時間的備份數據Mount給恢復驗證服務器,將所需數據export,在import到生產數據庫。若故障時間點無法確定,可以通過多次Mount數據庫的方式人為確定。由于每次Mount時間短,因此對故障時間點的確定非常有幫助。

以上分類覆蓋了各種事件造成業務停機的情況,所有情況都可以在半小時內恢復業務。通過本次項目驗證,CDM技術完全可以達到業務系統半小時的RTO要求。

5 結束語

IT系統的數據保護需要根據業務的需求和實際面臨的風險進行設計。在這個項目中,某運營商IT中心根據業務系統的自身特點,綜合分析對比各類備份技術,并結合新技術進行研究和驗證,最終采用基于CDM的數據保護及恢復技術應用到生產系統中,有效地彌補了原有容災備份技術的不足,將生產系統的容災能力提升到一個新的水平。在現階段,某運營商IT中心需要更加廣泛地使用CDM技術保護業務系統,從而全面提升生產系統的容災能力。

參考文獻:

[1] 康春榮,蘇武榮. 數據安全項目案例:存儲與備份SAN與NAS容錯與容災[M]. 北京: 科學出版社, 2004.

[2] 韓松峰,常俊超. 數據恢復技術與應用[M]. 北京: 電子工業出版社, 2014.

[3] 卜海兵,徐明遠,楊宏橋. 數據存儲、恢復與安全應用實踐[M]. 北京: 中國鐵道出版社, 2012.

[4] Kelley Okolita. 構建企業級業務連續性規劃[M]. 于天,等譯. 北京: 機械工業出版社, 2015.

[5] GB/T 29765-2013. 信息安全技術 數據備份與恢復產品技術要求與測試評價方法[S]. 2013.

[6] 林偉松. 數據備份與容災技術在電信計費系統中的應用[D]. 北京: 北京郵電大學, 2007.

[7] 王銳. 四川聯通遠程容災備份系統的規劃與建設[D]. 成都: 電子科技大學, 2007.

[8] 宮婷. 計算機數據庫的備份與恢復技術研究[J]. 計算機光盤軟件與應用, 2013(21): 155.

[9] 吳佳. 備份服務器的關鍵技術研究和實現[D]. 武漢: 華中科技大學, 2008.

[10] 張云帆. Oracle數據庫備份與恢復策略[J]. 計算機工程, 2009(15): 85-87.

主站蜘蛛池模板: 亚洲精品国产精品乱码不卞| 亚洲人成电影在线播放| 在线视频亚洲色图| 欧美成人h精品网站| 毛片免费高清免费| 91精品啪在线观看国产60岁 | 五月婷婷综合色| 亚洲激情99| 女人一级毛片| 黄色网址免费在线| 色悠久久久| 在线欧美日韩国产| 亚洲福利视频一区二区| 91精品网站| 亚洲精品手机在线| 日韩欧美国产三级| 色婷婷久久| 亚洲人成日本在线观看| 99热这里只有精品国产99| 国产在线拍偷自揄观看视频网站| 91丨九色丨首页在线播放| 色噜噜狠狠狠综合曰曰曰| 国产精品区视频中文字幕| 特级aaaaaaaaa毛片免费视频 | 麻豆国产原创视频在线播放 | 久久亚洲欧美综合| 国产成人你懂的在线观看| 国产白丝av| 国产成人亚洲无码淙合青草| 福利在线不卡一区| 国产超碰在线观看| 人人看人人鲁狠狠高清| 国产成在线观看免费视频| 亚洲第一黄片大全| 日韩免费毛片| 香蕉精品在线| 69国产精品视频免费| 日韩精品视频久久| 国产免费久久精品99re不卡| 美女内射视频WWW网站午夜| 国产第一页免费浮力影院| 91最新精品视频发布页| 成年人福利视频| 东京热av无码电影一区二区| 欧洲亚洲欧美国产日本高清| 国产亚洲精品在天天在线麻豆 | 欧美啪啪一区| 亚洲欧美国产五月天综合| 亚洲精品国产精品乱码不卞| 国产激情第一页| 国产成人福利在线| 久久国产成人精品国产成人亚洲 | jizz亚洲高清在线观看| 日韩黄色在线| 日韩国产黄色网站| 最新国产精品鲁鲁免费视频| 日本a∨在线观看| 精品99在线观看| 欧美高清日韩| 亚洲成a人片77777在线播放| 久久综合伊人 六十路| 国产精品免费电影| 国产v精品成人免费视频71pao| 国产SUV精品一区二区6| 欧美精品在线视频观看| 日韩在线影院| 亚洲黄色激情网站| 欧美一道本| 日韩av在线直播| 成人在线综合| 亚洲欧美一区二区三区图片| 啦啦啦网站在线观看a毛片| 国产乱论视频| 亚洲性一区| 精品视频一区在线观看| 这里只有精品国产| 成人字幕网视频在线观看| 五月天丁香婷婷综合久久| 无码专区在线观看| 国产一区成人| 日本欧美一二三区色视频| 免费A级毛片无码无遮挡|