信息系統異地容災技術探討

文 | 劉躍 宋兵

難以預料的天災與人禍，如火災、地震、海嘯等造成信息系統出現損壞或數據丟失、無法提供服務等情況，甚至讓一個部門或社會局部停止運轉，造成嚴重后果。典型的像美國9.11事件發生一年后，350家曾在世貿大廈內辦公的公司中的200余家，由于信息系統破壞，關鍵數據的丟失，就此關閉了。面對災難，企業束手無策嗎？當然不是。同樣在世貿大廈中辦公的摩根斯坦利公司由于建立了數據備份和遠程容災系統，在前所未有的9.11災難中，保護了公司的重要數據，在第二天遍及全球的業務照常運行。

所以，災難不能預測，但是可以預防，因此建立信息系統的異地容災對企業，特別是對那些全球覆蓋，二十四小時不間斷運轉，高度信息化的世界性新聞媒體集團來講是非常重要的。

一、容災概述

信息系統異地容災是指在相隔較遠的異地，建立兩套或多套功能相同的信息系統，互相之間可以進行健康狀態監視和功能切換，當一處系統因意外(如火災、地震等)停止工作時，整個應用系統可以切換到另一套，使得該系統可以繼續提供服務，保證業務的連續。

從技術上看，衡量容災層次的主要有兩個指標：RPO（Recovery Point Object）和RTO（Recovery Time Object）；RPO即數據恢復點目標，主要指的是業務系統所能容忍的數據丟失量；RTO是恢復時間目標，主要指的是所能容忍的業務停止服務的最長時間，也就是從災難發生到業務系統恢復服務功能所需要的最短時間周期。RPO針對的是數據丟失，而RTO針對的是服務丟失，二者沒有必然的關聯性。RTO和RPO的確定必須在進行風險分析和業務影響分析后根據不同的業務需求確定。對于不同企業的同一種業務，RTO和RPO的需求也會有所不同。

異地容災的備份與恢復國家標準《信息系統災難恢復規范》(GB/T 20988-2007 )規定了信息系統災難恢復應遵循的基本要求，適用于信息系統災難恢復的規劃、審批、實施和管理。并對災難恢復能力作了6個等級的劃分：第1級 基本支持，第2級 備用場地支持，第3級 電子傳輸和部分設備支持，第4級 電子傳輸及完整設備支持，第5級實時數據傳輸及完整設備支持，第6級數據零丟失和遠程集群支持。

二、容災恢復技術

容災系統所涉及的恢復技術一般包括三種：數據恢復技術、應用恢復技術和網絡恢復技術。下面就這三種技術進行簡要分析。

所謂數據恢復技術，是指建立一個異地的數據備份系統，作為本地關鍵應用數據的一個可用復制。在本地數據或整個應用系統出現災難時，確保在異地保存有一份可用的關鍵業務的數據。該數據可以是與本地生產數據的完全實時復制，也可以比本地數據略微落后，但一定是可用的。采用的主要技術是數據備份和數據復制技術。按照其實現的技術方式來說，主要可以分為同步傳輸方式和異步傳輸方式。同步方式是指數據在本地和異地都保存成功后，才會返回應用系統數據成功存儲的信息；而異步方式是數據只要在本地存儲成功，就返回應用系統成功的信息，而數據存儲到異地是在后臺異步完成的。

應用容災恢復技術是在數據容災的基礎上，在異地建立一套完整的與本地生產系統相當的備份應用系統，也可以是互為備份。建立這樣一個系統是相對比較復雜的，不僅需要一份可用的數據復制，還要有包括網絡、主機、應用、甚至IP等資源，以及各種資源之間的良好協調。主要的技術包括負載均衡、集群技術。數據容災是應用容災的技術，應用容災是數據容災的目標。

網絡恢復技術一般有：1）4-7層交換機，例如：無中斷的網絡恢復需要動態網絡路由重選，來保證應用能夠在不中斷最終用戶的情況下轉入備用數據中心。在SNA環境下通過APPN（Advanced Peer to Peer Networking）來完成，而在IP環境下則通過第4-7層轉換來完成。通過標準的基于路由器的技術，可以在通用的IP傳輸上使用APPN；2）路由，例如：可以通過APPN和/或標準的路由協議來完成 (OSPF/EIGRP/BGP-4)在非GDPS 環境中，APPN應用路由在容災系統備用路徑可用時，自動恢復網絡連接。3）2層Reconnect，例如：SNA子網在以太網/SNA中通過ATM/幀中繼/DDN鏈路進行互聯，如果發生鏈路故障，則可以通過手工切換來實現網絡恢復。

綜上所述，在選擇容災系統的架構時，還要建立多層次的廣域網絡故障切換機制。在遠程的容災系統中，要實現完整的應用容災，既要包含本地系統的安全機制、遠程的數據復制機制，還應具有廣域網范圍的遠程故障切換能力和故障診斷能力。也就是說，一旦故障發生，系統要有強大的故障診斷和切換策略制訂機制，確保快速的反應和迅速的業務接管。實際上，廣域網范圍的高可用能力與本地系統的高可用能力應形成一個整體，實現多級的故障切換和恢復機制，確保系統在各個范圍的可靠和安全。

在信息化高速發展的今天，信息系統已經應用到社會的方方面面，隨著信息系統數據量以指數方式爆發性增長，數據安全的重要性越來越大，各個組織對信息系統的依賴也越來越嚴重，成為組織能否成功的關鍵。

三、異地容災方案的實施

對于異地容災系統的建立，建議通過分步實施，逐漸建立一套完善的系統容災解決方案：

第一步，完善深化本地備份系統

通過相應的備份軟件，對目前所有的計算機系統，做好完善的數據備份，特別是做好操作系統備份、文件系統備份、數據庫系統文件備份、數據庫數據文件備份、相關的核心應用程序備份；建立好完善的備份/恢復機制和遠程磁帶保管機制；這也是下一步實現遠程數據復制容災的基礎，容災中心與生產中心的數據初始化同步，都是通過備份恢復方式，實現一個同步起點。備份非常重要，可以防止出現一些惡意操作或誤操作等造成的數據邏輯錯誤。

建立備份系統后，再將備份文件在異地也保存一份，保證出現地理上的不可預見災難時，在異地保存一份完整的數據。異地備份中心地理位置的選擇，大的方面需要對政治、軍事、科技、人口和地質環境等因素加以考慮，還要從企業或機構的遠景規劃，業務布局，實施、維護便利性等方面考慮。

第二步，完善存儲和應用的整合

存儲整合是指通過相關的產品選擇，將各服務器的數據、或應用，通過基于一定的管理及后續，實現數據的快照、鏡像等技術，遷移到外置基于SAN的陣列庫中，通過唯一的管理接口，實現統一管理，屏蔽不同廠商陣列的差異。為后續進行容災管理奠定基礎。

應用整合是指通過相應的應用集群管理軟件，管理所有的應用系統狀態。對現有的數據庫系統Oracle、SQL Server、DB2、中間件等應用，實現雙機、多機或是單機集群管理。操作系統平臺相同的，可以整合在一起，實現多機集群，不同的數據庫實例，只是作為一個“數據庫服務組”，運行在多機或雙機中的某一臺服務器上，為中間件、其他應用建立“應用服務組”，也納入到集群軟件的管理；并且動過集權軟件建立“應用服務組”與“數據庫服務組”或其他“應用服務組”的依賴關系，實現對應用啟動、關閉的有序管理。

如果是Oracle RAC的應用，則需要集權軟件支持，因此在選擇集權管理軟件時要納入考慮因素，通過RAC的支持使得數據庫的 RAC應用也在集群軟件的管理之下。

第三步，建立異地數據實時保護

通過第二步的存儲和應用整合，使得所有需要容災的核心系統，全部納入到一個統一的管理平臺之下，我們將規劃好應用數據的存放方式、數據文件的存放地點、日志的存放地點，然后統一為這些數據指定一定的存儲策略，實現遠程數據實時復制。

遠程數據實時復制，達到了真正的數據高可用，任何一個節點出現問題時，可以在很短的時間內，將應用切換到另外一個節點，實現業務的連續性。

第四步，建立異地容災切換演練機制

在數據庫復制初始化完成，相關應用復制完成，就可以實現相關應用的“消防演習”了。這是保證容災系統正常工作的最有效的手段。

第五步，建立遠程切換機制

確定外部DNS服務器對本地服務器與容災中心服務器IP地址的對應關系，確定DNS 更新的內容。切換在某些情況下，也是一個非常復雜的過程，因為涉及切換的內容還是很多的，包括數據庫、應用系統、安全系統、中間件等等，所以最好是能夠建立一些自動切換的手段，提高切換的效率和可靠。

四、案例分析

筆者以某傳媒集團的異地容災系統建設過程為例，在此簡單的介紹和分析容災系統建設過程，總結實施中的經驗。

1.項目背景介紹

該傳媒集團業務范圍遍布各大洲，主要業務系統數據集中存放在總部數據中心，數據庫為Oracle；應用系統為C/S結構，終端分布部署在各分支機構，通過分支的中間層服務器和數據庫進行通信。

項目建設之前，該集團已經有非常完善的數據備份恢復機制，能夠保證數據的RPO，但是，因為該集團需要一個不間斷的業務保證，而且一旦發生一些地理上的自然災害等導致總部數據出現問題的時候（包括備份數據），該集團的業務將很難恢復。為此，管理層討論后決策，建設總部數據中心的異地容災系統，一方面保證數據的安全，另一方面，要保證業務的連續。

2.容災需求分析

經過對該集團業務特點分析，明確系統的異地容災需要具有如下能力：

1) 數據能夠在“運行節點”和“備份節點”之間達到接近實時的復制，保障數據在上千公里外的異地有一份完全相同的副本，不但要保證數據復制的準確性、一致性等，更重要的是，兩個節點之間要能夠隨時“互換”，也就是說數據可以從“運行節點”復制到“備份節點”，當運行節點出現問題業務切換到“備份節點”時，數據也可以從“備份節點”復制到“運行節點”；

2) “運行節點”和“備份節點”都要做好數據的備份，防止出現惡意操作或誤操作造成的數據邏輯錯誤。因為當“運行節點”和“備份節點”之間數據進行實時復制時，一旦發生前端的誤操作，可能會導致數據庫中數據的邏輯錯誤，如果沒有數據的定期備份，錯誤的數據就很難恢復；

3) 當真正發生災難時，系統的運行環境能夠迅速的從“運行節點”切換到“備份節點”，保證業務的連續性。切換涉及到的數據庫、中間件、安全、DNS等各種服務，都需要進行平滑、迅速的切換，不能有太多人工干預的操作；

4) 平時運行中，建立“演練切換機制”，定期將系統的運行環境在“運行節點”和“備份節點”之間切換，一方面是使資源的利用率更加合理，另一方面也是不斷的對切換流程進行驗證完善；

5) 建立并完善“安全系統”等關鍵支撐平臺的高可用。在本方案中，DNS服務器、安全服務器、應用服務器等；

6) 建立網絡通道備份機制，防止因為網絡出現問題造成系統切換失效。

3.容災方案設計

1) 在“運行節點”和“備份節點”之間建立兩條網絡傳輸通路，其中一條用作備份，而且在選擇網絡服務提供商時，該集團選擇了兩家。同時，通過路由技術建立網絡的切換機制，保證在一條物理鏈路出現問題時，能夠快速的切換到另外一條，做到了鏈路冗余，這樣保證了兩個數據中心之間網絡的高可用，為建立系統的異地容災奠定了堅實的基礎；

2) “運行節點”和“備份節點”上的Oracle數據庫之間采用Quest公司的SharePlex進行數據的雙向異步準實時同步，確保兩節點上的數據都處于在線可用狀態。

3) 在進行數據同步之初，由于對產品不太熟悉，有些配置不當的地方，造成了數據的少量缺失，后來建立了兩節點之間數據的核對機制，發現錯誤后，及時修正，最終保證了數據的一致。

4) 采用SharePlex進行數據同步時，還需要解決下面的難題：數據庫結構的升級，因為數據庫結構的變化有很多，比如修改主鍵、增加字段、修改字段等等，這些都得需要對SharePlex進行同步的配置，而且同時需要對兩個節點的數據庫都要升級才能滿足要求。需要建立方便、可靠的升級機制，保證了數據庫結構升級的順利進行。

5) “運行節點”和“備份節點”的數據庫都制定完善的本地備份策略，并嚴格實施。該項目中，兩節點的數據備份時通過兩種手段實現：一種是采用硬盤的鏡像技術實現的，這樣不但速度快，而且穩定可靠，還可以提供一個在線可以使用的數據庫，但是容量有限；另一種就是采用磁帶備份技術，并定期將磁帶運往同城異地，保證備份文件的安全。

6) 在“運行節點”和“備份節點”分別建立CA、SCA和RA服務器，平時只使用運行節點的服務，并做好兩節點之間服務器上配置信息的同步，當運行節點出現問題時，切換到備份節點。

4.經驗總結與思考

盡管做了充分準備，在該項目實際進行中，依然遇到了很多問題，但都通過各種手段研究解決，這充分說明了實踐出真知。通過這個項目，總結一下在實施異地容災項目時應注意的問題。

1) 技術工具的專業化

異地容災技術要求高，術業有專攻，需要工具、組件專業化。在選擇數據庫復制軟件時，項目組最先準備采用數據庫軟件附屬的復制工具，但配置復雜，難于操作，還遇到一些意想不到的問題。所以，轉向考察一些專業的數據復制工具軟件，通過對專業工具軟件測試比較發現，這些軟件比功能完善，使用方便，提高了數據庫復制的可靠性。

2) 做好數據的準確性比對

在項目實施完成，正式開始使用時，一定要注意“運行節點”和“備份節點”之間數據的一致性，最好是提前做好數據對比程序，并由專人負責比對，一旦發現問題，務必及時處理。否則，當時間長了以后，數據誤差越積越多，最終造成很嚴重的數據準確性問題，就會使方案得不償失了。所以，做好數據基準點工作很重要。

3) 編寫必要的切換程序

該項目在實施之初，對提高切換的自動程度缺乏考慮，造成了切換過程需要很多人工干預工作，降低了工作效率，更容易引入人為失誤。后來經過分析整理，項目組編寫了一個簡練高效的切換程序，“一鍵”完成切換，自動化程度大幅提高。所以，在具體設計切換方案時，最好將切換過程標準化、自動化，提高切換的效率和穩定性。

4) 做好DNS、路由、安全等關鍵節點的高可用

異地容災系統中，很多切換都是通過DNS服務器完成重定向的，所以DNS服務器本身的高可用和容災一定要做好，其他的比如安全服務、路由等也都要做好高可用，保證在系統切換時，這些關鍵要素要予以充分重視。

5) 成立“異地容災委員會”

在所有的要素中，人是最重要的。在建設異地容災項目時，最重要的因素是“人”，一定要建立相應的組織，專門負責異地容災的管理，包括方案的制定、切換演習等，最好有高層領導統籌，這樣整項工作才有條不紊，具有效率。

6) 制定完善的切換預案并定期演練

方案考慮再周全，也要經過實踐的驗證。所以在該項目建設過程中，每個階段都進行多次演練，以驗證各個環節的可靠性，發現問題，解決問題，提高人員操作的熟練性。