業務運營支撐系統雙活容災建設方案研究

劉郁恒+楊龍剛

【摘 要】為了解決移動互聯網時代業務運營支撐系統容災支撐能力不足的問題，通過分析業務運營支撐系統對雙活容災建設的需求，采用雙活、大二層網絡架構等先進技術，提出了網絡層雙活、存儲層雙活、數據庫層雙活、應用層雙活及系統組網高可靠性的雙活容災建設方案，從而有效提升業務運營支撐系統的可靠性和健壯性。

【關鍵詞】業務運營支撐系統 雙活并行 容災 大二層網絡 DNS集群

Research on Active-Active Disaster Recovery Construction Scheme of Business Operation Support System

[Abstract] In order to solve the problem of the insufficient disaster recovery capacity of the business operations support system in the era of mobile Internet， the requirement of the business operations support system for the active-active disaster recovery construction was analyzed. Advanced techniques of active-active and Large Layer 2 network architecture were adopted to propose a highly reliable active-active disaster recovery construction scheme， in which the active-active is applied to the network layer， storage layer and database layer. It can effectively enhance the reliability and the robustness of the business operations support system.

[Key words]business operation support system active-active in parallel disaster recovery Large Layer 2 networkDNS cluster

1 引言

隨著移動互聯網時代的快速發展、信息化的不斷加深和信息量的飛速增長，信息本身已經成為企業生存和競爭的核心價值所在。同時，在云計算和大數據技術的催生下，信息集中度越來越高，隨之而來的風險也將不斷升級，這種社會技術環境的變化對業務運營支撐系統的數據災難備份能力提出了新的挑戰與機遇。由于地震、颶風、暴風雪或其他自然災害的影響，業務運營支撐系統出現重大軟、硬件故障或發生重大自然災害和突發事件，會造成生產完全中斷且在短時間不能恢復。

為了應對這種災難性的突發事件，可以通過建設雙活的災備系統來滿足業務連續性要求。在災備中心對核心生產系統的數據進行實時或準實時的復制，同時可以建立一個應用的運行環境。當災難性的突發事件發生后，在保證核心業務數據完整性的基礎之上，可以利用應用運行環境將核心業務迅速切換到災備系統，恢復關鍵系統運行，以達到業務不中斷的目的。

2 總體架構研究

從系統架構的角度分析，目前容災系統主要有主備、雙中心互備和雙活并行三種建設方案，如圖1所示。目前采用的前兩種系統架構模式的RTO（Recovery Time Objective，恢復時間目標）均不為0，容災端平時不可用，需要相應技術和流程保證系統切換，而雙活并行模式理論上在災難發生時，可以做到在不影響業務的前提下滿足“0”切換要求。

和傳統主備方式不同，完善的業務運營支撐系統雙活容災解決方案需要對整個系統的架構進行深入改造，從網絡、存儲、數據庫和應用耦合等方面形成一套完整的建設方案，如圖2所示。

具體如下：

（1）網絡層：雙活容災系統兩個生產中心之間采用大二層網絡技術、光傳輸波分復用技術、虛擬化應用集群的心跳網絡及防腦裂技術；

（2）接入層：借助DNS（Domain Name System，域名系統）和全局負載均衡技術實現雙活接入及高可用保障；

（3）應用層：應用集群技術，彈性、云化部署應用；

（4）數據庫層：采用數據庫集群的高可用、異構數據庫的復制能力與技術；

（5）存儲層：存儲的陣列復制技術、雙活集群可讀可寫技術等保障故障切換能力。

3 關鍵技術研究

3.1 網絡層雙活

為保障業務運營支撐系統雙活建設方案的可靠性，本文采用數據傳輸鏈路與心跳鏈路分離設計的原則，通過VLAN（Virtual Local Area Network，虛擬局域網）或VRF（Virtual Routing Forwarding，VPN路由轉發表）隔離端到端的流量，同時分配獨立的物理互聯鏈路，做到業務流量與集群心跳流量的隔離。

在跨雙活生產中心進行傳輸時，采用FC（Fibre Channel，光纖通道）鏈路實現雙活中心間的數據實時同步，同時承載存儲集群心跳網絡；采用二層以太網絡實現雙活生產中心間的主機應用集群的心跳及同步互聯鏈路通信。為保證應用以及數據庫的時延要求，兩個中心之間采用OTN（Optical Transport Network，光傳送網）波分設備來構建網絡，兩個中心內部的以太網交換機和FC交換機分別同時連接到OTN波分設備，兩個數據中心的OTN波分設備裸光纖直接級聯，并冗余采用2對光纖，其網絡拓撲如圖3所示：

3.2 存儲層雙活

存儲層是業務運營支撐雙活容災系統建設的核心之一，其雙活技術在整個架構中起到關鍵作用。目前存儲雙活架構按照物理形態，可以分為基于虛擬化網關和基于磁盤陣列兩種架構；按照業務能力，可以分為A/A（Active/Active，雙活）模式雙活和A/P（Active/Positive，主備）模式雙活。

本文采用跨站點的雙活集群技術實現存儲層雙活架構，如圖4所示。集群卷向應用服務器提供無差異的并行訪問，同時處理應用服務器的I/O（Input/Output，輸入/輸出端口）請求；各控制器間互為備份，均衡負載，控制器故障后，其承接的業務自動切換到正?？刂破?，以保證系統的可靠性及業務的連續性。集群間的通信支持多種網絡協議，可降低組網的復雜度，提高系統的可靠性。

3.3 數據庫層雙活

（1）基于Oracle Extended RAC架構實現雙活

Oracle RAC（Oracle Real Application Cluster，真正應用集群）作為一種集群數據庫技術，以共享存儲為基礎，通過共享的存儲資源實現各節點對數據庫的并行訪問，且在單個節點出現故障時，業務能自動切換到正常節點，從而保證數據庫系統的高可用性。Oracle Extended RAC以跨中心共享存儲為基礎，通過共享存儲資源和Oracle Clusterware數據庫集群管理，實現各個中心節點對數據庫的并行訪問。

本文采用Oracle ASM（Automatic Storage Management，自動存儲管理）存儲卷管理，在兩個生產中心分別部署一套存儲，各提供一套LUN（Logical Unit Number，邏輯單元號）設備給全部數據庫主機，實現數據的雙向實時復制，在第3個站點部署用于RAC的第3個投票盤，使用NFS（Network File System，網絡文件系統）的方式掛載到所有數據庫主機，各節點間采用冗余光纖鏈接以保證可靠性，如圖5所示。ASM支持對本地磁盤的優先讀取，可避免跨數據中心的數據讀取，以提高I/O性能并減少網絡流量。

（2）內存數據庫雙活技術實現

內存庫將數據常駐在內存中直接操作，相比從磁盤上訪問極大地提高了應用的性能。在業務運營支撐系統中，內存庫已被廣泛用于實時計費。內存庫集群部署主要有HA模式、雙活模式、線性拆分和分布式集群四種模式。本文采用分布式集群模式，具體如圖6所示。

該模式采用分布式內存數據庫，具備對數據自動分布式加載和路由能力，內存庫集群自動建立路由表，將數據以冗余的方式加載到集群中不同節點的內存庫中，支持多個內存庫同時進行讀寫。對外提供統一的訪問接口，數據的分布對應用完全不透明。支持在線擴展，路由自動調整，便于維護。

3.4 應用層雙活

應用層是中間件交易層，主要部署后臺處理邏輯。要實現一個生產中心故障時服務不中斷的雙活方案，需要在每個生產中心分別部署一套完整的且完全相同的云化服務和應用，平時每個中心均為生產，并具備接管全部業務的能力。同時對數據訪問，所有交易中間件針對每套數據庫同時建立多個連接指向跨中心的數據庫節點，確保單中心故障時數據庫的高可用。

3.5 組網高可靠性研究

傳統應用采用基于IP的配置連接方式，需要分散到很多設備中進行管理連接關系，造成IT架構復雜，在配置變更時工作量很大。同時，在業務運營支撐系統應急容災切換時，需要涉及大量系統配置變更，造成切換時間過長、可靠性低等問題。而引入DNS可以有效地提高業務運營支撐系統的可靠性。

本文采用負載均衡器，基于大二層網絡構建跨中心的DNS集群。基于VRRP（Virtual Router Redundancy Protocol，虛擬路由冗余協議）協議，實現實時切換和業務運營支撐系統連接關系的集中化管理維護。在兩個中心分別部署了兩臺負載均衡設備，其中容災端的兩臺負載均衡和生產端的其中一臺負載均衡形成一個VRRP組，VRRP組的虛地址是提供DNS服務的IP地址，該跨站點集群作為主用DNS，另一臺容災生產中心的負載均衡設備作為單獨的備用DNS服務器。DNS集群通過浮動IP提供DNS解析服務，平時浮動IP位于A中心主用設備。當A中心主用設備出現故障時，服務由A中心另一臺備用設備接管；當A中心兩臺設備不可用或中心網絡無法訪問時，B中心的備用設備接管服務，從而實現跨中心的負載均衡冗余，如圖7所示。

4 結束語

本文通過大二層網絡架構等先進技術的應用，對網絡層雙活、存儲層雙活、數據庫層雙活、應用層雙活及組網高可靠等雙活關鍵技術進行研究，實現了一套業務運營支撐系統雙活容災建設方案，為系統提供了風險預防機制和災難恢復措施，在確保數據安全的基礎上提高業務連續運行能力，降低企業運營風險，將業務損失降低到可接受的程度，以提升服務質量和服務水平，增強企業競爭力。但該建設方案也存在一定的局限性，如未考慮兩個生產中心處理能力不對等、存儲差異對數據同步的影響等。因此，業務運營支撐系統雙活容災建設方案還有很大的研究空間，未來將通過全面深入的研究使建設方案更完善、可靠。

參考文獻：

[1] 王樹鵬，云曉春，余翔湛，等. 容災的理論與關鍵技術分析[J]. 計算機工程與應用， 2004（28）： 54-58.

[2] 李宏偉，肖偉. 存儲虛擬化技術在雙活數據中心中的應用[J]. 郵電設計技術， 2013（9）： 9-13.

[3] 朱智達. “分布式雙活”模式在校園數據備份中的應用研究[J]. 電腦與電信， 2013（9）： 61-62.

[4] 廖鋒，喻朝新，張國祥. 關于利用虛擬化技術實現業務支撐系統容災保障的思路探討[J]. 數據通信， 2013（1）： 38-41.

[5] 孫罡. 云數據中心——資源管理與調度技術[M]. 北京： 科學出版社， 2016.

[6] 康楠. 數據中心系統工程及應用[M]. 北京： 人民郵電出版社， 2013.

[7] 俞科峰. 中國電信多媒體智能客服系統的研究與實現[J]. 移動通信， 2015，39（1）： 91-96.

[8] 吳禮樂. 基于雙活容災存儲技術的云計算數據中心的設計及應用[J]. 電子設計工程， 2015（6）： 190-192.

[9] 李雪鋒. 多校區數據中心雙活容災方案研究[J]. 中國教育信息化， 2015（9）： 59-61.

[10] 王云芳. 云計算資源池容災中心建設解決方案研究[J]. 互聯網天地， 2015（2）： 1-7.