煙草遠(yuǎn)程容災(zāi)系統(tǒng)的研究與實(shí)現(xiàn)

文/伍敏

（四川省煙草公司德陽市公司 四川省德陽市 618000）

1 數(shù)據(jù)容災(zāi)系統(tǒng)建設(shè)現(xiàn)狀

1.1 容災(zāi)中心建設(shè)要求

近年，隨著煙草信息化的發(fā)展與行業(yè)發(fā)展的新形勢，對基礎(chǔ)資源環(huán)境和安全保障體系提出了新的需求：一是各主營業(yè)務(wù)系統(tǒng)全面實(shí)現(xiàn)省級集中部署，需要有相應(yīng)的容災(zāi)機(jī)制確保業(yè)務(wù)的連續(xù)性和安全性，降低單一數(shù)據(jù)中心機(jī)房環(huán)境的風(fēng)險(xiǎn)和壓力。二是基于“互聯(lián)網(wǎng)+”的應(yīng)用項(xiàng)目都需要相應(yīng)的基礎(chǔ)資源支撐，以適應(yīng)未來互聯(lián)網(wǎng)應(yīng)用大規(guī)模快速增長的需求。在同城異地建設(shè)一個容災(zāi)中心，形成與現(xiàn)有數(shù)據(jù)中心機(jī)房物理上獨(dú)立、邏輯上互為一體的“大數(shù)據(jù)中心”，來滿足業(yè)務(wù)新需求，提升業(yè)務(wù)的連續(xù)性和安全保障能力。

1.2 主機(jī)存儲備份系統(tǒng)現(xiàn)狀

目前行業(yè)核心系統(tǒng)數(shù)據(jù)庫一般是運(yùn)行在IBM小型機(jī)上的DB2數(shù)據(jù)庫環(huán)境。此處以核心系統(tǒng)一的DB2數(shù)據(jù)庫運(yùn)行在2臺小型機(jī)4分區(qū)環(huán)境中，核心系統(tǒng)二的DB2數(shù)據(jù)庫運(yùn)行在另外的小型機(jī)環(huán)境中，計(jì)劃遷移到x86環(huán)境，其他關(guān)鍵系統(tǒng)數(shù)據(jù)庫也運(yùn)行小型機(jī)環(huán)境，其他系統(tǒng)則運(yùn)行在x86環(huán)境為例，探討系統(tǒng)實(shí)現(xiàn)。數(shù)據(jù)中心已經(jīng)建立了統(tǒng)一冗余的光纖存儲網(wǎng)絡(luò)（FC SAN），并有2臺中高端的存儲設(shè)備和1臺高性能的全閃存設(shè)備。全閃存存儲供核心系統(tǒng)一使用。此外還通過EMC NetWorker備份軟件和VTL（虛擬帶庫）設(shè)備建立了一套統(tǒng)一的備份平臺，數(shù)據(jù)庫及重要數(shù)據(jù)備份到該平臺中。

1.3 目前存在的主要問題

目前行業(yè)系統(tǒng)普遍存在以下問題：其一是核心應(yīng)用系統(tǒng)雖然在主中心有HA雙機(jī)高可用機(jī)制，但受制現(xiàn)有機(jī)房供電、制冷等因素限制，仍不能保證業(yè)務(wù)連續(xù)性需求；其二是磁盤陣列易發(fā)生安全問題，導(dǎo)致數(shù)據(jù)無法存儲、讀取，進(jìn)一步影響到業(yè)務(wù)的連續(xù)性需求；其三是信息系統(tǒng)未能實(shí)現(xiàn)遠(yuǎn)程災(zāi)備，一旦數(shù)據(jù)中心發(fā)生災(zāi)難，將影響到省內(nèi)各個市（州）公司的業(yè)務(wù)運(yùn)轉(zhuǎn)；其四數(shù)據(jù)備份在本地帶庫中，難以針對數(shù)據(jù)的真實(shí)性、可用性做出精確判斷，備份數(shù)據(jù)本地存放，數(shù)據(jù)安全難以保證；其五是RTO、RPO指標(biāo)均較低，無法確保在災(zāi)難發(fā)生后實(shí)現(xiàn)數(shù)據(jù)及業(yè)務(wù)的快速有效恢復(fù)。

2 異地容災(zāi)系統(tǒng)的設(shè)計(jì)方案

2.1 大二層網(wǎng)絡(luò)

在未統(tǒng)一使用DNS的情況下，考慮到核心應(yīng)用數(shù)據(jù)庫與全省各市州本地物流應(yīng)用前置環(huán)境進(jìn)行了數(shù)據(jù)聯(lián)邦，如果主數(shù)據(jù)庫環(huán)境遷移后IP發(fā)生了變化，那么會導(dǎo)致聯(lián)邦失敗，從而影響整個物流分揀業(yè)務(wù)的正常工作。因此在網(wǎng)絡(luò)設(shè)計(jì)時考慮了采用大二層網(wǎng)絡(luò)設(shè)計(jì)，保證兩中心之間遷移，不改變服務(wù)IP。大二層網(wǎng)絡(luò)示意圖如圖1所示。

圖1：大二層網(wǎng)絡(luò)示意圖

圖2：應(yīng)用級容災(zāi)架構(gòu)示意圖

通過租用波分通道，實(shí)現(xiàn)了兩中心業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)互聯(lián)。其中兩路波分通道之間與兩中心核心交換機(jī)互聯(lián)，形成大二層網(wǎng)絡(luò)環(huán)境，保證主機(jī)在兩中心切換服務(wù)IP不變。各市州公司還新增一條到容災(zāi)中心10Mb/s MSTP線路，一來保證市州公司到容災(zāi)中心的訪問，二來降低兩中心間中繼線路壓力。

2.2 新增主機(jī)

核心系統(tǒng)一和核心系統(tǒng)二，在建設(shè)時采用應(yīng)用級容災(zāi)方式。核心系統(tǒng)一，采用同級容災(zāi)模式，在容災(zāi)中心新增一套與現(xiàn)有系統(tǒng)相當(dāng)?shù)挠?jì)算環(huán)境。主數(shù)據(jù)中心內(nèi)主機(jī)為IBM E850小型機(jī)，在容災(zāi)中心則新購2臺浪潮K1 Power小型機(jī)，CPU類型、CPU核數(shù)、內(nèi)存、操作系統(tǒng)等均于源環(huán)境一致。核心系統(tǒng)二，先把原來小型機(jī)環(huán)境遷移到x86環(huán)境，然后在容災(zāi)中心新增兩臺與主中心處理能力相當(dāng)?shù)膞86服務(wù)器作為容災(zāi)備用環(huán)境。應(yīng)用級容災(zāi)架構(gòu)示意圖如圖2所示。

2.3 數(shù)據(jù)復(fù)制平臺

兩個數(shù)據(jù)中心之間生產(chǎn)數(shù)據(jù)復(fù)制是本項(xiàng)目重難點(diǎn)，選擇不同的實(shí)現(xiàn)方式，則有不同的容災(zāi)設(shè)計(jì)方案，方案論證時，進(jìn)行了不同方式比較。

2.3.1 數(shù)據(jù)復(fù)制技術(shù)

容災(zāi)數(shù)據(jù)復(fù)制技術(shù)包括基于應(yīng)用層數(shù)據(jù)復(fù)制、基于主機(jī)層數(shù)據(jù)復(fù)制、基于存儲網(wǎng)絡(luò)層復(fù)制以及基于磁盤設(shè)備復(fù)制這幾種方式。基于應(yīng)用層主要是利用數(shù)據(jù)庫或者數(shù)據(jù)復(fù)制工具來實(shí)現(xiàn)數(shù)據(jù)遠(yuǎn)程復(fù)制，基于主機(jī)層數(shù)據(jù)復(fù)制，主要通過主機(jī)操作系統(tǒng)自帶或者第三方提供的卷管理器來實(shí)現(xiàn)數(shù)據(jù)的遠(yuǎn)程復(fù)制。利用邏輯卷管理功能。基于存儲網(wǎng)絡(luò)層實(shí)現(xiàn)的數(shù)據(jù)復(fù)制是I/O在聯(lián)機(jī)專用設(shè)備或光纖通道(FC)結(jié)構(gòu)中被分離，I/O分流器分析入站的寫I/O的目的地址，如果地址是復(fù)制卷的組成部分，則將這次I/O的副本轉(zhuǎn)發(fā)給復(fù)制目標(biāo)，從而實(shí)現(xiàn)卷復(fù)制功能。存儲虛擬化網(wǎng)關(guān)設(shè)備（以下簡稱虛擬化網(wǎng)關(guān)）是在存儲網(wǎng)絡(luò)復(fù)制的基礎(chǔ)上，還可整合多家廠商存儲設(shè)備的存儲資源，重新合理分配，供前端服務(wù)器使用。基于磁盤設(shè)備層的復(fù)制是存儲控制器實(shí)現(xiàn)的設(shè)備級數(shù)據(jù)遠(yuǎn)程鏡像或復(fù)制的解決方案，是一個非常成熟的解決方案，但無法提供足夠的靈活性，且成本較高，并不能保護(hù)用戶之前在存儲上的投資。

2.3.2 數(shù)據(jù)復(fù)制平臺

基于上述幾種技術(shù)的評估論證，最終認(rèn)為存儲虛擬化網(wǎng)關(guān)的方式可以使生產(chǎn)端存儲設(shè)備和容災(zāi)端存儲設(shè)備異構(gòu)，不占用服務(wù)器和存儲陣列資源，運(yùn)維簡單統(tǒng)一，還可以整合前端異構(gòu)平臺的服務(wù)器和后端不同品牌的存儲設(shè)備，本地端和災(zāi)備端的設(shè)備無需成對配置，保護(hù)用戶投資和降低用戶在存儲設(shè)備方面的投入。代表產(chǎn)品包括IBM SVC或EMC VPLEX等，現(xiàn)一些主流存儲設(shè)備也提供了存儲虛擬化功能。數(shù)據(jù)復(fù)制平臺結(jié)合在容災(zāi)中心新增的主機(jī)設(shè)備，結(jié)合集群軟件搭建本地?cái)?shù)據(jù)庫高可用環(huán)境，通過資源池資源，新部署應(yīng)用集群，從而在容災(zāi)中心實(shí)現(xiàn)應(yīng)用級容災(zāi)環(huán)境。

2.3.3 復(fù)制鏈路帶寬測算

數(shù)據(jù)復(fù)制方式可以為同步方式，也可以為異步方式。如果采用同步復(fù)制方式，RPO可以趨近于0，但對兩中心存儲網(wǎng)絡(luò)帶寬和時延要求極高，如果時延RTT（往返時間）超過10毫秒，對生產(chǎn)端性能影響較大。如果采用異步復(fù)制，需對鏈路帶寬進(jìn)行合理評估測算，在經(jīng)濟(jì)性和RPO指標(biāo)方面達(dá)到合理平衡。

經(jīng)過前期跟蹤，目前核心系統(tǒng)1個小時總的數(shù)據(jù)變化量（即寫入數(shù)據(jù)量）大概為79416MB，要在1小時（3600秒）傳送完成79416MB的數(shù)據(jù)，那最基本帶寬要求是（本文中以10Mbps帶寬≈1MB/s來估算）：

異步數(shù)據(jù)復(fù)制最小帶寬要求：可按照以下方式估算：

根據(jù)前期監(jiān)控，業(yè)務(wù)高峰期IO寫入帶寬540MB/s，平均持續(xù)時間20秒，這20秒時間內(nèi)總寫入數(shù)據(jù)量為：

要把這個高峰期的累積的數(shù)據(jù)傳完，假定此時不再有新的寫入數(shù)據(jù)，在最低帶寬下將這些累積的數(shù)據(jù)傳送完畢需要多少分鐘。

經(jīng)過計(jì)算，可看出在假定沒有新數(shù)據(jù)寫入的情況下，數(shù)據(jù)滯后9分鐘。如果此時數(shù)據(jù)源出現(xiàn)故障，那這9分鐘的數(shù)據(jù)因?yàn)闆]有傳送到目的存儲，將會丟失。如果按照RPO≤1分鐘要求，那最小帶寬應(yīng)該約等于1Gb/s。目前整個數(shù)據(jù)約8TB，第一次進(jìn)行數(shù)據(jù)復(fù)制需要83886秒（約24小時）。綜上分析估算并考慮預(yù)留后，租用1Gbs線路既滿足RPO≤5分鐘需求，也能在初始時大約用1天的時間完成數(shù)據(jù)初始同步。在實(shí)際測試時，因設(shè)備具備消重、壓縮等功能，第一次實(shí)際耗時不到20小時。

2.4 數(shù)據(jù)級容災(zāi)

為滿足數(shù)據(jù)級容災(zāi)要求，利用本次新購的Veritas Netbackup一體化備份設(shè)備，同時改造原有備份系統(tǒng)，在原物理服務(wù)器上部署Veritas Netbackup備份軟件，利用其AIR (Auto Image Replication)功能，實(shí)現(xiàn)了將兩中心備份數(shù)據(jù)互相備份功能，滿足了備份數(shù)據(jù)異地存放需求。

備份數(shù)據(jù)從主中心到容災(zāi)中心，或者是容災(zāi)中心到主中心，鏈路是通過業(yè)務(wù)網(wǎng)絡(luò)完成。因白天該鏈路供用戶訪問使用，在制定復(fù)制策略時，時間窗口需要錯開業(yè)務(wù)使用時間，一般是利用晚上完成。隨著數(shù)據(jù)量的不斷增加，該帶寬可能會成為瓶頸，這是下一步跟蹤分析處理的重點(diǎn)。

2.5 容災(zāi)切換管理

當(dāng)業(yè)務(wù)主中心發(fā)生災(zāi)難時，業(yè)務(wù)系統(tǒng)從主中心整體切換到容災(zāi)中心運(yùn)行，容災(zāi)中心全面接管主中心業(yè)務(wù)。因?yàn)?zāi)難發(fā)生的不可控性以及災(zāi)難恢復(fù)的時效性要求，因此容災(zāi)中心應(yīng)具備實(shí)時按流程進(jìn)行快速接管的能力，以降低經(jīng)濟(jì)損失和社會影響。

結(jié)合Veritas InfoScale軟件套件中的Operations Manager管理軟件中的流程編排功能，并通過定制開發(fā)，實(shí)現(xiàn)了可按照預(yù)先制定的切換步驟，以直觀的界面來執(zhí)行，每個步驟可自動執(zhí)行也可手動執(zhí)行，同時還可對切換過程中出錯的部分進(jìn)行人工修復(fù)操作，從而大大提高容災(zāi)切換的時效性。

3 系統(tǒng)實(shí)現(xiàn)

經(jīng)過近3個多月的實(shí)施，在容災(zāi)中心利用新購的小型機(jī)設(shè)備、x86服務(wù)器設(shè)備、存儲設(shè)備、備份設(shè)備、以及切換平臺軟件，在容災(zāi)中心新搭建了存儲平臺、數(shù)據(jù)復(fù)制平臺，虛擬化資源池平臺、小型機(jī)雙機(jī)平臺等，在2019年國慶期間進(jìn)行切換后，將核心業(yè)務(wù)一遷移到容災(zāi)中心作為主中心運(yùn)行。穩(wěn)定運(yùn)行2個月后，11月底在切換管理平臺的控制下，又回切到本地?cái)?shù)據(jù)中心運(yùn)行，運(yùn)行一周后又再次切換回容災(zāi)中心運(yùn)行（容災(zāi)中心作為業(yè)務(wù)主中心），完全達(dá)到目標(biāo)要求。

4 結(jié)論

本文通過采用存儲虛擬化網(wǎng)關(guān)技術(shù)來搭建數(shù)據(jù)復(fù)制平臺，利用備份軟件的自動備份鏡像復(fù)制功能以及新增主機(jī)的設(shè)計(jì)方案，可在災(zāi)難發(fā)生條件下利用容災(zāi)中心主機(jī)接管新增磁盤陣列、實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的異步復(fù)制，通過切換管理平臺快速有效進(jìn)行容災(zāi)切換來實(shí)現(xiàn)核心應(yīng)用級容災(zāi)和其他應(yīng)用數(shù)據(jù)級容災(zāi)，大幅縮短系統(tǒng)宕機(jī)時間、強(qiáng)化數(shù)據(jù)安全保障，為公司業(yè)務(wù)連續(xù)性運(yùn)營提供了重要的技術(shù)支持。