央行省級分支行數(shù)據(jù)中心雙活探索

中國人民銀行福州中心支行科技處 吳楚坤

央行省級分支行數(shù)據(jù)中心雙活探索

中國人民銀行福州中心支行科技處 吳楚坤

1.背景

當前人民銀行省級分支行數(shù)據(jù)中心采用“雙中心”模式，即生產(chǎn)中心、同城轉(zhuǎn)接中心模式提供了完備的災(zāi)備保障體系，但也存在一些問題。一是設(shè)備利用率較低。同城轉(zhuǎn)接中心設(shè)備在日常運行中很難得到充分利用，投資回報率低。二是可用性有限。同城轉(zhuǎn)接中心一般只作備份使用不能接管應(yīng)用，且切換時間比較長。三是對于同城轉(zhuǎn)接中心運維人員而言，參與日常生產(chǎn)較少，不利于技術(shù)和業(yè)務(wù)能力的長期培養(yǎng)。為解決上述問題，人民銀行省級分支行于2015年7月份利用路由動態(tài)選路實現(xiàn)雙中心三層互聯(lián)“雙活”改造。但在數(shù)據(jù)中心互聯(lián)時，為了實現(xiàn)跨數(shù)據(jù)中心的資源調(diào)度、業(yè)務(wù)集群和虛擬機遷移，還要求網(wǎng)絡(luò)層保證不同數(shù)據(jù)中心之間VLAN二層互通，即構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)。本文從人民銀行省級數(shù)據(jù)中心與同城轉(zhuǎn)接中心間二層互聯(lián)展開討論。

2.雙活定義

2.1 何為雙活

雙活中心是指兩個數(shù)據(jù)中心之間并沒有明確的主備之分，每個中心都有生產(chǎn)、互為災(zāi)備的任務(wù)。雙活中心具備4個優(yōu)勢：一是實現(xiàn)最高級別的可用性。雙活中心可以實現(xiàn)數(shù)據(jù)零丟失、實時切換。二是提高設(shè)備利用率。雙活中心不再設(shè)置專用的災(zāi)備資源，不同中心的資源同時承擔生產(chǎn)和災(zāi)備。三是保障資源的災(zāi)備接管能力。由于日常雙活中心的運維資源都在進行生產(chǎn)，當一個中心發(fā)生災(zāi)難時，另一個中心所有流程、職責、設(shè)備資源、系統(tǒng)資源都不需做大的改動即可接管，只是運維工作量有所增加。四是雙活中心的技術(shù)要求比“兩地三中心”等傳統(tǒng)模式高很多。傳統(tǒng)模式一般只做數(shù)據(jù)層面的同步、異步復制，在其他技術(shù)層面不需要互聯(lián)太多，而雙活中心要求在信息系統(tǒng)的各個層面都要緊密互聯(lián)、互動。

2.2 互聯(lián)方式

雙活數(shù)據(jù)中心間通常部署三種互聯(lián)鏈路，每種互聯(lián)鏈路所承載的數(shù)據(jù)不同，實現(xiàn)的功能不同。一是三層互聯(lián)，也稱為數(shù)據(jù)中心前端網(wǎng)絡(luò)互聯(lián)，即數(shù)據(jù)中心與轉(zhuǎn)接中心的前端網(wǎng)絡(luò)通過IP技術(shù)實現(xiàn)互聯(lián)，業(yè)務(wù)網(wǎng)與金融網(wǎng)用戶通過前端網(wǎng)絡(luò)訪問數(shù)據(jù)中心，當數(shù)據(jù)中心發(fā)生災(zāi)難時，前端網(wǎng)絡(luò)將實現(xiàn)快速收斂，用戶通過訪問轉(zhuǎn)接中心以保障業(yè)務(wù)連續(xù)性。二是二層互聯(lián)，也稱為數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)互聯(lián)。在數(shù)據(jù)中心與轉(zhuǎn)接中心服務(wù)器網(wǎng)絡(luò)接入層，構(gòu)建一個跨數(shù)據(jù)中心的大二層網(wǎng)絡(luò)，以滿足服務(wù)器集群或虛擬機動態(tài)遷移等場景對二層網(wǎng)絡(luò)接入的需求。三是SAN互聯(lián)，也稱為后端存儲網(wǎng)絡(luò)互聯(lián)。借助DWDM、SDH等實現(xiàn)主中心與轉(zhuǎn)接中心磁盤陣列的數(shù)據(jù)復制。

2.3 二層互聯(lián)必要性

服務(wù)器高可用集群技術(shù)和虛擬服務(wù)器動態(tài)遷移技術(shù)在數(shù)據(jù)中心容災(zāi)及計算資源調(diào)配方面已在人民銀行得以廣泛應(yīng)用，在雙活數(shù)據(jù)中心采用這種方式則要求數(shù)據(jù)中心與轉(zhuǎn)接中心間實現(xiàn)大二層互聯(lián)擴展。

（1）服務(wù)器高可用集群（Cluster）。借助集群軟件將網(wǎng)絡(luò)上的多臺服務(wù)器關(guān)聯(lián)一起，提供一致的服務(wù)，對外表現(xiàn)為一臺邏輯服務(wù)器。多數(shù)廠商（HP、IBM、微軟等）的集群軟件需要各服務(wù)器間采用二層網(wǎng)絡(luò)互聯(lián)。要將集群中的服務(wù)器部署于不同數(shù)據(jù)中心，可實現(xiàn)跨數(shù)據(jù)中心的應(yīng)用系統(tǒng)容災(zāi)。

（2）服務(wù)器搬遷和虛擬機動態(tài)遷移。當服務(wù)器由數(shù)據(jù)中心搬遷至轉(zhuǎn)接中心，如未構(gòu)建中心之間二層互聯(lián)網(wǎng)絡(luò)，則面臨重新規(guī)劃新中心服務(wù)器IP地址問題，修改DNS或用戶端應(yīng)用程序配置的服務(wù)器IP。因此，構(gòu)建跨中心二層互聯(lián)網(wǎng)絡(luò)可保留遷移服務(wù)器的IP地址，進而簡化遷移過程。對于虛擬機遷移也是類似的情況。

3.技術(shù)方案

本文從實現(xiàn)復雜性、可靠性、前瞻性、經(jīng)濟性四個方面考慮，制定了3個二層擴展實現(xiàn)方案，現(xiàn)將方案分析如下：

3.1 基于虛擬化技術(shù)與VRRP技術(shù)

利用虛擬化技術(shù)，將數(shù)據(jù)中心主備核心交換機、同城轉(zhuǎn)接中心核心交換機分別虛擬成一臺邏輯設(shè)備，在同一個數(shù)據(jù)中心內(nèi)不再使用VRRP等支持設(shè)備冗余和網(wǎng)關(guān)備份的協(xié)議；利用數(shù)據(jù)中心與轉(zhuǎn)接中心之間波分復用設(shè)備，實現(xiàn)2套已虛擬化的核心交換機組互聯(lián)；對VLAN網(wǎng)關(guān)已下沉至匯聚交換機的，需把欲共享給轉(zhuǎn)接中心使用的VLAN網(wǎng)關(guān)上移至核心交換機，在2套核心交換機組之間啟用VRRP協(xié)議，實現(xiàn)數(shù)據(jù)中心與轉(zhuǎn)接中心的跨二層部署，此時兩個中心可以共用一套IP地址，從而實現(xiàn)虛擬機在轉(zhuǎn)接中心遷移或單獨部署。

優(yōu)點：對現(xiàn)有網(wǎng)絡(luò)拓撲結(jié)構(gòu)改動較小，實現(xiàn)簡單；VRRP是標準協(xié)議，不要求兩中心核心交換機為同一品牌；通過核心網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)大大提高省級數(shù)據(jù)中心兩節(jié)點網(wǎng)絡(luò)的可用性、安全性、可靠性、可擴展性，便于生產(chǎn)區(qū)、DMZ區(qū)應(yīng)用系統(tǒng)向同城通信轉(zhuǎn)接中心部署，符合同城災(zāi)備業(yè)務(wù)擴展要求。

缺點：當數(shù)據(jù)中心“活”時，主網(wǎng)關(guān)在數(shù)據(jù)中心核心交換機組上，訪問部署在轉(zhuǎn)接中心服務(wù)器的流量需繞行至數(shù)據(jù)中心；對已實現(xiàn)匯聚層的中支需將數(shù)據(jù)中心與轉(zhuǎn)接中心共用的VLAN網(wǎng)關(guān)重新上移至核心交換機，破壞原來核心-匯聚-接入的三層結(jié)構(gòu)。

3.2 基于四框虛擬化技術(shù)

兩中心業(yè)務(wù)網(wǎng)各部署2臺核心交換機形成2個核心交換機組，2核心交換機組通過波分復用設(shè)備的4條萬兆鏈路進行全連接，以四框虛擬化方式組成一臺業(yè)務(wù)網(wǎng)虛擬化核心交換機，MASTER優(yōu)先級由高往低位分別設(shè)置為數(shù)據(jù)中心主核心、數(shù)據(jù)中心備核心、轉(zhuǎn)接中心主核心、轉(zhuǎn)接中心備核心，并配置以LACP MAD作為虛擬化分裂檢測。

兩中心網(wǎng)絡(luò)同時在線運行、互為備份；當數(shù)據(jù)中心主核心不可用時，四框虛擬化產(chǎn)生分裂，LACP MAD會優(yōu)先比較分裂后的兩個單元中成員較多的即數(shù)據(jù)中心備核心、轉(zhuǎn)接中心主核心、轉(zhuǎn)接中心備核心一組繼續(xù)工作，并選擇數(shù)據(jù)中心備核心作為MASTER，接管工作，數(shù)據(jù)中心繼續(xù)提供服務(wù)；當數(shù)據(jù)中心主、備核心同時不可用時，轉(zhuǎn)接中心核心負責接管網(wǎng)絡(luò),虛擬機或備份服務(wù)器可以遷移至轉(zhuǎn)接中心，無需修改網(wǎng)絡(luò)配置立即恢復對外服務(wù)（需要實現(xiàn)存儲雙活）。

優(yōu)點：網(wǎng)絡(luò)結(jié)構(gòu)簡單、清晰，各區(qū)域功能明確，通過核心網(wǎng)絡(luò)設(shè)備虛擬化技術(shù)大大提高省級數(shù)據(jù)中心兩節(jié)點網(wǎng)絡(luò)的可用性、安全性、可靠性、可擴展性，便于生產(chǎn)區(qū)、DMZ區(qū)應(yīng)用系統(tǒng)向同城通信轉(zhuǎn)接中心部署，符合同城災(zāi)備業(yè)務(wù)擴展要求。

缺點：四框虛擬化對核心交換機各廠商實現(xiàn)協(xié)議不同，因此4臺必須為同一品牌，雙中心必須使用4條萬兆波分鏈路才能實現(xiàn)虛擬化，對裸光纖資源占用較大；四框虛擬化實現(xiàn)案例較少，對于四框虛擬化的穩(wěn)定性尚待評估。

3.3 基于SDN架構(gòu)

保持原來網(wǎng)絡(luò)拓撲結(jié)構(gòu)不變化，保證雙中心網(wǎng)絡(luò)IP可達。在雙中心網(wǎng)絡(luò)中分別部署2套SDN Controller，將網(wǎng)絡(luò)設(shè)備的控制平面集中上收到Controller上，通過Controller實現(xiàn)網(wǎng)絡(luò)統(tǒng)一部署和網(wǎng)絡(luò)自動化。在雙中心部署支持VxLAN三層網(wǎng)關(guān)功能的核心交換機，以便VxLAN跨數(shù)據(jù)中心透傳。升級服務(wù)器接入交換機上為支持VxLAN的接入交換機或在虛擬平臺上安裝vSwitch虛擬交換機軟件，以實現(xiàn)VxLAN封裝。目前，還需在轉(zhuǎn)接中心部署支持VxLAN功能的核心交換機、在雙中心部署SDN控制器及支持二層VxLAN的接入交換機等。

兩中心網(wǎng)絡(luò)同時在線運行、互為備份；當數(shù)據(jù)中心不可用時，轉(zhuǎn)接中心核心交換機負責接管網(wǎng)絡(luò)；轉(zhuǎn)接中心也可支持服務(wù)器部署，并支持虛擬機無縫遷移，無需修改網(wǎng)絡(luò)配置立即恢復對外服務(wù)（需要實現(xiàn)存儲雙活）。

優(yōu)點：保持現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)不變化，通過VxLAN隧道技術(shù)連接，促使業(yè)務(wù)應(yīng)用與網(wǎng)絡(luò)解耦合，實現(xiàn)主備中心的大二層打通；更有效利用轉(zhuǎn)接中心設(shè)備資源，為進一步發(fā)展數(shù)據(jù)中心資源池化打下網(wǎng)絡(luò)基礎(chǔ)；只需要在SDN控制上作相關(guān)網(wǎng)絡(luò)資源配置，大幅減少網(wǎng)絡(luò)配置工作量。網(wǎng)絡(luò)在可用性、安全性、可靠性、可擴展性均有大的提升，符合同城災(zāi)備業(yè)務(wù)擴展要求。

缺點：VxLAN雖為公有協(xié)議，但各廠商仍有自定義字段，因此不同廠商設(shè)備不能共用實現(xiàn)。需要增加4臺SDN控制器、支持VxLAN的轉(zhuǎn)接中心核心交換機和相應(yīng)板卡、支持二層VxLAN的接入交換機等，投入巨大；SDN技術(shù)更為前沿，應(yīng)用案例少。

4.結(jié)論

綜合以上對比分析，基于虛擬化技術(shù)與VRRP技術(shù)實現(xiàn)復雜度小，技術(shù)儲備最為成熟，但保留著VRRP單邊流量問題，不能有效利用備中心設(shè)備資源；基于四框虛擬化實現(xiàn)復雜度中等，技術(shù)儲備較為成熟，可有效利用備中心設(shè)備資源，但對波分復用設(shè)備依賴較大，需同時升級支持萬兆鏈路的波分復用設(shè)備；基于SDN架構(gòu)實現(xiàn)復雜度高，技術(shù)儲備暫不成熟，還需采購SDN控制器、三層VxLAN、二層VxLAN等大量設(shè)備，投資較大。從省級數(shù)據(jù)中心建設(shè)和同城災(zāi)備業(yè)務(wù)發(fā)展目標出發(fā)，結(jié)合人民銀行省級機構(gòu)網(wǎng)絡(luò)現(xiàn)狀與當前結(jié)構(gòu)兼容性及網(wǎng)絡(luò)設(shè)備國產(chǎn)化要求，應(yīng)采用分階段逐步演進的解決思路，短期以虛擬化技術(shù)與VRRP技術(shù)實現(xiàn)，中期逐漸轉(zhuǎn)向四款虛擬化技術(shù)，遠期以實現(xiàn)全網(wǎng)SDN為最終目標。