鐵路互聯網售票容災網絡互聯技術的研究

劉相坤，李 琪，武振華

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

鐵路互聯網售票容災網絡互聯技術的研究

劉相坤，李 琪，武振華

（中國鐵道科學研究院 電子計算技術研究所，北京 100081）

本文在鐵路互聯網售票系統的設計和維護的實踐基礎上，對容災網絡進行總結和新的探索。分析了鐵路互聯網售票系統容災網絡的需求，對主要網絡互聯技術發展作了介紹，對數據中心間互聯技術比較分析，提出容災的網絡架構，最后對鐵路互聯網售票數據中心間網絡互聯提出建議。

鐵路互聯網售票系統；系統容災；容災網絡

隨著企業生產對信息系統的依賴加大, 災難備份與恢復變得更加重要，需要通過風險管理、危機管理、應急管理、災難恢復和業務連續管理，制定全面的連續計劃和應急預案，確保組織的生存能力。容災網絡的實現是容災恢復的前提和基礎，網絡的穩定性、安全性和時延在一定條件下可能決定容災的成敗，也可能會影響生產的效率。

容災網絡的架構和實現技術在不同的信息系統中不盡相同，實際網絡條件及應用情況也有很大差異，本文結合多年對鐵路客票發售與預定系統的設計、實施和維護的工作經驗及體會，針對鐵路互聯網售票系統災難備份與恢復的現狀以及未來發展，對容災網絡的互聯技術深入研究分析，提出鐵路互聯網售票系統容災的網絡實現方案。

1 鐵路互聯網售票系統容災網絡需求分析

1.1 互聯網售票同城兩中心的互聯需求

鐵路互聯網售票系統分客服外網、內網、客票網專網3個網絡層次，為實現同城容災雙活中心，存在客服內外網以及客票網的跨數據中心集群應用，集群的時延要求不超過10 ms。

在客服內外網的互聯網用戶數據庫、客票網的互聯網售票數據庫使用VMware虛擬化技術實現跨數據中心的應用集群時，VMware Metro VMotion和HA技術都需要2層互聯，并且往返時延（RTT）要求不超過10 ms。未來如果規劃WEB/Cache/APP服務器使用虛擬化，并在兩個數據中心間形成Metro HA，也需要2層互聯。

由于IP地址空間受限，超大的應用集群系統會拆分成小的應用集群，以放置到多個不同的IP地址段，此時發生的跨數據中心應用互訪邏輯，則需要提供數據中心間3層互訪需求，且互訪應用交易邏輯組件也對時延敏感。

1.2 新型的云架構下容災網絡需求

新型的云架構下容災網絡不僅需要數據中心之間的3層互聯，還需要具備2層互聯的能力，因此不僅在數據中心內（云內）需要2層環境，在數據中心之間（多云融合）也需要構建2層延展能力，并需精心設計這種2層互聯網絡模型。

在構建數據中心間的2層互聯時，要保持數據中心的災備獨立性，即經過互聯的數據中心必須具備相當的系統運行獨立性，不能因為主數據中心的任何故障或差錯導致災備數據中心被殃及，從而使整個災備系統網絡失效。在這種考慮下，建議采用L2 over L3技術隔絕故障域。即為了業務的靈活性，在實現數據中心間不同網段的路由需求時，把2層網絡建立在可擴展的3層網絡架構之上，提供一個既能實現3層、又支持2層網絡跨數據中心擴展的通用網絡互聯平臺。

2 數據中心間互聯技術比較分析

2.1 交換機直連實現網絡互聯

數據中心間通過核心交換機直接互聯，使用交換機的Trunk等方式實現2層擴展，并保證主中心和備中心能夠使用同一個虛擬局域網（VLAN）和IP地址設置以確保分布在兩個數據中心的應用集群（Cluster）、vMotion等應用的實現。為確?？煽?，通常采用兩條以上鏈路進行互聯。

存在的問題：故障域隔離性不好。2層直接使用Trunk打通后，主中心和備中心將完全變為一個局域網，主中心所有VLAN的服務器產生的廣播流量、未知單播流量都會泛洪到備中心，需要注意的是由于需要確保主中心和備中心之間連接的低時延需求（vMotion或Cluster需要低時延），不建議在連通鏈路上部署防火墻，同時也無法利用訪問控制列表（ACL）隔絕廣播。這就意味著如果主中心受到2層攻擊，也會同時影響備中心的業務，同時如果主中心有大量的未知單播和廣播流量，也會影響互聯鏈路和備中心。

冗余性會帶來網絡復雜性，即每個數據中心采用一對交換機進行互聯，在2層鏈路上就產生了天然環路，必須采用Spanning Tree等技術進行環路阻止，但Spanning Tree技術會阻斷一條鏈路，使鏈路帶寬不能完全利用，并且Spanning Tree技術無法實現域隔離，這使得一個數據中心的問題會波及其他。

2.2 采用VSS/IRF等雙機虛擬化技術實現互聯

主備中心的核心交換機組成多機集群，邏輯上兩條鏈路可以捆綁為Etherchannel，鏈路帶寬可以充分利用，同時可以避免使用Spanning-Tree技術增加網絡復雜度。

存在的問題主要是故障域隔離性不好。由于還是采用傳統2層技術互聯，廣播、未知單播等泛洪問題還未得到解決，故障域不能有效隔離。

冗余性帶來網絡復雜性，雖然利用雙機虛擬化技術解決環路問題，有效地增加了互聯帶寬，但會由于控制平面合一帶來“腦裂”風險，影響數據中心業務的高可用性。

2.3 采用基于IETF標準的L2 over L3技術實現互聯

數據中心間通過路由器采用3層互聯，可以使用標準的3層路由協議（利用ISIS）避免環路，同時使用基于IETF標準的L2 over L3的技術使2層報文承載在3層網絡上進行傳輸。由于使用了ISIS協議進行通告，沒有環路問題，同時，由于控制平面分布方式，沒有“腦裂”所帶來的風險隱患，因此，同時使用L2 over L3技術完全不用啟用Spanning Tree技術，這樣數據中心的Spanning Tree域將會受到隔離。

在使用L2 over L3技術后，可以利用地址通告的方式（Mac地址由路由控制平面宣告）而不采用廣播泛洪的方式，可以確保兩個數據中心之間的廣播、未知單播等泛洪流量被限制在單個數據中心內部，有效地隔絕故障域。同時網絡IP層互聯業務。

3 網絡互聯技術發展

3.1 網絡架構演進與數據中心發展

網絡架構演進與數據中心發展如表1所示。

3.2 數據中心互聯與業務遷移的連接方式

針對不同業務需求和容災需求，實現的互聯方式也不同，常用的有存儲區域網絡（SAN）互聯、2層互聯和3層互聯。

SAN互聯：也稱為后端存儲網絡互聯。通常借助傳輸技術（波分復用、同步數字體系等）實現主中心和災備中心間磁盤陣列的數據復制。

2層互聯：也稱為數據中心后端服務器網絡互聯。在不同的數據中心服務器網絡接入層，構建一個跨數據中心的2層網絡，以滿足服務器集群或虛擬機動態遷移等場景對2層網絡接入的需求。

表1 網絡架構演進與數據中心發展

3層互聯：也稱為數據中心前端網絡互聯。不同數據中心的前端網絡通過IP技術實現互聯，分支客戶端通過前段網絡訪問各數據中心。當主數據中心發生災難時，通過前端網絡快速收斂，使得客戶端通過訪問災備中心以保障業務連續。

在鐵路互聯網售票雙活系統中，存儲互聯采用SAN互聯方式，集群和虛擬機遷移采用2層互聯，業務互訪采用3層互聯方式。

3.3 數據中心互聯波分復用（DWDM）光傳輸技術

建設同城數據中心DWDM平臺滿足當前的互聯需求，并為將來業務的快速部署要求提供支持。

當前“兩地3中心”的業務架構，在同城中心之間有巨大的互聯帶寬需求。雙/多活應用、雙活存儲要求同城中心之間快速的數據同步，需要大帶寬、低延遲、高可用的透明傳輸通道；同城中心之間的數據備份數據量巨大，也具有大帶寬的需求。

自建DWDM平臺有很多優勢。雖然一次性投資較高，但是減少每年的光纖租金，綜合成本低；基于可重構光分插復用器（ROADM）的DWDM平臺提供類似裸光纖的透明傳輸功能，易于網絡的維護及排錯；自管理的DWDM平臺，端口種類豐富，開通快速；如果網絡設備直接使用裸光纖，雖然易用，但是提供的帶寬有限，可靠性不足，復用方法復雜，升級及擴展困難。

DWDM平臺為將來提供了充足的擴充能力，為快速滿足互聯帶寬需求打下基礎。DWDM提供可以平滑升級的400 G～4 T的帶寬容量；DWDM升級容易，對已有的業務沒有影響 。

數據中心DWDM系統組網需要注意存儲應用要求、光纖距離、光纖性能、保護方式等方面問題。存儲應用的業務數量和種類，端到端時延要求決定數據中心之間的光纖距離；實際距離并不等于光纖距離，光纖距離受到時延限制，目前國內比較流行的數據中心之間光纖距離在80 km以下；通常城內光纜質量較差，每公里衰減0.25 dB ～ 0.4 dB 不等，距離較短時通常不需要考慮色散補償；應設置雙機保護，Y型光纖保護，保護開關模塊（PSM）光纖切換。

4 鐵路互聯網售票2地3中心網絡架構設計和互聯建議

4.1 網絡架構設計

圖1設計了鐵路互聯網售票2地3中心及鐵路局之間的主要網絡。同城的兩個中心實現同步復制，同城兩中心與異地災備中心實現異步復制。同城兩中心自建DWDM平臺，實現客票網、客服內網、客服外網、SAN網絡的互聯需求。鐵路局通過上聯路由器與3個中心的外聯路由器互聯。

4.2 數據中心間網絡互聯建議

不使用傳統的交換機2層互聯方式進行數據中心間的互聯。這種互聯模式會導致互聯后的兩個數據中心變成一個數據中心平面，在這樣一個差錯域、廣播域、生成樹域、首跳冗余性（FHRP）協議域內互聯，會導致廣播和差錯的泛濫、故障的牽連，甚至導致整個災備網絡系統比單獨系統還不穩定。

通過提供3層與2層互通并存的平臺，即利用疊加模式實現2層互通。所謂疊加模型是指在已有3層協議上疊加2層協議而實現2層互聯，而傳統的VLAN Trunking、緊耦合的VSS/IRF無法同時提供3層與2層互通。

路由器平臺能夠提供更佳的路由支持能力，由于數據中心的2層連通流量需要承載在3層流量中，所以路由的收斂速度也就決定了2層連通在故障環境下的收斂速度，這點對于Cluster/vMotion等時延敏感業務是至關重要的；通過提供純粹的L3功能，沒有Spanning Tree技術的制約，利用基于互聯網工程任務組（IETF）標準的L2 over L3技術，承載L2流量的同時，利用路由控制平面技術解決地址學習泛洪、未知單播泛洪等多種傳統局域網技術問題，解決數據中心流量路徑優化的能力；同時通過提供比交換機平臺更豐富的功能，可以實現更佳的QoS保障、更全面的流量管理識別能力，進一步提高數據中心業務調度的安全性和可用性。

圖1 鐵路互聯網售票2地3中心網絡架構

所以建議采用3層方式實現2個數據中心的互聯，并在3層基礎上打通2層網絡服務，可以使用標準的L2 Over L3技術，核心交換機與數據中心互聯區路由器可單獨建立L2和L3兩條以上鏈路，各自承載L3和L2互聯數據。同時建議2地3中心的網絡逐步從緊耦合向松耦合發展。

5 結束語

信息系統容災網絡的技術在不斷發展中，容災需求的變化也對網絡的要求越來越高，網絡的設計應不斷改進以適合自身容災的需要。鐵路互聯網售票系統業務以及傳統售票業務逐漸趨向集中，容災也越來越重要，容災網絡的設計需要綜合考慮原有網絡結構和新技術的發展，最終達到服務于業務容災需求和安全的目標。

[1]李智慧. 大型網站技術架構核心原理原理分析[M]. 北京：電子工業出版社, 2013.

[2]劉 鑫. 高性能網站構建實戰[M]. 北京：人民郵電出版社, 2013.

[3]康 楠. 數據中心系統工程及應用[M]. 北京：人民郵電出版社, 2013.

[4]郭 欣. 構建高性能Web站點[M]. 北京：電子工業出版社, 2014.

[5]Jeffrey L.Whitten, Lonnie D.Bentley, Kevin C.Dittman. 系統分析與設計方法[M]. 肖 剛，孫 慧.北京：機械工業出版社，2003.

責任編輯 方 圓

Interconnection technologies of disaster recovery network for Railway Internet Ticketing System

LIU Xiangkun, LI Qi, WU Zhenhua
( Institute of Computing Technologies, China Academy of Railway Sciences, Beijing 100081, China )

Based on system design and daily practice of Railway Internet Ticketing System, this article summarized and researched on the disaster recovery network, analyzed the requirements of disaster recovery network of Railway Internet Ticketing System, introduced the development of main interconnection technologies, compared the interconnection technologies between data centers, put forward a network architecture of disaster recovery, proposed suggestions for network interconnection among data centers in disaster recovery of Railway Internet Ticketing System.

Railway Internet Ticketing System; disaster recovery; disaster recovery network

U293.22∶TP393

A

1005-8451（2015）08-0005-04

2014-12-30

劉相坤，副研究員；李 琪，副研究員。