電信運營商數據中心互聯技術

唐利莉，張寧

（中國移動通信集團設計院有限公司網絡所，北京100080）

1 引言

面對大數據和各類云服務的爆炸式增長，單體數據中心已經無法滿足業務發展對計算和存儲資源的要求。電信運營商必須進一步考慮將多個數據中心互聯，實現更大范圍內計算和存儲資源的池化。當前，越來越多的數據中心通過部署以VxLAN（virtual extensible LAN，可擴展虛擬局域網絡）和SDN（software defined networking，軟件定義網絡）技術為代表的網絡虛擬化技術，成為云化的數據中心；另一方面，傳統的非云化數據中心，也通過部署VxLAN和SDN技術，實現內部碎片化資源的整合和高效利用。

本文在全面分析數據中心網絡需求的基礎上，著重討論電信運營商數據中心網絡如何進行互聯，結合電信運營商的資源整合需求，深入研究各種數據中心互聯技術的應用。

2 數據中心業務和互聯需求

以計算資源是否虛擬化作為分類標準，數據中心可分為云化數據中心和非云化數據中心。這兩種數據中心都需要通過數據中心互聯網絡實現規模擴展和資源整合；同時由于承載業務的屬性不同，其對數據中心互聯網絡的要求也有不同之處。

2.1 云化數據中心互聯需求

云化數據中心通過引入分布式計算與虛擬化等核心技術，提高現有IT資源的利用效率，有效地提升單位機柜收入。同時，云化數據中心和IP骨干網相結合，將成為運營商網絡架構發展的主要特征，成為未來運營商最主要的核心競爭力。云化數據中心的互聯需求如下：

·突破單個數據中心的規模約束，將多個數據中心互聯來實現更大規模IaaS服務；

·跨數據中心實現虛擬機熱遷移、系統災備、存儲訪問等業務；

·數據中心互聯網絡需要具備對租戶的感知能力，實現基于租戶進行流量的按需調整和優化；

·覆蓋多數據中心的統一管理平臺，從IaaS模式向PaaS模式和SaaS模式演進。

2.2 非云化數據中心互聯需求

非云化數據中心，即未完成計算資源虛擬化改造的數據中心。該類數據中心的業務以出租機架及出口帶寬為主體，機架的綜合利用率多在70%左右，而每個機房的剩余機架無法滿足新的租戶對于機架數目的要求，所以需要對數據中心做簡單改造實現多數據中心互聯，盤活數據中心的機架“碎片”，并給業務運營和維護帶來附加價值。非云化數據中心的互聯需求如下：

·將多個數據中心整合為基礎設施資源池，原來的碎片化硬件資源在重新池化后可以靈活滿足新租戶的需求；

·突破單個數據中心規模的約束，實現多局址靈活擴展；

·把某個租戶在多個數據中心的流量，統一調度到指定的出口網關，實現集中化的流量計費和QoS控制；

·通過統一界面下發策略，實現網絡設備的自動化配置方式，快速滿足租戶業務發展需求，簡化運維管理流程。

3 DCI建設方案

未來幾年云計算業務將從根本上改變網絡流量模型，網絡流向從傳統意義上的南北流量，轉變成了IDC到IDC之間或者是資源池之間的橫向流量，隨著NFV技術的引入，這一變化趨勢將更加顯著。

IDC之間的流量的承載由DCI（data center interconnection）負責完成，以滿足數據中心之間的通信需求。DCI網絡作為東西向業務的承載網絡，將多個數據中心內的資源進行橫向打通。DCI可以分為廣域DCI和AZ（available zone，可用區域）/VDC之間內部不同DC之間的DCI兩類。

3.1 DCI互聯技術簡介

DCI網絡使用的互聯技術主要包括面向廣域網側的MPLS（multi-protocol label switching，多協議標簽交換）L2/L3 VPN、EVPN（BGP MPLS-based ethernet VPN，基于BGP MPLS和以太網的VPN）以及面向DC側的VxLAN；相關的流量調優技術包括MPLS TE以及SDN等。分別簡單介紹如下。

SDN作為一種新的網絡架構，成為行業高度關注的熱點。轉發與控制分離、集中的控制層面、開放的網絡編程接口是SDN架構的主要特征，開放式網絡代表了從應用適應網絡能力向網絡能力主動適配應用需求這個網絡建設理念的改變。

SR（segment routing，分段路由）是由IETF推動的支持SDN架構的新型路由轉發協議，SR是一種源路由機制，也是以標簽交換為基礎的，通過對現有的IGP進行簡單的擴展 來 實 現TE（traffic engineering，流 量 工 程）、FRR（fast reroute，快速重路由）、MPLS VPN等功能。在未來的SDN架構中，SR將為網絡提供和上層應用快速交互的能力。

VxLAN是為解決大規模云數據中心的租戶隔離需求及通過三層網絡實現二層打通的需求而出現的，24 byte的VNI（VxLAN network identifier，VxLAN網 絡 標 識）可 支持1 600萬個VxLAN段的網絡隔離。VxLAN使用“MAC in UDP”的方法進行封裝，數據分組在整個轉發過程中保持內部數據的完整，使得原有數據報文內容作為UDP報文中的負載在二、三層網絡中傳送。

EVPN是RFC7432定義的新一代VPN協議，可以實現L2/L3 VPN業務；與MPLS L2/L3 VPN比較，轉發平面的選擇 更 為 靈 活，可 以 為MPLS、PBB（provider backbone bridging，骨干網橋接）、VxLAN/NvGRE（利用GRE實現網絡虛擬化）等；控制平面統一為MP-BGP，避免了VPLS（virtual private LAN services，虛擬專用局域網業務）的洪泛問題。

MP-BGP即BGP-4的多協議擴展，實現了對多種網絡層協議的支持。采用地址族（address family）來區分不同的網絡層協議，既可支持傳統的IPv4地址族，又可支持VPN-IPv4、IPv6等其他地址族。MP-BGP可正確處理地址空間重疊的VPN路由，完成私網VPN路由傳遞和私網標簽分配。

3.2 云化數據中心間的DCI建設方案

3.2.1 方案概述

虛擬機熱遷移業務對傳輸時延和傳輸質量的要求，是云化數據中心DCI網絡建設的一個主要約束。按照這一約束，需要按照區域內、跨區域兩級建設云化數據中心的DCI網絡。

（1）區域整合

云化數據中心通過DCI網絡打通之后，同一個資源池內不同機房/設施的數據中心組成了面向云業務的網絡可用區域，即AZ。AZ內的云資源可以實現無縫共享，比如虛擬機的熱遷移業務可以在AZ內實現。為滿足熱遷移業務，AZ區域通常在500 km范圍之內，以保證傳輸時延和傳輸質量。

（2）跨區域整合

通過數據中心互聯網絡DCI將AZ之間打通，形成數個大范圍區域之間、甚至電信運營商全國的云資源整合?？鐓^域的整合可以實現系統災備等非在線業務。

云化數據中心DCI網絡技術實現方案需要從數據轉發平面和控制平面分別考慮。

3.2.2 數據轉發平面

云化數據中心互聯網絡的數據轉發平面如圖1所示。

云化數據中心網絡需要承載兩類東西向數據流量，分別為AZ內DC之間的數據流量和AZ之間的數據流量。

（1）AZ內若干個DC之間的轉發平面

數據連接采用VxLAN封裝，即數據報文在AZ網關上透傳。VxLAN隧道為服務器或TOR上端到端建立，通過VxLAN隧道實現不同VM之間的二層或三層互訪，支持虛擬機熱遷移。

（2）AZ之間的轉發平面

對于AZ之間的數據連接，業界設備廠商都有各自不同的實現方式，比較通用的是采用分段VPN的方式。AZ內部的VxLAN在網關上終結，AZ網關之間根據二層或三層業務需求部署MPLS L2/L3 VPN或EVPN；分段VPN方式將租戶的業務在IP骨干網上做到了可見和可管，是運維的基本條件。AZ之間的VPN業務部署在DCI網絡的TE LSP或SR路徑上，同時考慮到骨干網對云化業務的可維護性，需要AZ網關設備支持對云業務的感知，然后通過廣域網流量調優技術實現靈活的流量調度。

3.2.3 控制平面

云化數據中心互聯網絡的控制平面如圖2所示。云化數據中心網絡存在兩套控制平面，分別為AZ內DC之間的控制面和AZ之間的控制平面。

（1）AZ內DC之間的控制平面

通過MP-BGP將SDN控制器形成聯盟，從而實現多個DC之間的租戶IP地址和MAC地址信息傳遞。

（2）AZ之間的控制平面

使用MPLS L2/L3VPN，實現跨AZ的二層或者三層連接，通過廣域網實現二層租戶網絡或者三層租戶網絡擴展；采用MP-BGP實現。

3.3 非云化數據中心間的DCI 建設方案

非云數據中心通過DCI互聯之后，可以省或者區域為單位，將一個省的IDC資源組成一個VDC，然后通過DCI網絡實現VDC之間的互聯，從而實現全國性的IDC資源整合。非云化數據中心的互聯方案如圖3所示。

圖1 云化數據中心互聯網絡的數據轉發平面示意

圖2 云化數據中心互聯網絡的控制平面示意

圖3 非云化數據中心的互聯方案示意

非云化數據中心網絡存在兩類東西向數據流量，分別為：VDC內的DC之間的數據流量和VDC之間的數據流量，技術實現方案分別如下。

（1）VDC內部

將多個物理區域分散的IDC在網絡層面，通過VxLAN技術組成一個VDC，實現區域內原有IDC的整合。通過VxLAN網關實現VLAN與VxLAN的映射，非云化的租戶通過VxLAN的VNI進行標識。

（2）VDC之間

VDC通過數據中心互聯網絡DCI（可采用MPLS L2/L3 VPN或EVPN技術）實現VDC間的互聯，從而實現全國IDC資源的大整合。

3.4 DCI 的流量調優

電信運營商在完成云化/非云化數據中心的整合之后，更為重要的是如何將跨數據中心的資源在DCI網絡中進行流量的合理調度。通過DCI網絡識別業務并進行基于SDN的流量調度，真正實現端到端云化/非云化數據中心業務的統一調度與業務的快速響應。

DCI骨干網流量調優的前提是對云業務的感知。如果骨干網邊緣設備不能夠識別租戶，那么僅作為粗管道是無法針對云業務開展任何運維的。DCI骨干網邊緣設備需要支持的技術包括：對VxLAN的支持，對EVPN及MPLS L2/L3 VPN的支持以及廣域網SDN。

廣域網SDN技術可以實現骨干網的自動化拓撲計算和更智能的流量調優。SDN正處在標準化階段，典型的技術如SR、PCEP（path computation element protocol，路徑計算單元協議）等。在協議完全標準化之前，現階段也可借鑒TE技術，并與SDN控制方式相融合，實現現階段的流量調優。關于廣域網SDN的控制器，建議由電信運營商建設資源編排器，通過該編排器實現不同網絡設備廠商級控制器的整合，實現骨干網的統一管理和資源調度。

3.5 DCI建網的其他考慮因素

電信運營商在建設DCI網絡時，除了考慮業務需求、網絡技術、運營商自身條件和發展策略外，還需要考慮云計算環境下的其他相關因素，具體分析如下。

·存儲技術和存儲網絡的發展：不同的計算業務對存儲的要求不同，做AZ層面的資源整合時需根據存儲網絡的覆蓋范圍，合理劃分AZ的區域覆蓋大小。

·自動化的管理方式：云計算時代的一個典型特性是虛擬機創建的頻繁及其對網絡的動態化適配要求。面對這種動態化的網絡配置和管理要求以及運營商降低運維成本的實際需求，DCI骨干網邊緣設備需要具備基于SDN的自動化配置能力，從而大大節省業務的部署時間，實現與云平臺的充分契合。

·云管理平臺的整合：隨DCI網絡的建設實現云管理平臺的整合。從AZ區域角度出發，建議通過一套云管理平臺實現AZ下所有虛擬機的管理，實現AZ內的一套云管理平臺與一套SDN及其云網絡管理平臺對應，從而實現虛擬機的在線遷移。不同的AZ之間，可通過層次化云管理平臺的方式實現整合，不同AZ之間可實現業務的冷備份。

3.6 DCI網絡建設總體思路

DCI網絡的建設，需要考慮云化和非云化兩類數據中心的互聯組網需求以及DCI網絡的廣域流量調優方案，并綜合考慮公有云、私有云和混合云的業務特性，從而形成整體的網絡建設方案，實現電信運營商的IDC資源整合。

對于電信運營商如何利用自身資源來建設DCI，本文建議采用循序漸進的策略方案，具體思路如下。

·分析業務特點和應用需求：根據自身的業務特點和應用需求對各類數據中心互聯技術進行分析，評估每種技術方案的成熟度、業務契合度，以選擇最適合自身業務發展的DCI方案。

·選擇廣域網絡承載方案：梳理現有IP網絡的資源情況，包括網絡帶寬利用率、鏈路時延、承載業務的類型和特點等，以在使用現有骨干網或新建DCI骨干網之間做出選擇。當使用現有IP骨干網實現DCI時，利用現有IP骨干網中繼實現高速互聯，同時升級現有路由器使其支持并部署DCI相關的EVPN、MPLS VPN、SDN、SR等新技術。

·合理規劃業務類型和承載方案：對數據中心承載的業務進行梳理和分類，并根據云管理平臺的管理范圍、存儲網絡的覆蓋范圍等，對DCI所承載的業務類型和承載方案做到合理的規劃和設計。

·先試點再推廣，分步建設DCI網絡：首先就近進行數據中心的區域整合，設立區域整合后的新網關，實現多出口變為統一單出口；然后根據跨區域的互聯業務需求，在該類業務需求量較大的區域之間進行DCI網絡的試點，同時整合相關云管理平臺；最后，在試點成熟的前提下，根據全國的DCI互聯需求，建設DCI網絡，并部署WAN SDN技術進行流量調優。

4 結束語

云計算技術的快速發展、數據中心的規模部署和SDN解決方案的日趨成熟，使數據中心互聯成為運營商IDC集約化的重要手段。數據中心互聯需要考慮的方面非常多，不同運營商基于自身條件會有不同的方案選擇。隨著數據中心和網絡部署經驗、云業務運營經驗的不斷積累，運營商的數據中心互聯方案必然越來越成熟，必然給運營商的資源集約化和成本降低帶來非常大的價值。

[1]Eucalyptus System.Cloud computing and open source IT climatology is born[R].[S.1.:s.n.],2011.

[2]劉承鵬.云計算及其應用的開源實現研究[J].信息通信,2015(10).LIU C P.Research on the realization of open source cloud computing and its applications[J].Information & Communications,2015(10).

[3]Virtual extensible local area network(VxLAN):a framework for overlaying virtualized layer 2 networks over layer 3 Networks:RFC 7348[S/OL].[2015-09-28].https://tools.ietf.org/html/draft-mahalingam-dutt-dcops-vxlan.

[4]BGP MPLS-based ethernet VPN:RFC 7432[S/OL].[2015-09-28].https://www.packetizer.com/rfc/rfc7432/.