云化時代運營商數據中心業務及網絡演進研究

許 鵬，張桂玉，馬季春，趙 巖，李勝光（中訊郵電咨詢設計院有限公司，北京 100048）

1 概述

1.1 運營商數據中心業務需求變化

長期以來，IDC 主要為用戶提供以服務器托管和數據傳輸接入為主的綜合性業務，為企業租戶提供廣覆蓋的、高速的、穩定的網絡服務。

云計算產業的蓬勃發展帶來應用上云需求的激增，同時基于系統安全性等考慮，企業混合云組網場景日益豐富。通過自建數據中心或者租賃運營商IDC資源，企業部署自己的私有云資源池，并通過租用運營商專線實現企業總部及分支機構、數據中心云池和公有云池的組網和數據交換，從而實現混合云的部署。

同時隨著軟件定義網絡（SDN）、網絡云化等技術的發展，用戶對于業務線上化訂購和受理、即時彈性的網絡服務以及網絡和業務可視化也提出了新的需求。應對新的場景和業務需求，運營商數據中心在網絡架構、設備形態以及業務服務模式等各方面的變革勢在必行。

1.2 傳統數據中心網絡及業務開通情況

1.2.1 傳統數據中心網絡及業務現狀

層次化模型設計的級聯架構是目前運營商IDC網絡廣泛采用的解決方案。該架構設置接入層（Access Layer）、匯聚層（Aggregation Layer）和核心層（Core Layer），現網根據IDC 規模、用戶需求等因素綜合考慮各層的規劃和實施。級聯架構的IDC網絡如圖1所示。

圖1 級聯架構的IDC網絡

接入層：位于網絡最底層，負責終端設備接入，確保終端設備可通過網絡進行數據包傳遞。

匯聚層：位于接入層和核心層之間，提供基于策略的連接，可通過訪問控制列表（ACL）等過濾器來提供區域的定義，同時提供如防火墻、入侵檢測在內的其他服務。

核心層：又稱網絡骨干，該層網絡設備為所有數據包提供高速轉發，通過L3路由網絡將各個區域進行連接，確保各區域內部終端設備的路由可達。

當前數據中心主要的用戶需求為互聯網帶寬租賃及服務器托管，網絡流量以訪問公眾互聯網流量為主，網絡設備主要采用專用的交換機、路由器等通信設備。

租戶接入網絡的層級依據需求帶寬（CIR——Committed Information Rate）設置，可以通過IDC 的核心路由器、匯聚交換機、接入交換機進行網絡接入。高CIR 客戶一般接入核心或匯聚層設備，以訪問公眾互聯網流量為主，路由協議直接配置在對接設備上；低CIR 客戶一般與接入層對接，根據公眾互聯網和專網訪問業務類型的不同，路由協議可能直接在接入層配置，也可能在匯聚及核心層配置。各層級設備配置由維護人員依據線下工單采用Telnet/SSH 等方式手工完成。

1.2.2 新業務需求下傳統數據中心存在局限性

隨著企業混合云專線組網需求的激增及云化技術的發展，級聯的IDC網絡架構、逐層手工配置的方式以及線下工單驅動的業務模式，無法滿足云計算場景下彈性、自助的服務需求，在客戶業務訂購、資源配置、設備接入、配置變更、業務測試及維護等方面也暴露出諸多弊端。

結合現有網絡架構及業務開通模式，目前有以下問題亟待解決。

a）網絡部署復雜，業務開通時效性差。專線業務開通需要維護人員手動配置各層網絡設備，配置效率低，容錯性差。

b）租戶接入成本高，接入設備需配置。租戶接入IDC 網絡需自帶專用設備（CE——Customer Edge），并對CE進行網絡配置。

c）運維手段缺乏，維護效率低。對于大部分IDC內的網絡設備以及業務狀態缺少采集和監測手段，不便于及時排障，影響網絡維護和業務運營。

d）業務受理開通均采用線下方式，可視可管不足。線下以人工的方式開通業務，業務施工進度、業務狀態、開通情況等不可視，影響用戶體驗。

e）不符合混合云的發展趨勢，無法適應云原生環境下快速部署和彈性租用、在線服務、網絡可視的業務模式。

鑒于此，本文提出了云化時代新型的運營商IDC網絡架構、設備形態及業務服務模式，本文所提出的演進思路和技術方案可以更好地滿足企業用戶對運營商數據中心的需求，并改善傳統的運營模式和業務模式，為云化時代運營商數據中心業務及網絡演進提供有效借鑒。

2 網絡技術及方案演進

2.1 關鍵技術

2.1.1 網絡虛擬化技術

網絡功能虛擬化（NFV）技術將傳統通信網絡設備功能軟件化，并基于通用的計算、存儲、網絡硬件設備實現電信網絡功能，將實現傳統電信產業與IT 產業的深度融合。NFV 在網絡的規模應用，實現包括軟件、操作系統、存儲、網絡和管理的虛擬化，打破用戶和資源之間的約束，具備節能、自動化、虛擬化、整合以及業務連續性等優勢，能夠靈活、動態地滿足業務發展需求。

NFV 技術的引入，使得傳統網元實現軟硬件分離，網元的上線部署直接變成了軟件的部署，業務上線時間（TTM——Time To Marketing）將從以月為單位，提升至以小時甚至分鐘為單位，從而實現業務快速上線、功能高頻敏捷迭代和市場需求的靈活及時響應。網絡虛擬化成為了云網融合時期重要的技術趨勢。

虛擬路由器（VR——vRouter）采用軟件的方式實現傳統硬件網絡設備的三層路由功能，與標準的商用現貨（COTS——Commercial Off-The-Shelf）硬件相比，VR可以在X86架構的通用平臺上運行，將有效降低硬件成本，并且有助于實現硬件互操作性。

2.1.2 網絡SDN技術

SDN網絡技術的核心是在網絡架構中增加的SDN控制器，把原來的分布式控制平面集中到一個SDN 控制器上，從而實現網絡集中控制。SDN 網絡架構具備3個基本特征：轉控分離、集中控制、開放接口。

SDN 網絡具備快速網絡創新能力，如果這個新業務有價值則保留，沒有價值可以快速下線。傳統網絡中新業務上線需要經過需求提出、標準協議討論和定義、標準開發、現網設備升級等環節，經過數年才能完成新業務交付。SDN 技術對網絡的賦能，使得新業務的上線周期從數年降低至幾個月甚至更短。

云計算的蓬勃發展對網絡的自動化、高性能等提出了更高的要求。而具備模塊化、可編程、高彈性、可預測的智能SDN 網絡才能對齊業務意圖，支撐業務需求，提供高穩定的SLA（Service Level Agreement）保障，使得網絡具備彈性靈活的擴展特征。

2.2 基于SDN及NFV的網絡技術解決方案

2.2.1 架構演進方案

本文從SDN 和NFV 技術引入、設備形態和網絡架構3 方面，提出了運營商數據中心網絡的4 種演進方案。

方案1：保持現有網絡架構及設備不變，公眾互聯網訪問和混合云訪問合設，部署SDN 控制系統，如圖2所示。

圖2 數據中心網絡架構演進方案1

方案2：引入新的出口路由器設備，實現公眾互聯網訪問和混合云訪問分離，并部署SDN 控制系統，如圖3所示。

圖3 數據中心網絡架構演進方案2

方案3：引入專用網關設備，并調整網絡層級，在實現公眾互聯網訪問和混合云訪問分離的基礎上，提供一跳入云的解決方案，分別部署SDN 控制系統，并在頂層進行協同編排，如圖4所示。

圖4 數據中心網絡架構演進方案3

方案4：引入基于NFV 技術的專用云化網關，通過VR 為不同的租戶提供接入vCE，在方案3 的基礎上，提供多用戶共享的CE，分別部署SDN 控制系統，并在頂層進行協同編排，降低用戶CE 成本，實現用戶零配置一跳入云（見5所示）。云化網關的特性優勢如下：

a）用戶隔離和高安全性。云化網關為每個用戶提供一個獨立的虛擬路由器，并通過配置VPN，實現用戶和數據的完全隔離。

圖5 數據中心網絡架構演進方案4

b）適用于各類數據中心（DC）內的公有云、私有云及混合云用戶以及各類IDC 服務提供商，向客戶提供可自動配置、可視可管的VR。

c）以標準的北向Restful API 接口，與多業務平臺對接，實現對云化網關整理的納管。

該方案提出的采用多租戶共享的云化網關的技術方案，通過NFV 技術的引入，采用vCE 替代傳統網絡中用戶自帶的CE，真正實現端到端自動化可控，并且能夠在網絡彈性、用戶業務體驗和節約成本方面實現最優。

2.2.2 廣域網業務接入方案

2.2.2.1 用戶互聯網接入方案

云化網關采用直連路由方式與中國聯通China 169 網的出口路由器進行互通，并通過網絡地址轉換（NAT——Network Address Translation）方式進行互聯網訪問。云化網關VR 接口與出口路由器設備采用公網IP 進行直連，當收到互聯網訪問需求時，觸發云化網關服務器中的VR 進行私網轉換公網地址NAT 策略，私網地址轉換為VR 接口的公網IP，然后通過VR接口地址以直連路由方式進行路由發布至出口路由器設備，實現互聯網訪問。

2.2.2.2 混合云組網接入方案

MPLS L3 VPN 技術被運營商廣泛用于提供VPN專線服務。在MPLS 網絡中，對VPN 的處理發生在運營商邊緣路由器（PE——Provider Edge）上，PE 與CE建立鄰居關系，CE 把本站點的VPN 路由發布給PE，繼而通過BGP 方式與其他PE 交換VPN 路由信息，實現VPN專線網絡可達。

在混合云場景中，建議采用MPLS VPN 技術實現廣域網之間的通信，云化網關可采用BGP 協議與專網的PE進行互通，并建立虛擬路由轉發（VRF——Virtual Routing Forwarding）與專網進行對接，其中云化網關的VR 和專網的PE 配置對應VRF，PE 使用的VLAN 子接口與相應的VRF 對應，用來區分不同用戶及其路由。專網的PE 到另一端PE 建立L3 VPN，專網控制系統控制PE 設備，負責將VLAN 導入到L3 VPN 的隧道內，實現端到端互訪。

云化網關提供多個VR 作為vCE，每個VR 與每個接入客戶一對一映射，相當于客戶的vCE 提供用戶到專網數據轉發；云化網關中的交換機提供二層數據轉發功能，交換機與專網的PE之間采用口字形連接。業務系統保存并管理交換機物理端口參數和虛擬端口參數，同時通過調用控制器北向API接口，實現在云化網關服務器上創建或者刪除VR。

采用云化網關的混合云組網接入方案具有以下優勢：

a）網絡架構精簡：網關與PE 建立網絡預連接，確保從客戶服務器到網絡僅2跳路由。

b）節省成本：按需分配云化網關規格，滿足各類應用場景需求。

c）靈活部署：云化網關提供SNAT 和DNAT 功能，通過極簡配置，快速下發，即開即用。

d）運維簡單：提供一體化網關模式，優化網絡架構復雜度，降低排障難度。

2.2.3 設備形態選擇方案

本文中的云化網關是以VNF 自動部署為依托，結合SDN 技術，提供獨立、輕量級、可執行、靈活高效的網關能力，提供公有云、骨干網等網絡對接功能，屬于網絡即服務（NaaS——Network as a service）產品。云化網關架構如圖6所示。

圖6 云化網關架構

其主要功能組件包括：

a）SDN控制器：基于SDN/NFV技術納管各節點云化網關設備及云化網關軟件，動態分配與統一管理虛擬網關服務的控制平臺，實現多場景下業務編排與云化網關控制功能。

b）接入及交換組件：云化網關節點的統一接入與數據交換設備。

c）VR 組件：以軟件的形式部署在X86 服務器實現網關服務云化，并通過控制器統一調度硬件資源，動態下發業務需求，靈活實現不同業務場景下的網關服務。

各組件詳細功能架構圖如圖7所示。

圖7 云化網關SDN控制器架構圖

SDN控制器作為核心組件，分為6個部分。

a）北向接口模塊：云化網關控制器提供標準北向Restful API 接口，開放云化網關架構網絡能力，包括接入及交換設備和VR 組件的配置能力和監控告警能力，實現與多業務系統對接，實現網關能力需求。

b）全局配置管理模塊：用于對業務系統網絡能力需求、資源信息采集需求分析，將需求信息下發給各個模塊處理，并向上層系統提供全局網關流量分析、網關狀態告警等服務。

c）接入交換配置模塊：用于接入交換組件配置命令的下發，包括VLAN等基礎網絡配置。

d）虛擬路由配置模塊：用于VR 組件配置命令下發，包括端口IP、路由、NAT 策略、Qos 策略、ACL 策略、生命周期策略。

e）全局配置管理模塊：用于業務系統資源信息采集需求分析，并向業務系統提供全局網關流量分析、網關狀態告警等服務。

f）SDN 南向驅動模塊：與接入及交換組件和VR組件建立SDN 管理鏈路，提供Netconf、Restconf、SNMP等多種配置和獲取設備的訪問方式。

VR組件基于X86通用硬件實現能力虛擬化，同樣分為6個部分。

a）服務器硬件資源層，用于虛擬路由器虛擬化資源的物理硬件承載。

b）操作系統層，用于服務器操作系統部署，如centos 系統，Ubuntu 系統，并通過操作系統對服務器硬件資源層資源的靈活調度。

c）Docker 應用層，用于對操作系統層的輕量級虛擬化，定義了一套容器構建、分發和執行的標準化體系，極大地提高了虛擬化功能軟件的部署。

d）虛擬路由器，用于為接入用戶提供虛擬化網關服務，采用精簡化容器技術部署的虛擬路由器軟件，占用磁盤空間較小并以共享的方式使用服務器的內存、CPU、硬盤、網卡等資源，降低了虛擬機資源分配不合理而造成的資源浪費。

e）管理模塊，用于對虛擬路由器的生命周期管理和配置命令下發。

f）監控模塊，用于對服務器硬件、虛擬路由器軟件等資源采集和狀態監控。

云化網關以軟件的形式部署在X86 服務器上，隨著需求的轉變可適應不斷變化的網絡服務優先級，虛擬云化網關設備以容器的方式自動創建，并實現虛擬路由器（VR——Virtual Router）自動部署，為用戶提供專屬的網關設備并實現自動化配置，免除客戶CE 配置工作，降低客戶入網的設備成本以及人力成本，將會成為設備形態最常用的形式。

云化網關的以上特征，將為IDC 客戶帶來成本和服務上的巨大價值。

a）云化網關軟件（虛擬路由器軟件、控制器軟件）在進行服務創新更新時，可以遠程快捷地提供換代更新。

b）具有較高的靈活性和經濟性：云化網關軟件以輕量級、獨立的、可執行的容器環境，以虛擬化方式部署于X86通用服務器上，具有較高的可操作性。

c）提供便捷的遠程維護管理手段：包括設備的監測告警以及ping、traceroute運維功能。

d）零等待交付：VR 組件及其控制器，可以作為單獨的應用，遠程完成軟件部署、調測，當天即可投入生產。

e）多IaaS 支持：云平臺在統一資源池管理的基礎上，支持多個IaaS 平臺承載，滿足不同業務場景的云計算需求；同時支持多個IaaS 平臺（openstack、k8s）的資源分配、回收、調整，提高資源使用率。

2.2.4 業務服務提供演進方案

為了進一步滿足用戶線上化、可視化及自動化配置下發的業務需求，可以考慮建設一套基于網絡演進架構的業務平臺，融合云化網關、安全及感知分析等各項產品功能，全面滿足DC 用戶的業務需求，為DC內用戶提供自動化上互聯網、入云及DC 互聯服務；同時為用戶提供感知分析、安全等增值服務。業務服務提供方案及主要功能模塊如圖8所示。

圖8 業務服務提供方案

業務系統：提供自服務門戶，滿足客戶自助下單需求。該系統支持全流程業務快速開通，網絡資源配置和配置資源彈性按需調整，提供支持全網資源可視可管化，簡化企業運維技術要求，支持自動化網絡配置下發的同時，還具備智能故障定位功能。

控制器：以標準API 向業務系統提供能力，采用Netconf/CLI 等方式實現對網絡配置自動化、資源管理及性能監控等功能。

該方案可以為DC 用戶在以下場景提供多種服務，實現一站式服務的目標。

a）網絡業務自動開通：面向DC 業務，向客戶提供自服務功能，支持各類DC 內的公有云、行業云以及混合云用戶端到端組網互訪以及入云訪問。

b）業務感知分析：基于網絡采集日志，通過大數據集群分析，為IDC 客戶提供業務感知、網絡展示服務。提供自動化數據統一采集和深度報文檢測感知分析，能力可覆蓋全國IDC。

c）流量智能引導：用戶按需選擇流量出口點。根據物理路徑最優就近選擇流量出口，實現就近訪問及縮短業務故障時間，且用戶可以通過智能引導進行路由備份，保障服務不受影響。

d）網絡安全增值服務：為IDC 客戶提供包括網絡攻擊監測、流量清洗、流量封堵、攻擊溯源的專業安全服務，基于運營商骨干網絡對進入客戶網絡的互聯網流量持續監控，實時發現DDoS 攻擊，客戶根據業務需求對攻擊流量進行流量清洗或封堵。

3 結束語

本文通過對數據中心新的業務需求及新的技術趨勢的分析，提出了采用SDN 及VR 技術建設MPLS VPN 的極簡網絡、云化網關及端到端自動化的業務系統，提升業務開通部署效率，滿足混合云組網業務需求，從而完成運營商數據中心網絡及業務演進，為云化時代運營商數據中心的業務及網絡演進提供參考。