基于SDN流量智能調度方案研究

張淏湜 王新寬 謝 敏

1.中國移動通信集團江蘇有限公司揚州分公司；2.南京郵電大學通達學院

0 引言

軟件定義網絡（Software Defined Network，SDN）是由美國斯坦福大學Clean-Slate課題研究組提出的一種新型網絡創新架構，是網絡虛擬化的一種實現方式。其核心技術OpenFlow通過將網絡設備的控制面與數據面分離開來，從而實現了網絡流量的靈活控制，使網絡作為管道變得更加智能，為核心網絡及應用的創新提供了良好的平臺。

利用分層的思想，SDN將數據與控制相分離。在控制層，包括具有邏輯中心化和可編程的控制器，可掌握全局網絡信息，方便運營商和科研人員管理配置網絡和部署新協議等。在數據層，包括啞的交換機（與傳統的二層交換機不同，專指用于轉發數據的設備），僅提供簡單的數據轉發功能，可以快速處理匹配的數據包，適應流量日益增長的需求。兩層之間標準規則，交換機僅需按照這些規則執行相應的動作即可。

軟件定義網絡的思想是通過控制與轉發分離，將網絡中交換設備的控制邏輯集中到一個計算設備上，為提升網絡管理配置能力帶來新的思路。SDN的本質特點是控制平面和數據平面的分離以及開放可編程性。通過分離控制平面和數據平面以及開放的通信協議，SDN打破了傳統網絡設備的封閉性。此外，南北向和東西向的開放接口及可編程性，也使得網絡管理變得更加簡單、動態和靈活。

目前揚州移動IDC有省干、國干等多個出口，因業務流量流向問題，導致各個出口利用率不均衡，會出現省干出口空閑。如果通過手工調整，容易出現調整不均衡或者調整故障的情況。同時5G、云網互聯等業務對IP承載網絡提出高速率、低時延的承載要求。基于SDN流量智能調度方案，可以很好地解決因流量流向問題導致的流量不均衡問題，同時滿足：（1）骨干網全局流量集中控制能力，快速實現網絡性能優化；（2）按需實現DCI網絡自動創建，為不同級別租戶提供差異化服務；（3）實現企業分支到企業分支的L3VPN業務自動開通；（4）實現企業上云服務的自動開通，按需提供差異化服務。

1 系統模型及方案

1.1 E2E網絡方案

DCI underlay場景下端到端網絡承載，可以實現在編排器的統一控制下，DC1與DC2兩個數據中心之間的鏈路互通。在underlay場景下，DCN側、域間、WAN側的實現方案如下：

（1）DCN側方案：DC1與DC2內部網絡組網方案。

DC內采用VXLAN方案，用戶三層網關到border-leaf為VXLAN，用戶三層網關跨DC的VPC互聯業務路由下一跳為border-leaf節點，border-leaf節點通過VRF隔離用戶。

（2）域間方案：DC與WAN控制器之間的組網結構，如何通過網絡進行互聯互通。

DCN的border-leaf通過綁定用戶VRF的三層VLAN子接口與WAN PE對接，采用靜態路由實現互通；在本地DC border-leaf上創建指向遠端DC的VPC子網前綴靜態路由，下一跳指向本地WAN PE。

（3）WAN側 方 案：WAN網 絡PE間 采 用MPLS L3VPN，每用戶每VPN；在本地PE上創建指向本地DC用戶VPC子網的靜態路由（用戶VPN靜態路由），下一跳為本地DC的border-leaf，同時將該靜態路由前綴通過MP-BGP發布給遠端PE；WAN網絡通過SR-TE承載MPLS L3VPN（按DCI基線能力）。

本文在DCI underlay場景下移動編排器分別對接DC1和DC2的Openstack云平臺、DC1和DC2的DCN控制器，以及WAN控制器。網絡拓撲如圖1所示。

圖1 拓撲圖

1.2 E2E業務發放方案

租戶VPC在接入DC后，編排器通過統一的指令對VPC進行業務發放，實現租戶的業務接入。同時租戶的網絡可達性也由編排器統一控制，路由從DC1至PE，再到最終的DC2，均由編排器進行統一業務發放。

（1）租戶VPC業務以各DC云平臺Portal作為入口；

（2）WAN網絡DCI云互聯專線業務發放以移動編排器提供的Portal作為入口；

（3）云網互聯專線（即DC接入DCI）業務，由移動編排器作為發放入口：

①DC云平臺北向接口提供查詢功能，編排器能夠通過云平臺北向API接口，查詢獲取租戶信息，包括租戶UUID、租戶VPC子網（含vRouter）、租戶VIF/VBR、VPC與VIF/VBR的綁定關系；

②DCN控制器北向提供L3接入DCI的功能、靜態路由配置功能，由移動編排器下發DC與DCI對接的云網互聯專線業務；

③編排器負責租戶VIF/VBR與DCI-PE對接的資源分配（租戶子接口VLAN、IP/掩碼、MTU等）和網絡關系編排映射，即租戶VPC@DC1《---》VIF/VBR@DC1《---》DCI-PE1---MPLS L3VPN-- DCI-PE2《---》VIF/VBR@DC2《---》VPC@DC2。

1.3 接入側業務部署

針對租戶接入側，通過L3VPN實現每個租戶的隔離，同時通過私網EBGP實現租戶到目的地址的路由轉發，詳細的接入拓撲如圖2所示。

圖2 接入側組網

（1）業務類型：DC-GW接入L3業務。

（2）DC-GW部署（以DC-GW1為例）：①Eth-trunk2/3分別部署子接口，和PE通過EBGP或者靜態路由相連（DC L3互聯）；②基于子接口部署EBGP或者靜態路由，并部署BFD進行檢測。

（3）PE與CE部署：每用戶每VRF（L3VPN），建立私網EBGP，部署PE側的VPN FRR。

（4）接入側可靠性保護：對于L3流量，采用負載分擔加快收斂：①對于EBGP接入，部署BFD for EBGP加快收斂；②對于靜態路由接入，PE和CE部署bfd，在PE和CE上靜態路由器track BFD。

1.4 QoS設計-接入側兩級HQoS的方案

當網絡發生擁塞的時候，所有的數據流都有可能被丟棄。為滿足租戶對不同應用不同服務質量的要求，就需要能根據用戶的要求分配和調度資源，對不同的數據流提供不同的服務質量：對實時性強且重要的數據報文優先處理；對于實時性不強的普通數據報文，提供較低的處理優先級，網絡擁塞時甚至丟棄。QoS的設計如圖3所示。

圖3 QoS設計

（1）基于VLAN/QinQ子接口做上下行總帶寬控制，將業務流按照ip-precedence分成金、銀、銅三種類型。對金類型的業務帶寬進行限制，銀、銅業務帶寬按照比例限制。

（2）NCE（IP域）下發QoS策略和隧道帶寬至DCIPE1、DCI-PE3和DCI-PE4，各個PE之間再通過金、銀、銅業務進行業務的疏導。實現了在接入側兩級的HQoS方案，對相關業務的重要性進行識別并疏導，實現業務的等級劃分。

2 落地測試

2.1 業務測試步驟

（1）升級PE1、PE2設備至目標版本；安裝控制器，并升級至目標版本。NE40E設備需要配置SNMP、NETCONF、Segment-routing、MPLS、ISIS、BGP、PCEP等業務配置以及與NCE-IP對接需要的配置。

（2）6臺路由器使能ISIS和Segment Routing，路由器分別配置Node SID。

（3）路由器之間建立MP-IBGP鄰居，并開啟Netconf Server功能，路由器與WAN控制器建立Active Stateful PCEP session、BGP-LS session。

（4）通過編排器在DC1和DC2之間為租戶1創建一個跨DC的二/三層虛擬網絡，并設置時延、帶寬等要求。

（5）編排器對DC控制器1、WAN控制器、DC控制器2下發指令，在TOR1、GW1，GW2、TOR2之間建立EVPN/VxLAN隧道，PE1與PE3之間創建雙向SR-TE隧道，且PE1與PE3之間的DCI流量由SR-TE承載。

（6）用虛擬機通過iperf模擬二層/三層流量。

（7）假設PE1<->PE3之間鏈路擁塞，可以通過控制器SR-TE的路徑改為PE1<->PE2<->PE4 <->PE3。

2.2 業務驗證

通過編排層（Orchestrator）實現DCI業務與網絡資源統一調度，做到一鍵式開通，差異化服務，實現云網聯動。業務驗證是模擬路徑擁塞的情況下，在NCE-IP上調整SR-TE隧道路徑，將SR隧道路徑從PE1-PE3，調整為PE1-PE2-PE4-PE3。

（1）NCE-IP界面上修改隧道的顯式路徑；（2）在設備上查看隧道配置及隧道路徑；（3）通過NCE-IP查看路徑信息，如圖4所示。

圖4 NCE-IP路徑信息

3 方案創新性

3.1 DC間業務問題解決

SDN在數據中心主要解決了兩個問題：（1）SDN能夠構建許多L2層以太子網來承載多租戶應用，還可以輕松地集成云部署工具，像OpenStack、Docker、DevOps等，便于部署和重新部署；（2）SDN能夠給云提供商構建一個彈性的網絡結構，避免了純分層交換機和單宿主交換機之間Trunks不匹配的情況，節省成本的同時，更加優化網絡。

SDN為DCI支持的最重要功能是SDN控制器間協作或聯合，每個SDN數據中心都有自己的控制器，且大多數SDN子網可能都是建立在一個單獨的數據中心內。項目引入了移動編排器，在DCI之間優化擴展SDN，按需調度出口流量。

3.2 業務流量可視化

流量可視化技術、調度可預測技術，實現靈活便捷調度。（1）流量流向數據采集：實現分布式、可擴展的通用流量流向數據采集平臺。（2）多維度互聯網流量流向分析服務：具有靈活、開放的流量分析平臺，并基于該平臺提供面向用戶/業務/網絡的流量流向分析，指導流量優化。（3）網絡可視化服務：結合網絡路由拓撲及流量、流向數據，對網絡結構及流量分布情況進行可視化呈現。

4 結束語

本研究只需部署編排器分別對接數據機房的Openstack云平臺、DCN控制器，以及WAN控制器即可，經濟性高。NCE-IP和NE40E的對接，包括BGP-LS和PCEP會話建立；AC-DCN和DC-GW及TOR設 備 的 對 接；通 過NCE-IP在PE1-PE3間創建SR-TE隧道；通過中移動編排器分別向ACDCN和NCE-IP控制器下發業務，一鍵式開通業務；模擬路徑擁塞，在NCE-IP上調整SR-TE隧道路徑。同時為用戶提供高品質網絡通信服務，根據網絡通道的擁塞情況實時疏導用戶流量，提升用戶感知。通過引入SDN功能，在IDC各出口之間按需調度流量，最大化利用各城域網出口方向的空閑帶寬，實現流量的智能調度。