EBoD：打造開放SD-WAN網絡服務平臺

周文輝　劉永偉

摘要：軟件定義廣域網（SD-WAN）提供廣域網云連接網絡服務，成為云網融合和協同的重要手段，全球信息通信技術（ICT）產業鏈各環節都在積極推動其研發、試驗和部署。中國移動提出了企業寬帶隨選網絡（EBoD）計劃，研發、試驗了基于開放網絡自動化平臺（ONAP）的、多廠家的SD-WAN統一集中管控原型系統，并將部分研究成果貢獻到ONAP社區跨運營商連接項目（CCVPN）業務場景。

關鍵詞：云網協同;云網融合;云計算;廣域網

Abstract： Software-defined wide-area network （SD-WAN） provides WAN network services? for cloud connectivity and becomes an important means of cloud network convergence and synergy. The global information communication technology （ICT） industry chain is actively promoting the R&D， test and deployment of SD-WAN. China Mobile has put forward the enterprise broadband on-demand network （EBoD） plan， developed and tested the centralized， unified control prototype system across multi-manufacture based on the open network automation platform （ONAP）. And some research achievements have been contributed to the cross-domain， cross-layer virtual private network （CCVPN） business scenario of ONAP community.

Key words： cloud network synergy; cloud network convergence; cloud computing; WAN

經過十多年的發展，云計算技術經歷了大數據處理、虛擬化、容器化、無服務器計算[1]等各個技術階段的發展，正在改變社會信息通信技術（ICT）基礎設施建設和使用模式。公有云、私有云、混合云使得企業或者組織能夠敏捷地構建區域化、全球化規模的新型信息化基礎設施，即基于企業分支、互聯網和云計算數據中心構建企業下一代信息化基礎設施，并且讓用戶在使用這種信息化基礎設施時，在各個層面包括應用、服務、網絡、基礎設施等的管控具有與當前企業局域網相同的獲得感。

在云計算時代，運營商面臨網絡和業務轉型。一方面，電信運營商積極向移動互聯網信息服務商轉型，為行業、政府、企業客戶提供物聯網（IoT）、視頻、計算、存儲等各類云服務，構筑新的競爭力和業務增長點。另一方面，全球電信運營商正在進行基于軟件定義網絡（SDN）、網絡功能虛擬化（NFV）和云計算的下一代電信網絡平臺重構和技術演進[2]，旨在構建一個網絡服務部署敏捷、網絡動態按需擴展、業務快速創新的“云網協同”電信網絡服務平臺，實現電信運營商網絡的開放化、服務化、敏捷化、智能化。云網協同不僅是下一代電信網絡演進目標和發展趨勢，也成為移動互聯網信息服務差異化競爭的核心能力之一。

云網協同顧名思義要同時打造云計算和云網絡基礎設施，二者相輔相成[3]。“云”是指云計算數據中心、云服務;“網”是指云網絡基礎設施，不僅包括云數據中心局域網絡，還包括企業或企業數據中心與云數據中心之間，以及云數據中心之間的網絡，特別是后兩者，我們稱之為“云連接”，它還面臨巨大挑戰。從電信運營商的角度看，云網協同主要包括3種場景。

（1）場景1：云承載網、網絡基礎設施云化、云網融合。電信網絡云化成為云計算的一個垂直應用領域，即“電信云數據中心”。電信機房數據中心化（CORD）[4]將傳統通信機房重構成基于開源軟件系統、通用硬件系統的云化、SDN化、自動化的云數據中心。全球寬帶論壇（BBF）制定的云電信機房（Cloud CO）架構[5]、NFV開放平臺（OPNFV）發起的虛擬化電信機房（vCO）[6]開源平臺，都是與CORD類似的基于云計算、SDN、NFV的下一代電信云網平臺。

（2）場景2：網服務云，基于廣域網提供安全、可靠、用戶體驗良好的云連接網絡。網服務云為云計算提供了安全、可靠、良好體驗的接入和互聯互通網絡，成為以“云優先”為導向的互聯網服務提供商技術和產品的重要發展戰略。全球頂級云服務提供商Google、Amazon、阿里巴巴、微軟等在該場景下具有豐富的實踐經驗，基于SDN技術、流量規劃、分段路由（SR）等技術實現了云數據中心間東西向流量的低成本、高性能、靈活調度[7]，部署并提供企業云骨干網[8]、廣域網（WAN）網關[9]等技術、產品和服務，實現企業客戶網絡與云的無縫對接，為用戶提供高安全、高可靠、高性能云連接管道。

（3）場景3：5G應用場景下移動邊緣計算新架構的研究和探索，實現高可靠、高性能、大連接移動云計算服務。5G時代，移動互聯網信息服務如智能駕駛、遠程醫療、增強現實等大計算、低延時應用對網絡和計算架構帶來了新且更嚴格的要求，須要考慮在供電、移動網絡覆蓋和傳送網絡帶寬等條件下終端、邊緣以及云之間的運算能力的動態分配[10]，實現更加動態敏捷的云網協同架構。Linux基金會的Akraino Edge Stack[11]提出了邊緣云基礎設施架構和自動化部署平臺。

1 SD-WAN技術發展狀況

基于WAN提供一個良好體驗的云連接網絡服務面臨著如下的一些挑戰：

（1）高復雜異構網絡下的大規模租戶支持能力。云連接網絡橫跨用戶設備、接入網絡、云數據中心，以及不同網絡服務商（ISP）網絡，同時用戶訪問的云服務和應用分布廣且動態變化，云連接的高性能、可靠性、服務質量保證等技術實現復雜度高。與此同時，廣域網云連接網絡平臺支持的租戶虛擬專用網絡（VPN）規模將數以十億、百億計，比云數據中心的規模更加巨大。

（2）缺乏高效的網絡運維方式。由于復雜度高，傳統的基于電子工單任務分發、基于命令行工具的部署和配置、人工排錯的運維方式已經遠遠不能滿足云連接網絡服務的需求，需要新的技術手段實現智能運維。

（3）企業安全基礎架構須要“與時俱進”。現有企業安全管控架構已經不能適用基于云計算模式的分布式企業信息化基礎設施，企業安全管控模式須要向安全策略集中控制，安全管控模塊軟件化、分布化、虛擬化方式發展。

軟件定義廣域網（SD-WAN）基于SDN和疊加網技術，實現了跨互聯網連接位于不同地理位置的企業分支、企業數據中心、云數據中心等的虛擬化網絡。基于SD-WAN技術構建云連接網絡服務平臺已經成為共識，相關產品和服務在全球方興未艾。互聯網云服務提供商通過自建或聯合研發部署的方式為企業用戶提供“上云”工具和服務;網絡設備、云平臺廠商通過自研、產業合作、跨界并購的方式具備或完善SD-WAN平臺和服務能力，實現端到端云計算網絡管控能力;電信運營商包括AT&T、中國移動等都在積極試驗和試點SD-WAN平臺和技術。

就像虛擬可擴展局域網（VXLAN）一樣，SD-WAN為云計算而生，具有眾多先進技術特性：SDN化、自動化、動態適應，并逐漸向意圖驅動網絡[12]管控架構演進;具有靈活、簡便的部署方式，同時支持虛擬化網絡功能（VNF）、硬件盒子等“零接觸”部署方式;引入微分段式動態虛擬化安全架構[13]，實現更細粒度的安全管控;面向“應用為中心”，支持服務流可視化技術[14]，識別并保障不同用戶、不同應用的服務質量;使用深度縮減、端到端流量精確控制、往返時間（RTT）實時傳輸控制協議（TCP）隧道[15]等多種WAN加速和優化技術，提高廣域網數據傳送效率，降低網絡擁塞。

SD-WAN已經在全球成為一個熱點，并有小規模的部署和應用，但總體來說還處于試驗和發展的初級階段，要達到企業級、平臺級網絡服務還有很多關鍵的技術問題需要解決。

（1）如何基于人工智能和機器學習技術實現SD-WAN復雜環境下用戶設備、網元、應用數據的采集、跟蹤、分析、關聯，進而實現智能化運維[16]是其取得成功的關鍵，是正在攻克的難題，目前還處于起步和試驗階段。

（2）簡單、高效、“無差別”感知的云連接網絡管控集成。對于企業客戶IT系統管理者來說，對SD-WAN云連接網絡的管控要像企業內部網絡一樣“無感知”;對于云服務提供商來說，需要云連接與云數據中心網絡的集成，并根據全局云網絡特征實現更加高效的云計算資源部署和調度。

（3）當前SD-WAN解決方案和平臺比較封閉，都有各自的編排和控制平臺及管控協議，如何構建一個統一、集中、開放的SD-WAN管控平臺則是電信運營商亟待解決的問題。

中國移動提出了企業寬帶隨選網絡（EBoD）計劃，積極、深入推動SD-WAN技術和產品的成熟和開放，由于采用多廠家設備，如何實現開放、統一、集中、高效的SD-WAN管控系統并實現和廠家SD-WAN平臺的解耦面臨著巨大挑戰，包括統一抽象的業務模型、服務自動化編排工作流、抽象模型到不同廠家SD-WAN系統管控邏輯的映射、網絡服務數據模型（包括網元、拓撲、流量和應用分布等）、網絡服務全生命周期管控等。我們設計、開發和實現了一個基于開放網絡自動化平臺（ONAP）和第三方SD-WAN系統對接的原型系統，針對上述關鍵技術要求驗證了統一、集中SD-WAN管控能力，并實現了如下的目標和成果：

（1）實現了分鐘級的企業VPN和云連接管道的自動化敏捷部署、配置和動態擴展。

（2）設計和實現了統一SD-WAN服務和資源模型、編排工作流參數定制和工作流新增和擴展、廠家SD-WAN平臺適配驅動、動態資產庫（AAI）數據模型等，驗證了與不同廠家SD-WAN平臺解耦的技術可行性。

（3）設計和驗證了SD-WAN全生命周期動態管控架構，驗證了網元動態擴展能力。

1.1 系統設計

圖1是基于ONAP的統一、集中SD-WAN管控系統的架構，其中包括SD-WAN業務層、ONAP平臺、廠家SD-WAN平臺。

（1）SD-WAN業務層。SD-WAN業務層有著本系統研發和試驗的主要功能，如設計和實現網絡服務和資源模型、工作流定制、底層網絡網元管控邏輯適配、AAI數據模型、全生命周期管控模塊等。

（2）ONAP平臺。ONAP提供了一個通用的網絡服務自動化編排、管控框架和平臺，為上層業務編排和管控提供設計環境和運行環境。

（3）廠家SD-WAN平臺。廠家SD-WAN平臺通過北向接口接收上層ONAP平臺的管理和控制流，實現SD-WAN網絡服務抽象邏輯到實際承載網元的映射，完成網絡服務的部署、配置和管控。

整個系統實現了基于模型和策略驅動的SD-WAN網絡服務的自動化部署、配置、全生命周期管控，關鍵流程如圖2所示。

（1）設計和實現網絡服務和資源抽象模型，抽象模型描述SD-WAN相關的服務、資源、策略以及參數;

（2）用戶通過Portal訂購服務，輸入定制信息包括企業分支地點、VPN信息、企業分支互聯網協議地址（IP）地址信息、云數據中心信息、策略信息等，作為SD-WAN網絡服務模型實例化參數用于網絡服務部署、配置;

（3）SD-WAN網絡服務模型適配成底層網絡平臺開放能力應用程序編程接口（API）調用，如SDN-WAN控制器提供的客戶終端設備（CPE）API;

（4）SD-WAN平臺接收ONAP平臺API調用，配置、管理、控制相關的網元設備，如SDN控制器通過南向接口給CPE分配一個IP地址;

（5）基于策略的全生命周期自動化管理和控制，實現網絡服務的動態彈性擴展、安全控制、流量工程、可靠性保障等。

1.2 網絡模型設計和實現

SD-WAN服務和資源模型設計遵循云應用拓撲和業務流程規范TOSCA[17]，但目前還沒有統一的基于TOSCA標準的SD-WAN網絡模型。我們的網絡服務模型參考國際互聯網工程任務組（IETF）發布的SD-WAN YANG模型草案[18]、中國移動相關技術規范，主要包括：服務模型，如VPNInfra、Site、Policy、Device服務類型;資源模型，如Device、Site、VPN Attachment、Connectivity、Policy、局域網（LAN）等資源類型。

在該模型下，一個租戶的VPN由VPNInfra、Site等服務組成，客戶Site通過VPN attachment關聯到VPNInfra服務，Site實例可以是多種類型，包括企業分支、運營商接入點（PoP）、云數據中心等。VPNInfra服務實現用戶VPN部署、配置和擴展，如部署上云服務;用戶可以通過Policy服務動態下發策略，Site服務實現VNF動態容量擴展，總體網絡模型設計如圖3所示。由于當前ONAP的應用設計中心（SDC）平臺還不完善，可擴展能力有限，本原型系統設計的虛擬連接（VL）資源類型需要擴展原有Python代碼才能將它們添加到SDC設計平臺中去。

1.3 自動化編排設計和實現

我們在現有ONAP提供的自動化編排框架基礎上，增加了模型實例化模板，定制了工作流參數和腳本代碼，并針對VPN網關實例縮擴容場景新增DeviceScaleOut工作流。新增DynamicPolicy工作流實現動態策略下發，新增SiteScale工作流實現VPN擴展。可以使用Openstack heat編排方式實現VNF部署和擴展，圖4給出了SD-WAN網絡服務自動化編排的框架和關鍵流程。

1.4 底層網絡適配設計和實現

ONAP SDN-C平臺提供了一個編程語言、流程和框架，將上層網絡服務和資源抽象模型映射到底層網元、云計算基礎設施上的部署或配置服務調用，圖5給出了底層網絡適配的架構和關鍵流程。底層適配器的設計和實現工作包括網絡資源API、網絡資源處理邏輯和底層SD-WAN平臺服務調用，本原型系統主要新增分配資源（AR）、虛擬連接（VL）資源類型的API接口，新增和擴展對應所有SD-WAN網絡資源類型的處理有向圖（DG）和JAVA代碼，并基于北向AsoPI接口新增和擴展了底層SD-WAN平臺服務調用節點和JAVA代碼。

1.5 網絡服務全生命周期管理

設計和實現

本原型系統基于ONAP提供的數據采集、分析和事件（DCAE）框架，設計和實現了VPN網關實例動態擴展的功能，圖6給出了其架構和關鍵流程。

（1）“底層網絡事件偵聽模塊”作為一個消息網關設備通過北向接口訂購底層網絡測量消息和事件，并將接收的性能報警事件轉換成上層消息格式發布到ONAP平臺數據傳送服務（DMaaP）組件;

（2）“底層網絡平臺事件轉換”模塊訂閱底層網絡消息和事件;

（3）將接收到的底層網絡事件轉換成DCAE網元事件流（VES）事件，該事件包括事件類型、設備信息等并發布到DMaaP組件;

（4）在ONAP平臺的Holmes組件中創建事件分析和處理規則，訂閱和接收到網絡設備VES事件消息后，根據相應的規則觸發相應的策略執行消息;

（5）ONAP平臺策略執行模塊根據策略執行消息中的相關信息如網絡服務實例通用唯一識別碼（UUID）、資源UUID等信息從AAI獲取相關服務、資源模型參數;

（6）策略執行模塊根據策略定義調用服務編排器（SO）執行DeviceScale工作流，該工作流實現VPN網關實例彈性縮擴容。

1.6 原型系統驗證

原型系統試驗環境如圖7所示，主要包括以下平臺：

（1）系統軟件平臺。包括ONAP北京版本、SD-WAN SDN控制器、Openstack Queen版本等。

（2）硬件環境。由7臺X86服務器、1臺交換機構成。每臺服務器有2路12核中央處理器（CPU），384 G內存，10 TB存儲，4*Gb電口+4*10 Gb光口網卡，安裝Linux Ubuntu 16.04LTS版本;交換機配置為48 Gb+4*10 Gb端口。

（3）網絡配置。Openstack租戶網絡采用虛擬局域網（VLAN）方式，為了接近真實性模擬以及實現不同系統間的隔離，為核心電信云數據中心（TIC）、邊緣TIC、云數據中心、企業分支創建了不同的租戶以及內部網絡，所有的內部網絡通過網絡地址轉換（NAT）與中國移動互聯網（CMNET）絡互通。

（4）部署方案。統基于Openstack虛擬機方式部署，采用轉控分離的部署架構，Core TIC用于部署管控平面，包括ONAP平臺和SDN控制器等;邊緣TIC用于部署用戶數據平面，包括虛擬專用網絡-網關（VPN-GW）等;企業分支部署vCPE和用戶PC;云計算數據中心用于部署視頻云服務。

本原型系統已經在實驗室環境下完成了企業分支VPN互聯、企業上云等應用場景下的關鍵功能：自動化快速部署和配置企業分支間VPN，大約10 min內完成;對已創建的VPN動態擴展上云服務，大約10 min內完成;動態應用服務質量（QoS）策略下發，保障視頻云訪問流QoS;VPN-GW網元根據業務流量動態擴展，實現負載分擔。

2 SD-WAN技術工作展望

本原型系統驗證了基于ONAP平臺的統一、集中自動化管控SD-WAN的關鍵技術的可行性，下一步我們將圍繞如下的一些研發、集成、試驗工作，推動該系統快速成熟并具備商用能力。

（1）網絡服務管控能力擴展。SD-WAN網絡服務管控能力隨著業務需求和場景不斷擴展，除了自動化部署、系統彈性擴展等管控能力，下一步須要增加故障管理、企業信息化增值服務等服務能力。

（2）跨域、多廠家、多控制器對接實現。目前只是研發和實現了單控制器平臺下的部署場景，下一步將擴展到跨域、多廠家、多控制器場景。該場景比較復雜，須要進一步擴展AAI數據庫模型、SDN-C網絡編排驅動、SD-WAN北向接口，實現多廠家SD-WAN產品互通組網。

（3）底層承載網絡管控能力互通。研發和試驗SD-WAN和底層承載網絡管控互通需求、架構和實現，不僅是滿足SD-WAN網絡服務部署的自動化程度、速度、QoS保障的技術要求，同時也是電信網絡運營商提供SD-WAN云連接網絡的差異化競爭優勢，能夠提供更敏捷、更高質量、更智能的云服務管道。

（4）網絡人工智能集成能力。需要基于網絡人工智能構建一個完整的網絡和服務數據采集、跟蹤、分析、關聯系統并和ONAP管控框架集成，提供高效、智能的網絡服務全生命周期管理。

（5）SD-WAN與企業客戶信息通信技術（ICT）基礎設施管控平臺的集成。為企業客戶提供SD-WAN管控的“自服務”能力和接口，實現與企業客戶ICT基礎設施管控的無縫集成。

3 結束語

在基于云計算、SDN、NFV技術的網絡演進技術驅動和云優先需求的驅動下，基于SD-WAN的技術提供了廣域網云連接，成為云網融合和協同能力的重要手段，全球云服務產業鏈各環節都在積極推動其研發、試驗和部署。通過原型系統的研發和試驗，我們在實現開放、集中、統一管控能力的SD-WAN云網絡服務關鍵技術問題上進行了深度探索和試驗。實踐證明，在復雜、異構廣域網環境下提供企業級用戶體驗的SD-WAN“云連接”是一個復雜繁重的工程，在集中管控模型和架構標準化、虛擬化集成架構以及基于網絡人工智能的智能運維等方面還面臨著巨大的挑戰，需要產業各方共同努力，共同推動SD-WAN云連接逐步成熟和商用。

參考文獻

[1] AWS team.從IaaS到FaaS—ServerLess架構的前世今生[EB/OL].（2017-01-18）[2019-02-25].https：//aws.amazon.com/cn/blogs/china/iaas-faas-serverless/

[2] AT&T. AT&T Domain 2.0 Vision White Paper[R]. 2013

[3] 陳天，樊勇兵，陳楠，等.電信運營商云網協同業務及應用[J].電信科學， 34（2）： 161-172. DOI： 10.11959/j.issn.1000-0801.2018008

[4] PRETE L.CORD-Wiki Home[EB/OL].（2018-10-18）[2019-02-25].https：//wiki.opencord.org/

[5] BBF. TR-384Cloud Central Office Reference Architectural Framework [EB/OL]. [2019-02-25].http：//wiki.broadband-forum.org/

[6] OPNFV. Virtual Central Office-Building a Virtual Central Office （VCO） with open source communities and components [EB/OL]. [2019-02-25]. https：//www.opnfv.org/resources/virtual-central-office

[7] KUMAR A ， POUTIEVSKI L ， SINGH A， et al. B4： Experience with a Globally-Deployed Software Defined WAN[C]//SIGCOMM 2013. USA： ACM， 2013. DOI： 10.1145/2534169.2486019

[8] 阿里云發布云骨干網企業一分鐘內便可構建全球網絡[EB/OL].（2017-12-14）[2019-02-25].

http：//baijiahao.baidu.com/s？id=1586722342247059708&wfr=spider&for=pc

[9] Making the Connection from the SD-WAN to the Cloud [EB/OL].（2018-10-04）[2019-02-25]. https：//www.sdxcentral.com/articles/analysis/making-the-connection-from-the-sd-wan-to-the-cloud/2018/10/

[10] ANDREEVS， GALININA O， PYATTAEV A. Exploring Synergy between Communications， Caching， and Computing in5G-Grade Deployments [J]. IEEE Wireless Communications， 2016， 54（8）：60-69.DOI： 10.1109/MCOM.2016.7537178

[11] Akraino Edge Stack[EB/OL].[2019-02-25].https：//wiki.akraino.org/

[12] Cisco Extends Intent-Based Networking from the LAN to the WAN [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/

[13] How Does Micro-Segmentation Help Security？ Explanation [EB/OL]. [2019-02-25].https：//www.sdxcentral.com/networking/virtualization/definitions/how-does-micro-segmentation-help-security-explanation/

[14] Riverbeds Visibility-as-a-Service Now Available Globally Through BT， Enabling Customers to Manage the Digital Experience [EB/OL]. （2018-12-06）[2019-02-25]. https：//www.riverbed.com/blogs/riverbed-visibility-as-a-service-available-globally-through-bt.html

[15] AppEx LotWAN廣域網加速系統[EB/OL]. [2019-02-25].http：//www.appexnetworks.com.cn/

[16] Nyansa CTO Says AI and Big Data Analytics Will Tackle New Network Challenges [EB/OL]. （2018-11-26）[2019-02-25].https：//www.sdxcentral.com/sponsored/interviews/nyansa-cto-says-ai-and-big-data-analytics-will-tackle-new-network-challenges/2018/11/

[17] TOSCA Simple Profile in YAML Version 1.0[EB/OL]. [2019-02-25]. http：//docs.oasis-open.org

[18] A YANG Data Model for SD-WAN VPN Service Delivery [EB/OL]. [2019-02-25].https：//datatracker.ietf.org/doc/draft-sun-opsawg-sdwan-service-model/？include_text=1