云網融合一體化支撐能力探索和應用

何均均 王江舟 李 輝

中國移動通信集團江蘇有限公司南通分公司

0 引言

近年來，隨著移動“CHBN”（Customer、Home、Business、New，個人市場、家庭市場、政企市場、新興市場）業務的飛速發展，云網融合成為必行之勢。江蘇移動在云網建設上起步較晚，但經過持續發力，目前在云網上已經初具規模，具有較大的市場競爭力。在新形勢下，如何更好地提供云網一體化的網絡能力，高效支撐業務發展還面臨著以下三點挑戰：（1）目前，公有云的發展已相對成熟，但私有云產品的定制和推廣效率較低，缺乏成熟的一體化網絡解決方案和融合產品，特別是跨區域、跨地市的私有云產品，更需要穩定、可靠和安全的入云方式，而當前系統無法滿足重點客戶的私有云融合組網需求。（2）移動的云網融合產品仍比較單一，只支持點對點PTN（Packet Transport Network，分組傳送網）云專線，且PTN 專線開通成本高，調測周期較長，無法滿足集團客戶多種方式接入和快速入云的需求。（3）對于大量已在其他公有云上部署業務的客戶，移動運營商缺乏具有核心競爭力的產品，無法提供不可替代的粘性云服務。

1 技術方案

1.1 背景說明

為了解決目前云網融合一體化所面臨的挑戰，本文研究并實踐了江蘇省內云網融合一體化網絡接入方案，通過地市云網互聯產生合力，MPLS-VPN（Multi-Protocol Label Switching-Virtual Private Network，采用多協議標簽轉換技術構建IP專網）、SD-WAN（Software Defined Wide Area Network，軟件定義廣域網）融合，整合全省云資源，做到內部資源最優化，保障了云網業務的快速接入，提供了靈活快捷的業務開通方式，屬于全行業領先的系統應用。

1.2 云網建設

1.2.1 省級拓撲

方案設計如圖1 所示，在全省13 個地市各新建一對云網PE(Provider Edge，即Provide 的邊緣設備)，設置3 對P(Provider，提供商路由器)節點實現任意兩地市之間的云間互聯最低時延，分別為南京、無錫（與蘇州合設）和淮安。其中南京P 節點用于南京、揚州、鎮江和泰州的云網PE 接入，無錫（與蘇州合設）P 節點用于常州和南通的云網PE 接入，淮安P 節點用于淮安、宿遷、徐州、連云港和鹽城的云網PE接入。

圖1 江蘇移動云網拓撲

各地市的云網PE 接入建設原則為利用現有的NCE-IP（Network Cloud Engine，網絡云引擎），實現所有云網PE 以及P 節點的管控，各地市云網PE 與P 節點的連接，直連鏈路以“利舊為主，按需新建”為原則。

綜合地市設備接入方案為各地市NCE-SPN（Slicing Packet Network，切片分組網）管理云專線網絡SPN 設備，并新建一對云網PE，建立專線接入網絡。地市云新建一對云網PE，作為本地市云專線入云的落地PE。云網PE 增加連接城域SPN設備的鏈路，通過口字形組網實現云網PE 和SPN 互聯。云網PE 連接本地云DC-GW（Data Center-Gateway，數據中心網關）設備的鏈路，通過口字形組網實現云網PE 和云GW 互聯。

業務管理上，二級編排器與SC 控制器（Super controller，超級控制器）NCE-Super 和云管理平臺對接，SC 控制器NCESuper 與NCE-SPN 和NCE-IP 對接。業務開通上，二級編排器基于業務平臺訴求，調用SC 控制器創建專線，主要包括：（1）編排器轉換相關的業務信息和參數發給NCE-Super；（2）NCE-Super 將配置參數下發對應的NCE-IP；（3）NCE-IP 按業務類型下發配置到設備，完成業務發放。

如圖2 所示，南通建設的SPN 域，共設置8 臺設備，其中2 臺PTN980 接入設備，2 臺PTN7900-X12 作為普通匯聚，2 臺PTN7900-X12 作為骨干匯聚，2 臺PTN7900-24 作為核心設備。新增一對云網PE 設備，與無錫（蘇州）的云網PE 設備互聯。部署8 臺SPN 安裝和互聯，并通過NCE-SPN 納管，打通SPN 核心設備至NCE-SPN 的DCN 管理平面。南通二機樓的2 臺云網PE 和SPN 核心互聯，云網PE 至云DC-GW實現互聯，云網PE 至NCE-IP（南京江北IDC 機房）則通過DCN（Data Communication Network，數據通信網）打通路由，包括控制域IPv6 打通。NCE-Super（南京）與NCE-SPN、NCE-IP 之間連接，打通云網PE 至無錫（蘇州）的云網PE 傳輸電路。

圖2 南通地市云網拓撲

1.2.3 接入拓撲

設備部署DCN 功能，使NCE 能夠加載管理設備。使用網關與非網關組合方案，如圖3 所示，對于整個PTN 網絡，與外部DCN 網絡直連的PTN 7900E/PTN 7900 作為網關網元，未與外部DCN 網絡直連的接入層、匯聚層節點作為非網關網元，網關網元通過管理口與外部DCN 網絡連接，全網采用管理平面DCN 方案進行管理。

圖3 南通移動SPN 域云網拓撲

1.3 業務組織

1.3.1 業務接入設計

首先介紹業務承載方案，云網PE 作為企業租戶的網關，直接配置到租戶的靜態路由，云網PE 配置本地L3VPN，每專線每VPN，每VPC（Virtual Private Cloud，虛擬私有云）每VPN，VPN 間通過RT 互通。SPN 配置端到端VLL over SR-TP業務，采用SR-TP APS1:1 保護。SPN 和云網PE 對接，SPN側配置手工LAG（主備模式），云網PE 配置雙歸E-Trunk 雙活保護（主備模式）。

其次，業務發放流程如圖4 所示。（1）業務發放界面選擇業務套餐并觸發業務配置下發給編排器；（2）編排器轉換相關的業務信息和參數發給NCE-Super；（3）NCE-Super 將配置參數下發對應的NCE-IP；（4）NCE-IP 按業務類型下發配置到設備，完成業務發放。

圖4 云網業務承載發放

1.3.2 云互聯方案設計

今年以來，市場經濟發展形勢比預期好，楚雄武定供電局抓住有利時機積極開展增供擴銷。通過走訪、加大優惠電價政策宣傳，減少停電、提升客戶服務、推進市場化交易、積極與政府溝通匯報等方式穩住存量。讓政策支撐、管理保障、市場拓展、服務提升多項措施齊頭并進，全力做好增供擴銷。

首先介紹業務承載方案，同一租戶的多云VPC 之間有互聯訴求，云網PE 之間配置EVPN L3VPN，承載隧道采用SRv6 Policy &SRv6 BE，部署HSB&VPN FRR。云網PE 和云網關之間使用靜態路由/EBGP（External Border Gateway Protocol，外部邊界網關協議），省內云骨干采用信道化子接口分片方案。

其次介紹業務發放流程，如圖5 所示。（1）業務發放界面選擇業務套餐并觸發業務配置下發給編排器；（2）編排器轉換相關的業務信息和參數發給NCE-Super；（3）NCE-Super將配置參數下發對應的NCE-IP；（4）NCE-IP 按業務類型下發配置到設備，完成業務發放。

圖5 云互聯業務承載發放

1.3.3 業務實現場景

該云網融合支撐系統支持豐富的業務功能和業務場景，如表1 所示，支持云專線（一線多云、靈活調整）、5G 云專線、云組網/云專網和云資源池互聯等，使云網融合產生業務大合力。

表1 業務實現功能及場景

2 主要創新點及先進性

2.1 主要創新點

（1）豐富接入：本系統依托豐富的云資源和網絡資源，為企業上云提供多檔差異化的入云專線服務，提供云業務與專線業務一站式服務，具備業務自動化開通、帶寬彈性可調和多樣化接入等特點。

（2）泛在聯接：面向固定光纖無法接入或者接入困難的企業及其分支機構，本系統利用5G 網絡，實現快速、高效、可靠入云接入。針對大型互聯網企業的2B2C 場景，本系統能為其提供低時延的服務保障。

（3）專網專用：為企業提供基于切片技術的分支入云及分支互聯的云專網服務。結合基于AI 的SDN 化管控系統，向用戶提供快速接入、靈活組網、高可靠、穩定低時延和切片隔離的差異化云專網服務。

（4）多云互聯：云互聯基于省內云專網網絡，打通各個地市云資源池，為客戶提供跨資源池的云內VPC 高速互訪通道，助力企業輕松構建異地災備和應用分布式部署等高可用網絡。

2.2 先進性

（1）業務快速開通：跨域超級控制器SC 實現業務天級開通，提供業務級接口與二級編排器對接，簡化集成，快速實現自動化業務發放。同時，可提供跨城域和省干、跨SPN 和云網PE、跨廠家協同、智能切片的功能，使業務帶寬能夠靈活調整。

（2）端到端SLA 質量可視：按需使能業務iFit，可以逐跳完成時延和丟包等業務質量上報，提供對外的API 接口，供第三方調用，實現用戶APP 業務SLA 可視。

（3）業務主動運維：通過iFit 業務逐條可視，從而實現故障快速定位定界；根據故障點信息，NCE 進行路徑優化，實現故障自動恢復；通過歷史流量和故障大數據分析，提前預測故障并指導現網擴容等。

3 應用效果

3.1 整體應用情況

目前，云互聯已經在江蘇利群成功落地實施，涉及省內云網互聯多個點位，包括南通、泰州、宿遷各5 個點位，鹽城和揚州各4 個點位等。

SPN 入云方案已在如東洋口港企業落地實施，并且為客戶5G 入云帶來了合作可能以及快速便捷的入云體驗。

IPSec 快速入云方案為有上云需求的物聯網客戶提供靈活性高、性價比高的云服務，已在南通立訊智造科技（如皋）有限公司的云監控項目落地實施，為客戶提供安全、穩定、加密的云服務，是云網融合的典型應用。

5G 專網入云的方案已在南通中遠重工有限公司落地實施，并在中天推廣，客戶可以通過5G 終端接入移動云主機，實測端到端速率下行為700+Mbps，上行為100+Mbps，端到端時延在15ms 左右，支撐客戶5G 船舶制造、客戶智慧制造，滿足客戶對新網絡的需求，也樹立了江蘇移動在新業務領域的良好口碑。

同時基于云專網的入云方案，南通本地云主機和合營云主機實現互通，滿足了客戶靈活的業務需求，為移動云業務的發展帶來了新的動力，云間互操作成為可能，后續將逐步進行云網備份和遷移業務的拓展。

3.2 社會效益

云網融合是未來云計算領域的發展趨勢，大部分企業已開始采用云計算技術部署信息系統，企業上云意識和能力也不斷增強。5G 專線作為一種靈活便捷的移動云接入方式，具有大帶寬、低時延、海量連接和可移動的基礎網絡特性，能為企業節省大量布線成本，容易得到企業的青睞。IPSec、SDWAN 和MPLS-VPN 入云具有著成本低和開通快的優勢，同時享有很高的安全性，為各類大中小企業辦公提供了輕量化和低成本的上云解決方案。我司積極進行云網一體化網絡能力構建的探索與實踐，以云促網，以網帶云，以行業標桿帶動整體發展，全力支撐云網業務。

3.3 可推廣性

本方案各類模式組網拓撲清晰，設備配置腳本可參考，具備可復制性，并且已經在南通本地進行了復制應用。5G+邊緣計算方案在中天集團落地實施，極大提升了移動云和5G 專網在行業的影響力，樹立了行業標桿。其他SPN 和專線入云方案在各大中小企業的實施，為移動云網一體化的融合拓展提供了強有力的例證。本云網一體化支撐系統是云網業務的先行示范，可以在全省甚至全集團進行大規模的推廣應用。

4 結束語

本文提出的云網一體化業務支撐系統，依托豐富的云資源和網絡資源，為企業上云提供了多檔差異化的入云專線服務。針對固定光纖無法接入或者接入困難的企業及其分支機構，可利用5G 網絡，實現快速、高效、可靠入云接入，同時為企業提供基于切片技術的分支入云及分支互聯的云專網服務，具有多云互聯的優勢，助力企業輕松構建異地災備、應用分布式部署等高可用網絡。目前，云互聯、SPN 入云方案、IPSec 快速入云方案和5G 專網入云方案均已成功落地實施，為客戶帶來了快速便捷的入云體驗，滿足了客戶靈活的業務需求，為移動云業務的發展帶來了新動力，屬于全行業領先的系統應用。