運營商多云專網一體化業務的策略與實踐

陶高峰 顧艷雷 殷康

摘要：研究和探索運營商在SDN轉型中所面臨的特殊挑戰及其應對策略，分析指出運營商正經歷從“網化”計算到“云化”網絡的技術和業務轉型，云網一體化業務是未來的根本出路。運營商SDN化的困難在于異構的基礎網絡架構，其成敗關鍵在于選擇扎實可靠的SDN控制和編排平臺。其中，獨立于廠商設備的通用SDN控制器和編排器至關重要。結合實踐案例，分析如何借助目前運營商全程全網的優勢，采用解耦、統一、獨立的控制和編排平臺，快速地實現大規模、多租戶、可運營的多云專網一體化業務。

關鍵詞：SDN控制器;SDN編排器;混合云;多云互聯;云化網絡;流量工程

1? ?引言

有兩大原因驅使運營商關注“云網一體化”，一是市場需求，二是自身變革。

隨著云計算技術的廣泛流行，越來越多的企業開始接受云服務模式。許多企業的信息通信ICT工作負載都將分布在不同的公有云中，然而，在現實環境中卻面臨著諸多問題：企業客戶的關鍵業務和應用不可能僅鎖定在一個云業務提供商，企業云業務需要多個云提供商。所以，多云戰略對于企業和ICT產業變得非常重要[1]。

目前，已有一些公有云提供商可以提供企業的私有云向其公有云直聯通道的所謂“混合云”服務。但是，混合云方案只是解決多云策略的一小部分，并沒有解決企業用戶不愿意鎖定于特定一家公有云提供商的顧慮。由于競爭關系，公有云提供商沒有意愿和資格提供與其它公有云通道的能力。市場上也有提供基于公共互聯網的多云管理平臺的解決方案，但基于互聯網技術的多云管理具有一些致命的弱點，例如，缺乏云網一體化所要求的性能和安全品質。大多都是針對個別公有云提供商和企業私有云的集成方案，不僅不能和運營商的網絡集成，難以確保網絡的性能和安全品質，更缺乏多租戶、大規模和可運營的基本技術條件和能力。企業用戶需要多家公有云提供商和聯結多云服務商的網絡運營商。

在這樣的大背景下，以云網一體化為特征的產業互聯網市場已成為電信運營商新的業務增長點。電信運營商理所當然可以擔負起為企業提供高品質全覆蓋的云網一體或多云互聯業務。進一步看，電信行業運營商也必須逐漸從管道運營向云網一體化形態轉型。云網一體化不僅是最終企業客戶ICT業務需求的轉向，也是運營商自身網絡架構與技術深刻變革的需要，同時也是未來ICT業務運營與服務模式重大創新的機會。

但這一領域目前尚處在起步與探索階段，要實現在全國范圍的“云網一體化”或“多云專網一體化”服務，重塑網絡技術架構和運營轉型難度極大。在國際上，目前還沒有看到大規模成功的商業案例。本文基于在此領域的架構設計以及商用部署的實踐，將從梳理云網技術發展的基本脈絡開始，分析運營商所面料的技術挑戰及其對策，分享“多云專網一體化”實踐的基本策略和技術關鍵。

2? ?從“網化”計算到“云化”網絡

在討論云網一體化業務之前，為了更清晰地理解云網發展的相互關系和關聯影響，有必要分析云和網技術的過去和未來。文獻[2]較為系統地梳理了信息IT技術和通信CT技術的發展脈絡。簡而言之，IT產業是以計算技術為核心而發展起來的產業，而CT產業是以網絡技術為核心而發展起來的產業。隨著網絡融合技術的誕生，IT和CT產業的技術架構也開始融合，形成“你中有我”和“我中有你”的新型ICT融合產業。計算與網絡成為ICT產業創新和發展的一對相對獨立的引擎。ICT產業因此不僅得以加倍速度發展，而且在技術能力和規模效益上得以相互促進、相互影響和相互顛覆。可以說云和網這種相得益彰式的關聯發展，使ICT產業進入了一個更加靈活、簡易、強大和更高層次的大發展時期。

網絡融合技術的力量非常大，對傳統的計算模式和架構進行深入的滲透、影響和顛覆。計算模式中的物理功能和資源開始被綜合并抽象成為與物理位置和能力無關的邏輯計算資源池，從而極大地提升ICT的整體算力和容量，并徹底改變ICT服務的性質和形式。“云計算”這一嶄新的計算形態由此應運而生。云計算不依賴單個物理CPU的縱向計算能力，而是通過網絡橫向的平臺能力使邏輯資源池的使用和擴展更加方便和靈活。從某種技術意義上來看，網絡使分布的物理計算資源變得可彈性、可延展。所以，“云計算”的本質就是網絡計算。云源于“網化”的計算，云的基礎設施和云服務離不開網的根本支撐和協同;網是云的基礎和保障。

在云和網雙創新引擎的驅動下，不僅網絡對計算形態形成了直接的影響，同時，新型云計算模式也對網絡技術產生直接的顛覆和影響。這其中，最明顯的當屬“軟件定義網絡SDN”。與傳統網絡硬件設備組網的架構相比，軟件定義網絡意味著網絡必須“云化”。其架構的意義在于：物理網絡資源必須像物理計算資源一樣，進行全程全網的邏輯抽象，形成與具體網絡設備和物理形態解耦的邏輯網絡。ICT的應用和業務通過邏輯網絡進行組織、分配、管理、調度和控制，從而極大地增強網絡的“彈性和延展”能力，達到與云計算相匹配或同等程度的靈活使用和動態調度。

為更好地支撐云服務發展，運營商的網絡必須進行“云化”轉型和重構。“云化”網絡的基本技術就是軟件定義網絡和網絡功能虛擬化（NFV）。運營商不僅需要“云化”數據中心網絡，更需要“云化”骨干網、城域網以及接入網。“云化”網絡也是5G承載網的基本要求。

SDN將傳統網絡設備中的控制平面和轉發平面進行功能解耦，實際上，也就是將整個物理網絡抽象并簡化為“單一”實體，形成易于控制和管理的邏輯網絡。邏輯網絡與物理網絡設備的部署位置、數量、配置或分布無關。物理網絡面向聯通性，負責網絡的穩健和可達。而邏輯網絡面向業務，負責處理業務需求的動態變化、彈性按需、靈活可控。這種網絡抽象提供了一種新的網絡適應力，集中部署的控制器具有邏輯網絡和物理網絡的映射關系，并在此之上可進行網絡業務的編排和管理。同時，它可以通過邏輯網絡對物理網絡進行關鍵控制，并在瞬間將網絡策略的執行和調度決策的變化復制到每個物理網絡設備之中。

3? ?運營商骨干網SDN化的挑戰和策略

重塑運營商骨干網絡面臨較大困難。運營商的骨干網是投資成本大、覆蓋區域廣、運營規模大、使用效益大和安全可靠穩定運行責任大的基礎設施。對于國內運營商已經大規模運行的現網骨干網絡，實現SDN化面臨一些基本的不利條件，如設備的SDN能力問題、多廠家控制器不可協同、業務模式復雜難以自動化等。總結如下：

（1）骨干網設備不支持SDN，雖然可以逐步替換，但代價沉重，不僅耗時而且成本極高。

（2）運營商大多采用多廠商網絡設備，即使各廠商具備SDN能力，但控制器是各廠商私有的，不能兼容其它廠家設備。

（3）骨干網的用戶是企業客戶，網絡可靠性至關重要，要求SDN控制器必須支持高可用性（HA），但在多廠家控制器環境中實施難度極大。

（4）傳統運營模式下，運營商業務流程多、周期長，亟需自動化的抽象和編排，重塑網絡涉及到多部門、多環節。

運營商如何克服現有環境中面臨的問題，采用SDN架構創新業務模式，實現業務自動化，已是迫在眉睫的問題，根據我們的實踐經驗，提出如下4個關鍵策略應對如上挑戰：

（1）必須面向未來，設計三層全解耦的SDN技術架構。

（2）采用獨立于網絡硬件設備的通用SDN控制器，謀求SDN架構利益最大化。

（3）與運營商研究院合作，整合新老業務運行機制，使SDN網絡可持續運營。

（4）制定SDN系統平臺北向API，為包括云網一體業務提供接口。

運營商骨干網一般都有多廠家網絡設備，SDN方案必須適配這種異構網絡場景。采用獨立于網絡硬件設備的通用SDN控制器是SDN解決方案的核心關鍵。通用SDN控制器位于各廠家網絡設備之上，是統觀網絡全局的中樞平臺，南向適配各廠家網絡設備，屏蔽異廠家設備接口差異，內部建立全網設備模型和狀態，特別是針對不同網絡設備資源和能力的模型抽象，從而將整個物理網絡變成可動態控制和管理的邏輯網絡，使其具有完備的網絡拓撲、流量狀態、組網邏輯、網絡資源、監控狀態等。北向提供運營商網絡業務能力的抽象，支持多種業務支撐系統的接口，使其具備API外部擴展能力。

統一業務編排器是全網業務邏輯和業務自動開通的核心，掌控全網的統一資源管理，定義完整的用戶業務流程，包括用戶業務的定義、開通、生成、分配、下發、計費等。統一業務編排器負責整網業務統籌調度與路徑優化，多協議、多平面實現用戶VPN、TE隧道業務，通過底層通用SDN控制器和網絡設備，收集全網絡拓撲，統一呈現網絡及設備狀態，展現全網流量動態。統一業務編排器一個巨大的挑戰是需要整合傳統運營模式下的OSS/BSS，涉及運營商內部多部門、多環節和多業務的協調和溝通。而且這個過程往往反復多、周期長。我們的實踐經驗是，與運營商的研究院或設計院深度合作，他們一方面代表運營商對整體SDN項目提需求、定任務、查進度，另一方面，加強內部部門溝通，通過深入參與SDN項目的實施和運維的商用實踐，共同創新業務模式，提升業務能力，定義用戶業務的自動化流程，實現業務需求自動下發，多個系統聯動完成業務端到端快速部署。進一步實現運營商SDN化以后，使網絡走向智能化、運營智慧化。

4? ?云網一體的技術基礎：通用SDN控制器+SRTE

實踐表明，運營商采用獨立于網絡設備廠商的通用SDN控制器，不僅確保SDN方案不會被網絡設備廠商鎖定，更重要的是運營商SDN的短期和長期利益訴求得以最大限度地予以確保。SDN控制器和網絡硬件設備解耦，未來轉發平面的技術新發展可以主動適時集成和采用。在運營商異構網絡環境下，獨立、統一和通用的SDN控制器為SDN整體平臺方案的推動、發展和未來業務的快速部署，提高SDN的業務創新能力，確保SDN網絡全局一致性和跨域端到端的業務質量，降低運維成本起到關鍵而根本的作用。圖2顯示了通用SDN控制器的一些基本功能模塊。

但同時需要指出的是，通用SDN控制器的架構、設計和軟件開發的性能和品質至關重要，因為它涉及到物理網絡和邏輯網絡的抽象，必須由熟知網絡設備操作系統、網絡路由協議和大網架構設計等多方面的經驗的專業團隊負責。

目前，運營商骨干網路由技術采用分布式的最短路徑策略，優點是確保網絡穩定可無限擴展，缺點是網絡對各種應用一視同仁地“盡力而為”，網絡資源的流量調度和流量工程能力TE很差。但隨著云網應用的日益普遍和復雜，運營商傳統骨干網的路由策略滿足不了云業務對網絡能力的動態需求。云網一體化業務的一個基本而重要的課題就是如何使骨干網流量工程能結合SDN架構集中管理和調度。如圖3所示，依據不同用戶、不同云業務和應用在不同網絡實時狀況下能夠對網絡流量進行統一和自動的調整。通過近幾年的網絡技術創新和實踐，業界普遍的共識是采用SDN架構與最新提出的“SR（Segment Routing，分段路由）”技術[3]相結合，流量工程SRTE是大規模商業部署最可行的方案。這個方案不僅簡化了原來骨干網傳統的MPLS-TE流量工程機制，而且，通過實時監測和策略算法可以集中調配及優化全網流量。SRTE的控制平臺必須具備采集和綜合全網信息的能力，采用智慧算法的通用SDN控制器來實現。其技術門檻高、實現難度大和缺乏多廠商設備支持，使SRTE技術的商用部署實踐面臨一系列挑戰。

目前，大地云網所研發的通用SDN控制器是國內首個具有完整骨干網流量工程模型和算法、在全國范圍內商用SRTE超過2年的SDN解決方案，其技術突破有如下幾點：

（1）支持全動態實時SRTE完整解決方案，包括流量工程TE的自動下發、自動計算、自動調整、自動引流和自動調度。

（2）全網實時流量動態可視化和自動監測，全網自動負載均衡、避免擁堵和熱點，可按需調整流量。

（3）智慧路由，依據帶寬利用率、最短延時、最低丟包率等策略算路、選路和為特定應用推薦最優路徑。

（4）實時路徑監控和監測，如果路徑中發生任何流量擁堵或鏈路故障時，通用SDN控制器能夠根據全網信息快速部署新的路徑。

（5）SRTE的通用SDN控制器完全基于開放的SR技術標準，獨立于網絡設備廠商，但同時支持多家廠商的SR網絡設備。

（6）適合于運營商或云商所必需的多租戶業務運營。

5? ?多云專網一體化業務架構及實踐

基于通用SDN控制器和SRTE技術創新架構設計的基礎之上，實現網絡資源、拓撲和流量的集中管理、流量工程的動態實施。通用SDN控制器在多廠家異構核心網的HA的機制及其穩定性、可靠性和大規模部署的可行性得以全面考驗，并在運營商現網環境中實現業務的自動配置，大大降低了業務開通的時間。通用SDN控制器提供多種業務支撐平臺的擴展接口，統一的業務編排器內部抽象業務邏輯，統一的業務管理，并與運營商傳統的OSS/BSS、一站式系統、調單系統、網絡資源等系統相整合，實現運營商骨干專網MPLS/VPN業務線下線上同步、自動開通、實時付費、資源統一管理、運維一體化監控等功能。統一的業務編排器還重新定義用戶權限與流程，適應全網業務的信息化流程，優化系統業務流程。統一業務編排器北向提供統一外接Portal，并通過開放API的方式對不同用戶分權開放，并允許外部APP調用，負責企業客戶業務端到端拉通以及調整、優化和編排，支持Site to Internet、Site to Site以及Site to DC（Cloud）多種形式業務。通過通用SDN控制器和統一業務編排器平臺，實現了運營商業務功能，包括支持運維人員、最終用戶、云服務商、客戶經理等不同角色的賬戶自服務、業務管理（L3VPN業務的增刪改查）等功能。

在運營商現網SDN重塑的過程中，SDN網絡運維監控系統的重要性日益增強。為此，SDN的平臺系統專門獨立出SDN運維監控系統模塊。該系統與運營商傳統運維支撐系統相對接，確保運營商骨干網MPLS/VPN專網業務的拓展和可持續運營。圖4顯示了從SDN網絡到云網一體化業務的基本架構和模塊關系。

在通用SDN控制器和統一業務編排器技術不斷成熟的基礎上，開發公有云業務的API模塊，就能疊加多云專網互聯業務（如圖5所示）。在一個分層架構清晰的SDN系統平臺上，多云的統一業務編排器通過云商API接口，管理和適配各種云商網元鏈接，配備云網一體化業務邏輯和云業務模塊進行編排，要支持多種云網業務支撐系統接口，具備各個云商API外部擴展能力，完整定義用戶的多云專網一體化業務流程，包括適配各公有云的VPC的線路連接和管理。公有云用戶業務API的認證、調用、適配和協同，通過運營商MPLS/VPN骨干網，實現從一個云商的VPC到另一個云商的VPC專網專線聯通的實時生成、下發、計費等。

在統一業務編排器定義和疊加實現“多云互專網一體化業務”，使運營商借力SDN網絡實現一點入云、多點入云、云間互聯等一系列新型云網一體化業務。在現有異構廠商網絡場景下實現數據中心間L3VPN業務創建、開通;維護TE隧道計算、創建、變更;在DC之間、DC與公有云之間快速開通DCI業務等。客戶可在Portal界面發起業務請求，云網互聯通過控制層控制全網路由器自動部署業務，并通過統一業務編排層互聯客戶企業站點、DC、公有云VPC、各種接入站點等。多云專網一體化業務整體解決方案適用大規模運營商，可集中化實現全網業務的用戶管理、資源管理、業務管理、拓撲管理、訂單管理、計費管理、運維管理、高可用性（HA）仲裁等。

“多云專網業務一體”經過一年多的商用部署和實踐（如圖6所示），總結有如下特征：

（1）基于全國范圍異構設備骨干網上，建立在獨立于設備廠商的通用SDN控制器和統一業務編排器系統平臺之上，快捷和靈活地疊加生成了“多云專網一體化”業務平臺。

（2）具備多租戶用戶自定義“多云專網一體化”業務的生成、認證和隨選能力，自動下發，實現大規模、多級運維管理、全國范圍、所有云商的云網業務分鐘級一體化配置、部署、計費的彈性快捷服務。

（3）多云專網一體化業務與MPLS/VPN專網業務無縫融合，企業面對一個Portal界面，統一管理全公司的廣域組網和多云業務。

（4）面向市場需求簡化運維流程，端到端自動化快捷服務，提高整體運營效益。

全國范圍內，大規模多次功能更新迭代，逐步實現多領域、多系統層面的云網技術和業務的協調、改造和創新 ，驗證了基于SDN平臺的云網業務和協同能力。

該業務平臺經過全國商用運營，目前覆蓋全國330多個城市、150多個自營云數據中心以及70個國內外頂級公有云提供商的云數據中心。物理網絡全部預先聯通各個云商的數據中心，通過統一的SDN控制和業務編排平臺按月更新迭代，在不到一年的時間里，實現與阿里、騰訊、京東、百度、瀮云、萬國、華云、青云、華為云、沃云、AWS（亞馬遜）、微軟、阿里云國際、騰訊云國際等公有云商之間任意VPC間的實時多云專網互聯業務一體化。該系統的目標是為幾乎所有企業和全部共有云商提供多云專網互聯業務，為所有企業客戶提供任意云平臺之間VPC的遷移、備份和聯接的云網一體化解決方案。

6? ?結束語

運營商多云專網一體化業務的實踐證明，盡管運營商網絡SDN改造和重塑挑戰極大，但倘若采用正確的應對策略和步驟，仍然可以取得明顯的成果。云網一體化不僅能使運營商現網能力提升，而且對未來5G移動網絡的規模運營也有極大的借鑒價值。

運營商云網一體化業務可以通過如下三個步驟，從下向上地逐步推進：

（1）第一步：運營商現有網絡SDN化，關鍵在于選擇獨立和通用的SDN控制器，網絡設備支持SRTE技術，實現網絡流量的自動調度。

（2）第二步：整合和統一業務編排系統，包括整合傳統的OSS/BSS，使運營商SDN網絡可商用持續經營。

（3）第三步：開放業務平臺API接口，疊加云網一體化功能。與運營商自身的數據中心云網絡對接，與云商互聯API對接。云網建設完成統一控制平面，實現“多云專網一體化”集中控制和管理。利用軟件化實現配置快速下發，提高自動化程度。

下一步的探討工作有如下幾個方面：

（1）全國云網業務多域一體化自動部署、端到端質量保障

通過拉通各云商和運營商多個網絡域的全面覆蓋和管理，對任意云商的任何VPC間的專網互聯業務需求按域進行分割、下發，實現多云、多網和多業務域的聯動，完成云網業務端到端快速部署。例如，把城域網和接入網SDN化，連同SDWAN解決方案一起集成在一個SDN方案之下。

（2）簡化架構、抽象并開放網絡功能，快速疊加云網業務的創新能力

將全國網絡資源和所有云商互聯的網元能力抽象為可被軟件調用的函數，實現業務可編程。通過開放函數接口，構造生態圈并滿足用戶自服務和業務定制化需求。通過重構的運營商SDN網絡架構，重新定制各網元功能點，從而簡化網絡結構和網元需求，為快速疊加和生成新的云網一體化業務提供可能，為運營商提高云時代的云網新業務收入。

（3）多級運營、流程自動化、提高運營效率

提供多Portal接入的電商化自助服務，用戶和運營商多業務部門通過分級但統一的自助門戶實現業務功能自助下單計費和審核批準。支持對接OSS/BSS等支撐平臺的多級運營，實現流程全自動化改造，提供優化的業務受理流程，為運營商進一步提高云網一體化的業務效率。

參考文獻：

[1] Danilo Ardagna. Cloud and Multi-cloud Computing： Current Challenges and Future Applications[C]//Proceedings of IEEE/ACM 7th International Workshop on Principles of Engineering Services-Oriented and Cloud Systems， 2015： 1-2.

[2] 北京大地云網科技有限公司. 全球SD-WAN趨勢報告[R]. 2018.

[3] Clarence Filsfils， Kris Michielsen， Ketan Talaulikar， et al. Segment Routing詳解（第一卷）[M]. 北京： 人民郵電出版社， 2018.

[4] 魯子奕，楊文斌. 大型運營商SDN云網協同架構和關鍵技術研究[J]. 中興通信技術， 2019，25（4）： 32-40.