電信運營商網絡全面云化策略分析

呂振通，張 奎，康 凱，胡 祎，張世華（.中訊郵電咨詢設計院有限公司，北京 00048；.中訊郵電咨詢設計院有限公司鄭州分公司，河南鄭州 450007；.中國聯合網絡通信集團有限公司，北京 000）

1 技術升級和業務驅動加速運營商網絡升級

2012 年10 月，ETSI 在德國SDN 和OpenFlow 世界大會上發布的白皮書中引入NFV。2014 年9 月，由Linux 基金會發起的OPNFV（Open Platform for NFV）項目啟動。ETSI ISG 和OPNFV 密切合作，共同推動NFV概念和技術的發展。

隨著NFV 日益成熟，越來越多的設備廠家提供基于NFV 的商品和服務，而越來越多的運營商在通信網絡中逐步引入NFV設備進行網絡云化改造。

ETSI NFV 標準組織對NFV的定義是：NFV作為一個解決方案，能夠解決由傳統專有的基于硬件的網絡組件不斷增加而導致的問題，能夠滿足云計算、大數據、物聯網等需求。NFV 通過發展標準的IT 虛擬化技術，將網絡設備整合到行業標準的高容量服務器、交換機和存儲上來解決這些問題。幫助運營商和數據中心更加敏捷地為客戶創建和部署網絡，降低設備投資和運營費用。

網絡功能虛擬化（NFV）的優點主要如下。

a）通過軟硬件解耦，基于虛擬化資源和通用IT硬件設備部署，包括但不限于服務器、存儲和交換機等，部署上層業務應用軟件。借助通用IT 設備的規模效益，降低建設和維護成本。

b）基于虛擬化的應用軟件，可利用統一業務編排，縮短網絡運營的業務創新周期，提升創新業務的開發和部署速度，使運營商縮短網絡建設和業務培育周期。

c）通過網絡功能虛擬化，將網絡功能軟件化，使得多業務、多版本、多租戶的網絡應用軟件VNF，具備了統一平臺集約共同部署的可能性。通過一套通用平臺，可滿足各類業務各類場景部署的資源需求，實現資源共享。

d）基于虛擬化技術的統一編排，可實現網絡快速擴、縮容，應對業務波動，提高資源利用效率。

e）基于通用IT技術部署的NFV，具有優于傳統設備的擴展性，可根據用戶不斷變化的需求進行調整，提供新的或者更大容量的業務。

而運營商傳統網絡采用專用硬件，面臨著建網成本高、靈活性差、不夠開放等問題。網絡設備豎井結構導致資源無法共享，網絡建設和維護成本高，網絡能力調度差，網絡利用率低。同時封閉的網絡，無法進行靈活業務編排，導致業務開通慢，無法及時響應市場需求。

隨著業務驅動，不斷涌現的新型IT 技術正逐漸滲入到電信行業，加之電信業務升級換代，場景延伸至物聯網、人工智能等領域，電信網絡亟需轉型升級構建云化網絡。同時為滿足5GC 落地部署，各大運營商對于網絡的擴展性、敏捷性、降成本的需求更加迫切。而5GC自帶的云原生、SBA架構和微服務的理念，以及切片技術的引入，也決定了運營商在5GC 建設時，只有基于虛擬化和云化部署，才能在通信行業日益激烈的競爭中，獲得領先優勢。

2 國內運營商網絡云化發展

2015 年，中國聯通發布了《新一代網絡架構白皮書（CUBE-Net 2.0）》，明確了網絡即服務（NaaS）引入云計算、SDN 和NFV 技術進行網絡的重構和改造，使得基礎網絡具備開放、彈性、敏捷等新的技術特征。

同年中國移動發布《NovoNet 2020 愿景》白皮書，提出以新型數據中心（TIC）和新型網絡、新型大腦為核心的面向三層解耦的NovoNet未來網絡目標架構。

2016 年，中國電信發布了《CTNet-2025 網絡架構白皮書》，明確提出以簡潔、敏捷、開放、集約為特征，構建軟件化、集約化、云化、開放的CTNet2025 目標網絡架構；以SDN/NFV 為技術抓手，以網元云化部署、軟件定義網絡智能控制、部署新一代運營系統、網絡DC化改造等為網絡切入點，推進網絡的縱向解耦、橫向打通。

基于虛擬化和網絡云化，各運營商掀起了網絡重構的浪潮。

2017—2018 年，中國聯通建設了基于軟硬件解耦的NB-IoT 物聯網和移動vIMS 網絡，在運營商中首次大規模應用虛擬化技術部署商用網絡。

2014 年中國移動成立蘇州研發中心，職責定位于云計算、大數據、IT 支撐系統前沿技術的研發和運營支撐，支撐中國移動網絡云化技術演進。經過4 年NFV 研發和試點，2018 年部署基于虛擬化架構的NBIoT 網絡，2019年進行NFV 一期工程建設，按照八大區集中部署云化分組域設備，提高網絡云化比例。

2020 年隨著5GC 建設，無論中國移動、中國電信的大區部署，還是中國電信按省部署的5GC，均采用了云化部署方式，基于電信云部署NFV 架構5GC 網元。至此，傳統ATCA設備生命周期進入倒計時。

2020 年、2021 年期間，三大運營商又陸續發布了《云網融合2030 技術白皮書》、《算力網絡架構與技術體系白皮書》、《中國移動網絡技術白皮書》、《CUBENet 3.0 網絡創新系列技術白皮書》等文件，將網絡云化改造提到新的高度。在網絡重構，實現敏捷、開放、集約的網絡轉型基礎上，推動云網融合和算力網絡，實現網絡數字化轉型。

3 網絡云化改造面臨的問題與思考

從核心網NFV 入手，運營商網絡云化改造已在穩步推進。但是隨著vEPC、vIMS、5GC 的部署，網絡云化改造也暴露了一些問題。

目前運營商網絡云化建設積極吸納IT 優點，但由于通信網絡、網元的復雜性，以及CT、IT行業的側重點不同，網絡云化部署還面臨很多問題和挑戰。適用于互聯網的技術不能完全照搬到通信領域，IT和CT對網絡性能和云平臺的衡量標準也不盡相同。

a）電信網絡云化的行業標準有待完善和加強。由于openstack開源的天然屬性，除基本NFV 架構的定義外，各運營商、設備制造商基于基本架構均制定了自有標準和接口，對云化平臺進行增強和定制化改造。企業標準有利于網絡云化試點的快速部署和測試，但是底層設備容易被廠商鎖定，造成三層解耦困難，形成新的軟煙囪，阻礙新進云化廠家網絡部署，不利于行業生態發展。而行業標準有助于平臺系統構建良好的移植性和兼容性。

b）由于NFV 中SDN 非必選項，在云化部署時，電信云化解決方案的整體架構和NFV/SDN 相關模塊接口的標準不完善，產品間存在部分不兼容的接口，這使得在網絡部署時面臨管理和自動化編排的挑戰。

c）隨著分布式存儲的成熟和應用，分布式存儲和云平臺的接口標準化也有待加強。現網云化改造和部署時，異廠家分布式存儲和云平臺之間缺乏有效對接標準，部署困難，不利于分布式存儲引入資源池。

d）由于運營商網絡復雜性和網元設備多樣化，各專業網元云化步伐不一致，在DC 資源池規劃時，很難做到DC 布局一步到位。同時受限于局房條件，導致部分區域資源池分散部署，無法體現集約化優勢。

e）網絡云化部署帶來了運維新挑戰。軟硬分離的架構和IT 技術的引入，對網絡維護人員提出了更高的要求，傳統的網絡指標體系和管理標準無法適應軟硬分離的架構，亟需更新。復雜網絡維護環境也需要新的、適應虛擬化架構的自動化維護工具來提升維護效率。

f）云化改造和云化部署，也帶來了新的安全問題。由于底層技術的通用性和開源特性，以及通信業務和IT 業務在安全上的差異性，除傳統業務的安全問題之外，如何做好云資源的安全防護，也是云化改造中需要著重考慮的問題。

4 網絡云化改造建議

4.1 云化網元

技術標準演進，新功能的引入，原有架構的完善，微服務、容器等云計算技術的廣泛采用，使得通信網元從虛擬化向云化發展。基于目前運營商的部署測試情況，5GC、vIMS、VoLTE 短信網關等業務網元已通過虛擬化測試驗證，滿足初期商用條件。網元虛擬化路徑及步驟遵循“從控制到轉發、從核心到邊緣、從增量到存量”的總體原則。

根據網元云化成熟度，現階段適宜云化部署的業務主要有管理平臺、創新業務平臺以及控制類網元或業務系統，具體如下。

a）核心網：5GC、vIMS、vEPC、MEC等。

b）業務平臺：視頻彩鈴、VoLTE 短信網關、5G 消息等。

c）創新產品：承載網控制編排器、業務開通網關、切片編排器、端到端分析系統等。

d）管理平臺：OSS 系統、網管系統、運維支撐系統等。

4.2 云化網絡架構

網絡云化總體應遵循“集約、共享、彈性、敏捷”的原則，結合通信網絡分層架構特點，未來云化網絡適宜按照“核心+省級+本地/邊緣“的三級云DC架構進行布局，并統一資源管理和業務調度，以實現集約化/智能化的運營管理（見圖1）。

圖1 網絡云化架構

a）核心節點：按大區部署，集中部署網元（控制面、平臺等）、創新平臺、集中OSS、集中網管等。

b）省級：省會城市+省內中心（計劃單列市），多業務融合部署，統一資源池，承載不出省業務和屬地平臺/網元；省內OSS、創新平臺等。

c）本地/邊緣：布局+客戶驅動，按需建設，包括MEC、邊緣網元等。

4.3 云資源池分類及云平臺部署建議

云化網元類型、業務特點、安全訴求、解耦難度各不相同，為便于規劃資源池、有效支撐業務部署，根據承載業務類型不同，可將資源池劃分為2類。

a）網絡能力域資源池：側重于網絡功能的虛擬化，意在建設云化的新型電信網絡服務環境，為打造高效、彈性、按需服務的業務網絡夯實基礎。業務類型以路由型網元為主，云平臺基于開源社區+ETSI，廠家自定義增強功能多，現階段以軟硬解耦部署為主，后續要推動三層解耦試點驗證，統一部署云平臺軟件，實現資源統一共享調度。

b）創新業務域資源池：針對運營商內部的應用系統的云化，如部分創新平臺、管理平臺等系統的云化，支撐內部應用的快速部署及靈活擴展。業務類型以主機型網元為主。在統一技術框架下，統一部署虛擬化軟件平臺。主要以虛機的形式提供云資源，滿足云化系統部署要求。

為確保基礎通信網絡可靠性和安全性，保障網絡及業務質量，網絡能力域與創新業務域建議初期獨立發展、獨立建設。

4.4 云資源池標準化組網建議

按照層次化架構設計，核心資源池采用Spine-Leaf Fabric 方式的組網架構，自下而上分為接入層、核心層、出口層3層，各層部署的設備如下。

a）接入層：部署Leaf 交換機和各類服務器、存儲設備，并完成服務器/存儲設備與接入交換機的互聯。

b）核心層：部署Spine 交換機，向下匯聚所有接入層交換機，進行匯聚，完成DC 內流量快速、無阻塞轉發，向上與出口設備互聯。

c）出口層：部署DCGW，可根據實際需求選用核心交換機或路由器設備，按需配置防火墻、接入VPN、入侵防御系統、防病毒網關等安全設備，DCGW 向下連接Spine 交換機，向上與外部網絡AR/ER 等設備互聯，完成與外網設備路由信息的同步和報文轉發。DCGW與外部AR/ER 等設備互聯時應采用多路由，并避免單點連接。

根據資源池定位、業務需求的不同等，資源池組網架構可以分為網絡能力域資源池組網架構（見圖2）和創新業務域資源池組網架構（見圖3）。

圖2 網絡能力域資源池組網架構示意圖（無公網連接）

圖3 創新業務域資源池組網架構（有公網訪問需求）

對于省級及本地/邊緣資源池，考慮資源池規模有限，建議采用Spine/Leaf 2 層網絡架構，Spine 兼做DCGW，Spine 可根據業務需求部署為路由器或核心交換機。

4.5 DC局房布局建議

DC選址時應注意遵循以下原則。

a）核心DC 建議以超大型、大型數據中心為主，可在省級（集團級）數據中心基地、省級通信樞紐機房中選擇；核心DC可以兼做省級DC。

b）省級DC 原則上多需求專業共址建設，主用省級DC 數量應不多于3 個。熱點區域根據業務實際需求可適當增加節點。省級DC 可在省級（集團級）數據中心基地、省級通信樞紐機房中選擇。

c）本地/邊緣DC 按需建設，可在核心機房、核心節點機房、IDC、匯聚機房中選擇。

d）DC 局房資源需求要考慮現有機房老舊設備的整合騰退，充分利用現有資源。

結合云資源需求情況，DC局房機架資源預留需求建議如下。

a）核心DC：對于單一網絡云化場景，單DC 機架規模建議不小于300～500。

b）省級DC：單DC應具備100機架以上擴展能力，預留發展空間。

c）結合各DC 改造條件，DC 內單機架功耗按照4～6 kW考慮。

d）同時考慮傳輸和承載要求，DC 機房選址時應盡量與骨干傳輸網和承載網（IP 承載網、城域網等）同局址。

5 網絡云化安全防護要求

網絡云化大規模的商用部署能夠提高計算效率，降低建設成本，但是采用云計算搭建的系統與傳統的信息系統相比，其虛擬化、資源共享和分布式架構也存在安全問題，如果防護措施不當會嚴重威脅個人、公司甚至國家的網絡安全。為適應新形勢的需要，2019 年國家標準化管理委員會發布了新修訂的《信息安全技術網絡安全等級保護基本要求》，這標志著等級保護2.0時代的來臨。

新標準以“安全通用要求+新型應用的安全擴展要求”的組合要求，形成了安全通信網絡、安全區域邊界和安全計算環境支持下的三重防護體系架構，與安全管理中心一起形成“一個中心，三重防護”的安全保護體系。本文根據等級保護2.0 對云計算的安全防護要求并結合實際業務需求，充分考慮網絡云化的風險和部署成本，設計了通信云的安全防護體系架構，具備防火墻、SSL VPN等10項安全能力，如圖4所示。

圖4 通信云等級保護建設主要安全產品需求

基于通信云安全防護架構，建立分區分域、邊界零信任、集約部署、合規運營的縱深防御體系，實現邊界、網絡、計算資源的全面防護。

a）分區分域：根據資源應用場景，將業務域、存儲域、管理域劃分為可信區和DMZ區。

b）邊界零信任：跨安全區、跨大區、跨DC 交互采用零信任機制，通過流量級、應用級和虛機級安全策略，保證物理和虛擬邊界的隔離與管控。

c）集約部署：集約化建設安全管理中心，實現安全能力按需調度、安全事件集中管理和安全策略統一編排等智能化運維能力，還將逐步推動所有安全能力的軟件化和池組化。

d）合規運營：通過部署漏洞掃描、基線核查等能力防止計算資源帶病上線和運行，并通過4A機制實現對計算資源的賬號、認證、授權和審計管理。

6 網絡云化后續演進

3GPP R15在5GC網絡規范中引入了SBA架構，定義了網絡功能服務。從新的架構和網絡功能服務定義來看，通信網絡在向云原生、微服務演進，借鑒IT 思想實現網絡功能重構。在新的架構下，基于容器的微服務架構成為5G 核心網的未來演進方向。通過容器的應用，將緊耦合的網元功能拆分為松耦合的微服務，有利于網絡功能的獨立部署、升級和擴展，有利于實現業務快速迭代和創新，實現5G核心網按需調用以及靈活可編排的業務能力。基于容器的底層基礎架構，主要分為2 種方式：一種是基于裸機形式部署容器，提供基礎設施資源；另一種是基于現有虛擬化平臺提供的虛擬機部署容器，提供基礎設施資源。由于前期NFV 基于虛擬機部署VNF，已有較為成熟穩定的規模化虛擬資源，同時基于虛擬機部署容器，更有利于資源管理和彈性資源分配，因此5G云化部署近期仍采用虛機容器方式。對于資源需求和效率要求較高的網絡功能，后續可逐步考慮基于裸機容器進行業務部署，簡化資源架構，減少故障節點，提升資源性能。

另一方面，網絡向云化演進時，云網融合也是不可忽略的一部分。只有實現云網融合，才能真正實現端到端的業務和資源統一編排，形成敏捷、彈性、統一的智能化網絡，提供面向客戶一點接入的網絡服務。為智慧城市、能源、公共事業、制造、供應鏈、AR/VR、車聯網等提供無處不在的云網業務。

在云網融合初期，仍將采用集中式算力網絡方案，基于NFV/SDN 實現算力資源集中管控和編排，算力集中在大區中心，滿足業務發放和網絡控制等功能。隨著邊緣低時延、大帶寬、低傳輸成本業務的逐步發展，基于集中式方案的算力網絡部署將不能滿足業務快速發展的需求，算力能力將由區域中心逐步下沉到邊緣，形成“云+邊+端”的多級算力網絡，構建一體化算力服務體系。

網絡云化、云網融合、算網一體，作為運營商網絡長期發展目標，是一個長期的，不斷變化的過程。隨著AI、新型路由協議、大數據等技術的發展與成熟，在智慧城市、智能制造、智慧能源、遠程醫療、家庭娛樂等業務場景驅動下，運營商網絡將步入全新的領域。