云化IP城域網中vBRAS池化部署研究

龔霞，陳華南，朱永慶，袁世章，楊冰

工程與應用

云化IP城域網中vBRAS池化部署研究

龔霞1，陳華南2，朱永慶1，袁世章1，楊冰1

（1. 中國電信股份有限公司研究院，廣東 廣州 510630；2. 中國電信天翼云科技有限公司，廣東 廣州 510245）

云網融合/云網一體已成為IP承載網的主要發展方向。作為最貼近用戶的承載網，IP城域網擁有豐富的業務特性，是網絡云化轉型的重要試驗田。面向多元接入、流量流向變化等網絡承載需求，IP城域網從傳統南北向樹狀架構向城域Spine-Leaf架構轉型，以適應固移融合、多云接入等新型業務場景。基于云化IP城域網演進，對vBRAS池化部署方案及關鍵技術進行詳細剖析，為vBRAS規模商用部署和技術演進提供技術參考。

云化IP城域網；vBRAS；池化

0 引言

網絡設備技術迭代更替源自業務需求與技術演進雙驅動。自軟件定義網絡（software defined network，SDN）、網絡功能虛擬化（network functions virtualization，NFV）[1]技術被提出以來，業界一直積極探索這些技術在運營商網絡中的應用[2]，期望通過軟硬件解耦、轉控分離技術實現網元的云化部署[3]，以滿足5G與云時代云增強現實（augment reality，AR）/虛擬現實（virtual reality，VR）、增值云服務等新型業務的靈活、快速部署需求[4]。其中，虛擬化寬帶遠程接入服務器（virtual broadband remote access server，vBRAS）作為IP網絡云化的代表，采用通用硬件與虛擬化網絡功能（virtualized network function，VNF）[5]的方式實現傳統多業務網關（multi-service edge，MSE）硬件設備能力，受到業界的廣泛關注[6]。其中，MSE又稱為寬帶遠程接入服務器（broadband remote access server，BRAS）。習慣上，專用設備常稱作MSE，而虛擬化后稱作vBRAS較多，實際上vBRAS與vMSE并無差別，本文采用業界慣用叫法。

隨著云網融合[7]的發展及算力的下沉[8]，云網邊端融合成為未來網絡演進趨勢[9]，同時將催生更加豐富的邊緣云網業務生態。MSE采用虛擬化方式實現成為云網融合的發展方向，以滿足網元功能靈活擴展、業務隨需部署的需求，vBRAS設備技術演進也成為業界的探索重點。

從網絡部署方式來看，傳統城域網主要采用扁平化樹狀三層組網架構[10]，包含接入層、接入控制層與核心層，如圖1所示。其中，MSE設備作為用戶接入錨點[11]，采用分布式部署方式，受限于部署位置及納管范圍，MSE設備存在資源利用率低、升級驅動力不足、新技術部署困難等問題，一方面阻礙了設備技術的發展，另一方面導致建網成本居高不下。

圖1 傳統城域網架構

為解決傳統城域網中MSE分布式部署帶來的痛點問題，滿足未來新型業務發展需求，業界開展了一系列城域網組網架構和vBRAS關鍵技術研究，其中以云化IP城域網為代表的技術創新得到運營商、客戶、供應商等的認可。其中，云IP城域網是以云中心，以固移融合等理念構建的新型城域網架構，業界常稱其為新型城域網。云化IP城域網組網架構如圖2所示。其中，A指移動承載網的接入設備，Spine指城域脊設備，Leaf指城域葉設備，Super Spine指超級脊設備。還包括網關（gateway，GW）、數據中心葉設備（data center-leaf，DC-Leaf）、業務葉設備（service-leaf，S-Leaf）、接入葉設備（access-leaf，A-Leaf）、光線路終端（optical line terminal，OLT）以及客戶處所設備（customer premise equipment，CPE）。

圖2 云化IP城域網組網架構

云化IP城域網采用Spine-Leaf組網架構，即城域POD（point of delivery）模塊化架構，可滿足POD隨用戶/業務規模靈活擴展的需求。為了滿足固網和移動業務快速入云需求，通過部署EVPN over SRv6技術[12]，可實現各類業務的融合承載與差異化保障。云化IP城域網組網架構為實現云網融合、云網一體化提供了網絡與技術基礎。

區別于傳統MSE串行接入城域網方式，云化IP城域網部署轉控分離vBRAS，采用云化和集約化方式部署于通信技術（communication technology，CT）云資源池[13]中，以實現網業分離，同時提升了設備資源利用率，降低了建網成本。由于純vBRAS存在轉發性能受限等問題，因此，云化IP城域網采用vBRAS池化技術，融合了虛擬化網元與傳統專用網元的優勢，憑借其控制面云化、轉發面池化的架構，提供了與專用硬件一致的網元轉發性能、可靠性等能力，同時提升了網絡功能部署靈活性及用戶/業務故障保護能力，具備資源利用率高、新功能部署靈活、故障保護能力強等特點，得到產業鏈認可。

1 vBRAS池化部署

vBRAS是云化IP城域網實現網業分離的核心網元，同時也是網絡云化的主要方向。本節就vBRAS技術架構、池化部署方案及關鍵技術進行探討，以更好地適配云化IP城域網演進。

1.1 vBRAS技術架構

面向網絡云化演進及網絡資源靈活部署需求，vBRAS技術架構需滿足功能解耦、轉控分離、與硬件無關等設計要求。vBRAS作為業務控制網元，需實現控制、轉發與管理等功能，且各個功能模塊可拆分，以實現功能靈活部署及資源彈性調度。同時，基于NFV架構實現時，vBRAS必須支持控制面與轉發面功能分層解耦，以實現業務集中管理，提升業務部署效率及靈活性。

基于網元技術結構，vBRAS技術架構包含控制面（control plane，CP）和轉發面（user plane，UP）兩部分[14]，vBRAS典型架構如圖3所示。其中，vBRAS-CP采用x86虛擬化方式部署，實現用戶/業務管理等功能，功能/性能迭代快速，且性能可隨資源池實現彈性伸縮；vBRAS-UP主要負責流量轉發與業務策略執行等功能，業界針對其形態進行了多方向的研究和探索。

圖3 vBRAS典型架構

從硬件構件、業務適用場景等角度切入，vBRAS-UP主要可分為專用網元（vBRAS-pUP，以下簡稱pUP）、虛擬化網元（vBRAS-vUP，以下簡稱vUP）、白盒設備等主要形態。

（1）專用網元

專用網元采用傳統MSE設備類型，主要用于承載公眾用戶互聯網接入、互聯網電視（Internet protocol television，IPTV）視頻等業務，滿足高流量高通量及高效快速轉發需求。其中包括，網元管理系統（element manager system，EMS），動態主機配置協議服務器（dynamic host configuration protocol server，DHCP server），認證、授權與計費服務器（authentication, authorization, accounting server，AAA server），管理與編排（management and orchestration，MANO）。

（2）虛擬化網元

虛擬化網元采用通用服務器設備，主要用于承載ITMS（integrated terminal management system，終端綜合管理系統）、互聯網電話（voice over Internet protocol，VoIP）等對轉發性能要求較低的大會話小流量業務，實現用戶會話從專用網元卸載，降低設備成本。

（3）白盒設備

白盒設備重點考慮轉發模式可編程，驅動軟硬件解耦，是未來網元設備演進的一個重要方向，受到了產業界的推崇。現階段白盒設備主要采用L2/L3通信芯片，可提供給客戶靈活定制轉發模式的代碼字段較少，且芯片對PPPoE（point-to-point protocol over Ethernet）/IPoE（Internet protocol over Ethernet）支持不足，導致目前白盒設備無法提供PPPoE等有狀態業務的管理能力。

基于上述特點，當前云化IP城域網中部署的vBRAS-UP主要包含pUP和vUP兩類，依據網元的特性，分別承載不同類型的業務，最大化設備利用率，降低建網成本。vUP基于虛擬化技術云化部署，具備新功能快速加載、各功能組件/虛機冗余保護能力。同時，vUP，具有部署靈活性的特點，可基于業務量需求自動擴縮容，并基于CP的用戶集約化管控，實現vUP出現故障時的快速切換，從而提升業務可靠性。pUP則主要采用池化部署方式，實現pUP接口、板卡、設備等出現故障時的用戶無感知切換。

1.2 vBRAS池化部署方案

云化IP城域網采用基于Spine-Leaf的城域POD模塊化架構，Spine、Leaf設備主要實現流量匯聚及高效轉發，vBRAS各網元組件旁掛于城域POD架構，可實現用戶的集中式管控、功能的靈活加載，從而實現網業分離。在云化IP城域網實踐中，vBRAS采用轉控分離方式部署于CT云，轉控分離vBRAS部署模型如圖4所示。CP部署于城域核心數據中心（data center，DC），具備城域內多個POD的用戶接入能力，從而實現城域內全部用戶的集中式接入與管理，提升并發性能和集約化管理能力；vUP與CP同池部署，可降低內部交互的復雜度，提升系統可靠性，降低云基礎設施的建設成本；pUP采用池化方式部署[15]，受限于pUP設備的用戶接入能力，通常以城域POD為單位進行節點設置，負責本POD范圍內用戶的接入與流量轉發。pUP池可基于業務量及覆蓋范圍靈活選擇部署于核心DC或邊緣DC，為用戶提供流量轉發與業務策略等服務。

vBRAS池化主要指pUP轉發面池化部署，在提供高性能轉發能力的同時，滿足業務高可靠需求，vBRAS池化部署架構如圖5所示。pUP轉發池通過S-Leaf與城域Spine相連，與CP分離部署，邏輯上IP可達。

圖4 轉控分離vBRAS部署模型

圖5 vBRAS池化部署架構

vBRAS池化部署方案具有如下特點。

●擴展靈活：采用集中式控制面、分布式轉發面，通過vBRAS-CP納管城域內多個pUP轉發池，可實現CP和pUP彈性擴展。

●可靠性高：pUP轉發池內部署了+1備份技術，以備份組方式進行用戶管理，支持在端口、板卡、設備等故障情況下的用戶無感知切換（即將用戶從故障pUP切換到備份組內的其他pUP設備上承載，切換過程用戶不掉線），實現用戶級冗余備份。

●資源利用率高：將用戶分配在同一個pUP池的不同設備（即同一備份組的不同設備）上進行負載分擔，提升了資源利用率。

1.3 vBRAS池化關鍵技術

資源利用率提升和可靠性提升一直是通信設備追求的目標，但傳統網元技術受限于內部架構，很難達到兩全其美。vBRAS池化應運而生，在提高pUP上用戶接入可靠性的同時提升設備資源的利用率。其關鍵技術包括用戶接入管理技術、故障保護技術。

（1）用戶接入管理技術

pUP池基于用戶備份組實現故障保護功能。一個備份組包含不同pUP設備上的一組用戶側端口，用戶在同一備份組內的不同pUP設備上分擔負載。下面以PPPoE接入流程為例，介紹基于pUP池的用戶接入負載分擔實現方法。

在vBRAS池化場景中，PPPoE接入過程協議流程不變，但在CP上增加了pUP選擇功能，即基于備份組內各pUP設備的用戶承載規模，結合負載分擔算法選擇其中一個pUP接入。PPPoE用戶接入組網示意圖如圖6所示，pUP選擇流程如下。

圖6 PPPoE用戶接入組網示意圖

步驟1 PPPoE用戶撥號發送PPPoE活動發現初始化（PPPoE active discovery initation，PADI）廣播報文，被pUP轉發池中的所有pUP設備接收并通過CP與UP間的標準接口上傳至CP面進行處理。

步驟2 CP根據哈希算法選擇用戶接入的pUP（如圖6中的pUP3），并回復PPPoE活動發現應答（PPPoE active discovery offer，PADO）單播報文至此pUP。當CP收到新用戶接入請求時，基于各pUP上已接入的用戶數進行哈希運算，從而實現池內各pUP設備上用戶的負載均衡。

步驟3 后續用戶接入、認證與地址分配流程與現有MSE接入流程相同。

（2）故障保護技術

vBRAS池基于設備接口組形成備份組，提供基于接口組和備份組的兩級用戶故障保護能力。若pUP轉發池中的某pUP出現設備故障，則基于備份組，將此pUP上承載的用戶均勻切換至池內其他pUP設備承載，實現用戶無感知的故障保護功能。

接口組內通常包含多個接口，主要根據接入的用戶規模來確定。接口組內采用鏈路捆綁方式，當某一物理接口/鏈路出現故障時，相關業務流量可實時切換至接口組內其他接口承載，從而實現接口級的故障保護。

備份組通常基于池內各pUP設備的接口組進行配置，同一備份組內每臺pUP設備的接口組規模（即接口組內的接口類型和數量）通常一致，在實現設備間用戶負載均衡的同時，實現資源利用率最優。當備份組內某一接口組出現故障時，CP將此接口組上承載的用戶均勻切換至備份組內其他接口組承載，此過程以用戶地址段為粒度進行切換。

下面以4個pUP池化系統為例，介紹基于備份組的用戶故障保護實現方法與流程，pUP基于接口組和備份組的故障保護方案示意圖如圖7所示。其中，備份組1中包含pUP1～pUP4設備的接口組1，每臺設備的接口組1中均包含3個用戶數基本相同的用戶組（對應CP分配的3個用戶接入地址段）。

圖7 pUP基于接口組和備份組的故障保護方案示意圖

步驟1 當pUP1設備、板卡故障導致接口組1出現故障時，CP通過下發用戶表項方式，將接口組1上承載的用戶均勻切換至pUP2～PUP4的接口組1中。例如，將用戶組1、用戶組2、用戶組3分別切換到pUP4、pUP3、pUP2，從而保證切換后用戶在pUP2～pUP4上也負載均衡。

步驟2 pUP2～pUP4對外發布切換用戶的路由，將用戶流量引導到本pUP。

基于上述過程，即可實現在pUP池內用戶的無感知故障切換，從而提高業務可靠性。另外，pUP池的故障保護不僅涉及用戶接入線卡、端口，還包括運營商級NAT（carrier-grade NAT，CGN）板卡。基于故障保護技術，將CGN板卡與接入用戶的線卡、端口相關聯，當CGN板卡出現故障時，同樣可實現用戶在線無感知切換。

2 vBRAS技術演進

vBRAS池化系統已大規模商用部署，具備用戶集約化管控、高可靠等能力，同時降低了建網成本。隨著云原生技術的發展，vBRAS向虛擬化功能微服務化、pUP能力增強、用戶/業務功能增強等方向演進。

（1）虛擬化功能微服務化

隨著云網融合的進一步深化，以云原生方式實現CT云部署是大勢所趨。目前，vBRAS-CP、vUP采用虛擬機實現，業界在vBRAS實現上通常將CP劃分為3～4種類型虛機，vUP劃分為2～3種類型虛機，甚至采用單虛擬機承載。此方式存在資源劃分顆粒度大、部署成本較高、新功能開發周期長等問題。為進一步提升vBRAS功能部署靈活性，進一步降低vBRAS-CP、vUP部署成本，vBRAS-CP、vUP功能將向微服務化方向演進。

（2）pUP能力增強

目前，pUP設備采用傳統MSE設備類型，大多為400 Gbit/s平臺，整機接口容量達6.4 Tbit/s或7.2 Tbit/s。而設備、板卡的會話（session）能力不足導致接入用戶規模小，造成帶寬資源浪費問題。后續應推動產業鏈pUP設備會話能力提升，進一步提升設備效能。

（3）用戶/業務功能增強

轉控分離vBRAS基于CT云部署，除了實現傳統MSE設備功能，還需為用戶/業務提供增強服務能力，圍繞用戶打造增值服務功能圈。在用戶接入功能增強方面，vBRAS不僅面向用戶提供多種接入方式的寬帶用戶接入與管理功能，還可充當虛擬客戶處所設備（virtual customer premise equipment，vCPE）、虛擬提供商邊緣（virtual provider edge，vPE）設備與虛擬L2TP網絡服務器（virtual L2TP network server，vLNS）等角色，實現接入用戶的服務能力增強。在業務功能增強方面，vBRAS不僅可以提供寬帶業務、多播業務與虛擬專用網（virtual private network，VPN）業務，還可提供虛擬網絡地址轉換（virtual network address translation，vNAT）、虛擬深度包檢測（virtual deep packet inspection，vDPI）及虛擬防火墻（virtual fire wall，vFW）等增值業務功能，面向2B/2C/2H場景靈活定制業務鏈。

3 結束語

vBRAS池化實現方案代表IT/CT新技術融合，且更加契合現階段云網融合發展方向，在云化IP城域網中得到各方認可，解決了現網分布式部署方式下資源利用率低、設備演進慢、部署成本高等問題，實現網絡架構彈性擴展、用戶集約化管理和業務高可靠性。

與此同時，在入網先入云理念的驅動下，vBRAS池化符合云下沉趨勢，受到產業界的推崇。后續基于vBRAS快速演進，可持續打造vBRAS能力圈。現階段的vBRAS池化研究與實踐成果為后續研究提供了堅實的技術基礎。

[1] 穆琙博, 柴瑤琳. SDN/NFV技術演進趨勢分析[J]. 信息通信技術與政策, 2021, 47(3): 12-18.

MU Y B, CHAI Y L. Research on developments of SDN/NFV technologies[J]. Information and Communications Technology and Policy, 2021, 47(3): 12-18.

[2] 余發科. SDN技術在運營商IP承載網中的應用實踐[J]. 軟件, 2021, 42(11): 160-162.

YU F K. Application practice of SDN technology in operator’s IP bearer network[J]. Computer engineering & Software, 2021, 42(11): 160-162.

[3] 許文旭. 基于SDN/NFV技術的IP城域網網絡重構研究[J].中國新通信, 2019, 21(19): 82-83.XU W X. Research on the network reconstruction of IP MAN based on SDN/NFV[J]. China New Telecommunications, 2019, 21(19): 82-83.

[4] 路宇浩, 莊性華, 劉艷萍, 等. 5G背景下運營商云網邊融合發展[J]. 通信企業管理, 2020(12): 62-65.

LU Y H, ZHUANG X H, LIU Y P, et al. Developing of operators’ cloud-network-edge integration under the background of 5G[J]. C-Enterprise Management, 2020(12): 62-65.

[5] 蔣銘, 于益俊. NFV與VNF架構演進與網絡架構未來[J]. 信息通信技術, 2016, 10(1): 45-51.

JIANG M, YU Y J. The architecture evolution of NFV/VNF and the future of network architecture[J]. Information and Communication Technologies, 2016, 10(1): 45-51.

[6] 段朝輝. vBRAS在運營商承載網中的應用[J]. 通訊世界, 2020, 27(6): 107, 110.

DUAN Z H. Application of vBRAS in operator’s bearer network[J]. Telecom World, 2020, 27(6): 107, 110.

[7] 云晴. 運營商云服務優勢在于云網融合[J]. 通信世界, 2022(18): 8.

YUN Q. The advantage of operators’ cloud services lies in cloud and network convergence[J]. Communications World, 2022(18): 8.

[8] 閆巖, 姜海洋. 面向算力下沉的新型城域網一體化演進的研究[J]. 電信工程技術與標準化, 2022, 35(8): 80-82, 92.

YAN Y, JIANG H Y. Research on integrated construction scheme of new metropolitan area network for ability subsidence[J]. Telecom Engineering Technics and Standardization, 2022, 35(8): 80-82, 92.

[9] 中國信息通信研究院, 寬帶發展聯盟. 中國寬帶發展白皮書[S]. 2021.CAICT, Broadband Development Alliance. The white paper on development of China broadband[S]. 2021.

[10] 蔡康, 唐宏, 朱永慶. 超寬帶城域網架構設計思路和關鍵技術淺析[J]. 電信科學, 2012, 28(1): 5-9.

CAI K, TANG H, ZHU Y Q. Architecture design and analysis of key technologies of the ultra-broadband IP MAN[J]. Telecommunications Science, 2012, 28(1): 5-9.

[11] 陳華南, 朱永慶, 阮科. 城域網MSE關鍵技術及應用研究[J]. 電信科學, 2013, 29(S1): 271-275.

CHEN H N, ZHU Y Q, RUAN K. Research of the key technologies and applications of MSE in IP MAN[J]. Telecommunications Science, 2013, 29(S1): 271-275.

[12] 李振斌, 趙鋒.“IPv6+”技術標準體系[J]. 電信科學, 2020, 36(8): 11-21.

LI Z B, ZHAO F. Standard system of “IPv6+” technologies[J]. Telecommunications Science, 2020, 36(8): 11-21.

[13] 呂鵬, 盧超群, 謝磊, 等. 基于“核心+邊緣”架構的CT、IT統一云資源池超前布局[J]. 電信技術, 2019(3): 45-48.

LYU P, LU C Q, XIE L, et al. Advanced layout of CT and IT unified cloud resource pools based on “core + edge” architecture[J]. Telecommunications Technology, 2019(3): 45-48.

[14] ITU-T. Signal ling requirements for the separation of controlplane and user plane in vBNG (broadband network gateway):ITU-T Q.3719[S]. 2019.

[15] ITU-T. Signalling requirements for cloud-based control plane and pooled user plane of vBNG (broadband network gateway): ITU-T, Q.BNG-PUP[S]. 2022.

Research on deployment of pooled vBRAS in cloud IP metropolitan area network

GONG Xia1, CHEN Huanan2, ZHU Yongqing1, YUAN Shizhang1, YANG Bing1

1. Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China 2. China Telecom Cloud Technology Co., Ltd., Guangzhou 510245, China

Cloud-network integration was the main development direction of IP carrier networks. As the closest network to users, IP MAN has rich service features and it is also an important test field for network cloudification. Facing the carrier requirements of multiple access and the changes of traffic direction, IP MAN was transformed from the traditional north-south tree architecture to the Spine-Leaf architecture to meet the service requirements, such as fixed-mobile convergence and multi-cloud access scenarios. Based on the evolution of the cloud IP MAN, the deployment scheme of pooled vBRAS and key technologies were introduced, and technical reference for the large-scale commercial deployment and technology evolution of vBRAS were provided.

cloud IP MAN, vBRAS, pooled

TN919

A

10.11959/j.issn.1000–0801.2023016

2022–09–26；

2023–01–09

龔霞（1991– ），女，現就職于中國電信股份有限公司研究院，主要研究方向為IP網絡新技術、網絡虛擬化技術和云網融合技術。

陳華南（1981– ），男，現就職于中國電信天翼云科技有限公司，主要研究方向為云網絡技術。

朱永慶（1974– ），男，中國電信股份有限公司研究院正高級工程師、IP網絡技術研究中心總監，主要研究方向為IP網絡新技術、云網融合技術及5G技術。

袁世章（1975– ），男，現就職于中國電信股份有限公司研究院，主要研究方向為IP網絡規劃、新技術、云網融合技術等。

楊冰（1994– ），男，現就職于中國電信股份有限公司研究院，主要研究方向為IP網絡新技術、網絡虛擬化技術等。