跨DC的虛擬化核心網容災體系研究

韋國銳，陳立棟，于秋思，楊 曉（中國聯通廣東分公司，廣東廣州510000）

1 概述

近年來，基于自建云網絡部署虛擬化電信核心網已經成為當前進行4G核心網以及后續5G核心網部署的必然選擇。2015年2月中國移動提出了NovoNet計劃作為其未來網絡演進的基礎，2015年9月中國聯通提出了基于SDN、NFV和云技術的網絡重構基礎架構CubeNet2.0，2016年6月中國電信提出了CTNet2025，為未來10年網絡重構制定了相關規劃。各家電信運營商的網絡重構計劃都是基于NFV和云化網絡。以CUBE-Net 2.0例，其核心技術是SDN、NFV和Cloud，它以超寬網絡和數據中心為載體，通過云化的服務平面，實現網絡集約化運營，適用于多種應用服務場景。

從3GPP協議的發展來看，移動網絡從Rel13的4G核心網，演進到Rel14的EPC轉控分離，再到Rel15的5G NAS體系架構，最終演進到Rel16的5G SA體系架構，從Rel14轉控分離開始，移動網絡基本都是以通信云（DC）為基礎，而目前可選的災備方案中，池組化災備已經成為大部分運營商及廠家的選擇。以某廠家在通信云上的虛擬化移動分組網為例，采用了2套MME組成一個容災池組，實現多DC間MME的主備容災部署。

池組化容災模式是在2個不同DC上分別部署MME網元，一個為主網元，另一個是備網元（冷備方式工作）。主備MME對周邊網元發布高低優先級不同的相同業務路由，由于同一時刻只有發布高優先級路由的網元可以和周邊網元互通，低優先級路由不會進入路由表，且主備MME業務邏輯地址相同，因此相對于周邊網元主備MME整體呈現為一個邏輯網元。

2個DC間的MME通過協商確定各自的主備身份，并基于多通道（容災控制通道、容災業務通道）的檢測結果進行故障仲裁，主網元故障后，路由收斂到備網元，業務在備網元上重新接入。

在虛擬機出現故障時，雖然上述容災方案可以將用戶業務倒換至冷備DC中的虛擬核心網網元上，但還是存在以下問題。

a）用戶業務被中斷后會不斷嘗試在冷備核心網網元中重新建立連接狀態。

b）冷備DC中也需要建立一套虛擬化核心網網元，并保持對外連接，在計算資源、存儲資源、鏈路資源、動力等方面存在一定的浪費。

c）在5G時代，隨著網絡切片技術的應用普及，同一個通信云內的VNF網元數量會增多，網絡環境變得更加復雜，每個虛擬網元承載的業務量會減少，同時當前標準定義的eMBB、uRLLC、mIoT 3類切片將承載在不同的虛擬網元上，與現有網絡承載模式不同。如果保持現有的池組化容災體系，會增加網絡配置復雜度，降低管理效率。

在NFV架構下，如果計算節點同時存儲用戶的狀態數據（即用戶上下文信息），那么在刪除計算節點之前需要將用戶上下文信息（包含IMSI、APN、QoS、速率、PDP類型、PDP地址等）遷移到其他節點上，否則會造成業務損失；同時在新增計算節點時需要將用戶上下文信息遷移過去，否則新增節點將不具備處理在線用戶數據業務的功能。

2 跨DC容災系統設計

為了實現“彈性、伸縮、業務快速遷移”的網絡特性，基于以下原則重新設計NFV系統：前端無狀態、橫向可擴展、單點失效不影響業務，分離業務處理單元和存儲節點。計算節點不再保存用戶狀態信息，只負責對信令進行處理。業務處理單元在處理用戶消息（信令）時需要從數據庫中獲取用戶信息，再結合用戶的狀態對消息進行處理。這也就是將一個傳統網元拆成多個虛擬網絡功能組件（VNFC——Virtualized Network FunctionComponent），具體的業務處理結構如圖1所示。

圖1 業務處理結構

基于上述業務處理結構，虛擬機可以在網絡中不受限遷移，這也就實現了業務的靈活變更。本文采用圖2的方案對移動核心網虛擬網元進行業務無損容災遷移，方案采用VxLAN和EVPN技術對虛擬網元中的計算資源進行大二層容災遷移；并基于原有SAN存儲模式的異地容災系統，采用實時異步復制數據模式，在同一個地（市）的不同DC間進行容災。

2.1 虛擬機（VM）的跨DC遷移

虛擬機遷移，顧名思義，就是將虛擬機從一個物理機遷移到另一個物理機，但是要求在遷移過程中業務不能中斷。要做到這一點，需要保證虛擬機遷移前后，其IP地址、MAC地址等參數維持不變。這就決定了，虛擬機遷移必須發生在一個二層域中。所以虛擬機的跨DC遷移就需要在DC之間建立一個大二層的連接通道，基于現有技術和可維護性，本文采用Vx-LAN和EVPN技術在DC間建立一個大二層連接通道，以實現虛擬機的跨DC遷移。

2.1.1 VxLAN和EVPN技術

VxLAN是由IETF定義的NVO3（Network Virtualization over Layer 3）標準技術之一，采用L2 over L4（MAC-in-UDP）的報文封裝模式，將二層報文用三層協議進行封裝，可實現二層網絡在三層范圍內進行擴展，同時滿足數據中心大二層虛擬遷移和多租戶的需求。

圖2 業務無損容災遷移網絡結構

最初的VxLAN方案（RFC7348）中沒有定義控制平面，是通過手工配置VxLAN隧道，然后用流量泛洪的方式進行主機地址的學習。這種方式實現上較為簡單，但是會導致網絡中存在很多泛洪流量，網絡擴展的難度較大。

為了解決上述問題，VxLAN引入了EVPN（Ethernet VPN）作為其控制平面。EVPN參考了BGP/MPLS IP VPN的機制，通過擴展BGP協議定義了幾種BGP EVPN路由，通過在網絡中發布路由來實現VTEP的自動發現、主機地址學習。

采用EVPN作為控制平面具有以下一些優勢。

a）可實現VTEP自動發現、VxLAN隧道自動建立，從而降低網絡部署、擴展的難度。

b）EVPN可以同時發布二層MAC和三層路由信息。

c）可以減少網絡中泛洪流量。

2.1.2 虛擬機跨DC遷移的網絡設計

大二層的DCI連接建立時，VM1和VM2間的通信采用三段式VxLAN的方案，在數據中心A和數據中心B內部分別創建VxLAN隧道，在數據中心的出口路由器（Transit Leaf）間也創建VxLAN隧道。同時在數據中心內部和跨數據中心互聯鏈路上分別配置BGPEVPN，具體如下。

a）控制平面：Server Leaf 1在學習到VM1的MAC地址后，生成BGP EVPN路由發送給出口路由器1（Transit Leaf 1）；出口路由器1收到BGP EVPN路由后，先交叉到本地EVPN實例中，并在EVPN實例中生成VM1的MAC表項，再通過BGP EVPN方式將VM1的MAC地址更新發送給出口路由器2（Transit Leaf 2）；出口路由器2再廣播至Server Leaf 2，在Server Leaf 2中形成VM1的MAC地址項。同時，VM2的MAC地址經由相同的方式轉發到Server Leaf 1，這樣VM1和VM2之間就建立了可以直接進行二層數據轉發的路徑。

b）數據轉發平面：通過圖3所示的三段式VxLAN隧道，系統利用控制平面生成的MAC地址轉發表，將數據逐段轉發至對端VM。在Transit Leaf 1和Transit Leaf 2間建立端到端的VxLAN隧道時，需要實現Vx-LAN Mapping功能，并進行一次VNI的轉換。

2.2 基于SAN存儲模式的異地容災系統設計

虛擬機通過存儲區域網絡（SAN——Storage Aera Network）與存儲設備相連。隨著以太網技術的發展，特別是10GE網絡的普及，以太網的性能已經能滿足存儲的要求。當虛擬機有數據存取的需求時，數據可以通過IP SAN網絡高速傳輸?；赟AN存儲模式的異地容災系統如圖4所示，其采用異步復制的方式同步主備數據中心的數據。各個設備廠家均有成熟的方案，在此不再贅述。

圖3 數據轉發平面

圖4 容災備份結構

3 結束語

傳統的容災方案已經無法適應不同業務的質量需求，而且在主備網元切換過程中用戶業務必須中斷。而本文中的跨DC的虛擬化核心網容災體系可以利用現有技術，在不同的通信云之間，近乎無損地遷移虛擬化網元，新的容災體系能更好地適應通信云中虛擬機常態化遷移的特點，增加了數據中心的計算密度，可以按需啟用數據中心服務器和存儲資源，減少了人工管理的成本，提升了用戶業務感知。