5G 電信云全局流量調度新方法

張學良 王 穎

（1、南京中興軟件有限責任公司，江蘇 南京210000 2、南京理工大學紫金學院，江蘇 南京210000）

隨著NFV 技術不斷發展，建網成本快速下降，國內外運營商逐漸使用NFV 架構來替換傳統設備部署在電信云數據中心上。國內三大運營商在國家新基建的號召下，加快將5G 和4G相關的核心網部署在電信云上。電信云上承載的是電信基礎設施的網元。隨著5G、數字化和智能化的深入，工業物聯網的蓬勃發展，在電信云中會產生海量數據。不僅對通信基礎設施網元的可靠性和穩定性要求更高；同時在網元中會突發產生超大的流量，巨大流量產生具有隨機性。為了面對這些挑戰，大型電信云數據中心不僅要有穩定的網絡結構，還要能基于端到端鏈路的擁塞情況來調度主機，從而提升電信云中網絡設備效率和可靠性。本文提出一種電信云全局流量自動調度新方法，嘗試解決電信云數據中心基于傳統VLAN 組網下突發的流量擁塞問題。

1 系統架構設計

NFV 虛擬化后，電信云中硬件、云平臺和VNF 完全解耦，VNF 充分利用云平臺的快速遷移和重生等云化重要功能。在電信云中部署處理媒體流、信令和網管的NFV 網元流量具有隨機性。同時數據中心的南北向和東西向流量中，鏈路上的中間節點多，在鏈路上的某個節點當吞吐量超過帶寬時就會引起報文傳輸的較大時延，甚至是丟棄。如果能夠從全局角度出發感知到端到端鏈路的流量過大，自動遷移虛機到其它計算節點上，從而解決VNF 網元鏈路擁塞問題。

參考ETSI 的NFV 架構[1]，云平臺和MANO 中增加組件來感知網絡鏈路以及執行VNF 虛機調度組件（圖1）。

網絡設備：電信云數據中心的交換機與路由器設備，具有典型的三層網絡架構，TOR、EOR 和Core 三層架構。TOR 交換機與服務器相連，負責實現將服務器上的流量進行二層交換以及鏈路綁定功能；EOR 負責匯聚TOR 轉發過來的流量，將流量發送到Core 角色上。Core 角色采用路由器，與VNF 網元建立三層連接，還與數據中心外部的CE 建立通信，保證運營商的核心網網元互相連通，為用戶提供網絡服務。

服務器：高性能的硬件服務器，具有高速和穩定的網卡。作為計算型服務器，具有3 對網卡，分別接入到管理、存儲和業務交換機。作為存儲型服務器，通常配置2 對網卡，分別接入到管理和存儲交換機中。服務器與網絡設備之間采用Co-Ne 接口通信。

云平臺：在硬件服務器上安裝云平臺系統，為VNF 網元提供虛擬的計算，存儲和網絡資源。VNF 網元部署在云平臺上。在電信云中，國內常用的有中興、華為和愛立信云計算平臺。這些云平臺都采用開源的OpenStack 為架構開發而來，系統穩定和可靠，滿足電信級的高可靠性和高穩定性。

網絡感知控制器：作為新引入的組件，它與云平臺集成在一起，主要作用是構建電信云中端到端全局的網絡拓撲以及鏈路的關系，同時感知每條鏈路上的擁塞，對超出閥值的鏈路上報給決策器。

決策器：MANO 中新增一個組件，決策感知器上報的鏈路擁塞閥值是否執行VNF 虛機調度。決策器根據VNF 續集當前業務狀態以及云平臺資源以及全局流量狀態來作為決策的依據。當決策器決定遷移主機時可以將主機前往鏈路空閑的計算節點。決策器借用Nf-Vi 接口與云平臺進行通信。

VNF：虛擬化網元，在5G 核心網中可以為AMF、SMF、UDM以及PCF 等網元。在4G 網元中，包含PGW 和SGW 等網元。VNF 通過Vn-Fm 接口與MANO 的決策器通信，讓決策器能夠感知到VNF 當前業務狀態。業務運行狀態以及指標能夠及時傳送到MANO 的決策器中。

2 網絡感知器設計

網絡感知器是整個全局流量調度的核心組件之一，通過采用不同的技術與方法，構建出全局所有網元虛機中每個網卡的端到端鏈路流量。監測每個網卡的東西向流量或者南北向流量，通過對每條鏈路的流量進行特征分析，及時發現有較大增加的鏈路。接下來詳細描述感知器的重要業務軟件流程。

2.1 構造網絡拓撲

自動構造網元虛機到匯聚層交換機EOR 之間端到端全局鏈路拓撲集，該拓撲接口包含三個層次，如圖2 所示。

虛機到計算節點層：每個VNF 網元通過MANO 的編排和部署功能，在計算節點上創建不同類型的虛機，在虛機里面運行不同的軟件包，實現VNF 的業務功能。在計算節點上有虛擬的端口與每個VNF 虛機的虛擬網卡相連接。通常在計算節點上有OVS、OVS+DPDK 以及SRIOV 類型的虛擬端口與虛機的網卡互相通信。不管采用哪種方式，計算節點都有對應的方法來查看每個虛機的網卡與計算節點連接關系。通過Openstack 云平臺提供的命令以及OVS 組件的CLI 就能確認虛機與OVS 的拓撲信息。感知器及時收集各個計算節點上的虛擬端口狀態和流量，清晰構造出VNF 網元所有虛擬網卡流量以及連接信息。

計算節點到接入層：計算節點上安裝Linux 操作系統，在Linux 操作系統上安裝LLDP 軟件包，從而實現通過LLDP 協議構造計算節點與接入層交換機的拓撲，確定計算節點與TOR 端口之間的連接信息。到此能夠夠構建出VNF 虛機網卡、OVS 以及TOR 的鏈路結構信息。

接入層到匯聚層：接口層與匯聚層都屬于交換機，LLDP 作為交換機的基礎功能，默認都是打開的。通過命令確認打開LLDP 功能后，TOR 和EOR 的端口連接關系通過查看LLDP 拓撲信息提取出連接關系。

最后將三個層次的端口拓撲信息連接起來就能構造出整個電信云DC 的全局鏈路拓撲集合。

2.2 拓撲節點流量測量

虛機網卡測量：VNF 網元虛擬化后，虛機內部采用linux 系統，通過Linux 查看網卡的流量統計，就能收集到網卡的流量數值。網卡的帶寬由業務能力的特性來估算一個數值。

計算節點測量：在計算節點上通過OVS 命令可以查詢到每個虛機網卡與計算節點上的OVS 的流量。在計算節點上直接采用開源的OVS 組件，性能很差，不能夠滿足電信級別高可靠和高穩定性要求。業界主流的虛擬化加速技術在OVS 上增加DPDK 組件來加快報文的轉發，從而使得虛擬機的流量集合能夠達到物理網卡的性能。另外，有的運營商會采用SRIOV 技術來加速報文的轉發。這些虛擬化加速技術也都有命令可以采集中流量信息。

TOR 和EOR 測量：TOR 和EOR 屬于傳統的交換機，有命令可以查詢到每個端口的流量。既可以采用SSH 登入、SNMP 協議或者NETCONF 協議來實現端口的流量統計。本文建議采用SNMPv3 和SSH 相結合方式來獲取交換機端口流量。兩者能夠更加安全進行報文交互以及能夠獲取設備的運行狀態以及流量統計。

測量標定：通過設置紅色、黃色和綠色閥值與當前節點端口流量比較，標記鏈路狀態為紅色，黃色和綠色。超過帶寬80%定位紅色閥值，超過帶寬60%標記為黃色閥值，小于帶寬60%的流量標記為綠色閥值。

圖2 電信云全局鏈路拓撲集

2.3 篩選算法

當VNF 虛機流通鏈路上各個節點綠色時，保持鏈路拓撲不變。

當某個節點出現黃色或紅色，選擇上游節點綠色端口以及相關的綠色下聯節點鏈路。

當前某個節點上級節點沒有綠色端口，保留與上級節點的鏈路，再次篩選同節點的是否存在綠色端口。存在的話，選擇綠色端口。如果不存在綠色端口，此時整個DC 處于過負荷運轉，強行調度為可能引起網絡崩潰，不做處理。

最后，如果篩選算法計算出調度目標的計算節點以及當前鏈路擁塞的VNF 虛機名稱，將這些信息上報到MANO 中。MANO 收到這些信息后，及時將信息傳遞到決策器。決策器通過Vn-Fm 接口向流量擁塞的VNF 虛機發起業務感知，收集VNF虛機當前的業務性能統計。決策器優先將VNF 網元擴容到新的空閑計算節點上，并將流量及時分擔到新的計算節點上。如果業務不支持動態擴容業務虛機數量，還能通過業務虛機熱遷移將流量主機遷移到新的空閑計算節點上，從而能夠充分利用NFV 虛擬化特性來自主調度虛機里面的流量。

3 結論

本文創新提出5G 虛擬核心網電信云中鏈路擁塞自動快速調度主機的解決方案。在關鍵技術中能自動構造NFV 電信云中VNF 虛機與EOR 之間的全局拓撲鏈路，自動測量鏈路流量，當出現擁塞，MANO 能夠快速對VNF 做出調度，有效避免電信云中核心網業務的過載與中斷。