網絡云資源池部署方案探究

李 晗，吳星培，王晨鶴，趙帥男，穆 銘

（中國移動通信集團設計院有限公司河南分公司，河南 鄭州 450000）

1 概 述

網絡功能虛擬化（Network Function Virtualization，NFV）是將傳統電信設備功能通過軟件實現，運行在通用硬件設備上，并采用虛擬化技術實現業務敏捷迭代、支撐網絡演進以及降低整體成本的目標[1,2]。NFV是應對移動互聯網時代業務快速變化的有效手段和向5G演進的基礎性技術，同時也是中國移動實現“大連接”戰略的重要網絡基礎[3,4]。

2 網絡云資源池系統架構

2.1 基本概念

資源池節點是指在同一數據中心/園區內的一個或多個硬件資源池集合。硬件資源池包括一組EOR交換機/EOR配對路由器及其下連的計算、存儲、網絡等硬件資源，將一套VIM及其所管理的物理與虛擬計算、存儲、網絡資源等定義為一個虛擬資源池[5]。為充分發揮資源共享的優勢，在技術條件滿足的情況下單個虛擬資源池的規模應盡可能大，單硬件資源池內的虛擬資源池數量應盡可能少[6]。

2.2 3層架構

按照層次化架構設計，網絡云硬件資源池自下而上分為接入層、核心層、出口層3層[7,8]。

接入層部署TOR和各類計算型服務器、存儲設備。核心層部署EOR和EOR配對路由器，并按需配置內層防火墻、IDS/IPS、WAF以及負載均衡器等設備。EOR向下匯聚交換網絡內的所有接入層交換設備，配對路由器作為3層網關，并向上與出口路由設備互聯。出口層復用現網承載、傳輸網絡組網設備。出口層作為網絡云站點內部和外部網絡互聯互通的紐帶，對外完成與外部設備的高速互聯，對內負責與網絡云站點核心層交換設備互聯，完成與站點外部路由之間的信息轉發和維護。

2.3 硬件分區要求

為了避免出現單硬件設備（機架電源模塊、配電柜、存儲設備等）故障同時影響多個有容災備份關系網元，將一個硬件資源池劃分為兩個硬件分區。為了提升業務可靠性，在條件允許的情況下優選兩套電源系統為不同硬件分區供電[9]。

對于有容災備份關系的多個網元部署在同一局址的同一資源池時，可能會被VIM分配到同一物理主機和同一機柜，存儲也可能分配到同一套存儲設備上，因此存在單硬件設備故障同時影響多個有容災備份關系網元的風險。為避免該風險，需要在虛擬層劃分可用區AZ。建議設置2個AZ，每個AZ內設有獨立的計算服務器和存儲集群。由于AZ的劃分基于硬件，因此需要與硬件分區對應。一個硬件資源池劃分兩個硬件分區，硬件分區對供電和存儲的要求如下文所述[10]。

（1）供電。若采用交流供電，兩路供電分別來自兩套不同的UPS主機或UPS電源系統，但仍為同一套電源系統。在條件允許的情況下，優選兩套電源系統為不同硬件分區供電。若采用直流供電，兩路供電來自同一套直流電源系統的兩個端子，存在直流電源系統故障或輸入開關故障時所有設備斷電的風險，因此在條件允許的情況下將資源池硬件劃分在兩個硬件分區內，采用兩套直流電源系統為不同的硬件分區供電，以提升業務可靠性。

（2）存儲。本次采用分布式存儲，為避免存儲集群故障影響整個資源池的網元，至少應配置兩套分布式存儲集群。

3 資源池標準化部署方案探究

探索網絡云資源池標準化設計，從設備安裝和集成的角度，基于模塊化部署、層次化組網設計理念優化資源池機柜布局。

方案探究中假設一個數據中心機房為10列（A～J），每列20個機柜（1～20），合計200個機柜。考慮EOR的擴展能力、數據中心標準機房空間以及可用VLAN空間等，在一個機房部署一個硬件資源池。此外，考慮配套系統，可以配置1 500臺服務器。

3.1 硬件分區

一個機房部署一個硬件資源池，硬件分區有以下兩種方案。

（1）中軸線分割。每一列1～10行機柜為硬件分區A，11～20行機柜為硬件分區B，如圖1所示。

（2）按排分割。A、C、E、G以及I共5列為硬件分區A；B、D、F、H以及J共5列為硬件分區B，如圖2所示。

圖2 按排分割方案（方案2）

兩種方案對比如表1所示。

表1 不同分割方案對比

綜上所述，中心軸線分割方案優于按排分割方案。為了保障資源池供電的安全可靠，每一排部署兩個UPS三級屏。1～10列機柜為硬件分區A，由UPS1、UPS3、UPS5、UPS7以及UPS9供電；11～20列機柜為硬件分區B，由UPS2、UPS4、UPS6、UPS8以及UPS10供電。

3.2 組網設備部署

硬件資源池劃分A、B硬件分區，A、B硬件分區共用核心層組網設備，成對核心層組網設備應分別部署于A、B兩個硬件分區。組網設備作為每個硬件資源池內中樞系統，一般成對配置。采用中心型和集中在兩排兩種部署方式，優先部署組網設備。在一個資源池內接入層到核心層采用中心型部署，計算、存儲以及管理模組服務器接入模塊通過雙路由接入核心網組網設備，既保證了資源池內總路由最短，又最大限度避免了走線交叉。由于組網設備功耗偏大，此方案有效避免了大功耗設備過于集中，有利于設備散熱。優先部署業務、存儲及管理EOR，業務EOR北向連接EOR配對路由器、EPC防火墻及業務CE，與業務CE部署在同一排。將CMNET接入路由器作為出口層，單獨部署在一排。

3.3 模塊化部署

網絡云硬件資源池硬件規模大，為簡化和規范化設計，采用模塊化部署制訂了3個方案。

3.3.1 方案1（4個機柜1個模塊）

計算型服務器(含可信資源池和網管資源池)包括4個機柜1個模塊，每個模塊配置44臺服務器、3對TOR（業務、存儲、管理TOR）以及2臺硬件管理TOR。存儲服務器包括4個機柜1個模塊，每個模塊配置40臺服務器、2對TOR（存儲、管理TOR）以及1臺硬件管理TOR。

3.3.2 方案2（7+4組合）

計算型服務器（可信資源池）包括7個機柜1個模塊，每個模塊配置90臺服務器、6對TOR（業務/存儲/管理TOR）以及3臺硬件管理TOR。計算型服務器（網管資源池）包括4個機柜1個模塊，每個模塊配置44臺服務器、3對TOR（業務/存儲/管理TOR）以及1臺硬件管理TOR。存儲服務器包括4個機柜1個模塊，每個模塊配置40臺服務器、2對TOR（存儲/管理TOR）以及1臺硬件管理TOR。

3.3.3 方案3（7個機柜1個模塊）

計算型服務器(含可信資源池和網管資源池)包括7個機柜1個模塊，每個模塊配置90臺服務器、6對TOR（業務/存儲/管理TOR）以及3臺硬件管理TOR。存儲服務器包括4個機柜1個模塊，每個模塊配置40臺服務器、2對TOR（存儲/管理TOR）以及1臺硬件管理TOR。

假設一個機房部署一個硬件資源池，裝1 500臺服務器。3種方案對比分析如表2所示。

表2 部署方案對比

雖然方案1相較于方案2、方案3在資源需求上不是最優，但是方案1跨列現象比較少、布線清晰、施工相對簡單、布局統一且方便管理維護，也符合集團降本增效與節能減排的策略。綜上所述，可優先采取方案1部署計算型服務器。

4 結 論

網絡云硬件資源池硬件規模大，為簡化和規范化設計，考慮層次化和模塊化靈活復制規模組網。同時探索網絡云資源池標準化設計，為網絡云資源池建設提供參考。