浙江電信云資源池引入VxLAN的部署初探

中國電信浙江公司 | 呂鵬 顧炯 姚捷靈

華信咨詢設計研究院有限公司 | 洪亮

浙江電信云資源池引入VxLAN的部署初探

中國電信浙江公司 | 呂鵬 顧炯 姚捷靈

華信咨詢設計研究院有限公司 | 洪亮

VxLAN作為Overlay網絡技術的一種代表，引入云計算資源池的代價是相對較低的，并在一定程度上幫助實現了網絡資源的虛擬化。

中國電信浙江公司為解決業務云資源池中網絡資源管理遇到的困境，試點引入VxLAN技術，以此為基礎構建與物理網絡松耦合的網絡虛擬化資源池，進一步探索私有云網絡資源開放的可行性。本文從VxLAN技術的實際部署設計方案出發，解析云資源池引入VxLAN的設計要點，并結合資源池的實際情況，進一步分析引入VxLAN如何為云資源池在網絡資源管理效率方面帶來提升。

主要問題

中國電信浙江公司自2011年開始研究部署云計算技術，建設了業務云計算資源池。經過幾年的發展和優化，現已基本形成安全、可靠的云計算資源池體系。目前在資源池上已經承載了包括企業信息化系統在內的近300個應用平臺。自2013年開始，伴隨著資源池規模的增大、部署應用系統的增多、業務需求的不斷疊加，網絡能力逐漸成為了資源池演進的瓶頸：網絡集中配置導致業務開通時間越來越長、不同應用的網絡個性需求不斷疊加到基礎網絡上、網絡資源的SLA粒度與資源池其他資源的分配管理互不匹配等。

究其原因，我們認為主要存在以下兩點。

● 資源池網絡相關設備均是由傳統的IP設備組成，維護人員直接管理、配置和維護物理設備，但是物理設備無法實現高效的動態化。已經可以動態按需分配的計算資源會因物理網絡設備的限制而無法高效地實現自動化供給與調配；不同類型資源的統一快速配置與編排組合還難以做到，快速的自動協同更是不可能；無法滿足多租戶環境下不同客戶對各類資源的統一快速供給需求。

● 資源池內共享的網絡資源導致物理設備上配置復雜，各配置信息集中在某些核心設備上，缺乏隔離手段，會出現某一配置出錯，進而導致整個資源池網絡出現故障，并引發業務大面積的中斷，配置壓力也很大。復雜的配置決定網絡的配置必須集中在1～2名對資源池網絡環境非常熟悉并且對各租戶網絡需求充分理解的維護人員上，這不僅需要維護人員的技術水平極高，而且也形成了資源池的配置瓶頸。

因此，我們嘗試了“網絡資源池化”：將網絡資源封裝為類似計算、存儲的池化資源進行多租戶管理，并通過SDN網絡管理能力開放的方法，解決上述問題。

圖1 紹興、金華物理節點邏輯拓撲圖

圖2 邏輯架構圖

軟件定義網絡

軟件定義網絡（Software-Defined-Network， SDN）技術廣義上是解決云資源池網絡瓶頸的理想方案，其具體的實現方案主要包括以下3種類型。

（1）基于專用接口的方案：該類方案的實現思路是不改變傳統網絡的實現機制和工作方式，通過對現有網絡設備的操作系統進行升級改造，使之能夠支持專用的可編程接口供網絡管理系統調用，實現網絡設備的統一配置管理和策略下發，改變原先需要逐臺設備進行登錄配置的手工操作方式；同時這些接口也可用于開發網絡應用，實現網絡設備的軟件編程。其中，最典型的技術產品是思科的onePK（Open Network Environment Platform Kit）。

（2）基于疊加網絡的方案：該類方案的實現思路是以現行的IP網絡為基礎，在其上建立疊加的邏輯網絡（Overlay Logical Network）用于屏蔽掉底層物理網絡的差異，實現網絡資源的虛擬化，使得多個邏輯上彼此隔離的網絡分區以及多種異構的虛擬網絡可以在同一共享網絡基礎設施上共存，支持網絡資源的多租戶共享并突破傳統網絡技術對租戶網絡的限制。其中，最典型的技術產品包括VMware NSX及其主導推出的VxLAN、微軟支持的NVGRE、IBM的DOVE等，其中VXLAN利用了現有通用的UDP傳輸，成熟性極高。總體比較，VxLAN技術相對具有優勢。VxLAN網絡設備主要有3種角色，分別是VTEP（VXLAN Tunnel End Point）、VxLAN GW（VxLAN Gateway）、VxLAN IP GW（VxLAN IP Gateway），均是物理網絡的邊緣設備，而由3種邊緣設備構成了VxLAN Overlay網絡，對于應用系統來說，只與這3種設備相關，與底層物理網絡無關。

（3）基于開放協議的方案：這是當前最流行的SDN實現方案，它引入了開放的網絡協議標準，強調網絡中控制與轉發的分離，支持南向網絡設備的集中控制，并提供豐富的北向應用編程接口，能夠有效降低網絡架構復雜度，支持業務驅動的網絡資源靈活調配。其中，最典型的技術成果是由ONF（Open Networking Foundation，開放網絡基金會）提出的基于OpenFlow南向控制協議的SDN架構。

基于中國電信浙江公司云資源池的現狀和需求，我們選擇了對現網影響最小的疊加網絡方案，同時以VxLAN作為項目實施的核心技術，其主要原因在于：

● 大規模云計算資源池對VLAN的需求遠不止4096；

● 資源池大量的物理及虛擬服務器的存在，物理交換機上的MAC表項資源面臨耗盡；

● 多租戶需要隔離、自主的網絡環境；

● 弱化運營商傳統建設采購模式造成的底層物理設備差異性；

● VxLAN協議的引入，不會對現有網絡造成大規模的改造工作，改造風險最小。

實施方案引入

中國電信浙江公司云資源池希望在VMware vSphere虛擬化平臺基礎之上 ，借助VxLAN技術實現網絡的虛擬化，使網絡資源成為一種可以按需動態分配的資源，期望能在確保系統安全的前提下通過平滑、穩定升級，實現資源池網絡能力的多租戶開放、自配置、自管理、構建靈活、高效、擴展性強的網絡環境。

云資源池網絡現狀

中國電信浙江公司云資源池是一個部署在紹興和金華2個物理節點的“雙活統一”資源池，兩物理節點以DWDM互接，節點核心交換機通過跨節點2層虛擬化堆疊實現資源池的邏輯統一，拓撲如圖1。

云資源池網絡采用扁平化的網絡架構（核心－接入）。

● 核心層采用H3C 12518交換機，負責高速的3層交換。

● 接入層主要采用H3C 5500/5800交換機。接入交換機安裝在每個服務器機柜的機架頂，實現服務器網絡接入，但只開啟2層轉發，所有3層網關設置在核心層。核心層和接入層均采用了H3C的IRF2技術，構建了天然無環網絡結構，因此沒有啟用STP (生成樹協議)，所有機架內服務器之間的3層流量需要上行至核心層進行交換。

● 所有的部件和線路都采用雙節點、雙線路的部署方式，保證業務的高可靠性。網絡收斂比約為1:5。

核心層－接入層的連接采用萬兆以太網連接，并通過多鏈路捆綁提供性能擴展和高可用保護。接入層通過多條千兆連接捆綁的方式，連接服務器。網絡管理上區分為資源管理網、業務數據網。

實施方案設計

方案設計整體思路

從更好地融合計算資源和網絡資源的角度考慮，本次方案選擇了資源池虛擬化平臺同平臺的NSX for vSphere（以下簡稱NSX）作為SDN的解決方案。

方案總體思路是一種將虛擬網絡從傳統物理網絡中解放出來的疊加網絡解決方案。以VxLAN為基礎，NSX通過建立虛擬網絡提供一種抽象的、運行在物理和邏輯網絡之間的虛擬網絡層。

根據平臺不同的角色定義和硬件能力需求，總體上將環境分為不同的功能域：計算（Computing）、管理（Management）、邊界（Edge）、橋接（Bridge）、網絡的邏輯架構如圖2所示。

圖3 整體物理網絡設計架構圖

圖4 物理網絡流量設計圖

圖5 計算集群、邊界集群、管理集群示意圖

物理網絡設計

網絡虛擬化的一個關鍵目標就是提供虛擬到物理網絡的抽象化，因此物理網絡必須提供一種健壯的IP傳輸并具有下列特性：

● 簡易性

● 可擴展性

● 容錯性

● 服務質量等級（QoS）保證

為了達到以上幾種特性，且便于網絡虛擬化后的運維便利，我們對原有的網絡功能拓撲進行了重新設計。

● 核心交換機仍為管理網段的網關, 在此為各個管理網段配置網關IP地址。

● 將原本只是作為純粹L 2通道交換的接入交換機改造為架頂式TOR（topof-rack）交換設計，在此為各VxLAN的VTEP配置網關地址，并開啟3層路由功能。

● TOR 核心路由器為3層路由OSPF（Open Shortest Path First）交換, 資源可平行擴展, 能支持大量機架及TOR建設。同時縮小了TOR及核心交換機管理MAC地址的數量，縮小了2層網絡范圍。

● 計算域（Computing）內的VNI建立以每個業務的各種服務型態為單位, 如典型業務有Web/APP/DB3種服務型態，即開設3個VNI用于該業務，便于實現服務的“東西向”傳輸效率及提高安全性。

● 邊界域（Edge）部署在VxLAN和VLAN網關之間，其數量等于外聯VLAN的數量。該設計使得每個Edge虛擬網關負載較小，但數量增加，可以選擇使用戶集群中的服務器進行負載均衡，且Edge虛擬網關與服務VLAN 1:1對應, 有利于問題的查找。

● 通過VxLAN流量的網絡設備，需將MTU值置為＞1600。

整體物理網絡設計架構如圖3（注：因邊界集群中的TOR 6248交換機并無3層路由功能，因此邊界集群的VTEP網關落在核心交換機）。

物理網絡流量設計如圖4。

虛擬網絡設計

網絡虛擬化包含3個主要的方面：解耦合、再組成和自動化。所有3方面對于達到預期的效果都是重要的。解耦合，它是使物理網絡變簡單與可擴展的關鍵。

當建立一個新的環境時，選擇一個允許未來擴展的架構是必須要考慮的。此類部署的指導思路是使用一個簡單的集群式架構而非通過VLAN的擴展實現。盡管這是一個簡單的需求，但卻對物理交換架構如何建立和擴展有深遠的影響。

我們還是以3種集群的視角來設計討論：計算集群、邊界集群、管理集群（如圖5）。

● 計算集群

計算集群用以為業務平臺提供虛擬計算資源，計算集群需要具有如下設計屬性：

＞ 與現有網絡可交互

＞ 對于新部署或重新設計

＞ 對于虛擬機接入不需要考慮VLAN劃分

＞ 對于計算集群的網絡擴展不應該考慮VLAN方式。

＞ 提供一種可重復利用的架構設計

虛擬化后的主機通常會發起3種的流量：VxLAN流量、管理流量、vSphere vMotion流量。VxLAN可看作網絡虛擬化后新引入的流量，通過UDP封裝，用以承載所有虛擬機通信的流量。

不同的流量類型可以被VLAN隔離，從IP地址段的層面加以明確區分。VLAN在TOR交換機匯聚，設定如下:

＞ VTEP的VLAN提供一個3層的網絡端口；

＞ vMotion的VLAN并不提供任何網關，不論2或3層都無法上行出去；

＞ 管理VLAN上行至另一獨立的管理接入交換機以2層連接至核心交換機。

● 邊界集群

邊界集群作為連接虛擬與物理網絡之間的橋梁，會有大量的數據交互，其主要功能：

＞ 提供“進站 / 出站”式的物理網絡連接

＞ 通過VLAN與物理網絡建立連接

＞ 主機式集中物理服務

邊界是所有邏輯網絡的終點，并且在物理和邏輯網絡間提供3層跳轉。設計思路的重點是區分VxLAN（疊加）流量和未封裝（原始）流量。物理上這兩種網絡流量會有重疊，可能都匯聚在相同的邊界集群接入交換機上，需要使用兩個不同的VLAN加以區分。

邊界節點（Edge）可以使用兩種方式提供服務，根據實際情況選擇適合的方案：

1. 內部地址僅在Edge內部使用，對外使用NAT的方式進行通信。外部VLAN在Edge上聯口終止。外部網關設備無需額外路由配置。

2. 內部地址通過默認路由方式對外建立連接。網關使用靜態路由將需要訪問內部的流量向Edge傳輸，后者通過OSPF獲得路由進行數據包分發。Edge上聯口僅需配置點對點傳輸接口即可。

● 管理集群

圖6 計算集群架構流量類型和IP地址分配

圖7 Edge通信可選架構設計

圖8 管理集群架構流量類型和IP地址分配

集群內安裝了管理組件，包括資源池虛擬化管理平臺、資源池網絡管理組件，管理集群內的配置不包含任何業務平臺相關的地址。

實施效果

通過部署SDN將VxLAN引入云計算資源池，網絡能力可以成為一種資源進行按需配置，同時將各租戶的網絡配置進行隔離，提高了網絡安全性并簡化了網絡配置，很多配置可以由租戶自行完成，結合在2014年底部署的分布式塊存儲（SVR-SAN）實現軟件定義存儲(SDS)，基本消除了網絡和存儲的供給瓶頸，將資源池變成一個基礎設施能力超市。目前已經部署“天翼閱讀”等業務進行商用，基本達到引入預期，概括起來主要體現在4方面。

1.通過VxLAN 可以自由定義2層網絡，實現了可擴展的多租戶網絡，可以由租戶自管理和自配置，目前VxLAN技術已經基本成熟，且業內已經基本形成產業標準，對未來企業資源池資源的全面云化、資源自助管理有著深刻的意義。

2.以業務平臺（租戶）為單位實現路由、負載均衡、NAT和防火墻功能，是未來資源池設計必須實現的目標，由此達到網絡資源池的2次隔離和封裝的目的，用以實現任何一個業務平臺的網絡變更、割接都不會對其他業務和大網造成影響。

3.分布式路由功能有必要在資源池網絡虛擬化工作中引入，其可以大大減輕資源池核心交換機的流量壓力和配置的復雜性，也為以業務為單位的QoS及SLA定義提供了便捷。

4.資源池多層次的安全控制必須被考慮，包括資源池“東西向”流量安全和“南北向”進出流量安全，可以通過軟、硬結合的防火墻實現。

VxLAN作為Overlay網絡技術的一種代表，引入云計算資源池的代價是相對較低的，也在一定程度上幫助實現了網絡資源的虛擬化。但是，作為一項底層基礎技術，距離云計算資源池對網絡的終極目標還有一段距離。后續隨著虛擬網絡組件功能的不斷完善，在實現網絡資源創建、更改、釋放更快捷；加速新業務開發和網絡資源控制更精細；控制能力與業務的結合更密切等方面還需要做積極的嘗試。