大規模數據中心內云計算網絡演變的研究及分析

李猛

中通服咨詢設計研究院有限公司

0 引言

云計算采用虛擬化、分布式計算、分布式存儲、資源管理等技術，將彈性、可共享、可伸縮性的軟硬件資源池池化，再通過網絡等方式向客戶提供按需自助、可計量的服務。云計算作為一種IT 基礎設施交付和使用模式，具有靈活、按需自服務、高擴展性、低成本等特點，能有效降低企業的運營成本，節省投資。

1 大規模數據中心內云計算的傳統三層網絡

三層網絡架構起源于園區網絡，傳統的大型數據中心網絡將其沿用了下來。這個模型包含以下三層。在以往的數據中心網絡建設時，關注的重點都是指接口層服務器前的網絡，這個網絡模型包含以下三層

傳統的三層網絡結構如圖1 所示，其中的匯聚層作為服務器網關，可以增加防火墻、負載均衡和應用加速等應用優化設備。

圖1 傳統三層網絡架構

通常情況下，匯聚交換機是二層（L2）和三層（L3）網絡的分界點，匯聚交換機以下的是二層網絡，以上是三層網絡。每組匯聚交換機管理一個PoD，每個PoD 內都是獨立的VLAN。服務器在PoD 內遷移不必修改IP 地址和默認網關，因為一個PoD 對應一個二層廣播域。

三層網絡架構以其實現簡單、配置工作量低、廣播控制能力較強等優勢在傳統數據中心網絡中大量應用，但是在當前云計算背景下，傳統的三層網絡架構已經無法滿足云數據中心對網絡的訴求，無法支撐大二層網絡構建和流量的無阻塞轉發。

三層網絡架構的一個優勢是對廣播的有效控制，其可以在匯聚層設備上通過VLAN 技術將廣播域控制在一個PoD 內，但是在云計算背景下，計算資源被資源池化，根據計算資源虛擬化的要求，VM（虛擬機）需要在任意地點創建、遷移，而不需要對IP 地址或者默認網關進行修改，這從根本上改變了數據中心的網絡架構。為了滿足計算資源虛擬化的要求，必須構建一個大二層網絡來滿足VM 的遷移訴求。針對傳統的三層網絡架構，必須將二三層網絡的分界點設置在核心交換機，核心交換機以下均為二層網絡，這樣一來，匯聚層作為網關的作用就不復存在，網絡架構逐漸向沒有匯聚層的二層架構演進。

在云數據中心，業務的架構逐漸從單體模式轉變為“Web-App-DB”模式，分布式技術開始在企業應用中流行。一個業務的多個組件通常分布在多個虛擬機/容器中。業務的運行不再由單臺或幾臺物理服務器來完成，而是多臺服務器協同完成，這就導致了東西向流量規模的快速增長。在為南北向流量設計的三層網絡架構中，某些類型的東西向流量（如跨PoD 的二層流量及三層流量）必須經過匯聚層和核心層進行轉發，數據經過了許多不必要的節點，也會因為收斂比導致網絡性能下降。同時，東西向流量經過的設備層級變多可能會導致流量的來回路徑不一致，不同路徑的時延不同，使得整體流量的時延難以預測，這對于大數據這類對時延非常敏感的業務來說是不可接受的。

可見，在云計算數據中心里面Ethernet（以太網）網絡規模擴大，流量帶寬需求增加，因此不會在網絡中間位置再插入安全和優化設備了，轉發性能低。再加上帶寬收斂比的問題，短期內大型云計算數據中心網絡里面不會出現匯聚層的概念。

2 云計算對大數據中心網絡的核心訴求

隨著云計算的蓬勃發展，云計算基礎設施IaaS 越發重要，其可用性和可靠性備受關注。隨著數據中心規模化商用以及新技術的迅猛發展，云計算對大數據中心網絡的主要需求如下

（1）流量增大，流量變化需要網絡改變。隨著互聯網技術的不斷發展，應用軟件的數量呈現爆發式增長，數據中心的業務量激增，大數據需要大管道。隨著大量應用遷入數據中心，數據中心流量模型也在發生變化。數據中心的東西向流量（內部服務器之間的流量）已占總流量的90%以上。傳統數據中心的樹狀網絡架構已難以滿足業務訴求，需要構建新的分布式網絡架構，將三層網關下沉，以求最大限度地優化流量路徑，滿足業務對帶寬及時延的要求。

（2）業務快速上線，網絡需要池化與自動化。傳統數據中心網絡割裂，無法滿足云數據中心構建大規模資源池的訴求網絡呈現“煙囪式”，計算資源被限定在模塊內部，無法統一調度，導致冷熱不均。同時，網絡間采用分布式路由決策，路由難以優化，網絡利用率低。傳統數據中心的自動化程度較低，無法滿足業務快速彈性上線的訴求；應用部署按月粒度開通，無法支撐新業務的發展；應用擴容困難。

（3）安全、穩定、智能化要求增高。云計算中心安全服務化層級低，營運資本高。威脅不斷升級，人工分析效率低，調查處置難。安全威脅可視化分析差，無法指導安全運維。網絡配置變化頻繁，流量激增，云計算中心內應用策略及互訪關系日益復雜，傳統的網絡運維手段已無法適應數據中心網絡的發展。

3 大規模數據中心內云計算的Spine-Leaf 網絡架構

基于Clos 架構的兩層Spine-Leaf 架構中每個Leaf 交換機的上行鏈路數等于Spine 交換機的數量，每個Spine 交換機的下行鏈路數等于Leaf 交換機的數量。可以說，Spine 交換機和Leaf 交換機之間是以full-mesh（全網狀）方式連接的。具體網絡拓撲示意圖如圖2 所示。

圖2 Spine-Leaf 架構

Spine-Leaf 在架構上是可以輕松實現無阻塞。在所有端口速率一致的情況下，如果能夠使用一半的端口作為上行端口，則理論上帶寬的收斂比可以做到11。但是實際上，即使是在云數據中心，服務器的利用率也不可能達到100%，即不可能所有的服務器均隨時保持滿速發送流量。實際情況中，設備的上行帶寬和下行帶寬之間的比例會設計為13 左右，這個比例的設計被認為大體上可以支撐無阻塞轉發。

在Spine-Leaf 架構中，Leaf 交換機相當于傳統三層架構中的接入交換機，直接連接物理服務器，并通常作為網關設備。Spine 交換機相當于核心交換機，是整個網絡的轉發核心。Spine 和Leaf 交換機之間通過ECMP（Equal Cost Multi Path，等價多路徑）實現多路徑轉發。和傳統三層網絡中的核心交換機不同的是，Spine 交換機是整個網絡流量的轉發核心，相當于Clos 架構中的中間級。由Clos 架構可以看出，南北向流量可以不再通過Spine 發送至網絡外部，而是可以通過Leaf 交換機完成這一任務，這樣Spine 交換機可以專注于流量的轉發而不再需要關注其他一些輔助功能。

4 Spine-Leaf 架構與傳統的三層網絡架構比較

Spine-Leaf架構相對于傳統的三層網絡架構的優勢如下（見圖3）

圖3 多級別的Spine-Leaf 架構

第一，支持無阻塞轉發。Spine-Leaf 架構對于東西向和南北向流量的處理模式是完全一致的，在設計合理的情況下，可以實現流量的無阻塞轉發。無論何種類型的流量都只需要經過Leaf-Spine-Leaf 3 個節點即可完成轉發。

第二，彈性和可擴展性好。Spine-Leaf 擁有很好的橫向擴展能力，只需要保證Spine 和Leaf 在一個比例范圍內，不需要重新設計，將原有的結構復制一份即可。一般來說，基于3 級Clos 的Spine-Leaf 架構可以滿足當前大部分數據中心網絡的帶寬訴求。針對超大型的數據中心，可采用5級的SpineLeaf架構，即每個PoD 部署一個3 級Clos 的Spine-Leaf 網絡，不同PoD之間再增加一層Core 交換機進行互聯，跨PoD 流量可以通過Leaf-Spine-Core-Spine-Leaf，5 跳可達。Spine 和Core 之間進行full-mesh 連接。另外，網絡設計可以非常靈活，在數據中心運行初期網絡流量較少時，可以適當減少Spine 交換機的數量，后續流量增長后再靈活地增加Spine 交換機即可。

第三，網絡可靠性高。傳統三層網絡架構中，盡管匯聚層和核心層都做了高可用設計，但是匯聚層的高可用由于是基于STP（Spanning Tree Protocol，生成樹協議）的，并不能充分利用多個交換機的性能，并且，如果所有的匯聚交換機（一般是兩個）都出現故障，那么整個匯聚層PoD 網絡就會癱瘓。但是在Spine-Leaf 架構中，跨PoD 的兩個服務器之間有多條通道，不考慮極端情況時，該架構的可靠性比傳統三層網絡架構高。

5 大規模數據中心內云計算網絡的設計方案

大規模數據中心內云計算網絡的物理組網架構建議采用Spine-Leaf 架構，該網絡結構可以提供接入節點間的無差異互訪，具有高帶寬、大容量和低網絡時延等特點。由于采用了Spine-Leaf 的扁平結構，整體網絡東西向流量轉發路徑較短，轉發效率較高。擴展性上，當服務器數量增加時，增加Leaf數量即可實現彈性擴縮。當Leaf 數量增加導致Spine 轉發帶寬不足時，可相應增加Spine 節點的個數。

Spine 節點主要負責Leaf 節點之間流量的高速轉發。推薦多臺單機部署，數量根據Leaf 到Spine 的收斂比（Leaf 的下行總帶寬和Leaf 的上行總帶寬的比值，不同的行業及不同的客戶有各自的要求）來決定。一般來說，收斂比為1∶9～1∶2。

Leaf 節點主要負責Server 的接入（業務服務器和VAS 服務器）和作為南北向網關。Leaf 可使用多種靈活的組網方式，推薦使用M-LAG 雙活方式部署，如果對可靠性或升級丟包時間等要求不高，也可以使用虛擬機框類技術。每個Leaf 節點與所有Spine 節點相連，構建全連接拓撲形態。

Leaf 和Spine 之間建議通過三層路由接口互聯，通過配置動態路由協議實現三層互聯。路由協議推薦OSPF 或BGP，采用ECMP 實現等價多路徑負載分擔和鏈路備份。從Leaf 通過多條等價路徑轉發數據流量到Spine，在保證可靠性的同時也能提升網絡的帶寬。如圖4 所示。

圖4 Spine-Leaf 架構物理組網

根據服務器接入帶寬和Leaf 到Spine 的收斂比選定Server Leaf 硬件設備。硬件形態主要考慮接入帶寬、收斂比和特殊業務訴求。服務器接入帶寬一般來說為10GE 或者25GE。收斂比則是Leaf 下行帶寬和上行帶寬的比例情況，可以根據客戶要求來進行設計，一般為1 ∶9～1 ∶2。

除了一般的服務器接入的Server leaf 之外，還有Border Leaf 和Service Leaf。Border Leaf 主要用作數據中心網絡的南北向網關，負責將南北向流量發送給對端的PE及從PE接收發往數據中心內部的流量。Service Leaf 主要用作接入防火墻、負載均衡器等VAS 設備。Service Leaf 和Border Leaf 可以合設也可以分設。

6 結束語

隨著云計算技術的快速發展和數據中心內業務激增，傳統三層網絡架構無法支撐大二層網絡構建和流量的無阻塞轉發，Spine-Leaf 架構網絡逐漸開始出現，其擁有高可靠、高智能、低延時的特性，可以很好地滿足大規模數據中心內云計算的組網需求，不過對于規模較的數據中心，傳統的三層網絡架構擁有實現簡單、配置工作量低、廣播控制能力較強的特點，所以也仍然適用。