葉脊架構在數據中心的應用

0 前言

云計算是信息技術發展的主流，政府將它視作信息化和工業化結合的支撐點；運營商把它作為超越管道的轉型引擎；企業和行業把它看成是構建智能和敏捷的現代化企業征程中一場新工業革命。

從產品與應用視角來看，需要建設大量的數據中心（IDC），通過數據中心對資源集中部署和共享，實現提升效率、降低成本的發展目的。通過數據中心開放性生態平臺提供豐富的ICT 業務，以此促進各個行業的數字化、信息化和智能化，為“互聯網+”、新基建相關行業的發展提供有力支撐，同時激發出更多新增需求。

1 傳統數據中心胖樹架構

目前數據中心大多采用胖樹（Fat-Tree）架構，使用大量的高、中、低性能交換機，構建出大規模的無阻塞網絡。胖樹架構中，網絡帶寬不收斂，保障在任意的通信模式下，通信帶寬達到網卡帶寬。采用胖樹架構搭建數據中心之后，數據中心實質是一種傳統的三層硬件架構（見圖1）。

接入層：用于連接所有的計算節點。通常以機柜交換機（TOR）的形式存在。

圖1 傳統三層架構示意圖

匯聚層：用于接入層的互聯，并作為該匯聚區域二層和三層網絡的分界點。同時提供防火墻、SSL offload、入侵檢測、網絡分析等其他服務。

核心層：為進出數據中心的包提供高速的轉發，用于匯聚層的互聯，同時實現整個數據中心與外部網絡的三層通信。

表1示出的是傳統架構交換機結構。

表1 傳統架構交換機結構

這種傳統的數據中心網絡架構，設備獨立，單臺設備部署單項功能并單獨管理，服務器、交換機、路由器、網絡、安全等設備可由不同廠商提供。數據中心企業在部署內部機架連接，特別是短距離連接時，大多數都是使用銅纜布線連接。目前6 類、6A 類萬兆銅纜系統仍然是數據中心銅纜布線系統的首要選擇。在這種架構中，銅纜布線使用率達到87%，而光纜使用率只占13%。

但這種傳統的三層架構有如下明顯的缺陷。

a）硬件資源利用率極低，硬件投資成本大，管理維護難。

b）采用生成樹協議（STP），實際承載流量的只有一條，其他上行鏈路只用于備份，是被阻塞的，帶寬資源浪費明顯。

c）故障域大、排障難，STP 協議由于其本身的算法，在網絡拓撲發生變更時需要重新收斂，容易發生故障，影響整個VLAN網絡。

d）隨著數據中心機房中網絡設備集約化程度的不斷提升，銅纜布線帶寬及高密度未來模塊化升級難度大，在數據中心布線中光纖逐步成為主導地位。

e）數據中心當前大量使用的銅纜介質，不符合綠色節能可持續發展要求。

f）最為重要一點，隨著數據中心采用虛擬化技術和微服務架構后，平級設備之間的數據量大幅增加，傳統三層架構核心交換機和匯聚交換機的端口和性能將遭遇瓶頸。

2 新型葉脊架構在數據中心應用

從數據中心發展趨勢來看，企業上“云”、數字化的趨勢不可逆轉，云計算、大數據、人工智能等信息通信技術（ICT）行業對數據中心的需求量越發龐大，數據中心帶寬需求正在以每年25%到35%的速度飛速增長，2020年，帶寬容量會將翻倍，達到50G至100G。

相比于傳統的數據中心數據流，云計算數據中心數據流主要在數據中心服務器之間內部流動，是一種東西向流動。這種東西走向的大量數據的交換要求數據中心采用扁平化的網絡架構，這種新型“胖樹”架構能夠實現無阻塞、低延遲、快速交換，也促使網絡布線結構做相應的改變。

正是基于上述背景，提出一種改進型胖樹架構即葉脊網絡架構，和傳統數據中心胖樹架構一樣，這種新型胖樹架構同屬于CLOS 網絡模型，但不同的是，葉脊架構采用大二層網絡架構，扁平化為骨干和分支兩層（見圖2）。

圖2 葉脊架構示意圖

葉脊網絡大二層架構可以滿足云計算數據中心安全性、易用性、靈活性、可用性，二層和三層的分界在脊交換機，主要利用大二層中的葉交換機搭建整個數據中心，部署獨立的二層廣播域。葉脊架構中，所有橫向的服務器在網絡位置上是平行的，網絡效率高，傳輸通道完全獨立，非常適合高性能計算集群和高頻流量通信環境。

葉交換機，相當于傳統三層架構中的接入交換機，作為機柜交換機直接連接服務器、存儲設備、防火墻、負載平衡器、邊界路由器等終端設備。葉交換機之間的服務器的通信，需要經由脊交換機進行轉發。

脊交換機，相當于傳統三層架構中的核心交換機，葉和脊交換機之間通過等價多路徑路由協議（ECMP）動態選擇多條路徑與葉交換機層的各個交換機連接。

表2示出的是葉脊架構交換機結構。

表2 葉脊架構交換機結構

數據中心作為新基建一項重頭，有必要考慮部署40G 及以上高帶寬網絡。隨著標準的成熟和技術的提升，200/400G 高速率光模塊的商用，為葉脊網絡在數據中心的部署提供了可行性。葉脊架構相比傳統三層硬件架構，更能符合數據中心發展趨勢，其優勢體現在：

a）均衡分擔負載，每個葉交換機的上行鏈路以負載均衡方式工作，充分利用了帶寬。

b）預估延遲值，葉交換機之間的連通路徑的條數可確定，均只需經過一個脊交換機，東西向網絡延時可預測。

c）擴展性好，大多數支持25G/100G 的交換機都能向后兼容10G/40G，為交換機的端口提供更高的靈活性，網絡擴容更加靈活。

d）降低交換機的性能要求，南北向流量，可以從葉節點出去，也可從脊節點出去。東西向流量，分布在多條路徑上。這樣一來，不需要昂貴的高性能高帶寬交換機。

e）高安全性和可用性，葉脊架構中，一臺設備故障時，不需重新收斂，流量繼續在其他正常路徑上通過，網絡連通性不受影響，帶寬也只減少一條路徑的帶寬，性能影響微乎其微。

在葉脊架構下進行設計時，中小型數據中心超過90%的光纖鏈路長度小于100 m，采用多模光纖為主的鏈路部署方案，光模塊部署以40/100G 為主。大型數據中心超過70%的光纖鏈路長度小于100 m，超過85%的長度小于150 m，也是考慮采用多模光纖為主的鏈路部署方案，可以前瞻性地考慮部署200/400G 光模塊。

以一個中小型數據中心為例，葉脊網絡的支撐能力設計如表3所示。

表3 葉脊網絡支撐能力設計

目前，主流廠商已經提供一系列的葉交換機和脊交換機，為有需要的數據中心用戶搭建葉脊網絡架構提供設備支持，表4示出的是一些相關產品參數。

表4 40/100G葉脊交換機產品

數據中心服務器通過VMware、KVM、Xen、Virtual Box 等Hypervisor 工具虛擬化之后，東西流量將達到總帶寬的77%，跨數據中心為9%，南北流量僅占總帶寬的14%。因此，還需要OpenStack 這類虛擬化管理平臺，在大二層的網絡連接中，將網絡、計算、存儲和安全功能全部虛擬化，融合在一套虛擬化管理軟件平臺中，對用戶提供虛擬存儲、網絡、計算資源等友好的交互界面。

另外，虛擬化技術也可以根據實際情況采用Docker 技術，配合K8S、Compose、Marathon、Swarm、Me?sos等容器管理平臺，達到上述“超融合”平臺。

3 葉脊架構對數據中心帶來的挑戰

葉脊網絡架構允許終端之間以最高萬兆每秒的速度在任意的通信模式下進行通信，這種新型“胖樹”能夠很好應對數據中心激增的數據量（尤其是東西向流量），滿足數據中心內部高速互連的需求。但這種扁平化的大二層葉脊架構同時給數據中心帶來了新的挑戰。

首先，葉脊網絡架構對光模塊的需求將大幅增加，相比傳統三層硬件架構，差別最高可達到30 倍之多（見表5）。

表5 2種架構下光模塊對比

2 種架構下，數據中心光模塊在10G 光模塊需求下差別不大，在40G 或者100G 光模塊需求下出現明顯差別，尤其是在40G 光模塊需求下，差別需求達到30倍。

其次，葉脊網絡大二層架構如何在虛擬化的技術背景下，實現用戶良好感知的虛機遷移。

再者，隨著網絡規模的增加，二層鏈路層數據報文也將明顯增加，如何保障正常的網絡流量，也是需要面對的新挑戰。

4 結束語

雖然傳統的三層網絡架構在很長一段時間內支撐了各種類型的數據中心，但是隨著業務和技術的發展，90%以上云數據中心流量和計算任務會通過數據中心進行處理。基于南北流量設計的傳統三層硬件架構已經不能滿足業務發展趨勢，企業將面臨成本和可擴展性的戰略困境。

新的葉脊網絡采用扁平化的大二層架構，擴大了接入和匯聚層，大大提高了網絡效率，而且不需要采購高性能的核心交換機，由相對較小規模的中低端交換機組網，以40G/100G 帶寬部署為主（大型數據中心可以考慮前瞻性部署200/400G 帶寬），支持全速東西向流量，同時可以減少企業部署和維護的費用，為數據中心提供一種切實有效的發展戰略。