基于業務交換機的大規模云數據中心通用網絡架構設計

樊勇兵，丁圣勇，陳 楠

（中國電信股份有限公司廣東研究院 廣州 510630）

1 大規模云數據中心簡介

1.1 概述

數據中心（data center，DC）一般粗略地分為互聯網數據中心（internet data center，IDC）和企業數據中心（enterprise data center，EDC）兩大類，前者指對個人或集團客戶公開提供托管、租賃服務的數據中心，后者指企業自用數據中心（暫將Google等互聯網公司用于內部后臺計算的數據中心也歸為此類）。本文的研究對象是前者的總體網絡組織。

數據中心的規模一般用所能容納的服務器數量衡量。業界盛傳Google數據中心有上百萬臺服務器，分布在數個大型數據中心。以此推之，每個數據中心可能有數十萬臺服務器。每個數據中心一般由多個機房或機樓組成（暫不考慮集裝箱數據中心），所以單個機房應有數萬臺服務器；截至2012年底，國內已投產規模最大的數據中心，其規模也在5~8萬臺服務器。粗略地將單一管理域內每機房具有1萬臺以上服務器、整個園區具有5萬臺以上服務器的數據中心稱為“大規?！睌祿行摹?/p>

上面所指的服務器均為物理服務器。如不特別指出，本文所稱服務器不區分物理服務器和虛擬服務器（又稱為虛擬機）。

所謂云數據中心，指一個數據中心由云計算技術構建并為客戶提供云計算服務。

目前，整個數據中心產業正處于從傳統模式向云計算模式過渡的早期階段，傳統數據中心有很大的存量資產，云計算涉及領域眾多，流派各異，技術和標準都不成熟，運營商和設備商都面臨選擇的難題。為大規模云數據中心提出一個通用參考網絡架構，以提高運營靈活性、降低成本與風險，并為設備商提出一種可能的設備形態以支持這種架構，是本文希望達成的目標。

1.2 云數據中心的業務特性

云業務就是將彈性、池化的IT資源作為服務通過互聯網提供給用戶，云數據中心是這種服務的承載體，其業務特性主要表現在以下幾個方面。

（1）商業模式

云數據中心的業務模式從以托管和固定計費為主轉向以租賃和按使用計費為主，業務開通從以線下為主轉向以線上為主，用戶類型從以企業為主轉向企業、個人并重。

（2）資源類型

由于資源的云化和可遷移，云數據中心的資源類型從以專用物理資源為主轉向以可彈性復用的虛擬資源、業務資源為主，業務接入則從以固定為主轉向固移結合。

（3）業務規模

資源云化使大規模業務提供成為可能。以一個5萬臺物理服務器的數據中心為例，假設每臺服務器虛擬為15個虛擬機（VM），給每個VM分配2個MAC地址和1Mbit/s帶寬，則所有服務器的MAC地址數量為150萬個，出口帶寬為750Gbit/s。如果考慮到下行連接、鏈路冗余和一定的網絡裕量、橫向流量，則核心層網絡設備的實際端口容量大致為2.5Tbit/s。這只是一般規模下非常保守的估計，但已經比傳統數據中心的交換機容量提高了一個量級。

（4）業務流量

流量大?。浩淞考壴谏衔囊延姓撌?。在這樣的量級上，流量復用效率可以明顯改善，但流量的協調、伸縮和不可預見性則需要更好地管理。

流量方向和交互：傳統數據中心的流量方向主要是南北向（又稱為縱向）的，即數據中心內部和外部之間交互流量；云數據中心則有大量東西向（又稱為橫向）流量，即數據中心內部服務器之間交互流量。東西向流量主要來源于以下3個方面：

·新型計算模式，如Hadoop計算所產生的流量；

·災備、存儲遷移、虛擬機遷移流量；

·在公有云中，由于大量用戶將自己的DC建立在云服務提供商（cloud service provider，CSP）提供的基礎設施上，則用戶的業務交互對基礎設施而言是可

感知而不可預見的，這不同于傳統數據中心。

流量組成：除了傳統數據中心已有的管理流量、控制流量、業務流量、備份流量等，云數據中心還有自己特有的遷移流量、虛擬機鏡像流量。另外，云數據中心的業務流量所承載的用戶數遠大于傳統數據中心，控制流量遠比傳統數據中心的豐富、復雜。

1.3 對云數據中心網絡的要求

綜上所述，云數據中心與傳統數據中心的業務特性差異巨大，這種差異在數據中心網絡層面主要表現在以下4個方面。

（1）網絡邊界

在云數據中心，由于服務器虛擬化技術的采用，網絡已經延伸到服務器內部，因此，物理網絡和虛擬機、虛擬交換機（vSwitch）之間需要互操作、互感知。有兩種可能的解決方案：一種是通過網絡上的管理平臺，一種是在服務器和交換機之間建立協議關系，如 IEEE802.1Qbg、IEEE 802.1BR。

（2）網絡層次

云數據中心要接入海量的互聯網用戶以及大量的服務器，前者要求數據中心網絡有中等或以上的路由能力（視網絡結構而定），后者要求數據中心網絡有大二層能力。所謂“大二層”，綜合體現在服務器或VM數量、MAC地址數量、網絡設備容量、網絡流量和用戶數量等方面，并且有彈性伸縮、廣域互聯、細顆粒度負載分擔等需求。大二層解決方案主要有兩種：一種是廣域方案，可以稱為數據中心 互聯（data center interconnect，DCI）， 如 VPLS、PBB、PBB-EVPN等；另一種是園區級或城域級方案，如疊加（overlay）型或隧道（tunnel）型、交換型（如 trill）方案。上述方案中有些內置了冗余和負載分擔等功能，還有些屬于設備和鏈路級的冗余和負載分擔方案。

（3）流量模型

在云數據中心，南北向流量和東西向流量兼備，這些流量將對網絡上下行收斂比、設備的架構和端口緩存設計產生重大影響；另外有一些網絡服務，如防DDoS服務，需要VPN功能回送清潔流量到目的設備；由于服務器的虛擬化，有些傳統網絡服務需要下沉到二層甚至物理服務器內部實現。

（4）流控

云數據中心規模巨大，用戶眾多，流量復雜，需要對不同用戶、不同屬性的流量進行區域、路徑、QoS等控制。

1.4 傳統數據中心組網的局限性

傳統數據中心的組網特點基本可以概括為 “一房一網，分層匯聚”。一房一網，是指數據中心的網絡以機房為單位，一個機房就是一個獨立的網絡，每個機房都連接到骨干網或城域網，甚至作為城域網的一部分，各機房之間沒有關系；分層匯聚，是指數據中心網絡基本按接入、匯聚、核心、出口4層進行組織，每個層次的核心作用雷同，基本是匯聚下層、連通上層以及對流量進行南北向轉發，外加一些簡單的冗余、防環機制。

顯然，這樣的架構已經不足以支持云業務。

2 業務交換機概述

云計算對數據中心網絡的要求賦予數據中心網絡設備豐富的業務特性，略舉如下：

·北向三層路由和兩層交換的分界；

·南向接入時對虛擬機、虛擬交換機甚至存儲的感知與交互；

·橫向大二層能力和作為二/三層DCI的客戶邊緣（customeredge，CE）設備能力；

·必要的VPN能力；

·各層次網絡服務（如安全、負載均衡等）的提供（可能作為交換機外掛的物理設備，也可能作為交換機的硬件組成）；

·均衡的南北向流量和東西向流量轉發能力；

·復雜的流控能力；

·適當規模的路由能力、交換容量、MAC地址支持能力等。

如何在通用方法論的指導下組織上述復雜的業務和技術特性，使之形成有機整體，并能適應多流派（如大二層問題的疊加方案和交換方案）、多制式（如服務器虛擬化的多種技術）、多業務（如傳統業務和云業務）的共存，規模上可擴展并可分步實施，技術上可平滑演進，防止廠商鎖定，簡化數據中心網絡設計，是“業務交換機（service switch，SS）”要解決的問題。

所謂“業務交換機”，是一種數據中心網絡設備，集成了數據中心的核心業務能力（物理上可以適當分離），北向提供互聯網用戶接入，南向提供數據中心資源接入，橫向提供業務交互和擴展能力，交換機起到邊界確定、連接分類、規模擴展、業務控制、流量轉發的作用。從數據中心的整體看，所有業務交換機共同構筑了一個邊界層，是整個網絡的靈魂。

3 以業務交換機為基礎的云數據中心通用網絡架構

3.1 設計思路和要點

以業務交換機為基礎的云數據中心通用網絡架構，其基本設計思路是：功能集成，邏輯清晰，分層分模塊組織。要點如下：

·將整個數據中心網絡劃分為骨干層和業務層；

·骨干層主要為業務層提供數據中心出口服務、長途DCI服務和骨干層網絡服務，邏輯上對應的設備形態分別是出口路由器、DCIPE（provider edge）、骨干層網絡服務設備；

·業務層的主要功能是通過業務交換機實現北向用戶接入、南向業務承載、橫向業務交互和擴展、業務層的網絡服務，在業務層內，以業務交換機為核心組織業務塊 （service block），若干類似屬性的業務塊經區域交換機匯聚為業務區域（service domain），若干業務區域（可能是不同屬性的）共存于一個業務空間（service space），所有業務空間構成數據中心網絡的業務層，并與骨干層互聯；

·區域交換機的作用主要是對業務交換機進行匯聚，

如果規模足夠小或業務交換機足夠強大，可以取消區域交換機，以使網絡更加扁平。

3.2 設計示例

通用網絡架構設計示例如圖1所示，整個云數據中心的骨干層出口路由器分別與公眾互聯網、高等級互聯網（或長途光網、DCI專網）連接，DCIPE是DCI網的邊緣設備，trill交換機可實現trill方式的大二層互聯，亦可作為匯聚交換機或互聯交換機連接各業務交換機或有需要的相關網絡設備；業務層可劃分為若干業務空間（物理上可能對應若干機房、機樓），每個業務空間劃分為自主客戶業務區、傳統托管業務區、云業務區，其中云業務區又可劃分為個人業務塊、企業業務塊；園區范圍內的光網（或裸纖、交換）用于園區內部的物理互聯，可承載業務交換機之間的大二層連接和到DCIPE的連接、區域交換機到出口路由器的連接、存儲災備等。

典型業務區塊的業務特征和某些技術考慮如下。

（1）自主客戶業務區

圖1 通用網絡架構設計示例

數據中心運營商只提供空間、水電、散熱、骨干網絡接入、（可選的）傳輸；用戶自己組網（典型用戶如互聯網公司、企業租賃用戶）。

（2）傳統托管業務區

在自主業務區的基礎上，運營商還需提供機房內的網絡接入和（可選的）網絡服務（如安全、負載均衡）；用戶提供服務器、存儲，有時也會自帶接入交換機（即top of rack，ToR）、防火墻等網絡設備；以南北向流量為主；DCI需求以三層VPN為主，可將業務交換機作為CE接入DCIPE，亦可專設區域CE或業務塊CE接入PE；該區域的業務交換機可使用傳統交換機，直接接入IT設施或者通過ToR接入。

（3）云業務區

運營商提供所有基礎設施（甚至可能包括應用）和各層次網絡服務（包括可能的橫向網絡服務），用戶只購買服務（面向個人用戶提供標準云業務，面向企業用戶提供虛擬數據中心（virtualDC，vDC））；南北向和東西向流量共存；業務交換機之間通過trill或疊加等方式實現園區大二層，并通過DCIPE接入廣域大二層或三層VPN；該區域的業務交換機是本文所定義的典型業務交換機，可提供超高密度10Gbit/s端口，通常直接接入服務器和存儲。

4 結束語

云計算給數據中心帶來了很多復雜的挑戰。通過本文定義的業務交換機，可以為數據中心網絡設計提供通用方法論，簡化設計，并使邏輯清晰。但也看到，邏輯清晰并不意味著邏輯簡單——相反，云數據中心（包括本文并未涉及的互聯網公司的數據中心）涉及面太廣，現有業務和技術都太復雜。也許下一步追求的是一個邏輯清晰簡單的解決方案。隨著硬件技術的進一步發展，軟件定義網絡（software defined networking，SDN）可能會帶來驚喜。