一種高效高可靠的數據中心網絡架構設計

■ 田征 何恒宏 周琰

在對目前主流數據中心網絡架構設計方法進行對比分析的基礎上，通過對氣象業務的數據交互特征進行分析和歸類，提出一種少跳轉、低延時、高可靠的適用于氣象業務系統的數據中心網絡架構設計。該網絡架構將業務和管理分別組網，并采用異構的網絡結構，在滿足業務高速高效交互需求的基礎上，兼顧數據中心網絡的安全性和可靠性。

數據中心以集約共享的基礎設施資源池作為資源載體和補充，承載各類氣象應用端系統等業務網區氣象業務和科研應用系統，提供統一的氣象數據環境，以服務接口的方式支撐氣象應用，實現天氣、氣候、探測等加工處理算法的整合，融入一體化加工流水線。

網絡系統作為數據中心的基礎設施，為各類氣象業務系統提供穩定、高效、可靠的網絡傳輸平臺，數據中心的網絡架構關系到數據中心的配置、性能、管理維護等多個方面，數據中心網絡系統的結構和性能至關重要。

隨著幾年來云計算技術的逐漸成熟和推廣應用，數據中心內部一般采用分布式架構處理海量數據存儲、挖掘、查詢等相關業務，服務器之間需要進行大量的協同工作，因此產生了大量的東西向流量。其次，數據中心中越來越多的采用虛擬化技術，物理服務器的吞吐量是虛擬化前的數倍之多。同時，為了更大幅度地增大數據中心業務的可靠性、提高業務部署的靈活性，虛機需要實現在數據中心內進行動態遷移。作為核心基礎設施，數據中心網絡是連接數據中心大規模服務器進行大型分布式計算的橋梁，適應云計算和大數據應用的數據中心網絡已經成為了近年來引人矚目的研究熱點。國際國內學術界、標準組織、網絡設備廠商、云計算提供商等都對數據中心網絡研究給予了非常大的關注，PortLand、VL2等多種新型數據中心網絡結構被提出廣泛部署和應用于當前的商用數據中心。

本文在對目前數據中心分析研究的基礎上，結合目前主流數據中心網絡架構設計方法，提出一種滿足少跳轉、低延時、高可靠的數據中心網絡架構設計。

1　網絡架構分析

1.1　數據中心網絡架構

傳統數據中心網絡架構一般采用以交換機為核心的三層樹形網絡架構，即采用核心層、匯聚層、接入層三層結構，如圖1所示。這種傳統樹形網絡結構的根節點帶寬會成為瓶頸，存在以下缺點。

?帶寬受限，在匯聚層，其連接邊緣層的帶寬遠遠大于連接核心層的帶寬；

?網絡時延開銷大，部署在不通根節點交換機的業務系統進行數據交換，需要經過多級多臺交換機的轉發，而普通根節點接入交換機的轉發性能遠低于核心交換機；

?流量工程難度大，數據中心流量是高動態和突發的，約80%的流量都是內部流量，且流量持續變化，難以預測，從而使得傳統流量工程方法無法有效工作。

圖1　傳統數據中心網絡架構

近年來，隨著數據中心規模的不斷膨脹，以及虛擬化、云計算等新技術的不斷發展，僅僅使用傳統的網絡技術越來越無法適應業務發展的需要。傳統的數據中心內，服務器主要用于對外提供業務訪問，不同的業務通過安全分區及VLAN隔離。一個區域通常集中了該業務所需的計算、網絡及存儲資源，不同的分區之間經由核心交換通過三層網絡交互，數據中心的網絡流量大部分集中于南北向。在這種設計下，不同分區間計算資源無法共享，資源利用率低下的問題越來越突出。通過虛擬化技術，將各個分區間的資源進行池化，實現數據中心內資源的有效利用。而隨著虛擬化、云計算技術的興起和應用，新的業務需求如虛擬機遷移、數據同步、數據備份、協同計算等在數據中心內開始實現部署，數據中心內部東西向流量開始大幅度增加。

同時，隨著虛擬化技術的進步，服務器間的低時延通信和更高的雙向帶寬需求變得更加迫切。然而傳統的三層網絡結構，造成數據中心計算節點間通信延時較高，這就驅動網絡架構向扁平化方向發展，盡量減少網絡層次的數目。

采用VSU技術（Virtual Switch Unit，即虛擬交換單元）的網絡結構（圖2）把傳統網絡中的兩臺核心層交換機虛擬化為一臺邏輯虛擬交換機，和匯聚層交換機通過聚合鏈路連接，提高網絡連接的可靠性和傳輸帶寬。采用VSU技術，在核心層和匯聚層之間避免出現二層環路，同時由于VSU 減少了路由實體的數目，簡化了網絡拓撲。在數據中心內部，通過采用VSU技術，可以構建大型的二層交換網絡，具有網絡結構簡單、高可靠、高性能、避免環路的好處。

圖2　VSU技術網絡結構

1.2　數據中心網絡安全架構

傳統的數據中心安全架構通常采用串行部署方式，存在如下問題：

?動網斷網：設備升級、更換都需要進行網絡割接，造成斷網；

?性能瓶頸：串接鏈路上，品牌不統一，性能參差不齊，整個鏈路的性能較差，轉發時延隨著設備的增加而增大；

?利用率低:無論是否有該方面安全需求，數據流量都要經過全部串接安全設備，無法按需定義分區流量。

SDN（Software Defined Network）軟件定義網絡，將傳統網絡設備的數據平面和控制平面兩個功能模塊相分離，通過集中式的控制器(controller)以標準化的接口對各種網絡設備進行管理和配置。這種架構為網絡帶來的可編程的特性，使得網絡資源的設計、管理和使用提供更多的可能性，使得SDN日趨成為解決數據中心網絡安全問題的主要手段之一。

利用SDN Service Chain技術，可以改變傳統數據中心中安全設備串行部署的方式，通過引流方式實現各區域及業務應用間的按需安全控制，為數據中心提供彈性、簡單、高效的安全保障。

2　設計原則

?穩定性和可靠性

采用主流網絡技術和市場覆蓋率高、技術成熟的產品，保障網絡及其所承載的業務系統的穩定運行。

?業務效率優先

在對業務需求進行充分分析的基礎上，本著提升業務網絡通信效率，降低跨網段、跨設備交換的通信消耗，進行網絡結構設計和技術選型。

?整體性

以整體效益為立足點，綜合考慮業務、平臺、網絡、場地環境等因素，提升網絡性能、可靠性、擴展性、可維護性，降低建設及維護成本。

?可擴展性

在網絡設計中充分考慮未來業務發展及其網絡需求的變化，需滿足業務需求。

?集約適度

根據不同業務需求，進行網絡分級分類，按照業務所需不同性能、可靠性要求匹配適當的網絡類別及設備。

?開放性和兼容性

所有技術和設備都遵循相關的國際、國家或行業規范。符合相關標準的不同廠家設備能夠相互兼容。

3　網絡架構設計

3.1　總體架構

當前流行的數據中心網絡架構，通常按照業務和安全等級劃分少量幾個分區，各個分區連接到業務核心。為了實現氣象業務的高速高效轉發，減少網絡性能瓶頸，在總體架構上，通過采用VSU和SDN技術來實現高效、可靠、高安全的扁平化業務網絡環境。

業務網主要承擔各個業務系統的接入和數據交換功能，具有東西向流量大、交互頻繁的特點，對網絡轉發效率、傳輸速率、網絡可靠性的要求較高；管理網主要用于業務系統及設備的管理流量轉發，主要包括系統管理流量和帶外管理流量。管理流量具有流量較小，交互少，對網絡時延的要求遠低于業務流量，但對安全性要求較高。根據業務和管理流量的不同需求，本文采用異構的業務網和管理網架構，業務網采用核心層加接入層的大二層扁平化網絡結構，管理網采用傳統的分布式網絡架構。

3.2　業務網架構

數據中心業務網采用核心層加接入層的大二層扁平化網絡結構，與局域網進行互連，實現各業務系統的網絡接入和數據交換。為滿足數據中心各類資源系統對業務通信高速、高效、高可靠、低延時、低成本、少跳轉、少瓶頸的要求，業務網將采用集中式接入的網絡結構，交換機均采用高性能的數據中心核心級交換機，通過采用VSU技術，提高核心交換機轉發性能和可靠性，實現各業務系統的網絡連接高度集中，減少跨網絡設備的數據交互及上聯瓶頸，降低網絡轉發時延。

根據各業務系統重要性、時效要求和系統耦合性不同，將交互耦合度和時延要求高的在線實時業務定義為高IO系統，如MICAPS、CIMISS等；交互耦合度和時延要求低的非在線實時業務或實驗系統定義為中低IO系統。

高IO系統采用雙鏈路捆綁直接上連至2臺核心交換機，各業務間數據交換在核心交換機內部采用背板交換的方式進行轉發，不存在跨交換機的數據轉發，減少跨設備的轉發時延。同時由于數據中心級交換機的性能更優，經測試得到轉發時延小于4 μs，可將數據交換的網絡時延降至最低，實現了實時業務系統數據的高速高效轉發。

中低IO系統采用雙鏈路捆綁直接上連至2臺中低IO匯聚交換機，2臺中低IO匯聚交換機與核心交換機間采用多40G鏈路捆綁互連，在降低轉發時延的同時，保障了高IO系統和中低IO系統間數據交換具備足夠的網絡帶寬。

同時2臺核心交換機和中低IO匯聚交換機分別采用VSU技術虛擬化為1臺邏輯交換機，在增加業務系統接入帶寬的同時，增加了系統可靠性。業務網網絡架構如圖3所示。

圖3　業務網網絡架構

3.3　管理網架構

管理網的數據流量一般為系統監控、遠程管理及虛擬機遷移，網絡流量較小，時效要求不高，目前局域網絡時延不會影響管理通信；同時，其對網絡可靠性要求不高，短時中斷一般不會影響業務運行；另外，統籌考慮綜合布線和建設管理成本，管理網采用分布式接入的網絡結構，即采用匯聚+接入的方式進行組網。同時考慮業務系統管理需求，將系統管理網和帶外管理網分別單獨組網，充分保障管理網絡的穩定可靠。管理網架構如圖4所示。

圖4　管理網網絡架構

3.4　轉發時延測試

為了確認本文中網絡架構的網絡轉發性能，采用如圖5所示的測試拓撲，采用專用測試儀對核心交換機、匯聚交換機和接入交換機的單接口轉發時延進行測試，據此可估算數據中心業務網絡的轉發時延。測試結果如表1所示。

圖5　轉發時延測試拓撲

通過對核心交換機和接入交換機接口轉發時延進行測試，以64 kbytes的數據包為例，可以估算出傳統三層網絡架構（圖6）和本文提出的網絡架構（圖7）中業務通信的轉發時延范圍（表2）。采用二層扁平化網絡架構的轉發時延小于10 μs，比傳統三層樹形網絡架構降低了98.7%。同時由于將交互耦合度高的系統連接至同一對核心或匯聚交換機上，業務系統間通信主要為東西向流量，南北向流量大幅度減少，可降低上聯接口成為帶寬瓶頸的概率。

表1　核心交換機、匯聚交換機、接入交換機轉發時延測試結果

圖6　傳統三層樹形網絡架構拓撲

圖7　本文業務網架構拓撲

表2　傳統三層樹形和本文網絡架構的轉發時延（單位：μs）

3.5　數據中心安全架構設計

為了提高數據中心的安全水平，采用如圖8所示的SDN Service Chain架構，通過在數據中心核心交換機處部署SDN控制器，使用安全引流技術，使旁掛于核心交換機處的安全設備形成安全資源池，實現數據中心各業務系統安全控制的按需引流。在提高數據中心各區域安全防護能力，實現安全設備的高效集約利用，提高數據中心網絡和安全架構的可靠性。

4　結語

數據中心網絡系統是數據中心的基礎，是氣象業務系統、云平臺、高性能計算機和存儲等系統的基礎運行環境和數據交換樞紐。為了適應云平臺等不斷發展的資源池網絡需求，在網絡架構方面，通過采用VSU技術，搭建扁平化數據中心網絡架構，減少業務通信網絡轉發環節，可有效降低轉發時延，避免網絡瓶頸，滿足氣象數據中心內部大流量數據交換需求。通過建設異構的業務網和管理網，將業務和管理流量分開，提高業務系統的安全性和可靠性；在安全架構方面，采用SDN Service Chain 架構，實現數據中心各區域間安全控制的按需引流，提高安全設備的集約化水平，為各業務系統提供可定制化的安全方案。

深入閱讀

Guo C, Lu G, Helen J, et al, 2010. SecondNet: A data center network virtualization architecture with bandwidth guarantees. ACM CoNEXT 2010.

程容斌, 王宏, 杜勇, 等, 2011. 數據中心網絡結構綜述. 電腦知識與技術, 7(35): 9029-9032.

王斌鋒, 蘇金樹, 陳琳, 2016. 云計算數據中心網絡設計綜述. 計算機研究與進展, 53(9): 2085-2106.

魏祥麟, 陳鳴, 范建華, 等, 2013. 數據中心網絡的體系結構. 軟件學報, 24(2): 295-316.