云計算數據中心網絡設計與關鍵技術分析

郎海

（深圳中興網信科技有限公司，廣東深圳，518000）

云計算數據中心網絡設計與關鍵技術分析

郎海

（深圳中興網信科技有限公司，廣東深圳，518000）

在設計以“云”為基礎的數據中心時，需要設計計算資源池和存儲資源池，實現按需分配以及資源動態調度等目標。本文研究了服務器虛擬化構建，探討了多用戶并行處理模式，提出了從交換機到用戶并行計算的整體云計算數據中心網絡架構。實踐結果證明：設計方案達到了預期目標，實現了智能交通、應急指揮、數字化城市管理等諸多功能。

服務器虛擬化；資源動態調度；多用戶并行處理；網絡結構設計

引言

目前大多數地市都在積極建設智慧城市，承載這些智慧應用的基礎設施就是基于云計算的數據中心［1］。依托當今最先進的信息和通訊技術，該數據中心的具體目標是：云計算不僅要承載共享交換平臺業務，還要承載智能交通、應急指揮、數字化城市管理等諸多業務，且要具備擴充能力，未來新增業務系統也將部署于數據中心。

本文以某項目數據中心建設為例，闡述了項目設計的整體思考，以及關鍵技術解決方案。

1 云計算理論基礎

在該項目中，數據中心采用云計算技術，其可以提供的功能包括：（1） 將IT基礎資源池化，提供統一共享的計算資源池和存儲資源池；（2） 實現按需分配以及資源的動態調度；（3） 當未來新增業務時，不需要購買服務器資源，直接通過管理軟件從資源池進行分配，并且在軟件生命周期結束后，可以將資源釋放回資源池；（4） 在業務高峰期，也可以動態分配計算資源，以滿足突發訪問對計算能力的要求。面對目標需求，采取了云計算的基礎結構。

1.1服務器虛擬化

傳統模式下，物理服務器通常只部署一個業務，服務器的利用率很低；部署多業務時，則需要配置多臺服務器，最終數據中心規模越來越龐大，而且增加了維護工作量。虛擬化技術可以將一臺物理服務器虛擬成若干個獨立的服務器，充分發揮了服務器的計算能力，大大減少了數據中心服務器的數量［2，3］。

此外，服務器的靈活遷移變得可行。傳統模式下，遷移前需要做大量準備工作，包括詳細規劃、割接計劃、備份方案等；遷移過程中，設備要斷電、搬遷、重新加電等，業務難免出現中斷，而且搬遷的風險很大，容易導致業務無法加載、數據丟失。虛擬化技術可以讓遷移工作平滑進行，例如采用漸進式內存復制的方法，可保證在業務不中斷的前提下進行，保證了計算資源的彈性分配、容災備份的順利進行。

1.2多租戶支持

由于改變了傳統的購買物理設備的模式，用戶只需要租用計算和存儲等資源即可。相當于每個租戶擁有了自己獨立的服務器（如圖1所示），且大大降低了租戶運行和維護自有數據中心的難度和工作量。其技術上要求實現端到端邏輯隔離，包括計算、存儲、網絡、信息安全等，從IT架構上，讓各個用戶擁有獨立的虛擬機，以確保不同用戶之間的應用系統不會受到相關干擾，并實現數據隔離和保密的要求。

圖1　服務器虛擬化

2 數據中心設計目標

以云計算為基礎，大規模采用計算及存儲虛擬化技術，需要按照業務動態按需分配資源［4］，而傳統的數據中心網絡設計采用靜態的方式，難以實現動態的需求。

2.1數據中心關鍵技術

基于云計算的架構，已經變革了傳統數據中心流量模型。傳統數據中心的流量主要是由外部網絡訪問數據中心服務器產生的，而云計算技術使得數據中心內部計算和存儲節點之間的訪問變得頻繁，業務量和內部流量大增。因此，流量模型從傳統的縱向（或南北向）變為以橫向（或東西向）為主，如圖2所示。傳統的數據中心設計采用樹形架構，上下行帶寬按一定的收斂比設計，在橫向流量增多的情況下，會造成網絡擁塞，滿足不了新的流量模型需求。

圖2　兩種架構不同的數據處理方向

2.2多用戶與虛擬機技術處理

在流量傳輸速度要求方面，多租戶設計也給網絡設計帶來一定的難度，既要能夠提供每個租戶業務的快速配置和部署，也要做到租戶之間的安全隔離（包括流量隔離），而傳統的網絡主要是基于VLAN來隔離，且VLAN的數量受到4096個的限制，因此擴展性難以滿足。

在硬件交換機方面，由于虛擬化技術采用虛擬交換機，而虛擬交換機是相對封閉的，網絡管理軟件無法進行管理，導致虛擬服務器之間的流量管理、端口策略等無法實現。且虛擬機在不同物理服務器之間遷移時，網絡配置參數無法在物理交換機不同的端口之間轉移和配置。

虛擬機在遷移后，一般要求IP地址不發生變化，因此在二層網絡中遷移要大大優于三層網絡。在傳統網絡中，為了避免二層網絡形成環路而產生網絡風暴，采用了STP協議（生成樹協議［5］），但STP協議本身有很多缺陷，包括為了避免環路，阻塞了冗余鏈路，導致鏈路的利用率不高；等價多路徑轉發不能實現；其最主要的缺點在于收斂速度，但網絡拓撲變化時，新的配置需要一段時間的延時（Forward Delay）才能傳播到網絡，這個時延默認為15秒，有可能導致臨時環路，生成樹協議是采用定時器策略來解決這個問題，即在端口從阻塞狀態到轉發狀態中，加一個只學習MAC地址但不參與轉發的中間狀態，其時延也是Forward Delay，因此收斂時間相當于2倍的Forward Delay。

3 整體設計分析

3.1扁平化網絡設計

針對流量模型改變的問題，采取扁平化網絡設計（如圖3所示），即將原來的核心層、匯聚層及接入層調整為兩層架構，將匯聚層和接入層合并。改變原有的上下行帶寬收斂比設計，將接入層的上行帶寬擴大，也意味著越到根節點，鏈路帶寬越大。提高接入交換機的配置，采用大容量的交換機，提供盡可能多的網絡端口，充分利用交換機本身背板帶寬。其具體網絡拓撲結構為：每臺接入交換機均通過上行鏈路連接到核心層的核心交換機，有幾個核心交換機就有幾條上行鏈路，盡可能做到流量均衡，這種結構就是胖樹組網。

3.2邊緣虛擬橋技術

圖3　網絡扁平化設計

為了解決虛擬化環境的虛擬機VM（Virtual Machine）與網絡之間的連接與管理邊界問題，誕生了EVB（Edge Virtual Bridging）技術，即邊緣虛擬橋技術，EVB主要由801.1Qbg標準定義，其數據層面實現包含三種模式：即VEB（Virtual Ethernet Bridging）模式、VEPA（Virtual Ethernet Port Aggregator）模式和Multi-Channel模式；802.1Qbh為PE（Port Extender）模式。為了實現上述功能，同時相應定義一個虛擬感知和發現協議，即VDP協議（虛擬機發現協議）。當一個虛擬機上線時，它需要通過VDP協議來和相連接的物理交換機進行通告和配置信息交換。這樣相連接的物理交換機就能夠感知到虛擬機的上線，并可下發和配置網絡策略或參數。因此在設計和設備選型中，需要選取支持EVB功能和VDP協議的網絡交換機，這樣實現了虛擬遷移自動感知，以及配置自動跟隨。

為了讓云數據中心能夠服務于越來越多的租戶，以及突破傳統VLAN的4096個的數量限制，提出了租戶Overlay網絡的概念，其核心思想是映射加封裝，在IP層之上提供一層Overlay網絡，用特殊的Overlay報頭來區別不同的租戶，其封裝格式有多種，包括VXLAN、NVGRE等。具體實現如下：假如同一個租戶有兩個不同的虛擬機（分別為VM1和VM2）分別連接在不同的物理交換機（分別為S1和S2）上，當VM1向VM2發送報文時，S1會將報文的目的地址以及VM2的地址，映射為S2的地址。也就是說，S1將原始報文封裝，通過隧道傳遞到S2后，S2將去除封裝取出原始報文送給VM2。對于映射和隧道管理方法，分為兩類，一類為自發學習，另一類為通過控制信令。其中自發學習適用于小型數據中心。而通過控制信令的方法，采取VM上線時，即要注冊它的地址和隧道的映射關系，下線時會刪除；在遷移時，則會及時更新注冊，適用于大型數據中心。在本項目設計中，考慮到政府使用的數據中心規模不同于運營商的數據中心，因此我們采取自發學習的方式。綜上所述，租戶Overlay的方法使網絡本身對于租戶內部的地址管理透明，策略可以根據租戶來下發。租戶的流量隔離將會在邊緣節點基于租戶ID來實現，突破了傳統的使用二層以太網VLAN來隔離的租戶數量限制。

3.3多路徑冗余備份技術

為了解決STP協議帶來的不利影響，首先要解決的是采用基于多條等價路徑的轉發，以均衡流量、避免擁塞。于是支持大規模二層網絡的協議必然會取代STP協議，常見的有TRILL （Transparent Interconnection of Lots of Links，多鏈路透明互聯）和SPB（Shortest Path Bridging，最短路徑橋接）。兩者都是在二層的數據轉發協議中融入了三層的路由思想，吸取了二、三層的優點，并規避其缺點。這兩個協議分別由IETF TRILL工作組和IEEE 802.1制訂。在本項目設計中，我們采用了TRILL協議，其特點除了高效轉發、避免環路、收斂快速、支持多租戶外，還具有部署方便的優勢，其協議配置簡單，部署自動化程度較高，很多配置參數可以自動生成，并且大部分參數按缺省配置即可。因此，較適合本項目中缺少足夠專業人才而帶來的后期維護難度這一方面。

4 結束語

本項目中，在傳統數據中心網絡架構難以滿足大流量、多租戶應用的情況下，采取了新型的網絡設計方案，以大二層組網技術及胖樹組結構；綜合運用標準化協議，支持EVB功能、802.1Qbp接口虛擬化協議、VDP協議、VXLAN協議；組網中，實施了TRILL二層多路徑技術的網絡交換機設備，更好滿足了云計算業務需求。

本文可為政府及各部門構建網絡數據中心提供有效參考。

［1］錢景輝. 數據中心在云計算需求下的技術分析［J］. 現代計算機:專業版， 2012（21）: 32-36.

［2］崔然， 張弘， 林澤東， 等. 虛擬化技術構建新型數據中心［J］. 中國教育網絡， 2012（7）: 43-45.

［3］陳玉霞， 程友清， 劉瓊， 等. EVB技術中ECP協議的實現及改進［J］. 電子設計工程， 2016， 24（11）: 81-83.

［4］宋子航. 云計算數據中心間網絡通訊技術的研究與應用［D］.廣西: 桂林理工大學， 2014.

［5］陳宇. 生成樹協議改進方法分析［J］. 微計算機信息， 2011， 27（1）: 235-236.

郎海（1974-），1996年畢業于華東理工大學，畢業后從事于計算機網絡通信、信息技術領域，現供職于中興通訊旗下中興網信公司，專注于智慧城市研究，參與過國內多個智慧城市的規劃設計和工程實踐。

E-mail: langhai@126.com

Analysis on Cloud Computing Data Center Network Design and Key Techniques

Hai Lang（Shenzhen ZTEICT Technology Co.， Ltd.， Shenzhen， Guangdong， 518000， China）

Designing on the basis of the "cloud" of data center， computing resources and storage resources pool must be needed， achieving on-demand and dynamic resource scheduling are market. This paper studies the server virtualization building， discusses the multi-user parallel processing mode， and puts forward from the switch to the users of the parallel computing cloud computing data center network architecture as a whole. Practice results show that the design achieves the expected goal， and implements the intelligent traffic， emergency command， digital city management， and many other functions.

Server Virtualization； Resource Dynamic Scheduling； Network Architecture Design

TN01

A

2095-8412 （2016） 04-679-04

工業技術創新 URL： http://www.china-iti.com 10.14103/j.issn.2095-8412.2016.04.026