云數據中心演進思路剖析

唐 宏，陳 楠

(中國電信股份有限公司廣東研究院 廣州 510630)

近年來，云計算在學術界和產業界均獲得高速發展。云計算基于互聯網的業務模式促使新型數據中心的出現，利用云計算技術可以有效解決目前數據中心普遍存在的資源利用率低、能耗過高、基礎資源出租類業務比重過大等問題。新一代云數據中心逐漸獲得了業界的認可與探索實踐。本文首先對云數據中心的概念進行辨析，然后在分析云數據中心關鍵技術的基礎上，從網絡架構、基礎設施、資源管理、服務提供、運營維護、規劃建設和綠色節能等角度分析了云數據中心的特點與發展趨勢，最后給出傳統IDC運營商的應對策略。

1 云數據中心內涵

云計算是一種將池化的集群計算能力通過互聯網向內外部用戶提供按需服務的互聯網新業務，是傳統IT領域和通信領域技術進步、需求推動和商業模式變化共同促進的結果，具有以網絡為中心、以服務為提供方式、高擴展高可靠性、資源池化與透明化等4個特點，云計算的出現，使IT資源具備了可運營的條件。數據中心是云計算生態系統中的重要一環，在云計算模式下，信息的存儲、處理、傳遞等功能均由網絡側完成，實際上由數據中心承擔。由于傳統數據中心存在資源利用率低、自動化程度低、能耗過高等一系列問題，無法有效承載云計算業務，因此基于云計算技術的新一代數據中心應運而生。

云數據中心是指以客戶為中心、以服務為導向，基于高效、低能耗的IT與網絡基礎架構，利用云計算技術，自動化地按需提供各類云計算服務的新一代數據中心。云數據中心是傳統數據中心的升級，是新一代數據中心的演進方向。云數據中心具有以下5個特點。

（1）資源池化

云數據中心內的IT資源和網絡資源將構成統一的資源池，實現物理資源與邏輯資源的去耦合，用戶僅需對邏輯資源進行相關操作而無需關注底層實際物理設備。

（2）高效智能

基于虛擬化、分布式計算等技術，利用低成本的集群設備實現高效廉價的信息承載、存儲與處理，同時通過管理平臺實現自動化的資源監控、部署與調度以及業務生命周期的智能管理。

（3）面向服務

整體架構以服務為導向，通過松耦合的方式實現多服務的綜合承載與提供，云數據中心由提供資源變成提供服務，用戶通過服務目錄選擇相關的服務，對底層實際資源透明。

（4）按需供給

底層基礎架構在資源池化的基礎上根據實際需求實現資源的動態伸縮，并提供完備的、細顆粒的計費功能，云數據中心還將根據上層應用的發展趨勢，實現對底層物理設備的智能容量規劃。

（5）綠色低碳

通過模塊化的設計以及虛擬化等綠色節能技術，降低云數據中心的設備投入成本以及運營維護成本，實現低PUE值的綠色低碳運營。

云數據中心率先在Google、Facebook等互聯網公司的自有業務中獲得成功應用，并成為這些企業的核心競爭力之一，同時亞馬遜、微軟等業界巨頭也正嘗試（初期實踐）利用云數據中心向公眾提供包括IaaS、PaaS和SaaS在內的云計算服務。

2 云數據中心關鍵技術

2.1 虛擬化技術

虛擬化技術的本質是實現底層物理設備與邏輯資源的去耦合。通常所指的虛擬化即服務器虛擬化，可以在相同的一套硬件上運行彼此獨立的操作系統和應用軟件。服務器虛擬化具有同質、高效、資源受控的特點。虛擬化后的虛擬機可以根據需求彈性增加或減少其分配的硬件資源，提高資源配置的靈活性，同時可以在單一物理服務器上運行多個虛擬機，提高了資源利用率，降低了能耗。通過服務器虛擬化可以將整個系統（包括硬件配置、操作系統以及應用等）封裝在文件里，實現（虛擬機）系統的快速部署、軟件發布和系統備份，同時在業務不中斷的情況下，實現在不同物理服務器上的動態遷移，增強系統的可靠性和擴展性。

除服務器虛擬化外，虛擬化技術還包括存儲虛擬化和網絡虛擬化。存儲虛擬化是指通過對存儲（子）系統或存儲服務的內部功能進行抽象、隱藏或隔離，使存儲或數據的管理與應用、服務器、網絡資源的管理分離，從而實現應用和網絡的獨立管理。存儲虛擬化可以在系統的多個層面實現，如建立類似于HSM（分級存儲管理）的系統，同時，存儲虛擬化技術的出現解決了系統異構的問題。網絡虛擬化的狹義概念是傳統虛擬專用網絡，通過VPN或者VLAN的方式在公共網絡上建立虛擬專用網。近年，計算虛擬化“多對一”的特征對網絡提出了與底層虛擬機相適配、互感知的新要求，充實了網絡虛擬化的概念。傳統網絡逐步具備了虛擬交換機、虛擬網卡、虛擬化動態感知以及大二層網絡等特點。

2.2 分布式計算技術

分布式計算技術使幾個物理上獨立的組件作為一個單獨的系統協同工作，這些組件可能指多個CPU或者網絡中的多臺計算機。大型分布式系統通常會面臨如何把應用程序分割成若干個可并行處理的功能模塊以及如何解決各功能模塊間協同工作的問題。這類系統可能采用以C/S結構為基礎的3層或多層分布式對象體系結構，把表示邏輯、業務邏輯和數據邏輯分布在不同的機器上，也可能采用Web體系結構。基于C/S架構的分布式系統可借助CORBA、EJB、DCOM等中間件技術解決各模塊間的協同工作問題；基于Web體系架構（或稱Web Service的分布式系統），則通過基于標準的Internet協議支持不同平臺和不同應用程序之間的通信。對于數據密集型問題，可以采用分割數據的分布式計算模型，把需要進行大量計算的數據分割成小塊，由網絡上的多臺計算機分別進行計算，然后對結果進行組合得出數據結論。MapReduce是分割數據型分布式計算模型的典范，在云計算領域被廣泛采用。

2.3 運營管理技術

運營管理技術是云數據中心運營管理平臺所涉及的一系列技術的泛稱。

典型云計算運營管理系統如圖1所示，一般包括資產管理、資源封裝、資源部署調度、資源監控、模板管理、服務目錄管理、服務實例管理、服務門戶、計費、報表等模塊。

資產管理實現對云承載平臺中的物理設備及硬件進行統一信息管理與資源信息查詢。資源封裝實現對物理資源、虛擬層及專業管理層的統一管理，屏蔽底層硬件及虛擬化異構，整合系統中所有可用資源，對資源的生命周期和資源信息進行綜合管理。資源部署調度實現對物理網元、虛擬資源生命周期和資源信息的動態、彈性、按需的流程化、自動化調度，按照策略自動進行資源部署以及流程操作，根據應用、服務的負載情況，動態分配物理和邏輯資源。資源監控實現對各類物理資源和虛擬資源定時的、統一的、具有多層次多顆粒度的集中監測，為達到閾值的項目顯示告警。模板管理實現從創建、發布、激活、掛起、撤銷到刪除的模板生命周期管理以及快速部署。服務目錄是指對服務整個生命周期及服務配置進行管理。服務實例管理通過執行服務目錄定義的服務實例申請、變更、終止等服務請求處理流程，對服務實例的生命周期進行管理。服務門戶提供用戶、服務設計人員、服務審批人員及維護人員的入口。計費網關對資源服務使用量原始信息進行收集，生成滿足BSS系統格式要求的賬單，通過外部接口輸出到BSS系統。報表管理將云計算系統中的資產情況、資源使用情況、服務模板、服務實例、監控信息、性能報告、用戶信息等信息形成統計報表。

3 云數據中心的關鍵問題

3.1 云數據中心網絡架構

構建高集中度、高可靠性、低成本的云數據中心是運營商和企業的迫切需求[1]。整體來說，網絡架構應滿足以下3個條件。

·業務系統和數據集中化，網絡與業務管理的集約化和扁平化。

·高效的資源利用率。

·存儲和網絡設備具備更高的可靠性。

換言之，云數據中心的網絡應具備扁平化、融合化、動態感知和高速化的特點。虛擬化技術在云數據中心內的應用需要一個超大型的二層互聯網絡作為基礎，通過超大型二層網絡減少二層環路，實現快速故障收斂，提高鏈路利用率，簡化管理，減少設備配置量，并且能夠根據實際情況實現端口的彈性擴容，以滿足新一代IDC靈活提供業務的需求；同時，可實現虛擬計算資源的在線遷移和調度以及業務的動態擴展。相關主要技術概述見表1。

目前IETF和IEEE等標準化組織正在進行大二層網絡方面的研究，處于草案階段的TRILL(transparent interconnection of lots of links，多鏈路透明互聯)協議[2]及 SPB(short path bridging)協議正嘗試解決網絡的二層透明環境部署問題。傳統數據中心存在異構業務網絡 （以太網）和存儲網絡（SAN），兩者無法替代，由此帶來了成本、擴展性、管理等諸多問題。

隨著無損以太網和FcoE[3]的出現，新一代基于萬兆的無損以太網將融合數據中心的存儲網絡形成全業務的統一交換，數據中心原本異構的網絡形態將合并到一套網絡，實現了網絡管理合并，簡化了網絡管理，降低了成本。傳統的網絡交換機通過一個物理端口感知與之連接的服務器，而集成了虛擬技術的網絡設備能夠通過一個虛擬端口實現對其連接服務器內的單個虛擬機的動態感知以及對每個虛擬機相關的網絡流量的感知，從而將單個虛擬機屬性擴展到整個網絡，當虛擬機在整個網絡遷移時，交換機能夠追蹤這種遷移，并確保網絡設置與虛擬機實現同步遷移。網絡對虛擬化的動態感知不僅使得管理簡化，同時網絡性能也會提升，架構也更合理，目前IEEE的802.1Qbg EVB(edge virtual bridging)和IEEE 802.1Qbh BPE(bridge port extension)小組[4]正在進行此方面的研究。

圖1 典型云計算運營管理系統

在云數據中心中，物理交換機與物理服務器之間的鏈路中同時傳輸來自多個虛擬機的數據。另外，除了業務數據流量，鏈路中還增加了虛擬機運行時所需要的系統流量。高密度的虛擬機數量使單位空間和單位網絡接口劇增，必將驅動服務器I/O向10 G發展并達到10 Gbit/s線速，接入層的高性能吞吐必然驅動云計算網絡架構支持更高性能，云數據中心網絡架構將推動基礎網絡快速進入超高速時代。

3.2 云數據中心的基礎設施

云數據中心的基礎設施包括網絡設備、IT設備 （服務器、存儲等）以及制冷、動力、UPS等配套設備。對于網絡設備而言，由于網絡流量增大，單臺設備應具備更高的處理能力，同時多臺設備在邏輯上應虛擬成一臺設備，即在不占用設備接口的情況下，靈活地把多臺設備堆疊/集群構成一臺設備，以提供高可靠、無環路、大容量的數據中心網絡，在提高線路利用率的同時，保證了可靠性，降低了運維復雜性[1]。在設備選擇上，應選擇單機容量較大，同時支持堆疊技術與虛擬化感知技術的網絡設備。對于IT設備而言，隨著PC服務器虛擬化技術的流行與普及，基于x86架構的服務器集群將成為主流計算設備。由于單臺物理服務器將承載多臺虛擬機，因此云數據中心的服務器應具備更多的內存與I/O帶寬，同時還應考慮實際的應用模型對服務器CPU、內存、I/O、硬盤等器件以及布局與外型規格進行定制。現階段服務器虛擬化技術動態遷移等功能必須基于后端存儲網絡的解決方案，故需根據業務需求（如支持虛擬機動態遷移功能）、性能、成本等因素，選擇SAN存儲或分布式存儲方式。

云計算促使IT和CT的界限日趨模糊，業界出現了以Vblock為代表的整合計算、存儲、網絡和管理功能的一體化基礎設施垂直解決方案，在行業客戶中獲得了一定應用，被認為是基礎設施的發展趨勢之一。同時，整合通風、制冷等配套設備的集裝箱式數據中心解決方案也逐漸走進人們的視線，該方案以其模塊化、便捷化的特點吸引了業界的關注。從整體上說，這類垂直一體化的解決方案，一方面簡化了底層基礎設施的配置與管理難度，降低了運行維護環境的要求，但另一方面，其在兼容性與擴展性上存在一定限制，標準化程度較低，容易出現提供商“鎖定”的情況，應慎重選擇。

3.3 服務提供

傳統IDC業務以帶寬、機架等基礎資源出租為主，在云數據中心模式下，將實現從資源出租向服務提供的轉變。用戶不再關注某類具體資源或硬件的情況，而是通過統一的門戶，在服務目錄中選擇相應的服務，在一定SLA的保障下，使用邏輯資源與上層應用。

虛擬主機與云存儲將代替機架與帶寬出租等資源性業務成為云數據中心的基礎服務（業務），基于該類服務還可實現包括網絡加速優化、數據庫中間件、解決方案等一系列的增值服務 （業務）。以亞馬遜的AWS為例，EC2和EBS、S3分別是其虛擬主機與云存儲服務，基于該服務，衍生出 CloudFront（網絡加速）、Elastic Load Balancing（動態負載均衡）、SimpleDB（簡單數據庫）、Relational Database Service（關系數據庫）、Simple Email Service（簡單郵件服務）等增值服務。云數據中心將提供顆粒度更細的計費單元。以虛擬主機服務（業務）為例，用戶既可以選擇傳統的包月或包年模式，也可以根據實際的使用時間（精確到小時級）付費。

表1 相關主要網絡技術概述

3.4 運營維護

首先，云數據中心將改變傳統的運營維護模式。云數據中心的部署模式要求實現各地資源的統一管理，對于運營維護而言，意味著必須實現集中維護和分層分權的管理。由于云數據中心將統一承載各類虛擬機甚至各類應用系統，因此資源承載平臺將通過維護實體實現資源的統一監控、管理與調度。云數據中心各節點與管理平臺（中心）之間將呈現層級關系，通過權限的劃分，實現各數據中心間的一體化以及維護操作的集中化。

其次，虛擬化技術的廣泛應用將打破傳統維護角色的界限，并引入新的維護角色。傳統數據中心所定義的網絡、服務器、存儲管理員等角色在云數據中心中將出現角色交叉，服務器管理員須參與部分網絡和存儲的配置管理與維護，網絡管理員也需要參與服務器端的管理與維護，在網絡融合的情況下，還需要綜合考慮存儲的配置、管理與維護。同時，隨著虛擬化（Hypervisor）層的出現，將定義新的虛擬化管理員負責Hypervisor的維護與管理。另外，云數據中心以服務為提供方式也使得運營維護中必須定義相關的角色從事服務（實例）的運營維護。

最后，云數據中心IT資源可運營與以服務為提供方式的特點，將改變運營維護流程與對象。由于利用資源池實現了IT基礎設施的統一承載，因此必須增加對資源池生命周期的管理，同時各類服務、服務實例、鏡像等對象的生命周期管理也應納入相應的運營維護流程。

3.5 規劃建設

云數據中心的規劃建設應基于分級管理體制，整體上由總部統籌管理，在各區域設置地方分支機構，各分支機構在總部統籌的基礎上開展云數據中心的規劃建設。

在云數據中心中，IT資源以資源池的方式對外提供。IT資源部署如圖2所示。資源池一般劃分為若干專業域，專業域由多個集群構成，每個專業域承載一類業務。集群是最小的管理單元。集群由若干臺中高端服務器與后端存儲組成，集群內的虛擬機具備熱遷移的條件。服務器的配置應以集群為單位進行統一，以便于采購、建設和運維管理。集群內服務器根據承載的應用（虛擬機）特點優化配置，總體來說，應選用支持硬件虛擬化功能的CPU、內存和網卡。在同集群內，應選用同一款虛擬化軟件。后端存儲應根據具體應用需求，綜合考慮性能、價格等因素，分級使用本地存儲、FC SAN存儲和IP SAN存儲，兼顧資源池的存儲I/O能力和共享存儲能力。

圖2 IT資源部署示意

對于網絡資源，應分為業務網絡、虛擬網絡、存儲網絡和管理網絡等進行部署與規劃。業務網絡的部署和管理配置應盡量減少彈性資源平臺對網絡的依賴，減少業務開展和運營時上層業務和下層網絡之間的配置聯動。從安全隔離和性能角度出發，應將業務網絡和其他網絡分離。虛擬服務器的網絡接入控制點應設置在虛擬網絡中，而不是傳統的接入交換機上，并提供 VLAN、限速、QoS、ACL、防 IP/MAC地址更改、策略遷移和復制等功能。由于各種存儲產品各具優劣勢，分別覆蓋不同的應用場景，應結合具體應用需求，綜合考慮性能、價格等因素選擇存儲產品。管理網絡應與外網隔離，并以IDC機房為基本單元，根據業務的擴展和管理系統的架構需求，逐步擴展。

3.6 綠色節能

云數據中心相對于傳統IDC更加綠色節能，具體體現在芯片、物理設備、虛擬設備、機柜、數據中心等多個層級。在芯片級，低功耗的CPU、內存、硬盤、SSD（固態硬盤）等低功耗節能組件的使用，能有效降低設備的能耗。在物理設備級，高轉換效率電源模塊的使用提高了電源轉換效率，同時優化的散熱風道也使得設備散熱效率提高。在虛擬設備級，虛擬化技術的應用實現了資源共享，提高了單臺設備利用率，由于虛擬機具備動態遷移的功能，故可通過關閉利用率較低的設備并將應用集中到部分物理服務器上，從而進一步降低能耗。在機柜級，通過提高機柜計算、存儲密度以及對IT設備用電功耗進行精細化管理，利用數據分析實現機柜級功耗的峰值控制，在性能和功耗之間取得平衡點，并可通過高壓直流供電提高電源轉換效率并降低能耗。在數據中心級，通過對設備用電及環境溫濕度數據的分析診斷調整機房布局，動態優化送風、除濕和制冷機制降低能耗，使用新興配電和冷卻技術降低數據中心的PUE值，在合適應用場景還可以利用模塊化數據中心、集裝箱數據中心，通過水冷、冷媒等散熱方式降低機房的PUE值。

4 傳統IDC運營商應對策略

傳統IDC向云數據中心演進是一個漸變的過程，而不是一場一蹴而就的變革。云數據中心業務必將對傳統IDC業務產生較大沖擊，對于傳統IDC運營商而言，如何平衡兩者間的關系實現IDC業務的平滑升級，是必須面對的一大難題。目前云數據中心是利用功能相對單一的平臺滿足規模用戶的需求，兼容性和標準化程度較低，同時，云數據中心業務模式被市場廣泛接受，商業模式趨于成熟也需要一定過程。現階段建議IDC運營商應通過試點的方式逐步探索云IDC業務的商業模式與市場接受度，積累運營、維護、建設經驗，培育客戶群，同時在內部建立相適配的管理體制與流程，提高運營能力，揚長避短，有效聚焦客戶需求場景，利用“云計算”技術成熟度包線的主流技術手段，分階段實現傳統IDC業務向云數據中心業務的升級，降低技術和時間風險。

在設計云數據中心業務時，應充分考慮網絡因素。基于業務/資源/能力需求自動快速適配云數據中心離不開網絡支持，網絡覆蓋、帶寬供給能力和自動調配水平制約著云數據中心業務的執行。國外領先IDC運營商紛紛將云計算與網絡能力深度整合。利用網絡VPN技術不但可以幫助客戶實現云集成服務，而且可有效提升客戶云應用體驗和接入安全性。IDC運營商應當將自身IDC/IaaS資源與VPN結合，實現協同推廣，使VPN客戶更容易訪問云資源，同時將業務領域拓展到傳統范疇之外。

5 結束語

云數據中心是近期業界關注的焦點，本文通過對云數據中心概念的辨析，總結歸納了云數據中心資源池化、高效智能、面向服務、按需供給、綠色低碳等5個特點，并在分析云數據中心涉及的虛擬化、分布式計算、運營管理等核心技術的基礎上，針對云數據中心架構、基礎設施、服務提供、規劃建設、運營維護、綠色節能等核心問題進行闡述，最后結合傳統IDC運營商的實際情況提出云數據中心的應對策略。

云計算正重新定義網絡與IT邊界，產業鏈價值正在向內容/應用提供商聚集，更多IT廠商涉足運營，云數據中心逐漸成為各方爭奪的焦點之一，市場前景被廣泛看好。產業鏈各方應攜手共同促進商業模式的成熟、市場接受程度以及標準化和兼容性的提高，使云數據中心早日規模應用，加快社會信息化進程。

1 潘灝濤,張雪江.數字能源——虛擬化造就新一代數據中心.華為技術,2009,43(8)

2 IETF RFC 5556.Transparent interconnection of lots of links(TRILL),2009

3 Inter National Committee for Information Technology Standards.Information technology-fibre channel-backbone-6(FC-BB-6),1994