基于云計算的高校數據中心設計與實現

劉勇， 陳云峰， 郝璐瑤

(1.南京航空航天大學 信息化處， 江蘇 南京 210016；2.南京萊斯網信技術研究院有限公司， 江蘇 南京 210000)

0 引言

數據中心一般是指集中在一個物理空間內的服務器、網絡、安全等設備以及相關配套設施的集合，但數據中心卻不僅僅是硬件設備的集成和集中，同時也是數據信息流通的中心、存儲的中心和各類應用及服務的中心，實現信息的交換、傳輸、存儲、計算等多種功能。對于高校來說，數據中心是校園信息化建設的基礎性項目，也是信息化建設的核心載體。近年來，隨著高校信息化建設不斷深入和快速發展，大量信息系統、數字資源和電子數據對高校數據中心提出了更高要求，傳統數據中心業務應用存在單點故障風險、部署建設緩慢、資源利用率低、異構環境難以整合、運維難度大等痛點問題。云計算具有超大規模、靈活部署、虛擬化等特點，具有良好的可擴展性和高效、流暢的數據訪問等優勢，可以有效解決當前高校數據中心建設出現的突出問題。

1 高校數據中心建設現狀分析

1.1 建設現狀

高校信息化建設一般起步于上世紀90年代，經過二十余年的發展，當前高校信息化建設經歷了以網絡硬件建設為主的網絡化校園階段，以系統建設為主的數字化校園階段，正向以智慧服務建設為主的智慧校園邁進。相對應的，高校數據中心的發展從以網絡設備為主到計算、存儲、網絡設備并重，從以提供網絡數據交換為主逐步向為學校教學、科研、學工、人事等各類應用系統提供數據存儲、處理等服務轉變，并且伴隨著應用的不斷增多，高校數據中心機房的規模逐漸增大[1]。

1.2 存在的問題

數據中心作為信息化校園的數據基石，在校園信息化建設中的地位至關重要，是實現信息化校園各應用系統及平臺數據共享，提供深層次數據挖掘和分析的重要基礎。隨著校園信息化建設的深入，數據中心的服務器規模將會逐漸增大，甚至是成倍增加，由此帶來的服務器購置成本及維護成本也會顯著提高。通過對多業務服務器進行整合和虛擬化，從而降低數據中心的購置成本和運維管理難度，已成為當前數據中心規劃和建設的必然趨勢。

目前，各高校數據中心已經開始使用虛擬化技術對各類硬件設備進行整合。但是，隨著“互聯網+”教育理念的推進，校園信息化應用不斷擴容也帶來了以下幾個方面問題。

第一，校園信息化建設需求越來越多，原有硬件已無法支撐更多新業務，擴容需求緊迫。

第二，IT資源集約化使虛擬服務器急速擴張，對于數據中心運維人員是極大的挑戰，如何提高數據中心運維效率，降低人員工作負荷的問題凸顯。

第三，多種虛擬化平臺孤立運行，缺少統一管理平臺來實現集中化管理。

基于以上問題，為了確保信息化校園項目持續快速建設，確保校園計算能力的建設不再出現孤島化建設態勢，須針對現有計算資源進行整合擴容，使用云計算技術設計建設具備高性能的統一計算資源。

2 云計算技術及其特點

云計算概念最早于2006年在搜索引擎大會上被谷歌公司提出。云計算是網格計算、并行計算、網絡存儲、虛擬化、負載均衡等技術融合發展的產物，是基于互聯網的計算模式，它將計算機任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算能力、存儲空間和信息服務。目前，云計算相關技術和產業發展迅速，世界各國和IT巨頭都將云計算作為未來發展的主要戰略之一[2]。工業和信息化部將云計算定位為戰略性新興產業的重要組成部分和信息技術服務模式的重大創新，并發布了《云計算綜合標準化體系建設指南》《云計算發展三年行動計劃(2017-2019年)》等相關政策制度，使我國云計算發展步入發展的“快車道”。

通過計算虛擬化、分布式存儲、網絡虛擬化等云計算核心技術的應用，實現計算、存儲、網絡資源的松耦合，可以根據各種資源消耗情況調整資源配置，相比計算、存儲、網絡等資源緊耦合的傳統數據中心體現出了以下優勢。

第一，高效率。基于云計算的數據中心通過對服務器、存儲、網絡等各類基礎設施資源全面虛擬化，形成統一的資源池，不僅可以降低物理服務器的數量，同時也提高了資源使用效率，有效滿足高峰期的資源請求[3-4]。

第二，高可靠。基于云計算的數據中心由于采用虛擬化技術實現了資源池化和物理冗余，同時提供數據多副本容錯、計算節點同構可互換等措施，充分保障數據中心服務的可靠性[5]。

第三，高擴展。基于云計算的數據中心可以兼容不同品牌和配置的服務器，對于整體數據中心來說，可以靈活增添服務器數量，滿足應用和用戶規模增長的需要，同時對于用戶來說，真正實現彈性擴展和按需服務[6]。

第四，易運維。基于云計算的數據中心通過私有化云平臺將服務器、網絡設備、存儲設備和安全設備等硬件資源進行整合和管理，并通過自動化的運維方式減少手動操作，有效降低實施和運維風險及運營成本[7-8]。

云計算在高校中的部署模式主要為私有云部署，通過內部網絡或專有網絡使用服務，而服務類型主要包含基礎設施即服務(IaaS，Infrastructure as a Service)、平臺即服務(PaaS，Plantform as a Service)和軟件即服務(SaaS，Software as a Service)。IaaS主要把底層的服務器、虛擬機等基礎設施作為一項服務提供給各個部門和院系申請使用；PaaS將軟件研發平臺或開發環境進行封裝并作為一項服務，具備專業技能的部門或院系可在云上自由構建應用程序，無需要購買和部署服務器、操作系統、數據庫和Web中間件等即可運行應用程序；SaaS則面向最終用戶提供完整的軟件功能服務，通過訂閱的方式隨時隨地在云上使用這些現成軟件，無需下載和安裝，也不需要關心軟件的授權、升級和維護等問題，從而減輕了軟件搭建和維護的負擔。

3 基于云計算技術的跨校區主備數據中心設計與實現

3.1 需求分析

數據中心是高校教學、科研和日常管理等關鍵業務運行的主要平臺和進一步發展的基石。隨著學校的不斷發展，數據中心承載的關鍵業務和核心應用越來越多，對于業務數據的完整性和安全性、業務運行的穩定性和可靠性、網絡的可用性和傳輸速率要求也越來越高。綜合來看，高校數據中心業務需求主要包括以下幾方面內容。

(1) 信息化管理與服務方面的需求，如財務系統、一卡通系統、學校門戶網站、部門及學院的各類二級網站、電子郵件、云盤等業務。此類業務應用需要適應系統快速迭代的需求，尤其是財務系統、一卡通系統、數據治理平臺等架構復雜系統，需要頻繁更新維護。

(2) 教育教學科研等方面的需求，如教務系統、科研系統、在線選課、在線課堂、在線考試等。此類業務應用需求往往還會呈現季節性變化，如在線選課應用。

(3) 信息系統托管方面的需求，如一些科研項目、仿真教學實驗系統、學校各單位服務器托管等。此類業務應用需求呈現不確定性，并有快速部署上線的需求。

(4) 未來校園信息化建設方面的需求，如智慧校園、物聯網、大數據等。此類IT業務需求對數據中心的計算、存儲、高可用性提出了更高的要求。

通過分析可以看出，學校數據中心必須能夠更加高效穩定地運行，并擁有更強的IT服務能力，因此基于云計算的校園云數據中心的建設勢在必行。

3.2 總體框架

基于云計算的數據中心總體框架包括IT資源層、虛擬化層和云服務層，如圖1所示。

圖1 基于云計算的數據中心總體框架

IT資源層，主要包括服務器、磁盤陣列、交換機等硬件設備，是構成數據中心的計算、存儲、網絡單元。

虛擬化層，主要基于硬件來構建池化的虛擬資源，包括計算虛擬化、存儲虛擬化、網絡虛擬化和監控/運維系統等。

云服務層，主要向管理員/用戶提供云平臺服務，包括云主機服務、網頁交互、API接口、監控系統、彈性網絡、VPN隧道、賬戶管理、計費模塊、負載均衡和端口轉發等服務。

3.3 IT資源設計

3.3.1 計算資源設計

計算資源包括云計算服務器、云管理服務器和數據庫服務器。云計算服務器作為云平臺計算節點，為虛擬機提供資源并運行虛擬機，一般將許多配置相似的服務器組合在一起，并與相同的網絡和存儲子系統連接，以便提供虛擬環境中的資源集合。云管理服務器作為云平臺管理節點，將云計算服務器中的資源統一在一起，形成一個統一的虛擬計算池，為云平臺提供基于Web的訪問控制和管理，提供基本的云平臺管理服務。數據庫服務器用于提供數據庫服務，如提供數據庫表查詢、創建、插入、刪除等計算能力。數據庫服務器一般采用裸金屬部署，不通過虛擬化方式使用，來保障數據庫系統使用的穩定性。

3.3.2 存儲資源設計

數據中心存儲資源包括分布式存儲和統一存儲陣列，主要用于所有業務應用相關的業務數據、用戶數據等重要數據的存儲[9]。分布式存儲一般由云計算服務器提供，可供虛擬機鏡像、塊存儲、文件存儲和對象存儲使用。統一存儲一般由SAN存儲構成，為校園核心數據庫提供集中存儲服務。通過數據庫集群技術構建集中存儲模式，按照不同數據庫實例的構建，SAN存儲還可以通過劃分不同的LAN來支撐不同業務數據的存儲。

3.3.3 網絡資源設計

數據中心網絡資源包括接入交換機、核心交換機和SAN交換機。接入交換機主要負責業務、存儲和管理3個網絡的接入，一般業務、存儲采用萬兆網絡，保障流量帶寬，管理網可采用千兆網絡。核心交換機主要提供數據中心云平臺網絡匯聚，通過防火墻上聯到校園網核心交換機，在跨校區的情況下，每個校區核心交換機之間兩兩堆疊，兩校區之間的核心交換機通過裸光纖鏈接，實現大二層互聯，支撐構建主備模式的校園私有云平臺。SAN交換機主要提供數據庫服務器和SAN存儲之間高速通信。

3.4 云平臺設計

3.4.1 計算虛擬化設計

計算虛擬化是云數據中心最基本的服務之一，主要用于提供一種簡單高效、處理能力可彈性伸縮的計算服務，表現形式是服務器虛擬機實例。通過服務器虛擬化服務，可以快速生成滿足業務應用計算需求且可彈性擴展的構建Windows或者Linux服務器虛擬機實例，提升運維效率，降低IT成本。同時可以根據現有的實例，創建有相同配置環境的實例，操作系統、已經安裝的應用程序和數據，都會自動復制到新實例中。

3.4.2 存儲虛擬化設計

存儲虛擬化是采用分布式存儲技術將集群內的存儲節點虛擬化為一個統一的存儲資源，為各個應用提供存儲空間。采用超融合架構的云平臺當中，云計算服務器可同時作為計算節點和存儲節點，采用邏輯方式從虛擬機中抽象物理存儲器層，虛擬機使用虛擬磁盤來存儲其操作系統、程序文件以及與其活動相關聯的其他數據。

分布式存儲不僅為虛擬主機提供塊存儲也為對象存儲提供存儲能力，同時提供快照、克隆等機制，借助兩份以上冗余數據機制，提供存儲可靠性，保證數據安全。此外，通過高性能存儲介質(如SSD)作為存儲節點高速緩存，可以加速本地虛擬機IO的讀寫操作，解決傳統機械盤讀寫操作慢的痛點問題。其中，所有服務器的SSD硬盤組建獨立的SSD存儲池，所有服務器HDD硬盤組建為獨立的HDD存儲池。在該場景下，同一個集群里存在傳統機械盤組成的存儲池以及SSD組成的高速存儲池，可把對讀寫性能要求高的數據存放在SSD存儲池，而把其他備份數據等一些要求低的數據存放在普通存儲池，提高讀寫分布式存儲讀寫效率。

3.4.3 網絡虛擬化設計

網絡虛擬化主要為學校各部門提供各種網絡服務，學校各部門管理員可以使用云平臺提供的網絡服務，根據自己的需求特點搭建相應的虛擬網絡，實現業務間的互通、隔離及對外部網絡的互聯互通等。分布式存儲不依賴于二層網絡或者三層網絡，并不強制網絡的選擇，使用二層網絡還是三層網絡是由具體的業務應用需求決定的。使用二層網絡將有利于業務切換，而三層網絡解決的是支持VLAN的問題，顯然使用二層網絡的好處在于簡化業務主備模式的網絡設計，但是對組網提出了更高的要求。

在跨校區主備數據中心當中，可通過大二層網絡實現跨校區的網絡連接，這樣可以保障兩個校區都在同一個二層網絡中，主校區數據中心通過三層網絡實現和校園網互聯，當主校區業務受到影響時，將業務應用快速切換至備校區數據中心即可實現應用切換。

3.5 高可用設計

3.5.1 硬件高可用設計

為了保障整個數據中心出現硬件故障后，不影響整體業務運行，采取雙路供電、交換機堆疊、分布式部署、磁盤RAID等措施，數據中心可采用以下硬件高可用方案。

(1) 每臺服務器都使用雙電源，接入兩路交流電，保證在一路電源斷電的情況下仍然能夠正常工作。

(2) 接入交換機和核心交換機都采用兩兩堆疊，服務器各網絡跨網卡交叉做Bond來保證數據傳輸的高可靠性。兩臺交換機啟動時，通過相互競爭，其中一臺成為堆疊主機，另一臺成為堆疊備機，主機和備機之間進行高可用備份處理。

(3) 故障域指單個機房內由交換機或電源設備所造成故障的最大影響范圍，通常為一個或一組機架。不同的管理節點、核心交換機、磁盤陣列盡可能分散部署在不同的故障域中，避免由單一故障域異常而導致模塊整體不可用。

(4) 使用兩塊磁盤構建RAID1來安裝底層操作系統，RAID1是最高級別的RAID安全保障，兩塊磁盤同時寫入和讀取，提供100%數據冗余，保證一塊磁盤損壞的情況下不影響系統整體運行。

3.5.2 管理節點高可用設計

管理節點負責整個平臺的資源管控、監控、調度、分配和回收，作為租戶使用云平臺的控制臺。管理節點若出現宕機，管理服務將不可用，直接影響到云平臺的運維管理、監控報警、租戶訪問、自動化任務執行等，對平臺或租戶的運維工作產生較大影響。因此，需要采用高可用技術來保障云平臺的管理服務，保證管理控制臺的可訪問性。云平臺提供雙管理節點高可用方案，在管理節點上運行一個HA(High Availability)進程，該進程負責整個管理節點環境的初始化、配置、運維等功能。同時，不同的管理節點分開部署到不同的機柜，避免了機柜整體掉電平臺管理無法使用的情況。

3.5.3 虛擬機高可用設計

云平臺將一組服務器主機合并為一個具有共享資源池的集群，并持續對集群內所有的服務器主機與虛擬機運行狀況進行檢測，一旦某臺服務器發生故障，云平臺會持續進行檢測，確定此服務器宕機后，會立即在資源池空閑服務器上重啟所有受影響的虛擬機，保證業務的連續性。虛擬機高可用方案不需要專門的備用硬件，也不需要集成其他軟件，就可以將停機時間和IT服務中斷時間降到最低程度。同時避免單一操作系統或特定于應用程序的故障切換解決方案帶來的成本和復雜性。

3.5.4 存儲高可用設計

云平臺的存儲一般支持服務器本地磁盤、NAS、SAN和分布式存儲等。而本地磁盤直接作為存儲介質，僅能通過服務器的磁盤RAID技術保障磁盤級別的數據高可用，一旦整個計算節點宕機，虛擬機無法支持高可用。采用NAS、SAN這樣的集中式存儲，計算節點僅提供計算資源，一旦計算節點宕機，虛擬機支持高可用，而存儲本身的高可用需要存儲設備實現，依賴于NAS或SAN存儲的容災能力，通常采用兩個NAS或SAN實現存儲雙活。

采用分布式存儲，基于分布式存儲多節點、多副本的能力，可以實現存儲硬盤級別、節點級別、機柜和機房級別的高可用。分布式存儲一般由多個獨立的x86服務器實現，所有節點是完全對稱架構，無主次之分，可以在不停機的情況下動態增加、刪除存儲節點，實現存儲容量和性能的動態擴展，極大地降低系統維護成本，且無單點故障。同時，分布式存儲支持多副本策略，以三副本場景為例，在一個資源池內，出現兩個節點或兩塊磁盤同時故障，整個系統不會丟失數據，不影響業務正常使用。

3.6 系統實現

隨著高校多校區辦學模式不斷推廣，跨校區主備數據中心逐漸成為高校開展數據中心建設的主流方案。其中，主數據中心負責全校業務應用運行和主數據存儲管理，備份中心負責核心業務和數據的容災備份，保證主數據中心在無法正常運行時備份中心能臨時承擔核心業務和數據的運行和管理。跨校區主備數據中心物理架構如圖2所示。

圖2 跨校區主備數據中心物理架構

計算資源方面，兩校區數據中心分別部署云計算服務器和管理服務器，采用超融合架構部署，通過云平臺實現虛擬化。每個數據中心部署雙管理服務器，并將管理服務器分別部署在不同的機柜，保證當一臺發生故障時，不影響整個云平臺管理工作。

存儲資源方面，采用超融合分布式存儲，每臺云計算服務器都配置4塊SSD和多塊HDD。其中，兩塊SSD做云平臺系統盤，兩塊SSD做緩存盤。為防止單點故障，系統盤應做RAID1模式，通過磁盤數據鏡像實現數據冗余。通過分布式存儲將云計算服務器數據盤池化，采用多副本方式，保證數據安全。此外，兩校區數據中心分別部署2臺數據庫服務器，并在本地部署2個SAN存儲實現本地雙活架構，通過同步工具將數據庫數據進行準實時傳輸，實現本地雙活和跨校區準實時同步。

網絡資源方面，為了保證主備數據中心能進行實時通信，兩校區數據中心分別部署2臺核心交換機，通過光纖大二層連接。云平臺采用管理網、存儲網和業務網，分別采用2臺千兆交換機和4臺萬兆交換機，各2臺交換機分別做堆疊，避免單點故障。生產環境中網絡采用雙路冗余的方案，每臺服務器上配置了4個萬兆網口和2個千兆網口，實現存儲網、業務網、管理網完全隔離。

容災備份方面，兩校區數據中心各部署一套備份系統，通過備份軟件將應用數據進行實時備份，當主數據中心發生故障時，通過備份軟件把數據恢復到備中心云平臺上，確保數據安全可用[10]。

4 總結

本文分析了當前高校數據中心建設現狀和痛點難點問題，采用云計算技術對高校數據中心設計、規劃和改造，實現校內所有計算資源、存儲資源和網絡資源可通過虛擬化方式統一分配、統一管理、統一運營，提升資源優化配置和業務管理運轉效能，降低硬件設備維護和運營成本。

高可用設計雖然能有效保證云數據中心運行的穩定性和可靠性，但也提升了系統的復雜程度，并隨著高可用設計的進一步完善而顯著增加，因此需要扎實做好故障切換和預案建設，以免降低服務的可用性指標。同時，高可用部署會增加成本開銷，需要在系統復雜度和成本之間采取平衡策略，以滿足當前使用需要和未來擴展需求。