余久方, 楊 帆
(1. 南京工業職業技術學院 計算機與軟件學院, 南京 210023; 2. 華為技術有限公司, 南京 210012)
目前云計算技術在不斷成熟與發展,以集中管理、簡化運維為目標的IaaS層應用代表即虛擬化技術也被廣泛應用。高校中的虛擬化應用主要是在學生機房部署云桌面[1-2],減輕實驗管理人員負擔、降低實驗軟件環境被破壞的風險。現在高校中提倡產教融合[3]和校企合作,以筆者所在學校為例,與浙江華為公司合作成立南京培訓分部,建立云與大數據人才培養基地,旨在共同進行專業建設、人才培養以及教師專業技能提升。依托該基地建設的云計算實訓平臺要承載多重業務:1)正常的教學實驗; 2)企業客戶的培訓; 3)教室的云桌面。以上業務給云計算平臺帶來多種需求:首先是云平臺系統多樣性,既要有學生實驗的云平臺,也要有企業特定的云平臺,還需要支持教室云桌面的商用云平臺;其次是實訓平臺環境的安全性要求高,考慮生產環境和實驗環境公用網絡資源以及不同的用戶共用服務器資源,需要進行安全性設計。基于以上現狀,本文提出一個綜合解決方案,來解決新形勢下高校云平臺系統面臨的問題。
市場上主流的虛擬化技術有VMware vSphere, RedHat KVM,Citrix XenServer,微軟Hyper-V[4-5],華為的Fusion Compute,基于虛擬化技術基礎上的桌面云軟件主要有VMware View,Citrix的XenDesktop,微軟的Virtual Desktop Infrastructure,華為的Fusion Access。使用這些虛擬化技術和桌面云軟件可以按需搭建IaaS層應用,這是目前一層虛擬化技術的主要使用場景,在公有云和私有云中都有成熟應用。嵌套虛擬化是指以虛擬機為宿主機,在其上再次進行虛擬化的方案,在公有云中嵌套虛擬化的應用較少,原因之一是各個廠家對標準的hypervisor都做了一些修改,有些還是私有hypervisor,如果支持嵌套虛擬化需要大量的適配測試工作量;原因之二是嵌套虛擬化帶來了CPU性能、網絡性能、硬盤讀寫性能的下降[6]。在私有云中有一些嵌套虛擬化應用在安全監控場景上,使用一層虛擬化監控用戶對硬件資源的操作,在二層的虛擬化中部署用戶的云平臺[7],在用戶虛擬機層面監控用戶的行為。通過以上2次的監控對比,分析用戶可能的攻擊行為。在一些商用的虛擬化平臺比如VMware ESXi上,已經可以對運行于其上的虛擬機提供虛擬化支持。
教學實訓環境對云平臺中服務器的性能要求不是很高,但是由于學生人數多,想正常開展教學工作就需要大量的服務器,這將產生巨大的實驗設備采購費用。以華為RH2288V3服務器為例,雙CPU加2個硬盤的服務器價格在35 000元左右,如果要支持2個班級90個學生的實訓,每2人一組實驗也需要共計150多萬元的設備,代價非常高昂。使用嵌套虛擬化能夠大大減少設備費用,物理服務器上安裝虛擬化操作系統進行一層虛擬化,虛擬出多個虛擬機作為虛擬服務器,在虛擬服務器上安裝虛擬化平臺系統進行二層虛擬化,供學生進行云計算實驗。
大數據時代隨著人們對數據存儲、訪問、備份的需求日益增加,對存儲的容量、性能、擴展性要求也越來越高。從存儲存放的位置來分,可以分為內置存儲和外掛存儲。內置存儲把磁盤直接放在服務器內部,由于空間的限制這種方式下存儲容量通常都比較小并且難擴展,對于存儲容量需求大的場景一般都需要配置外掛存儲。外掛存儲從最早的直連存儲DAS(direct attached stroage)發展到后來的網絡存儲NAS(network attached storage)和SAN(storage area network),在靈活性和擴展性上逐步提高,給數據中心存儲方案帶來了更多選擇。
DAS直接將外置存儲設備通過電纜連接到服務器上,存儲設備和服務器之間采用SCSI協議或者FC協議,這種方式相比內置存儲大大提升了存儲容量,但是其缺點是多個服務器無法共享存儲并且服務器容易成為整個系統的瓶頸。網絡存儲NAS和SAN的出現解決了DAS面臨的問題。
NAS適用于文件存儲,存儲設備在把數據發送到服務器之前已經把文件組合完成, 減輕了服務器的負擔[8]。NAS存儲只能以文件方式訪問,不能直接訪問物理數據塊,在訪問性能要求高的場景無法滿足應用。SAN分為FCSAN和IPSAN,是結構化存儲的首選,2種存儲方式都具有較高的性能和較好的擴展性,FCSAN中服務器和存儲設備之間通過FC交換機連接,之間運行FC協議,這種方式傳輸效率高但是成本高,并且FC協議實現復雜,各個廠家的產品之間不能很好地互通[9];IPSAN中服務器和存儲設置之間通過以太網交換機連接,利用已有的TCP/IP協議傳輸數據,技術更加成熟。 FC交換機目前支持的端口速率有1、2、4、8、16 Gb/s,而以太網交換機支持的端口速率除了1、10 Gb/s外,已經支持25、50、100 Gb/s甚至更高[10]。 由此可以看出IPSAN 具有更好的適應性和擴展性。
隨著數據中心規模化的增長,其面臨的網絡安全威脅也日益突出,Cisco 2017數據中心安全研究報告指出,88%的數據中心管理者2016年收到的安全攻擊有所增多[11],數據中心需要有適用其業務的靈活的安全保障方案。
對用戶進行邏輯隔離是一種有效的網絡安全措施,隔離由終端標記和網絡設備處理2部分完成。vlan是一種基礎、高效的隔離廣播域技術,網絡設備按照用戶接入端口配置進行vlan標記,并根據vlan+mac進行按源學習、按目的查表轉發,實現用戶之間的互通和隔離[12]。數據中心租戶數量的增長使得傳統的4094個 vlan不足以滿足需求,vxlan通過overlay技術在報文中增加VNI字段,讓租戶數量可以擴展到16M[13],網絡設備通過VNI+mac進行按源學習、按目的查表轉發,在跨過3層網絡時進行overlay隧道信息的封裝。Cisco的VN-Tag技術和HP的VEPA技術也是一種標記和隔離轉發技術[14]。網絡安全技術靈活多樣,需要根據具體的網絡規模和技術復雜度進行按需選擇。
南京工業職業技術學院的云計算平臺需要承擔的業務量如下:
1) 云計算課程的實訓,支持2個班級共90個學生并發實驗。實驗中希望學生接觸和掌握業內多種主流商用云平臺。
2) 多門課程的信息化教學,需要提供6個教室共270個機位。需要成熟的虛擬化和桌面云方案,保障日常教學。
3) 華為企業客戶培訓,能支持3個客戶班共45人同時進行實驗。實驗需要使用華為的Fusion Compute虛擬化方案和Fusion Access桌面云。
為了滿足學生需要掌握多種廠家虛擬化方案的需求,在云計算課程實訓服務器的一層虛擬化上提供二層嵌套虛擬化支持,以一層虛擬機為服務器安裝虛擬化軟件,解決實驗中物理服務器不足問題。華為企業客戶培訓由于是專項技術培訓,只能在服務器上安裝華為的虛擬化平臺和云桌面軟件。
虛擬化技術作為云計算IaaS層的核心以及云桌面方案的基礎,其穩定性和可靠性至關重要,VMware在服務器虛擬化中相比其他廠家占優勢,在2016年的Gartner服務器虛擬化魔力象限中處于領先地位,因此信息化教室和云計算課程實訓的一層虛擬化技術采用VMware vSphere。Citrix XenDesktop的市場占有率較高,能夠兼容其他廠家如VMware、Microsoft的虛擬化技術,經過綜合比較教室的云桌面系統選用Citrix的。
考慮到實際的業務量以及用戶數量(在4 094以下),在一層虛擬化中對不同的用戶采用vlan進行隔離,防止由于用戶個人行為對網絡造成破壞。另外考慮到存儲系統的擴展性,采用IP SAN網絡存儲,網絡中的服務器可通過IP網絡添加存儲資源。
設計后的綜合實驗平臺結構如圖1。
2.2.1 業務分析
從計算資源角度,教室服務器提供6個教室共270個虛擬機和云桌面,底層的虛擬化采用了VMware vSphere,所有教室虛擬機使用同一個模板。方便管理員進行軟件安裝、卸載等日常維護工作,云桌面軟件采用了Citrix的XenDesktop;培訓服務器提供客戶培訓的45個+云計算實訓的90個共135個云桌面,采用了華為的Fusion Compute虛擬化方案和Fusion Access云桌面方案,其中用于實訓的云桌面提供給學生登陸操作實訓服務器和正常的信息化學習;實訓服務器提供實訓室的90個實驗用虛擬機(按需,可以更多),采用了VMware vSphere作為第1層虛擬化方案,在其上可以部署第2層虛擬化,即第1層虛擬化后的虛擬機可以作為1臺服務器,供學生在其上安裝華為或者其他廠家的虛擬化平臺進行第2層虛擬化,這樣節省物理服務器資源的同時也讓學生能夠進行多廠家云平臺的學習。

圖1 綜合云平臺架構Fig.1 Architecture of the integrated cloud platform
從網絡資源角度,管理員為每個虛擬機劃分1個vlan和1個網段,每個網段的網關運行在核心交換機,即虛擬機之間只有通過核心交換機才能相互訪問,對于不允許相互訪問的教室和實訓室、培訓室,在核心交換機上配置端口隔離。出口路由器上使用ACL來控制用戶訪問外網的權限,使用nat進行內外部地址轉換。
從存儲資源角度,每套服務器有內置的本地存儲,也部署了華為5300V3的IPSAN網絡存儲,目前提供的存儲總容量超過200T,后續可以按需擴容。
綜合云平臺的虛擬化方案和隔離方案如圖2所示。

圖2 綜合云平臺的虛擬化和隔離Fig.2 Virtualization and Isolation of the Integrated Cloud Platform
2.2.2 性能分析
本方案中用到的計算、網絡、存儲資源設備如表1所示。每臺云桌面虛擬機提供4核CPU、4G內存、150G硬盤空間;每臺用于支持嵌套虛擬化的虛擬服務器按需分配資源,目前的平臺能力可以支持90臺4核CPU 12G內存的虛擬服務器。平臺提供的資源相對充足,架構也方便后續擴展。從目前運行結果看,云桌面用戶和嵌套虛擬化用戶體驗均良好,另外本方案設計的安全性較好,沒有出現過由于實驗環境問題導致正常教學的云桌面環境出現問題。本平臺目前提供的對外資源如表2所示。

表1 綜合云平臺設備使用Table1 Equipments of the integrated cloud platform

表2 目前平臺對外提供的資源Table 2 Current resources provided by the platform

圖3 教室的云桌面虛擬機Fig.3 Cloud desktop virtual machines for classrooms
在教室服務器上劃分了超過270個虛擬機(多幾個為測試使用)用于支持教室的桌面云,如圖3所示。在培訓服務器上劃分超過135個虛擬機用于支持培訓教室和實訓教室的云桌面,如圖4所示。對于嵌套虛擬化環境,虛擬機按需創建,管理員根據需求在實驗前創建好用戶信息,為每個用戶分配好vlan和IP地址段并創建好一層虛擬機。比如用戶可以申請2個一層虛擬機作為虛擬服務器,其中一個虛擬機作為服務器安裝為Fusion Compute的CNA結點,另一個虛擬機安裝為VRM結點,安裝完成后登陸VRM可以進行CNA結點的管理,并可以基于該CNA結點創建虛擬機,如圖5所示。

圖4 培訓教室和實訓教室的云桌面虛擬機

圖5 基于虛擬服務器創建虛擬機Fig.5 Create virtual machines based on virtual servers
本平臺的實訓環境使用嵌套虛擬化方案后,使用6臺RH2288V3服務器,加上1臺5300V3存儲設備,即可提供90臺虛擬服務器,供2個班級每2人一組進行實驗(虛擬服務器安裝虛擬化平臺把管理結點和計算結點分開能提供更好的用戶體驗),設備價格在30萬元內,相比原來的非嵌套虛擬化方案的150多萬元設備,實訓成本不到原來的20%,可見本平臺方案可以大大減少實訓設備成本。
云計算的IaaS層技術目前已經有較為廣泛的應用,但是如何在復雜場景下提供業務并保證安全性,需要管理員提前進行規劃。本文提出了一種在產教融合背景下高校云平臺的架構,綜合考慮了環境的可管理性、擴展性和安全性,運行結果表明該架構取得了預期的效果。但是還有一些問題留待后續繼續研究,比如嵌套虛擬化在云平臺上的性能下降幅度[15],云平臺的具體擴展能力等。