面向超級計算中心的運營管理支撐平臺的設計與實現

楊 敏， 關偉豪， 朱 敏

(1. 中山大學 網絡與信息技術中心, 廣東 廣州 510275; 2. 國防科技大學 計算機學院, 湖南 長沙 410073)

面向超級計算中心的運營管理支撐平臺的設計與實現

楊 敏1， 關偉豪1， 朱 敏2

(1. 中山大學 網絡與信息技術中心, 廣東 廣州 510275; 2. 國防科技大學 計算機學院, 湖南 長沙 410073)

超級計算能力和應用水平關乎一個國家或地區在信息技術領域國際競爭的成敗,要著力突破制約中心運營和發展的內外部技術瓶頸,建立支撐超級計算中心良性循環、可持續發展的創新運營模式和智能運營環境,存在著嚴峻的挑戰。針對實現這個目標,探討建立支持多租戶運營模式、用戶服務相互隔離、資源可動態靈活配置、用戶數據相互隔離、支持隱私保護、支持用戶任務的高可用性的面向超級計算中心的運營管理支撐平臺。

超級計算中心； 運營管理； 多租戶

建設廣州超級計算中心是國家十二五“863”重大科技項目、廣州市科技一號工程,由廣東省政府、廣州市政府、國防科學技術大學和中山大學4方共建,建設峰值計算速度每秒11億億次的“天河二號”超級計算機系統,全系統計劃2015年投入運行。超級計算中心大樓選址在廣州大學城的中山大學東校區內,目前已完成一期工程建設[1-3]。

為了做好廣州超級計算中心的運維管理工作,先行搭建先導系統,并通過先導系統的運行,探索超級計算中心運營模式創新思路,為下一步建立和運營國家級超級計算中心奠定堅實的硬實力工作基礎。在超級計算先導系統上建設實施面向超級計算中心的運營管理支撐平臺,既是推進先導運營的科技計劃,也是先期建設超級計算中心軟實力的技術實施方案[4-5]。

1 系統總體架構

超級計算中心從建成開始面臨最大的問題就是如何提升用戶服務質量和水平。作為超級計算中心運營管理部分的核心內容,多租戶資源分配管理需要考慮3個關鍵問題:資源共享機制,減少每個租戶的硬件、軟件和管理成本;隔離機制,防止租戶之間的非法訪問、沖突和干擾;定制機制,通過配置方法支持與租戶相關的UI、訪問控制、數據模型[6]。

面向超級計算中心的運營管理支撐平臺作為支持多租戶并發使用超級計算機資源的基礎性設施,包括支撐平臺、個性化增強模塊、高可用增強模塊、運維管理模塊以及應用服務模塊,構成一個智慧計算支撐環境,支持多用戶同時使用超算資源時的靈活性、安全性和高可用性。主要開發實現的內容包括:支持多租戶運營模式的智慧計算支撐環境,包括支撐平臺的個性化支撐技術、支撐平臺的高可用增強、運維管理機制與面向超級計算關鍵應用負載特性研究;研究超級計算中心的運營機制。運營管理支撐平臺總體架構見圖1。

圖1 運營管理支撐平臺總體架構圖

2 系統分析與設計

2.1 智慧計算支撐平臺

2.1.1 高性能隔離域子系統

高性能隔離域技術向用戶提供了構筑獨立運行環境的支持。通過該運行環境,操作系統支持用戶可以按照自己的意愿靈活配置。高性能隔離域技術采用操作系統層虛擬化技術,通過在一個操作系統上構建出多個獨立的用戶運行環境,實現了在一個操作系統內核上同時運行多個相互獨立的高性能虛擬機的目標,同時保證了系統性能基本無損。系統提供通用的虛擬計算環境,支持專用虛擬計算環境定制。為了減小性能損耗,為用戶提供性能無損的計算服務,采用了環境提取和基于路徑轉換的快速計算環境構建技術,通過文件目錄樹的切換在計算結點上快速構建與前端一致的用戶運行環境。

2.1.2 資源管理與調度子系統

資源管理與調度子系統的基本功能是接受來自用戶的資源請求,并且把特定的資源分配給資源請求者。合理地調度相應的資源,使請求資源的作業得以運行。該系統應提供4種基本的服務，即資源發現、資源分發、資源存儲和資源的調度。資源發現和資源分發提供相互補充的功能,資源分發由資源啟動且提供有關機器資源的信息或一個源信息資源的指針并試圖去發現能夠利用該資源的合適的應用。而資源發現由網絡應用啟動并在云計算中發現適于本應用的資源。資源分發和資源發現以及資源存儲是資源調度的前提條件,資源調度實施把所需資源分配到相應的請求上去,包括通過不同結點資源的協作分配。

2.2 個性化增強機制

2.2.1 云平臺虛擬鏡像管理技術

虛擬機鏡像在云平臺上是統一管理的,云平臺鏡像管理技術涉及到幾個方面的關鍵問題。

(1) 虛擬機鏡像模板化。為了管理需要,云平臺虛擬機應采用模板化的方法,這是指虛擬系統須預先完成系統安裝和制作,保存為可用的鏡像模板。

(2) 虛擬機運行實例化。云平臺對虛擬機的管理采用了不同于一般虛擬化軟件的方法,即在每次啟動虛擬系統時,使用的虛擬機鏡像只是虛擬機鏡像模板的一個副本,它是模板化的虛擬機鏡像的一份拷貝。運行中的虛擬機作為一個實例,具有臨時性,當虛擬機任務結束后,實例對應的鏡像隨之銷毀。

(3) 虛擬機實例IP動態綁定。因為虛擬機鏡像模板化和實例化的原因,虛擬機系統IP并不能夠在啟動虛擬機前動態決定,而是在虛擬系統實例啟動的過程中動態決定并分配。

2.2.2 支持應用快速部署的應用虛擬化

當計算中心向外提供虛擬主機服務時,面臨的一個重要問題是海量應用以及來自不同用戶對于應用需求的多樣化的問題,應用軟件的數量是海量的。系統深入分析應用軟件的封裝技術,支持應用的自洽打包成可自由移動的軟件部署包;實現軟件的按需加載策略,使無需通地冗余的方式加載資源,有效提高資源利用;對應用軟件將其作為資源在后臺進行統一管理,在需求改變的情形下只需在后臺進行重新配置,提高了管理能力和軟件的部署效率。實現將研究應用軟件在實際物理地址的映射關系到邏輯服務名字空間的映射策略,支持服務的全局命名。實例之間只知道對方的邏輯地址,相互連接前都要詢問該中心獲得真實的IP地址,然后才能進行連接通訊。當通訊失敗后,需要再重新去命名中心詢問該邏輯名對應的新物理地址,再重新連接。

2.2.3 桌面虛擬化

在私有云條件下,計算中心對用戶提供遠程的以虛擬化為基礎的主機系統服務。遠程操作具體有2種方式:一是用戶通過命令終端進行操作,二是通過遠程桌面進行圖形化的操作。一般情況下,在類Linux系統環境下普遍使用命令終端的操作,在Windows系統則采用Windows遠程桌面連接的方式。

從最終用戶體驗出發,以圖形化為特點的桌面操作方式具有人性化的特點,使用戶獲得更好的人機交互體驗。在私有云條件下構建遠程桌面系統能夠有效提升用戶體驗,從而提升計算中心的服務水平。

2.3 高可用增強機制

2.3.1 系統監控技術

超級計算機系統規模大,軟硬件部件多、結構復雜;同時根據單個部件的故障概率計算,全系統發生故障的概率相對提高,在這種復雜系統環境下,定位、恢復系統故障對系統管理員的工作量和工作難度都是很大的挑戰,因此有效的監控管理軟件是確保系統正常運行和提高維護保障的重要軟件系統。

超級計算中心監控基礎架構包括3個層次的組件:應用服務運行狀態監控、系統性能監控與調優工具以及硬件平臺監控。一方面該系統負責監控系統潛在的錯誤并及時通報給運維工程師,另一方面該系統負責收集系統運行參數,為進一步的系統調優提供真實可靠的數據。

2.3.2 應用服務的高可用技術

超級計算機系統的高可用性可以通過檢測節點或服務進程故障和正確地重置系統來實現,使系統收到的請求能被存活的結點處理。通常,我們在調度器上有資源監測進程來時刻監視各個服務器結點的健康狀況。當服務器對ICMP ping不可達時或者探測其網絡服務在指定的時間沒有響應時,資源監測進程通知操作系統內核將該服務器從調度列表中刪除或者失效。這樣,新的服務請求就不會被調度到故障結點。資源監測進程能通過電子郵件或傳呼機向管理員報告故障。一旦監測進程到服務器恢復工作時,即通知調度器將其加入調度列表進行調度。另外,通過系統提供的管理程序,管理員可發命令隨時將新機器加入服務來提高系統的處理性能,也可以將已有的服務器切出服務,以便對服務器進行系統維護。

2.4 應用服務技術

2.4.1 高性能計算門戶

高性能計算門戶是用戶使用高性能計算資源的統一訪問接口,基于portlet技術,以服務方式為用戶提供安全方便的訪問各類高性能計算資源的途徑。門戶框架主要由安全服務、遠程應用管理、個性化用戶界面定制等[7]。

(1) 安全服務。基于安全保護平臺提供的認證機制,門戶將建立單一登錄功能,用戶通過Web瀏覽器使用用戶名/密碼登錄高性能計算門戶后,門戶將在用戶的整個會話期內為用戶管理證書,基于證書映射的角色為用戶提供細粒度的高性能計算資源和高性能計算服務訪問控制。

(2) 個性化用戶界面定制。給行使不同角色的用戶賦予不同的資源和服務視圖,保證資源和服務的安全運行,同時也給不同用戶提供特定的應用體驗。

(3) 遠程應用管理。基于Web的遠程應用管理功能是對高性能計算作業進行在線管理,方便用戶監控自己的應用作業。用戶使用發布出來的在線高性能應用服務提交高性能計算作業,對于在線的應用管理分為3個部分:作業提交管理、作業詳細信息管理、作業列表管理。

2.4.2 應用服務封裝與管理

通過深入分析主流的開源和商用大型科學與工程計算軟件的應用模式,提取出軟件的應用服務封裝的一般化方法,在此基礎上實現部分軟件的基于Web技術的應用服務封裝,為用戶提供更加直觀、易用的基于Web的應用使用方式。具體包括應用界面與應用核心的分離、應用界面的Web服務封裝和封裝模板管理、應用Web服務發布[8]。

2.4.3 數據管理服務

計算數據是用戶開展高性能計算的基礎,也是用戶的核心知識產權所在,因此提高數據的管理和應用效率具有非常重要的意義。傳統的高性能計算機提供大量命令行操作進行數據管理,需要掌握較為復雜的操作系統命令和文件系統應用知識,而且隨著應用數量的不斷增長,數據存儲量快速增長、目錄結構更加龐大和復雜,對用戶而言其數據管理的難度越來越大。因此本項目將首先深入分析廣州超級計算中心超級計算機的文件系統的管理和應用模式,采用Web服務技術封裝文件和目錄操作,形成一套基本的基于Web的常用數據操作工具;然后設計一套用戶作業與計算數據之間的生產和消費管理機制和方法,建立面向應用項目的數據管理模式;最后參考Windows資源管理器的風格,基于Web的數據操作工具,采用面向應用項目的數據管理模式,設計實現基于Web的計算數據管理服務,對不同用戶、不同應用的作業數據進行高效的管理。

2.5 運營管理機制

2.5.1 運維管理平臺

高性能計算服務管理平臺的IT服務管理組織架構分為2部分:服務管理(IT前臺)與服務支持(IT后臺)。IT前臺直接面向用戶,通過服務目錄向用戶提供服務功能列表,通過服務需求管理、關系管理、服務發布管理等,能夠為用戶提供更加體貼的服務。IT 后臺在服務臺、事件管理和問題管理的基礎上,基于ITIL建立變更管理、發布管理、可用性管理、能力管理等等服務流程,能夠進一步完善IT服務管理流程,提高服務支持的風險防范能力。

2.5.2 資源審計與服務計費系統

資源審計與服務計費子系統能夠精確和可靠地采集服務資源的各種指標數據,并根據一定的計費算法計算出所提供服務資源的費用,或者預測服務可能收費,并將這些信息展示給用戶和云服務的提供商。同時,結合第三方平臺提供便捷的支付手段。此外,安全和保密措施也是云服務計費平臺的重要內容。其主要內容包括[9]:

(1) 計費系統基礎架構。計費系統基礎架構主要包括賬號管理、安全審計、鑒權認證、費用查詢功能以及第三方的支付平臺接口。

(2) 硬件服務計費。硬件資源采集的數據主要有CPU占用率、存儲空間大小、存儲訪問次數、網絡帶寬、網絡訪問出入流量。這些數據的組合,可以形成多種形式的收費算法,如服務器費用按需后付費、帶寬費用按流量后付費;服務器費用包時預付費等。計費平臺除了支持上述基本的計費算法以外,還能夠支持各種靈活的優惠措施算法。

(3) 軟件服務計費。針對超級計算關鍵業務軟件應用部分,計算相關費用。其中包括按組件的固定收費,以及跟用戶數、在線用戶數相關的浮動收費等傳統軟件的計費方式。此外,還有根據用戶交易次數進行計費、根據云計算特有的計費方式,這就要求軟件服務計費同樣需要數據采集的功能。因為云計算的特點,要求軟件資源的計費同樣具有彈性,可以按照用戶的需要隨時調整軟件資源的數量。

2.5.3 數據分析統計系統

數據分析系統能夠對集群系統的使用情況進行系統的分析,主要包括系統數據分析統計系統和用戶數據分析統計系統。該系統將從系統的CPU、內存、節點隊列、用戶作業的規模、用戶的機時統計及其他定制分析等方面入手,實現對大規模的高性能計算機的整體應用及性能的分析。

(1) 系統分析統計系統。系統分析統計系統將分為實時分析和歷史分析2個部分,主要是通過對系統各項指標(主要包括CPU、內存、節點隊列等)在指定的一段時間內的使用情況進行分析,通過實時使用率和歷史平均使用率來了解系統在不同時段的使用狀況,以此來對系統中的資源分配及節點隊列進行調整,保證資源的合理利用。

(2) 用戶數據分析統計系統。用戶數據分析統計系統主要是通過多角度的數據挖掘,對用戶使用系統的情況進行統計,同時為用戶提供查詢各項指標的功能。該系統主要分為用戶機時統計、用戶作業規模的機時統計、商業軟件機時統計3個部分,分析不同用戶的作業規模機時使用情況及各種商業軟件機時使用情況,為后期資源分配調整、軟件升級更新提供了全面的數據依據。

3 特色與創新點

本系統平臺將作為廣州超級計算中心十億億次超級計算機系統的配套項目,實際支撐廣州超級計算中心的運營,并具有以下特色和創新點[10-12]:

(1) 支持多租戶對超級計算資源的隔離使用。支持多個用戶同時透明使用超級計算資源,超級計算中心為用戶構建相互隔離的運行環境,實現資源隔離、性能隔離、故障隔離,并支持用戶數據的隱私保護。

(2) 基于虛擬化技術的多租戶的個性環境構建技術。基于虛擬化技術,支持用戶對私有智慧計算環境的個性化部署需求。依據用戶需求加載特定軟件,動態部署用戶的個性環境,配置靈活。

(3) 支持運營策略靈活配置的資源審計機制。支撐平臺具有帶內和帶外監控功能,支持對節點、CPU、內存、網絡帶寬、存儲容量等多屬性的監控,實現對用戶所用資源的豐富審計,支持管理員對運營策略的靈活配置,從而支持超級計算中心的運營需求。

References)

[1] 鄭寧,王冰,黨崗.廣州超級計算中心應用發展與研究[J].計算機工程與科學,2013,35(11):187-190.

[2] 孫家昶,袁國興，張林波，等.2013年中國高性能計算機TOP100排行榜[EB/OL].[2013-10-21].http://www.samass.org.cn.

[3] Meuer H,Simon H,Strohmaier E,et al.TOP500 super-computer sites [EB/OL].[2013-10-21].http://www.top500.org.

[4] 黨崗,程志全.超級計算中心核心應用的淺析[J].計算機科學,2013,40(3):133-135,166.

[5] 遲學斌,胡永宏.我國超級計算發展狀況研究[J].調研世界,2013(8):56-60.

[6] 關偉豪,吳汝明,郭清順.中山大學高性能計算服務平臺的建設[J].實驗技術與管理,2011,28(4):303-306.

[7] 楊敏.廣東省教育科研網格門戶系統構建[J].武漢大學學報:理學版,2012,58(10):371-375.

[8] 莫則堯.千萬億次并行計算研究與應用[C]//全國高性能計算學術年會論文集.2011.

[9] 牛鐵,朱鵬,趙毅,等.超級計算環境配額系統設計與實現[J].計算機應用,2010,30(12):8-9,39.

[10] 國家超級計算天津中心[EB/OL].http://www.nscc-tj.gov.cn,2012.

[11] 國家超級計算深圳中心[EB/OL].http://www.nsccsz.gov.cn,2012.

[12] 國家超級計算廣州中心[EB/OL].http://www.nscc-gz.cn,2014.

Design and implementation of operation and management support platform for supercomputing center

Yang Min1, Guan Weihao1, Zhu Min2

(1. School of Network and Information Technology Center,Sun Yat-sen University,Guangzhou 510275, China;2. School of Computer Science,National University of Defense Technology,Changsha 410073, China)

Supercomputing capability and application level are related to a country or region to participate in international competition,the success or failure in the field of information technology. This paper focuses on internal and external technical bottleneck restricting the operation and development,establishes innovative operation mode and intelligent operating environment support supercomputing center virtuous cycle and sustainable development which are serious challenges.Based on these goals,this paper discusses the implementation of the operation and management support platform for supercomputing center.This platform supports the multi-tenant operation mode,customer service isolated,resources which can be dynamic and flexible configuration,user data isolated from each other,privacy protection and high availability of user tasks.

supercomputing center; operation and management; multitenant

2014- 12- 21 修改日期：2015- 01- 08

廣州市科技項目(2012Y2-00041；2013Y2-00044)

楊敏(1979—)，女，浙江海寧，碩士，工程師，研究方向為高性能計算系統架構，大數據系統架構.

E-mail：yangmin@mail.sysu.edu.cn

TP308

A

1002-4956(2015)6- 0243- 04