多維、精細粒度高性能計算資源管理系統的設計和在氣象業務中的應用實踐

■ 顧文靜 沈瑜 李娟 孫婧

一種應用于中國氣象局高性能計算機系統上的多維、精細化資源管理系統，不僅可以從CPU使用、計算和存儲資源的使用、模式、作業等常規角度統計了解系統的運行情況，同時提供對特定隊列、特定業務/科研用戶或用戶群的使用分析，提供對系統全天24小時時段運行情況的使用分析，提供作業等待情況的基本分析等功能。

高性能計算系統是氣象業務及科研應用的重要的基礎設施平臺，該系統對資源統計的大量數據進行多維度、多樣化統計分析，構建精準、完善的數據服務，為用戶提供高效、標準、可信的應用支撐平臺，在保障業務穩定運行的同時，促進系統資源的效能和效率最大限度地發揮。基于該系統，中國氣象局（CMA）建立了氣象高性能資源計費機制和分配管理模式，使高性能計算機在CMA的應用管理日趨規范化。

1　系統設計與實現

資源管理系統主體功能如圖1所示，開發環境：Eclipse Luna Release（4.4.0）；后臺數據庫：Oracle 11g；Web服務器：Tomcat8.0。資源管理系統包含6大模塊，25個子模塊，其中首頁和作業運行情況模塊，實時展示作業運行和資源使用情況，系統管理員可據此調整系統資源分配調度策略，用戶可選擇空閑的時段和隊列提交作業，從而更合理高效的利用系統資源；用戶資源統計模塊，便于用戶查詢本人資源申請、分配、使用和繳費情況，為資源計費繳費提供依據。CPU使用情況，資源綜合統計和模式應用模式使用情況模塊，實現高性能資源多維度、精細粒度統計查詢。

1.1　整體架構

資源管理系統基于B/S架構設計多層框架模型，“四個層次”分別為基礎設施層、數據層、應用層和表現層，從而保證基礎環境的穩定可靠、數據資源的集中管理、應用系統的快速開發、應用系統的集成統一。

1）基礎層

基礎層包含基礎環境運行支撐層和基礎軟件層。通過對硬件設備、基礎系統軟件的集成，為本系統提供統一、穩定的運行環境。基礎運行環境包括存儲系統、高性能計算機、虛擬化云平臺以及JDK、Python、shell、Perl和Oracle等組件。

2）數據層

通過對資源數據的統一規劃，實現數據的集中存儲、數據共享，數據層主要包含源數據和預處理數據。高性能計算機本地資源管理模塊通過基于命令行的功能腳本從高性能計算機系統獲取系統運行及用戶作業資源使用信息。數據庫用于管理資源統計和預處理數據，記賬日志經數據解析錄入到資源管理數據庫。

3）應用層

包含系統的四大模塊，其中資源信息采集處理模塊包括系統資源信息采集、用戶作業信息采集。監視數據管理模塊包括資源數據解析入庫及預處理，資源信息存儲管理。資源統計查詢模塊包括CPU使用情況、作業運行情況、計算和存儲資源統計查詢。配置管理模塊包括用戶權限配置和采集任務配置。

4）表現層

系統主要通過Web頁面以及相關的桌面程序為用戶提供服務。優良合理的頁面布局和人性化的操作方式，清晰地展現用戶所關心的信息。

1.2　數據處理

IBM Flex P460高性能計算機系統總理論峰值達1759TFlops；源數據表（job表）總記錄近4000萬條；日增量約9萬條。

伴隨數據量的迅速增長，對于用戶的統計請求，如果實時的從海量原始數據中進行統計計算，給系統造成較大壓力，并且讓用戶等待較長時間。從用戶角度出發，充分利用Oracle數據庫索引技術，提高SQL語句的執行效率，增加檢索條件避免全表掃描。同時對海量數據進行統計預處理，形成符合需求的中間統計結果進行存儲，對于統計訪問請求，能夠直接在中間統計結果中進行查詢，大幅減少等待時間。

資源管理系統數據庫創建13張數據表，其中基礎信息表包括用戶信息表（userinfo）、部門信息表（organization）、計算機系統信息表（machineinfo）、文件系統信息表（gpfsinfo）、資源分配信息表（allocation）；記賬信息表包括作業信息表（job）、存儲資源信息表（disk）、CPU使用情況信息表（cpu_usage），實時概覽信息表（realtimeinfo）；對job表和disk表進行統計預處理，生成隊列資源信息表（queueu_amt）、模式資源信息表（model_amt）、系統記賬信息表（machine_chg）和用戶記賬信息表（user_chg）；其中記賬信息表的可統計屬性均與基礎信息表建立主外鍵關系。

1.3　軟件框架

1）模型實現

系統采用B/S架構進行設計，基于J2EE的SSH（Struts2+Spring+Hibernate）架構體系進行業務和數據資源的整合及集成，采用多層體系架構，實現設計單元的高內聚、低耦合；采用組件化與插件機制結合進行設計和開發，保證系統強大且靈活的可擴展性、可維護性以及可集成性。

前臺頁面通過Ajax 向后臺的Action發出Post 請求，后臺Action 返回Json 格式的數據給請求頁面，請求頁面利用JQuery 處理返回的Json 格式的數據，并呈現給用戶。通過這種方式高效的實現頁面對后臺數據的無刷新訪問，并且將開發過程中的表現層和數據處理層很好的分離。

視圖層采用Struts2框架與jQuery框架實現，Struts2提供對Ajax的支持，與jQuery框架配合，可將程序的觸發事件直接封裝在JS代碼中；Struts2根據用戶請求調用相應Action控制器，Action調用Service實現業務邏輯處理，將Json對象和參數傳入到了后臺Service層，在Service層封裝解析數據對象；數據持久層由Spring和Hibernate整合實現，Service調用Dao實現對數據庫的操作，Dao通過調用Hibernate API對持久化對象進行操作，Hibernate將Dao連接oracle數據庫，將配置文件裝載到applicationContext.xml中，最終實現對數據庫的增刪改查操作。

2）圖表生成

本系統使用JQuery+HighCharts來實現資源統計數據圖表繪制，并提供下載功能。資源統計數據是時間序列化的數據，通過動態曲線能夠更直觀地顯示數據在一個時間段中的變化過程。

HighCharts是一個非常流行、界面美觀的純Javascript 圖表庫，能夠很便捷地在Web 網站或是Web 應用程序中提供直觀、交互性的圖表，并且免費和開源。

2　資源精細化統計分析

資源管理系統下設25個子模塊，對CPU使用情況、計算和存儲資源、隊列及作業情況進行了多方面精細化統計查詢，下面就其中幾個典型模塊的應用情況做詳細分析。

2.1　首頁

首頁作為資源管理系統的概覽，對所有用戶開放訪問權限，其中包括CPU使用情況和作業運行情況的實時展示、各單位資源分配與使用情況和模式資源使用情況展示。

CPU使用情況和作業運行情況的實時展示方便系統管理員和用戶動態掌握各系統資源使用情況。

2.2　用戶資源分配與使用

資源分配與使用情況展示中國氣象局各單位和各區域中心計算及存儲資源分配和使用情況。根據使用量與分配量比例判斷資源分配的合理性，對各中心用戶需求進行充分評估，為下一階段資源調整提供依據。其包括用戶申請與分配、分配與使用、計費與收費、繳費記錄和詳細日志查詢，前4個子模塊對所有用戶開放，并設置系統管理員、中心管理員和個人用戶等權限，系統管理員可查詢所有用戶信息，中心管理員只能查詢本中心用戶信息，個人用戶可以看到本人名下所有的賬戶信息，多種權限的設置在保障用戶信息安全的前提下為不同需求用戶提供了便捷。本模塊為中國氣象局資源計費機制提供有利依據。

2.3　CPU使用情況

包括中國氣象局和區域中心九套系統CPU使用情況和多維度時段CPU核使用情況展示。CPU使用情況包括逐年、逐月、逐日數據的統計查詢。逐年、逐月、逐日資源數據統計反映系統在不同時段CPU使用情況，為分析資源使用規律提供有利依據。

時段CPU核使用情況包括系統、隊列、用戶及業務模式時段使用情況統計。取樣間隔精確到秒，通過密集柱狀圖形象展示了各個時段選定的系統、隊列、用戶及業務模式CPU核使用情況，統計圖（圖2）中可以清晰反映那些時間段是作業運行高峰，那些時間段是低谷，為各業務模式系統運行時間調整提供依據，避免資源搶占；科研用戶可掌握業務運行間隙提交作業，減少等待時間，提升工作效率。

圖2　（a）業務模式時段CPU核使用情況；（b）業務用戶時段CPU核使用情況

2.4　存儲資源使用情況

包括文件系統（gpfs）、高性能計算機系統存儲資源使用情況統計和用戶在各文件系統資源使用情況統計。其中，文件系統（gpfs）和高性能計算機系統使用情況均設計總量和使用量對比展示，清晰反映存儲資源使用率；用戶統計模塊可選擇時間查詢用戶在不同文件系統資源使用情況，為用戶調整數據存儲策略，合理利用空間提供依據。

2.5　計算資源使用情況

包括單位、用戶性質、高性能計算機系統和組及隊列等多種統計查詢模塊。使系統管理員詳細了解計算資源使用分布情況，便于調整計算資源分配調度策略，減少資源搶占和資源浪費。

2.6　應用模式使用情況

包含計算資源統計、使用處理器核數和等待時間統計。通過使用處理器核數統計了解各種模式占用計算資源及各種規模作業的比例，據此對模式使用隊列、CPU核數、作業數等做一定限制，保證所有模式均可正常運行；等待時間模塊設置了30 min—1 h作業和大約1 h 作業詳細信息查詢，根據作業等待時間及占用資源判斷等待是否合理，據此調整資源調度策略，近一步保障業務/科研的穩定運行。

2.7　作業運行情況

包含CPU核使用及作業運行情況和作業運行狀態實時展示。CPU核使用及作業運行情況以雙軸柱狀圖對比展示，不僅較單純數字展示更直觀鮮明，同時，通過二者對比可以判斷作業運行數和空閑CPU核數是否合理，間接監視系統運行情況，保障系統穩定；運行日志實時提取所有作業關鍵信息（用戶名，作業狀態，等待原因）以滾動形式展示在web頁面上，避免用戶通過命令獲取大量復雜信息后的進一步分析提取。

依據資源管理系統，月度、季度及年度定期對CMA高性能計算機系統的進行資源使用和運行的詳細分析并編寫相應的報告，相應的分析結果為決策者提供決策支持服務。

3　資源的分配與計費

3.1　資源分配

近年來，全國多個地方氣象部門在當地政府財政撥款和有關項目支持下，購置高性能計算機系統。自2013年起，依托“氣候變化應對決策支撐系統工程”項目，中國氣象局陸續在北京、廣東、上海、遼寧、湖北、四川以及甘肅和新疆等多個區域中心建設十套高性能計算機系統。

地方氣象局部門的高性能計算能力雖然有較大提升，但與仍存在以下一些問題：設備利用率不高、計算能力不能滿足當地需求，缺少必要的高性能計算、氣象數值模式專業人才。為此，中國氣象局每年制定《全國資源分配方案》，依據“本地優先、異地調配”的原則，將一些國家級科研用戶分配到省局較空閑的系統上運行，將區域中心一些資源需求較大，本地資源無法滿足的業務/科研用戶調配至中國氣象局系統運行，并充分發揮國家級氣象單位在高性能和數值天氣預報方面的指導作用，通過資源的預分配，系統管理方將可以主動的控制管理每個用戶對不同系統的資源使用。

3.2　資源計費

高性能計算機系統資源有限，為了保障業務/科研穩定運行，最大限度的提高資源的使用效益，中國氣象局對系統資源總體遵循“統一計費，分類收取，多用多收，少用少收”的原則。資源單位及計費成本的設定，使得用戶可以根據不同情況選擇最合適的系統運行，有益于發揮不同系統的效益。服務收費包括計算資源使用費和存儲資源使用費，計算資源采用“CPU核小時”作為計量單位，存儲資源采用“GB月”作為計量單位。

用戶資源統計模塊提供用戶計算和存儲資源不同時間維度下分配與使用、計費與收費和繳費記錄查詢功能，并對科研用戶開放詳單查詢，提高資源計費透明度，用戶可查詢本人名下所有高性能計算機賬戶的資源使用量、應繳金額和已繳金額。該模塊作為資源預分配輔助模塊，為資源分配的統計提供參考數據，同時實時更新用戶分配與使用量，使用戶了解本人賬戶下剩余資源量，促進資源合理使用。

深入閱讀

陳云芳, 2008. 精通Struts2 基于MVC的Java Web應用開發實戰. 北京: 人民郵電出版社.

沈文海, 2012. 網格計算在氣象高性能計算領域的應用前景探討.氣象科技進展, 2(1): 48-51.

沈瑜, 李娟, 常飚, 等, 2014．高性能計算機統一資源管理系統的設計與實現．計算機技術與自動化, 33(1): 148-150．

施俊, 2014．基于Struts2+jQuery+JSON 實現Ajax數據顯示．電腦知識與技術, 26(10): 6090-6092．

孫婧, 沈瑜, 2015. 氣象應用的高性能計算機性能需求推算方法.計算機技術與發展, 25(6): 206-210.

孫周軍, 肖文名, 宋遠清, 等, 2008．氣象信息實時監視系統改進設計與實現．成都信息工程學院學報, 19(4): 507-511．

王彬, 宗翔, 魏敏, 2008. 一個精細粒度實時計算資源管理系統. 應用氣象學報, 19(4): 507-511.