高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)①

和 榮,王小寧,盧莎莎,趙一寧,肖海力,遲學(xué)斌

1(中國(guó)科學(xué)院 計(jì)算機(jī)網(wǎng)絡(luò)信息中心,北京 100190)

2(中國(guó)科學(xué)院大學(xué),北京 100049)

高性能計(jì)算環(huán)境是現(xiàn)代社會(huì)科學(xué)研究、社會(huì)服務(wù)、經(jīng)濟(jì)活動(dòng)中一種極為重要的戰(zhàn)略工具.我國(guó)高性能計(jì)算資源日益豐富,多領(lǐng)域的大規(guī)模應(yīng)用對(duì)計(jì)算能力也提出了超高需求,關(guān)鍵問(wèn)題是如何充分、有效的組織和利用國(guó)家高性能計(jì)算環(huán)境[1]的資源滿足這些需求.國(guó)家高性能計(jì)算環(huán)境聚合國(guó)內(nèi)優(yōu)秀的高性能計(jì)算資源,面向用戶提供便捷的高性能計(jì)算服務(wù).從趨勢(shì)來(lái)看,國(guó)家高性能計(jì)算環(huán)境不僅是計(jì)算的基礎(chǔ)設(shè)施,也要成為一種公共服務(wù),為廣大用戶群提供及時(shí)、優(yōu)質(zhì)和不間斷的計(jì)算服務(wù),既要支持大規(guī)模的并行計(jì)算,也要利用云計(jì)算和大數(shù)據(jù)的理念以最小的代價(jià)為用戶提供服務(wù),提供便捷的高性能計(jì)算服務(wù).云計(jì)算的個(gè)性化定制和服務(wù)化是高性能計(jì)算未來(lái)發(fā)展的趨勢(shì).此外,大數(shù)據(jù)的發(fā)展也為高性能計(jì)算帶來(lái)了新的機(jī)遇和具體應(yīng)用,高性能計(jì)算已經(jīng)成為大數(shù)據(jù)存儲(chǔ)和處理的基礎(chǔ)平臺(tái),提供大規(guī)模數(shù)據(jù)密集型計(jì)算所需的大容量、低延遲和高帶寬的處理能力,為數(shù)據(jù)分析人員提供計(jì)算服務(wù).

國(guó)家高性能計(jì)算環(huán)境目前包括底層環(huán)境關(guān)鍵模塊、通用計(jì)算平臺(tái)[2]、應(yīng)用社區(qū)等.隨著高性能計(jì)算環(huán)境的持續(xù)運(yùn)行,用戶的計(jì)算需求快速增長(zhǎng),對(duì)資源的需求不斷上升.環(huán)境急需擴(kuò)充資源以提供更強(qiáng)大的計(jì)算能力,滿足不同應(yīng)用領(lǐng)域的計(jì)算需求,同時(shí)也對(duì)環(huán)境擴(kuò)展性、易用性和可靠性提出更高要求,環(huán)境關(guān)鍵模塊[3]必須進(jìn)行優(yōu)化升級(jí)和功能擴(kuò)展.

高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)從底層架構(gòu)設(shè)計(jì)到上層頁(yè)面顯示實(shí)現(xiàn)了全新蛻變,包括對(duì)其功能進(jìn)行擴(kuò)展,根據(jù)用戶的需求設(shè)計(jì)相關(guān)模塊,為用戶提供更加優(yōu)質(zhì)的服務(wù).通用計(jì)算平臺(tái)Portal 2.0以更好的滿足用戶計(jì)算需求,方便快捷的提交作業(yè)任務(wù)并獲取計(jì)算結(jié)果為設(shè)計(jì)理念.針對(duì)用戶提供個(gè)性化的高性能計(jì)算服務(wù),以達(dá)到應(yīng)用軟件按需動(dòng)態(tài)發(fā)布,支持用戶定制計(jì)算軟件和計(jì)算資源等個(gè)性化服務(wù)的目標(biāo).通用計(jì)算平臺(tái)的建設(shè)將進(jìn)一步擴(kuò)大高性能計(jì)算環(huán)境的用戶群,推動(dòng)高性能計(jì)算在更多領(lǐng)域的發(fā)展,提高國(guó)家高性能計(jì)算環(huán)境影響力.

本文圍繞國(guó)家高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)Portal 2.0展開(kāi)敘述,重點(diǎn)介紹平臺(tái)的整體結(jié)構(gòu)、涉及的關(guān)鍵技術(shù)、主要功能以及實(shí)現(xiàn)過(guò)程和最終效果.

1 整體結(jié)構(gòu)

高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)Portal 2.0主要包括底層的基礎(chǔ)服務(wù)、服務(wù)端和客戶端3部分組成.具體如圖1所示.

1.1 基礎(chǔ)服務(wù)

基礎(chǔ)服務(wù)提供Portal 2.0的運(yùn)行環(huán)境.它包括日志管理、SCEAPI[4]、Memecached、MySQL和Web容器等組件.

圖1 Portal 2.0整體結(jié)構(gòu)圖

日志主要用來(lái)記錄系統(tǒng)中的各種事件,方便出現(xiàn)錯(cuò)誤時(shí)查找原因等.記錄的日志還可以作為數(shù)據(jù)來(lái)源進(jìn)行分析,從日志中提取有用的信息,如錯(cuò)誤信息等,在以后的運(yùn)維中有效避免類似錯(cuò)誤.SCEAPI是中國(guó)科學(xué)院科學(xué)計(jì)算環(huán)境(Scientific Computing Environment,SCE)[5]的跨接口和語(yǔ)言的通用接口.SCEAPI接口包括用戶、資源、作業(yè)、數(shù)據(jù)和監(jiān)控等多個(gè)方面的功能.為保證數(shù)據(jù)的安全性,有效避免直接操作數(shù)據(jù)庫(kù),所有獲取環(huán)境數(shù)據(jù)的請(qǐng)求必須通過(guò)調(diào)用SCEAPI接口實(shí)現(xiàn).Portal 2.0使用MySQL數(shù)據(jù)庫(kù)保存用戶的數(shù)據(jù)等相關(guān)信息.為避免重復(fù)訪問(wèn)接口,減少服務(wù)端負(fù)載統(tǒng)計(jì)信息等采用Memcached機(jī)制.Web容器主要保證系統(tǒng)運(yùn)行,處理各個(gè)模塊之間的端口轉(zhuǎn)發(fā).

1.2 服務(wù)端

服務(wù)端主要利用基礎(chǔ)服務(wù)中的組件開(kāi)發(fā)的功能模塊.作業(yè)提交、作業(yè)管理、文件管理是通用計(jì)算平臺(tái)必備的核心功能.作業(yè)提交服務(wù)完成JSDL(Job Submission Description Language)[6]描述標(biāo)簽處理、JSDL作業(yè)描述文件完成、文件上傳、向SCE中間件提交作業(yè)等功能.作業(yè)管理服務(wù)實(shí)現(xiàn)向用戶展示實(shí)時(shí)作業(yè)的狀態(tài)信息和終止作業(yè)功能.文件管理涉及文件實(shí)時(shí)查看和無(wú)緩存數(shù)據(jù)流下載完成實(shí)時(shí)作業(yè)工作目錄文件列表、文件屬性和文件內(nèi)容查看、大文件下載功能.

統(tǒng)一登錄和授權(quán)為技術(shù)人員使用SCEAPI進(jìn)行社區(qū)或網(wǎng)站開(kāi)發(fā)提供便捷服務(wù).開(kāi)發(fā)人員無(wú)需重新開(kāi)發(fā)登錄模塊,可直接調(diào)用統(tǒng)一登錄模塊為系統(tǒng)添加登錄功能.授權(quán)機(jī)制為各個(gè)服務(wù)訪問(wèn)的安全準(zhǔn)確提供保障.

1.3 客戶端

開(kāi)發(fā)人員面向用戶提供的服務(wù),主要是指瀏覽器端的Web頁(yè)面.用戶通過(guò)客戶端發(fā)送各種請(qǐng)求到服務(wù)端,服務(wù)端響應(yīng)后返回?cái)?shù)據(jù)顯示在客戶端.如通過(guò)提交作業(yè)頁(yè)面可提交作業(yè)并查看作業(yè)狀態(tài)信息；在作業(yè)運(yùn)行過(guò)程中可實(shí)時(shí)在線瀏覽作業(yè)文件信息或下載文件.在此過(guò)程中只需輸入作業(yè)的基本信息、參數(shù),點(diǎn)擊輸入文件上傳到服務(wù)端,即可提交一個(gè)作業(yè),極大的簡(jiǎn)化了用戶提交作業(yè)的流程,使用起來(lái)也更加方便.

客戶端頁(yè)面主要采用HTML5、CSS、JavaScript實(shí)現(xiàn).客戶端從服務(wù)端獲取XML或JSON格式的數(shù)據(jù)后根據(jù)頁(yè)面的設(shè)計(jì)呈現(xiàn)給用戶.

2 關(guān)鍵技術(shù)

考慮到不同用戶的使用習(xí)慣和模式,不同科學(xué)領(lǐng)域計(jì)算任務(wù)的特點(diǎn),不同應(yīng)用軟件的特點(diǎn),以及當(dāng)前網(wǎng)絡(luò)發(fā)展的趨勢(shì),高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)重點(diǎn)提出了以下4方面的關(guān)鍵技術(shù)：微服務(wù)開(kāi)發(fā)、應(yīng)用按需發(fā)布、關(guān)聯(lián)性搜索、數(shù)據(jù)安全機(jī)制.

2.1 微服務(wù)開(kāi)發(fā)

高性能計(jì)算環(huán)境通用平臺(tái)涉及到多個(gè)模塊,包括作業(yè)管理、作業(yè)提交、用戶管理等(圖2).為了方便每個(gè)模塊相互獨(dú)立的開(kāi)發(fā)部署,提出了微服務(wù)[7,8]的開(kāi)發(fā)方式.

圖2 微服務(wù)開(kāi)發(fā)結(jié)構(gòu)

為更好地實(shí)現(xiàn)微服務(wù)的開(kāi)發(fā)方式,我們從以下3個(gè)方面來(lái)實(shí)施.首先,每個(gè)模塊的公共文件如頁(yè)面的頭尾、JS、CSS存放到公共的位置,并單獨(dú)部署在一個(gè)Tomcat服務(wù)器上,功能模塊在實(shí)現(xiàn)時(shí)只需引用相應(yīng)的頁(yè)面或JS.其次,針對(duì)服務(wù)器端代碼,分析并提取通用的代碼,底層API接口的調(diào)用封裝成通用接口,并將整個(gè)代碼封裝成代碼包.開(kāi)發(fā)人員開(kāi)發(fā)相應(yīng)模塊時(shí)可直接調(diào)用該代碼包,復(fù)寫(xiě)相應(yīng)的接口,這樣對(duì)開(kāi)發(fā)者來(lái)說(shuō)特別方便快捷,不需要寫(xiě)重復(fù)代碼,簡(jiǎn)化整個(gè)開(kāi)發(fā)流程.最后,各個(gè)功能模塊開(kāi)發(fā)完成后單獨(dú)部署在Tomcat服務(wù)器上,通過(guò)Apache配置端口轉(zhuǎn)發(fā)實(shí)現(xiàn)同一域名訪問(wèn).

通過(guò)實(shí)現(xiàn)微服務(wù)開(kāi)發(fā),各個(gè)模塊之間可獨(dú)立開(kāi)發(fā)部署.當(dāng)更新或修改某個(gè)模塊時(shí),平臺(tái)中其他模塊可以不受影響而繼續(xù)提供服務(wù).

2.2 應(yīng)用按需發(fā)布

在處理高性能計(jì)算任務(wù)時(shí),按照計(jì)算環(huán)境指定的方式描述作業(yè)的各種參數(shù)和輸入文件,不用學(xué)科領(lǐng)域的應(yīng)用軟件,要求的參數(shù)和輸入數(shù)據(jù)各不相同.其次,按照作業(yè)管理系統(tǒng)命令格式的要求,組織數(shù)據(jù)并將計(jì)算任務(wù)提交到計(jì)算環(huán)境.最后,可在計(jì)算環(huán)境中管理作業(yè),包括查看作業(yè)狀態(tài),掛起和終止作業(yè),獲取計(jì)算結(jié)果等.

為了實(shí)現(xiàn)應(yīng)用的快速發(fā)布,解決不用學(xué)科領(lǐng)域應(yīng)用封裝問(wèn)題或作業(yè)提交頁(yè)面快速生成問(wèn)題,平臺(tái)提出了一個(gè)應(yīng)用封裝便捷工具HPC-AIT[9].HPC-AIT以通用的作業(yè)描述語(yǔ)言JSDL規(guī)定的作業(yè)提交信息為出發(fā)點(diǎn),基于JSR-168標(biāo)準(zhǔn)的Portlet,支持復(fù)雜作業(yè)參數(shù)的Web頁(yè)面自動(dòng)填充.

圖3為應(yīng)用集成組件的技術(shù)路線圖[9].首先分析多種類型的應(yīng)用需求,設(shè)計(jì)描述模板.管理員在Web圖形化頁(yè)面填寫(xiě)詳細(xì)的應(yīng)用需求,后臺(tái)服務(wù)根據(jù)模板生成應(yīng)用描述文件；其次,渲染引擎根據(jù)應(yīng)用描述文件提供的數(shù)據(jù),替換HTML模板中的表達(dá)式,生成作業(yè)提交頁(yè)面；作業(yè)提交頁(yè)面中自帶默認(rèn)參數(shù),用戶也可修改其中的作業(yè)參數(shù),作業(yè)參數(shù)和輸入數(shù)據(jù)傳輸?shù)胶笈_(tái)服務(wù)器,后臺(tái)服務(wù)器保存這些信息同時(shí)生成JSDL描述文件.最后,提交作業(yè)描述文件和輸入數(shù)據(jù)到計(jì)算環(huán)境,完成計(jì)算任務(wù)的提交功能.

圖3 高性能計(jì)算應(yīng)用集成組件技術(shù)路線圖

下面以Gaussian應(yīng)用為例來(lái)說(shuō)明如何快速實(shí)現(xiàn)應(yīng)用封裝和作業(yè)提交.運(yùn)行封裝工具HPC-AIT可獲得Web頁(yè)面上應(yīng)用的封裝,其中包括頁(yè)面的固定信息和動(dòng)態(tài)信息.針對(duì)應(yīng)用名稱、執(zhí)行程序、版本、應(yīng)用描述等固定信息,管理員只需要在頁(yè)面上填寫(xiě)相應(yīng)內(nèi)容,無(wú)需修改其他標(biāo)簽等數(shù)據(jù)；輸入文件等動(dòng)態(tài)信息定制頁(yè)面,根據(jù)應(yīng)用自身的特點(diǎn)選擇文件輸入框,比如Gaussian應(yīng)用只需要一個(gè)輸入文件,所有只需勾選一個(gè)輸入文件框即可.所有設(shè)置結(jié)束后可得到自動(dòng)生成的作業(yè)提交頁(yè)面.為了能夠在平臺(tái)中使用Gaussian應(yīng)用,需要將自動(dòng)生成的作業(yè)提交頁(yè)面加載到通用計(jì)算平臺(tái)中,這樣就實(shí)現(xiàn)了一個(gè)完整的應(yīng)用發(fā)布.

通過(guò)實(shí)現(xiàn)應(yīng)用按需發(fā)布,管理員可有效提高應(yīng)用封裝的響應(yīng)速度和降低操作難度,用戶能夠方便的提交作業(yè)和重用復(fù)雜的作業(yè)參數(shù),更好的為實(shí)現(xiàn)用戶的個(gè)性化服務(wù)提供便利.

2.3 關(guān)聯(lián)性搜索

用戶為快速找到自己想用的資源或應(yīng)用經(jīng)常會(huì)通過(guò)關(guān)鍵字進(jìn)行搜索.為了保證搜索結(jié)果更詳細(xì)準(zhǔn)確,我們采用關(guān)聯(lián)性搜索的技術(shù).

前端服務(wù)器接受客戶端請(qǐng)求后向后端搜索服務(wù)發(fā)起請(qǐng)求.后端搜索服務(wù)通過(guò)ES(Elastic Search)[10]實(shí)現(xiàn).核心功能是將搜索請(qǐng)求按照ES定義的訪問(wèn)格式,其中需要特別定義對(duì)資源對(duì)象用戶名屬性的值匹配：(u|any),其搜索結(jié)果將包括所有公共資源和該用戶提交的作業(yè)資源.

后端搜索服務(wù)在調(diào)用ES執(zhí)行搜索前,將搜索請(qǐng)求中包含的搜索字符串分解成一組搜索關(guān)鍵詞W,同時(shí)獲取用戶名u,然后向ES發(fā)送搜索命令,形式為(must(should(u)| should(any))& must(should(W1)|should(W2)| … | should(Wn))).ES服務(wù)器執(zhí)行搜索命令后會(huì)返回搜索結(jié)果,訪問(wèn)接口將分解結(jié)果并形成一個(gè)包含資源所有分段信息的命中數(shù)組,并返回給前端接口服務(wù),然后轉(zhuǎn)發(fā)至客戶端.

用戶搜索的同時(shí)后端服務(wù)會(huì)根據(jù)相關(guān)搜索結(jié)果給出相應(yīng)的推薦內(nèi)容以便用戶了解更多相應(yīng)信息.具體操作：獲取搜索結(jié)果中的標(biāo)簽,并將其作為推薦的關(guān)鍵詞；由標(biāo)簽組成新的搜索請(qǐng)求并發(fā)送給ES服務(wù)器；對(duì)ES返回的結(jié)果按照資源類型(集群、應(yīng)用等)進(jìn)行分類,并將相關(guān)度最高的前3條作為推薦結(jié)果返回到前端接口.

關(guān)聯(lián)性搜索的后端服務(wù)是通過(guò)ES實(shí)現(xiàn)的,所以為實(shí)現(xiàn)關(guān)聯(lián)性搜索必須搭建一個(gè)ES環(huán)境.環(huán)境建好后導(dǎo)入資源數(shù)據(jù)以便搜索時(shí)使用.目前已導(dǎo)入的數(shù)據(jù)主要包括用戶的作業(yè)信息.數(shù)據(jù)整合成JSON格式后通過(guò)ES命令導(dǎo)入到索引中.后端服務(wù)通過(guò)發(fā)送ES指令便可獲取搜索結(jié)果.為了給前端更好地提供服務(wù),封裝ES搜索指令為REST風(fēng)格的接口.用戶只需發(fā)送請(qǐng)求即可獲取結(jié)果,使用方便快捷.

2.4 數(shù)據(jù)安全機(jī)制

在通用計(jì)算平臺(tái)設(shè)計(jì)中為保證數(shù)據(jù)的安全,主要從輸入框數(shù)據(jù)格式、服務(wù)端檢測(cè)、修改信息郵件提醒等方面進(jìn)行限制檢測(cè).

在輸入框數(shù)據(jù)格式上,針對(duì)用戶所輸入的數(shù)據(jù)必須不包括特殊字符.如聯(lián)系電話：手機(jī)號(hào)/^1[0-9]{10}$/；電話號(hào)碼/^0[0-9] {2,3}-[0-9]{7,8}$/項(xiàng)目日期：/^[0-9]{6}-[0-9]{6}$/.

服務(wù)端檢測(cè)主要包括驗(yàn)證用戶輸入的郵箱是否是真實(shí)的郵箱；用戶修改密碼時(shí)驗(yàn)證原密碼是否正確；服務(wù)器的格式審查.

用戶修改信息時(shí)會(huì)針對(duì)不同的修改內(nèi)容通過(guò)郵件提醒用戶是否是自己的行為,避免惡意操作.修改過(guò)程中會(huì)記錄修改的trace,方便以后查找記錄.

在平臺(tái)實(shí)現(xiàn)過(guò)程中,每個(gè)頁(yè)面都有一個(gè)validate.js來(lái)驗(yàn)證輸入數(shù)據(jù)的合法性；服務(wù)端采用Jersey框架實(shí)現(xiàn),其中會(huì)對(duì)相關(guān)參數(shù)進(jìn)行檢查保證沒(méi)有語(yǔ)法錯(cuò)誤；另外各種操作均記錄相應(yīng)trace,保證出錯(cuò)時(shí)可查詢.總之,通過(guò)各種手段保證用戶在使用平臺(tái)時(shí)的數(shù)據(jù)安全.

3 模塊設(shè)計(jì)

高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)主要是為用戶提供計(jì)算服務(wù),方便用戶通過(guò)Web端提交作業(yè)并查看作業(yè)結(jié)果,所以平臺(tái)設(shè)計(jì)了提交作業(yè)、作業(yè)管理、個(gè)人信息、應(yīng)用、集群5大模塊,同時(shí)支持關(guān)鍵字搜索功能.每個(gè)模塊的功能介紹如表1所示.下面依次介紹每一個(gè)模塊,重點(diǎn)突出提交作業(yè)和作業(yè)管理.

表1 功能模塊

3.1 提交作業(yè)

提交作業(yè)模塊如圖4所示,包括頂部應(yīng)用菜單導(dǎo)航和應(yīng)用提交頁(yè)面.

圖4 應(yīng)用提交頁(yè)面

應(yīng)用菜單導(dǎo)航列出所有可通過(guò)平臺(tái)提交的應(yīng)用.菜單列表按照用戶點(diǎn)擊順序設(shè)計(jì),默認(rèn)第一項(xiàng)為上一次提交的作業(yè)應(yīng)用.用戶常用的應(yīng)用顯示顯示,其他應(yīng)用隱藏顯示,如需查看所有應(yīng)用可點(diǎn)擊擴(kuò)展符號(hào).點(diǎn)擊應(yīng)用菜單可切換應(yīng)用提交頁(yè)面.

應(yīng)用提交頁(yè)面為應(yīng)用封裝時(shí)定義發(fā)布的頁(yè)面,根據(jù)每個(gè)應(yīng)用使用方式的區(qū)別,提交頁(yè)面參數(shù)以及輸入文件不同.通過(guò)梳理作業(yè)的輸入?yún)?shù),將參數(shù)設(shè)置為作業(yè)參數(shù)和高級(jí)參數(shù)兩類,高級(jí)參數(shù)為不常用或不經(jīng)常修改的參數(shù),默認(rèn)隱藏顯示.應(yīng)用資源列表隨著用戶輸入的CPU核數(shù)、作業(yè)運(yùn)行時(shí)間等不同而實(shí)時(shí)變化,用戶可以通過(guò)搜索框輸入相應(yīng)信息選擇自己想用的資源.如果顯示的資源沒(méi)有自己的想要的資源,可點(diǎn)擊展開(kāi)更多資源查看不可用的全部資源,鼠標(biāo)滑過(guò)每一行可顯示資源不可選擇的原因.

用戶輸入作業(yè)參數(shù)、上傳文件時(shí)會(huì)做相應(yīng)的語(yǔ)法以及文件類型檢查,當(dāng)用戶輸入錯(cuò)誤或用戶輸入文件不正確直接提示錯(cuò)誤并給出詳細(xì)錯(cuò)誤信息.用戶輸入?yún)?shù)和輸入文件都通過(guò)校驗(yàn)后,通過(guò)點(diǎn)擊提交作業(yè),會(huì)把用戶的相關(guān)參數(shù)寫(xiě)入JSDL文件并把信息傳遞給服務(wù)端后臺(tái),由服務(wù)端調(diào)用底層API接口把作業(yè)提交到環(huán)境中執(zhí)行.提交作業(yè)成功后會(huì)彈框提示作業(yè)提交成功,用戶可選擇留在此頁(yè)面或進(jìn)入作業(yè)頁(yè)面查看提交作業(yè)的相關(guān)信息.

3.2 作業(yè)管理

作業(yè)管理模塊主要是方便用戶查看作業(yè)信息,快速了解作業(yè)的運(yùn)行狀態(tài).具體設(shè)計(jì)如圖5所示,作業(yè)列表隨著查詢條件的不同實(shí)時(shí)刷新,并支持分頁(yè)顯示,支持多維度作業(yè)條件查詢,包括時(shí)間(最近一天、最近一周、最近一月)、類別(排隊(duì)、運(yùn)行、已完成、已刪除)；多種條件組合查詢.通過(guò)更多選項(xiàng)進(jìn)行高級(jí)篩選,包括應(yīng)用名稱、集群名稱、開(kāi)始時(shí)間、結(jié)束時(shí)間、作業(yè)名稱和作業(yè)號(hào).用戶可輸入相應(yīng)信息精確的查找作業(yè).

圖5 作業(yè)查詢頁(yè)面

在作業(yè)列表中,根據(jù)作業(yè)的狀態(tài)備注中給出相應(yīng)信息和操作,具體如表2所示.作業(yè)處于完成狀態(tài),備注給出相應(yīng)的運(yùn)行時(shí)長(zhǎng),用戶可點(diǎn)擊操作中的刪除按鈕刪除作業(yè)；作業(yè)處于提交出錯(cuò)狀態(tài),備注顯示失敗詳情,鼠標(biāo)移到上面顯示出錯(cuò)原因；作業(yè)處于排隊(duì)狀態(tài),備注給出排隊(duì)時(shí)長(zhǎng),如排隊(duì)時(shí)間過(guò)長(zhǎng),顯示排隊(duì)時(shí)間過(guò)長(zhǎng)的原因,用戶可點(diǎn)擊操作中的終止按鈕終止作業(yè)；作業(yè)處于刪除狀態(tài),用戶可點(diǎn)擊操作中的恢復(fù)按鈕恢復(fù)作業(yè).

表2 作業(yè)狀態(tài)對(duì)應(yīng)的備注與操作

點(diǎn)擊作業(yè)號(hào)進(jìn)入作業(yè)文件頁(yè)面,用戶可在線查看或下載作業(yè)結(jié)果文件.文件查看頁(yè)面支持按行查詢和分頁(yè)顯示,方便用戶直接查找相關(guān)結(jié)果或通過(guò)關(guān)鍵信息判斷作業(yè)是否執(zhí)行正確.對(duì)于固定輸出格式的文件,用戶也可輸入行號(hào)直接查詢定位所需內(nèi)容.

3.3 個(gè)人信息

在用戶使用平臺(tái)時(shí)經(jīng)常遇到郵箱變化或登錄密碼忘記等情況,為了在通用計(jì)算平臺(tái)上我們?cè)O(shè)計(jì)了個(gè)人信息模塊,用戶可修改個(gè)人基本信息、項(xiàng)目信息以及登錄密碼.

用戶在修改個(gè)人基本信息和項(xiàng)目信息的同時(shí)會(huì)記錄相應(yīng)的trace文件,同時(shí)郵件通知用戶以確保是用戶自己的行為,避免惡意修改.在用戶修改的過(guò)程中,對(duì)各項(xiàng)輸入項(xiàng)都做了嚴(yán)格的限制來(lái)保證數(shù)據(jù)的安全.

用戶修改密碼需要驗(yàn)證原始密碼的正確性,根據(jù)輸入的新密碼給出密碼強(qiáng)度提示.對(duì)太過(guò)于簡(jiǎn)單的密碼直接提示用戶需重新輸入,修改密碼之后會(huì)郵件通知用戶,并要求用戶重新輸入新密碼登錄平臺(tái).

3.4 應(yīng)用集群

應(yīng)用和集群頁(yè)面主要讓用戶了解平臺(tái)中的所有應(yīng)用和集群基本信息.頁(yè)面支持未登錄情況下查看,通過(guò)這兩個(gè)頁(yè)面可清楚地了解平臺(tái)中是否有自己可使用的應(yīng)用或關(guān)注的集群.應(yīng)用和集群頁(yè)面采用仿Win8的設(shè)計(jì),每一個(gè)應(yīng)用或集群以磁貼的形式展示,并對(duì)其顏色進(jìn)行了搭配,外觀清楚簡(jiǎn)單,如圖6.

圖6 應(yīng)用頁(yè)面

用戶鼠標(biāo)放在磁貼上顯示編輯顏色按鈕,點(diǎn)擊編輯顏色可自行修改配色[11,12].頁(yè)面首次以系統(tǒng)默認(rèn)配色顯示,如用戶修改某一項(xiàng)配色,顯示用戶修改后的配色.

高性能計(jì)算環(huán)境通用平臺(tái)通過(guò)提交作業(yè)和作業(yè)管理模塊達(dá)到了用戶采用傳統(tǒng)命令行方式使用高性能計(jì)算環(huán)境的效果.用戶只需在Web頁(yè)面修改應(yīng)用相關(guān)參數(shù),上傳文件即可實(shí)現(xiàn)作業(yè)的提交與運(yùn)行.對(duì)于對(duì)應(yīng)用使用命令不是很熟悉的處理用戶,高性能計(jì)算環(huán)境通用平臺(tái)使用起來(lái)尤其方便.同時(shí),平臺(tái)提供推薦搜索功能,根據(jù)用戶的需求快速的推薦資源,提供個(gè)性化服務(wù).為了方便用戶使用,平臺(tái)采用的關(guān)聯(lián)性搜索技術(shù)使得用戶非常方便的獲取到自己的資源.應(yīng)用查看與提交之間通過(guò)超鏈接彼此關(guān)聯(lián),使用特別靈活.高性能計(jì)算環(huán)境聚合了國(guó)內(nèi)優(yōu)秀的高性能計(jì)算資源,包括6個(gè)國(guó)家的超級(jí)計(jì)算中心,只要用戶提交應(yīng)用時(shí)滿足各個(gè)隊(duì)列的使用條件就可以調(diào)度到各大超算中心上進(jìn)行計(jì)算.相對(duì)而言,計(jì)算和存儲(chǔ)資源都具有一定的優(yōu)勢(shì).平臺(tái)的性能也相關(guān)比較樂(lè)觀,可滿足用戶的需求,具體性能指標(biāo)會(huì)在第5節(jié)中詳細(xì)論述.

4 實(shí)現(xiàn)

按照前面敘述的模塊功能和設(shè)計(jì),客戶端采用HTML5+CSS+JavaScript實(shí)現(xiàn).頁(yè)面采用Backbone Layout[13]布局,內(nèi)容包括header、body和footer 3部分.header和footer引用公共頁(yè)面,body通過(guò)定義模板加載.服務(wù)端采用Jersey[14](Java編寫(xiě)的輕量級(jí)框架)開(kāi)發(fā).服務(wù)端調(diào)用底層API接口獲取數(shù)據(jù)供瀏覽器端調(diào)用.為區(qū)分登錄和匿名登錄,服務(wù)端通過(guò)兩套系統(tǒng)實(shí)現(xiàn),瀏覽器端通過(guò)js判斷是否登錄,匿名登錄情況向匿名登錄服務(wù)端發(fā)送請(qǐng)求；登錄情況下向登錄服務(wù)端發(fā)送請(qǐng)求,獲取數(shù)據(jù)后渲染到頁(yè)面.實(shí)現(xiàn)過(guò)程對(duì)用戶來(lái)說(shuō)是透明的,用戶看到的頁(yè)面沒(méi)有區(qū)別,只有顯示數(shù)據(jù)有差異而已.

通用計(jì)算平臺(tái)開(kāi)發(fā)過(guò)程中同時(shí)考慮了國(guó)際化的需求,采用Jquery.i18n[15]來(lái)實(shí)現(xiàn).國(guó)際化配置包含兩部分內(nèi)容：一部分是國(guó)際化變量配置文件,擴(kuò)展名為properties；一部分是國(guó)際化處理文件,擴(kuò)展名為 js,包括jquery.i18n.properties.js(提供實(shí)現(xiàn)國(guó)際化的api)和portal2_i18.js(自己編寫(xiě)的處理文件).portal2_i18n.js主要設(shè)置語(yǔ)言環(huán)境、加載配置文件后實(shí)現(xiàn)語(yǔ)言切換功能.

5 部署測(cè)試

通用平臺(tái)目前部署在測(cè)試環(huán)境的服務(wù)器中,Java版本1.7,Tomcat為7.0.68.開(kāi)發(fā)過(guò)程采用了微服務(wù)的開(kāi)發(fā)模式,部署時(shí)提交作業(yè)、作業(yè)查詢和個(gè)人信息、應(yīng)用集群和搜索分別部署在Tomcat容器中.平臺(tái)借助Apache配置端口轉(zhuǎn)發(fā),實(shí)現(xiàn)域名訪問(wèn).部署完成后對(duì)平臺(tái)的功能、安全、兼容性以及性能等進(jìn)行了相關(guān)測(cè)試.

根據(jù)平臺(tái)提供的功能,設(shè)計(jì)相關(guān)用例對(duì)其進(jìn)行功能測(cè)試并及時(shí)修復(fù)測(cè)試過(guò)程中出現(xiàn)的問(wèn)題.測(cè)試結(jié)果表明,高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)可滿足用戶提交作業(yè)、查看作業(yè)等各種需求.為更好地體現(xiàn)平臺(tái)的有效性,除功能測(cè)試之外還對(duì)平臺(tái)的安全、兼容性以及性能進(jìn)行了測(cè)試.根據(jù)常見(jiàn)的安全性測(cè)試點(diǎn)設(shè)計(jì)測(cè)試用例并驗(yàn)證了平臺(tái)的安全性.表3是瀏覽器兼容性測(cè)試,測(cè)試結(jié)果表明平臺(tái)在瀏覽器兼容性方面考慮了比較完善,可支持主流的瀏覽器.

表3 瀏覽器兼容性測(cè)試

圖7是針對(duì)搜索不同的關(guān)鍵詞時(shí)的平均搜索時(shí)間,橫坐標(biāo)為搜索的不同關(guān)鍵詞,縱坐標(biāo)表示所需搜索時(shí)間,單位：ms.由圖可以看出基本上可以控制在1 s完成內(nèi)容的搜索并顯示在頁(yè)面上.

圖7 搜索不同關(guān)鍵詞所需的平均時(shí)間

圖8是平臺(tái)中各個(gè)功能模塊頁(yè)面的平均響應(yīng)時(shí)間,橫坐標(biāo)為不同的模塊頁(yè)面,縱坐標(biāo)為響應(yīng)時(shí)間,單位秒.由圖可以看出首頁(yè)基本上在0.5 s即可顯示,作業(yè)模塊受作業(yè)數(shù)目的影響響應(yīng)時(shí)間略長(zhǎng),其余模塊都在1 s之內(nèi).

圖8 功能模塊頁(yè)面平均響應(yīng)時(shí)間

利用Jmeter[16]測(cè)試工具對(duì)平臺(tái)的并發(fā)性進(jìn)行了測(cè)試.圖9是不同并發(fā)數(shù)目下的請(qǐng)求響應(yīng)時(shí)間,其中橫坐標(biāo)為模擬的并發(fā)用戶數(shù),縱坐標(biāo)為響應(yīng)時(shí)間,單位：s.由圖可以看出,隨著并發(fā)用戶數(shù)的增加平均響應(yīng)時(shí)間也隨著增長(zhǎng),但最短時(shí)間基本沒(méi)有變化.

圖9 不同并發(fā)數(shù)目下的請(qǐng)求響應(yīng)時(shí)間

圖10表示不同并發(fā)數(shù)目下的吞吐量,橫坐標(biāo)跟圖9一樣表示模擬的并發(fā)用戶數(shù),縱坐標(biāo)為每秒處理的請(qǐng)求數(shù).隨著并發(fā)用戶數(shù)的增加,吞吐量基本維持在50-70之間.這表明平臺(tái)在并發(fā)用戶數(shù)比較少時(shí)響應(yīng)時(shí)間可以維持在1 s之內(nèi),但過(guò)大時(shí)會(huì)變的比較長(zhǎng).后期工作中會(huì)對(duì)并發(fā)性進(jìn)行改善使其性能更好.

圖10 不同并發(fā)數(shù)目下的吞吐量

為了更好地調(diào)查用戶的需求和滿意度,平臺(tái)開(kāi)放給部分用戶試用,試用結(jié)果表明平臺(tái)不僅可以滿足用戶的需求還可以方便的為用戶推薦資源.

6 結(jié)論與展望

高性能計(jì)算不斷發(fā)展,越來(lái)越多的應(yīng)用需要通過(guò)高性能計(jì)算環(huán)境運(yùn)行.隨著高性能計(jì)算環(huán)境的持續(xù)運(yùn)行,用戶的計(jì)算需求快速增長(zhǎng),對(duì)資源的需求不斷上升,環(huán)境急需擴(kuò)充資源以提供更強(qiáng)大的計(jì)算能力,滿足不同應(yīng)用領(lǐng)域的計(jì)算需求,同時(shí)也對(duì)環(huán)境擴(kuò)展性、易用性和可靠性提出更高要求.為滿足用戶的需求,本文就高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)新的設(shè)計(jì)理念,如何為用戶提供個(gè)人性服務(wù)展開(kāi)論述,包括平臺(tái)的整體結(jié)構(gòu)、關(guān)鍵技術(shù)、功能模塊.重點(diǎn)突出了計(jì)算平臺(tái)中的關(guān)鍵技術(shù)微服務(wù)開(kāi)發(fā)模式、應(yīng)用按需發(fā)布、關(guān)聯(lián)性搜索以及數(shù)據(jù)的安全機(jī)制；平臺(tái)主要的功能模塊提交作業(yè)、作業(yè)查詢.

經(jīng)過(guò)部署測(cè)試表明平臺(tái)已達(dá)到滿足用戶需求的目標(biāo),但同時(shí)還存在一些問(wèn)題,如封裝應(yīng)用不夠多、應(yīng)用版本不夠新等,這些問(wèn)題在后續(xù)的開(kāi)發(fā)過(guò)程后會(huì)逐漸解決,使得高性能計(jì)算環(huán)境通用計(jì)算平臺(tái)為用戶提供更友好的服務(wù).除此之外,計(jì)算平臺(tái)還需考慮做好上層接口以便支持接入更多的應(yīng)用社區(qū),達(dá)到用戶登錄通用計(jì)算平臺(tái)即可利用國(guó)家高性能計(jì)算環(huán)境資源的目標(biāo).