服務(wù)核聚變研究領(lǐng)域的集群系統(tǒng)①

李傳冰,李 弘,蘭 婷,鄭江山,秦 宏

(中國科學(xué)技術(shù)大學(xué) 物理學(xué)院 工程與應(yīng)用物理系,合肥 230026)

超級計算機是通過網(wǎng)絡(luò)將數(shù)量龐大的計算節(jié)點連接起來,以達到增強計算能力的目的.在全球超級計算機top 500的榜單上,中美兩國長期交替霸占榜首.2010年10月,天河一號二期(天河-1A)以峰值速度每秒4700萬億次,成為當時世界上最快的超級計算機.2013年6月起至2016年6月,最快的超級計算機是位于廣州的天河二號[1].2018年6月8日,美國橡樹嶺實驗室宣布開發(fā)出全球最快的超級計算機“頂點”(Summit).理論上計算速度可以達到每秒20億億次,超過迄今最快的中國超算“神威·太湖之光”,有實力重奪全球第一.

高性能計算目前在社會的應(yīng)用極其廣泛,航空航天、汽車制造、氣象預(yù)測、芯片制造、軍事情報搜集,這些都需要極強的算力,才能得出準確的計算結(jié)果[2,3].而這些結(jié)果對工業(yè)設(shè)計,前沿理論的推進起著重大作用.在當今科研界,主流的三大研究方式,理論、實驗、數(shù)值模擬,三者相輔相成,缺一不可.高性能計算支撐的數(shù)值模擬,完美的再現(xiàn)了無法在現(xiàn)實中實現(xiàn)的實驗,既節(jié)約了高昂的實驗成本,也避免了破壞環(huán)境生態(tài).目前,在科研界內(nèi)應(yīng)用高性能計算最多的幾個領(lǐng)域是核聚變、生物醫(yī)藥、微電子.尤其是核聚變的研究,在很多實驗條件不成熟的情況下,用計算機模擬是最好的研究方式,既能夠驗證理論,也能夠提供對實驗裝置設(shè)計的指導(dǎo),在科學(xué)研究中能夠提供難以估量的價值,它的作用是理論和實驗無法替代的.

現(xiàn)在,有諸多Tokamak大科學(xué)裝置都使用了超級計算機.2010年8月,在德國的Forschungszentrum Jülich(FZJ)有一個超級計算機專門為磁約束核聚變服務(wù),耗資1000萬歐元,由歐盟出資50%,德國出資40%,EFDA成員國出資10%組建的,浮點運算的峰值可以達到101 Tflops,可以有效加快ITER的研究進展.英國的卡爾漢姆聚變能研究中心(CCFE)為了支持JET和MAST項目也有一個超級計算機名叫Diego,通過Myrinet的網(wǎng)絡(luò)架構(gòu)將36臺HP的服務(wù)器連接起來.在印度,等離子體研究中心的Aditya托克馬克,有一個用網(wǎng)線和光纖連接的集群,600臺服務(wù)器,提供網(wǎng)絡(luò)、郵箱、域名解析等服務(wù).在日本,于2012年至2016年投入使用一個計算能力強大的集群,名叫HELIOS,包含有4500個計算節(jié)點,72 000個核心,總的運算峰值可以達到1.5 Pflops,完全用于核聚變研究領(lǐng)域,一半計算資源給日本使用,另一半資源給歐洲使用.可以清楚的看到,高性能集群在托克馬克中的廣泛應(yīng)用.在科研探索中起著極其重要的作用,強大的計算能力可以飛速推進數(shù)值模擬的發(fā)展.

1 KTX裝置對集群的要求

受控核聚變是人類實現(xiàn)最終能源的夢想,磁約束是目前實現(xiàn)受控核聚變的主流技術(shù)思路之一.磁約束有三種位形[4-7]: ① 仿星器,② 托克馬克,③ 反場箍縮.反場箍縮[8-11](Reversed Field Pinch,RFP)是β值(等離子體的壓強與磁能的比值)最大的磁約束聚變位形.反場箍縮最主要的優(yōu)點是工程實施簡單,β值高,能夠通過歐姆加熱直接點火.位于中國科學(xué)技術(shù)大學(xué)的大型反場箍縮磁約束聚變實驗裝置“Keda Torus eXperiment”(KTX)實驗裝置采用的就是反場箍縮位形.

KTX的數(shù)據(jù)先通過采集卡存儲在本地,之后再用網(wǎng)絡(luò)傳輸數(shù)據(jù)至集群.采集卡分為低速采集和高速采集.低速采集250 KB/s,每次采集有900道,高速采集60 MB/s,每次采集有十幾道,放電時長10-20 ms,最多至200 ms.一年的實驗月有6個月,每周有3天實驗日,一天有200炮實驗數(shù)據(jù).按照最大的原則計算,一年高速采集的數(shù)據(jù)至多3.5 TB左右,低速采集的數(shù)據(jù)最多13 TB,兩者合計不會超過20 TB.

KTX對數(shù)據(jù)的存儲有以下一些要求:

(1)容錯性.如果一個存儲單元出現(xiàn)了損壞,可以不間斷的接收新數(shù)據(jù)的存入,還能完成原有數(shù)據(jù)的復(fù)制和轉(zhuǎn)移.

(2)冗余性.將整個文件的兩個或更多副本存儲在不同的服務(wù)器上,或?qū)⒚總€文件分割到多個服務(wù)器上.從多個客戶端并行訪問副本.

(3)有較快的讀寫性能.

(4)兼容性好.

(5)易于安裝和配置.

KTX實驗裝置的數(shù)據(jù)還需要有效的處理,所以需要高性能集群有較高的計算能力.快速做好數(shù)據(jù)的預(yù)處理才能高效的將計算結(jié)果演化為圖像,呈現(xiàn)給研究者面前,用于做更深入的物理分析.由于一炮數(shù)據(jù)具有多通道的特點,KTX實驗組對同時處理大批量數(shù)據(jù)具有強烈的需求,所以對集群的并行處理能力有較高要求.

針對上述的KTX實驗裝置的計算和存儲需求,設(shè)計了集群的相關(guān)參數(shù),并做了相關(guān)配置和部署.

2 集群的硬件以及網(wǎng)絡(luò)架構(gòu)

為了滿足核聚變研究領(lǐng)域的需求——可以較快的存儲、讀取、在線處理數(shù)據(jù),在集群的設(shè)計與部署中必須保證足夠的計算性能以及文件系統(tǒng)的讀寫性能.CPU核心數(shù)量多才能同時處理較多的作業(yè),在線同時處理KTX一炮多達數(shù)百道實驗數(shù)據(jù).CPU的主頻高,運算速度快才能快速的計算數(shù)據(jù).文件系統(tǒng)讀寫性能佳,才可以勝任快速存儲實驗數(shù)據(jù),也能夠在需要的時候,快速地將數(shù)據(jù)從集群中讀取出來.

集群平臺為聯(lián)想深騰X8800超算集群平臺.有42個計算刀片,刀片式服務(wù)器的型號均為Lenovo Think System SN550,每個刀片有兩個物理CPU,每個CPU有16個計算核心.處理器都是Intel Xeon 可擴展處理器金牌6142,主頻2.6 GHz.集群的理論浮點運算峰值可達110 Tflops.每個刀片有128 GB內(nèi)存外加一塊240 GB的企業(yè)級SSD硬盤.另外還有兩臺機架式服務(wù)器用作管理和登陸,型號為Lenovo Think System SR550,每臺機架式服務(wù)器有兩個物理CPU,每個CPU有8個核心,主頻2.1 GHz,處理器是Intel Xeon可擴展處理器金牌4110配置.每個機架式服務(wù)器有64 GB內(nèi)存,4塊600 GB的SAS 2.5寸熱插拔硬盤.最后有6臺IO節(jié)點,也是機架式服務(wù)器,型號與管理節(jié)點相同,用來管理和負載均衡I/O.

存儲系統(tǒng)是Lenovo Storage D3284,集中式存儲架構(gòu),GPFS并行文件系統(tǒng).總?cè)萘?.12 PB,實際容量可利用率超過70%.數(shù)據(jù)盤數(shù)量達到112塊,系統(tǒng)實測總聚會IO帶寬大于4.0 GB/s.

網(wǎng)絡(luò)系統(tǒng)有兩套,一個是計算網(wǎng)絡(luò),另一個是管理網(wǎng)絡(luò).計算網(wǎng)絡(luò)采用56 Gbps FDR Infiniband 網(wǎng)絡(luò),互連所有節(jié)點(包括計算節(jié)點、管理節(jié)點、IO節(jié)點),保證整個集群計算刀片點對點帶寬56 Gbps.管理網(wǎng)絡(luò)采用1 Gb以太網(wǎng)連接到所有節(jié)點,IPMI監(jiān)控管理網(wǎng)絡(luò),能夠?qū)崿F(xiàn)全部服務(wù)器的遠程監(jiān)控管理.

本系統(tǒng)中最大的優(yōu)勢是采用了Infiniband高速網(wǎng)絡(luò),用作點對點傳輸數(shù)據(jù).Infiniband高速網(wǎng)絡(luò)有效解決了傳統(tǒng)I/O總線造成的系統(tǒng)瓶頸[12].Infiniband 支持的是RDMA協(xié)議,它允許應(yīng)用程序直接讀取或?qū)懭脒h程內(nèi)存,而無內(nèi)核干預(yù)和內(nèi)存拷貝發(fā)生,故而有很強的讀寫性能[13].

3 使用xCAT軟件一站式部署系統(tǒng)

3.1 xCAT的功能

xCAT是一個高級的集群管理工具,xCAT給高性能集群、云計算、數(shù)據(jù)中心提供了一體化管理服務(wù).xCAT的實施規(guī)?？梢院艽?可以管理多達1000多臺節(jié)點.xCAT是開源的,可以得到公開的參考資料.xCAT能夠十分方便地遠程給高性能集群部署系統(tǒng),也能夠批量下發(fā)命令給各從節(jié)點,完成各種控制,包括對所有從節(jié)點遠程開關(guān)機.xCAT能夠?qū)崿F(xiàn)集群的全自動化安裝,也即是基于網(wǎng)絡(luò)的無人看守式的安裝系統(tǒng)[14,15].

3.2 xCAT定義數(shù)據(jù)表

xCAT在做系統(tǒng)部署前會定義一系列數(shù)據(jù)表,存儲在xCAT的數(shù)據(jù)庫中.為了使將來集群工作時,各種網(wǎng)絡(luò)能夠高效、穩(wěn)定地提供服務(wù),設(shè)計和定義好集群的網(wǎng)絡(luò)表是很重要的.xCAT中定義的集群網(wǎng)絡(luò)分兩種,以太管理網(wǎng)絡(luò)和infiniband高速網(wǎng)絡(luò).使用tabedit network命令設(shè)置網(wǎng)絡(luò)配置,定義網(wǎng)段和子網(wǎng)掩碼,以及主服務(wù)器master的IP.使用tabedit hosts命令配置主機名列表和IP列表.使用tabedit mac命令配置各服務(wù)器的網(wǎng)卡mac地址.

在完成一系列數(shù)據(jù)表的定義后,對服務(wù)器進行群組劃分,便于以后分組控制,統(tǒng)一執(zhí)行主服務(wù)器master的遠程命令.給集群定義了四個組.

(1)all,代表全部服務(wù)器.

(2)computeserver,所有計算刀片構(gòu)成的組.

(3)ioserver,所有IO節(jié)點構(gòu)成的組.

(4)slaves,除了頭節(jié)點master以外的所有服務(wù)器.

待完成數(shù)據(jù)表后,給劃分好群組的服務(wù)器導(dǎo)入相應(yīng)的系統(tǒng)鏡像,給各個備選的系統(tǒng)鏡像配置合適的分區(qū)文件,以及需要安裝的軟件包,還有安裝完系統(tǒng)后需要配置的軟件服務(wù),例如ntp、rsyslog等服務(wù).根據(jù)群組的設(shè)計,集群的服務(wù)器分為三類.第一類是兩臺管理節(jié)點,一臺用作集群主服務(wù)器master,同時作為并行作業(yè)調(diào)度器的頭節(jié)點;另一臺用作登陸節(jié)點.第二類是計算刀片,有42個節(jié)點,用來執(zhí)行并行作業(yè)計算任務(wù).第三類是IO節(jié)點,有6臺,用作管理和平衡負載文件系統(tǒng)的讀寫.

最后使用nodeset命令開始無人看管式遠程部署系統(tǒng),每個服務(wù)器以PXE的方式啟動,推入系統(tǒng)鏡像.

4 存儲的安全設(shè)計

KTX實驗組不僅需要集群可以快速處理、讀取數(shù)據(jù),還需要集群有足夠的安全機制能夠保障數(shù)據(jù)的安全性.KTX一年當中只有一半的時間是實驗期,因此實驗數(shù)據(jù)的產(chǎn)出來之不易,一旦數(shù)據(jù)有損壞或者丟失,對核聚變的研究都會造成不小的損失.所以針對前文中提到的存儲需要具有容錯性、冗余性,對GPFS并行文件系統(tǒng)進行了安全設(shè)計.

GPFS文件系統(tǒng)本身具有數(shù)據(jù)安全性.GPFS文件系統(tǒng)是一種日志文件系統(tǒng),為不同節(jié)點建立各自獨立的日志,日志中記錄metadata的分布,一旦節(jié)點發(fā)生故障后,可以保證快速恢復(fù)數(shù)據(jù).GPFS的fail-over功能通過規(guī)劃,將數(shù)據(jù)分布到不同failure group內(nèi)達到高可用性,減少單點故障的影響.為了保證數(shù)據(jù)可用性,GPFS在多個failure group內(nèi)為每個數(shù)據(jù)實例做備份[16].

4.1 GPFS 可用性機制

GPFS有一套可用性判斷機制來保證數(shù)據(jù)完整性與系統(tǒng)安全.GPFS 提供三套不同的 quorum 機制來判斷系統(tǒng)當前的狀態(tài),其中File system Descriptor Quorum 是系統(tǒng)內(nèi)置的,不能做配置,另外兩種 Node Quorum 和 Tiebreaker Quorum 方式只能選擇其中一個,根據(jù)系統(tǒng)環(huán)境與可靠性分析來選擇使用哪一種機制.File system Descriptor Quorum的File system Descriptor描述的是文件系統(tǒng)信息的數(shù)據(jù).在幾個不同的 failuregroup 的磁盤上創(chuàng)建 GPFS 文件系統(tǒng)時,文件系統(tǒng)的配置信息(簡寫為 FD)會被拷貝寫到多個磁盤上,以實現(xiàn)冗余備份.FD quorum 的機制是通過判斷含有 FD 磁盤的在線數(shù)量來判斷當前系統(tǒng)是否正常,當超過半數(shù)的含有 FD 的磁盤掉線時,就判斷為系統(tǒng)故障,文件系統(tǒng)就會自動關(guān)閉.Node Quorum 是通過主機狀態(tài)來判斷系統(tǒng)可用性的機制.GPFS 文件系統(tǒng)集群中,可以設(shè)置多個主機節(jié)點為 quorum node.Node Quorum 的機制是通過判斷 quorum node 的狀態(tài)來判斷系統(tǒng)是否正常,當超過半數(shù)的 quorum node 在線時,判斷系統(tǒng)為正常,反之,將關(guān)閉文件系統(tǒng).Tiebreaker Quorum 是通過磁盤的狀態(tài)來判斷系統(tǒng)的可用性.可以設(shè)置系統(tǒng)通過監(jiān)視指定的一些磁盤作為 Tiebreaker Disk.當超過半數(shù)的Tiebreaker Disk 掉線時,則判斷系統(tǒng)故障,文件系統(tǒng)將會自動關(guān)閉.Tiebreaker Quorum最多只能配置兩個用來監(jiān)控磁盤狀態(tài)的 quorum 主機,當 2 臺 quorum 主機都宕機的話,GPFS 系統(tǒng)也將會關(guān)閉.根據(jù)以上三種判斷機制,GPFS 自動判斷系統(tǒng)的狀態(tài),當異常發(fā)生時自動關(guān)閉系統(tǒng)以保護系統(tǒng)和數(shù)據(jù)的完整性.

4.2 GPFS 可靠性分析與如何設(shè)計

基于上面闡述的 GPFS 可用性機制,可以看出GPFS 是通過上述的三種 quorum 機制來檢查資源是否超過半數(shù)狀態(tài)正常來判斷系統(tǒng)狀態(tài)好壞.在設(shè)計 GPFS文件系統(tǒng)集群的時候需要注意最好保證各種資源數(shù)都為 2N+1 個(N是指數(shù)量),也即數(shù)量為奇數(shù),來獲得系統(tǒng)最大的可用性.根據(jù)FD Quorum的設(shè)計,一般情況下,丟失一個 failure group 的磁盤實際不影響數(shù)據(jù)的完整性,但是由于FD Quorum 2N+1 的機制發(fā)揮作用,文件系統(tǒng)仍將會關(guān)閉,所以在創(chuàng)建一個 GPFS 文件系統(tǒng)時,可以通過增加一個很小的本地的磁盤作為第三個failure group.以實現(xiàn) 2N+1 的冗余設(shè)計.本地的磁盤可以設(shè)置為只保存 GPFS 文件系統(tǒng)信息(FD),實際不參與數(shù)據(jù)讀寫.Node Quorum機制如果采用了 2N+1 個quorum node,那么這個系統(tǒng)就能容忍N個主機節(jié)點的離線.Tiebreaker Quorum 機制只能配置兩個 quorum 主機,但是只要 tiebreaker 磁盤在線,有一個 quorum 主機狀態(tài)正常,系統(tǒng)也能正常工作,這意味著至少有一臺quorum 主機在線.如果是主機節(jié)點數(shù)較多的情況,采用Tiebreaker Quorum機制其可靠性不如 Node Quorum機制.

鑒于集群的規(guī)模,采用Node Quorum模式.6臺IO節(jié)點是quorum-manager node,登陸節(jié)點是quorum node,6臺IO節(jié)點作為仲裁管理節(jié)點,當它們損壞一半時,才會關(guān)閉文件系統(tǒng).登陸節(jié)點則存儲GPFS文件系統(tǒng)信息.按照這種安全機制,冗余性是很強的,保證了KTX實驗數(shù)據(jù)存儲時的安全要求.使用讀寫測試工具IOzone,對GPFS文件系統(tǒng)進行壓力測試,一方面是檢查GPFS文件系統(tǒng)的性能,另一方面,檢驗并行文件系統(tǒng)的穩(wěn)定性,從結(jié)果來看,文件系統(tǒng)的讀、寫性能在4.9 GB/S、2.8 GB/s左右.測試結(jié)果放在/gpfs目錄下,下面為測試的結(jié)果:

Iozone命令后接的參數(shù)-i 0 -i 1指的是做write/rewrite和read/re-read測試,-r 1M指定測試塊大小為1 MB,-s 32 g指定測試文件大小為32 GB,-t 4指定測試時使用4線程,-+m nodelist指定節(jié)點列表.根據(jù)結(jié)果代碼所示,四線程總的寫速度是2.8 GB/s,四線程中最快的寫速度是986 MB/s,最慢的寫速度是447 MB/s;四個線程總的讀速度是4.9 GB/s,四個線程中最快的讀速度是1.3 GB/s,最慢的讀速度是1.1 GB/s.驗證了GPFS文件系統(tǒng)有相當好的讀寫性能,能夠快速讀寫文件.

4.3 GPFS冗余性測試

我們使用6臺IO節(jié)點作為仲裁管理節(jié)點,在2N+1的Node Quorum冗余機制下,應(yīng)該能夠保證在3臺IO節(jié)點離線的情況下,文件系統(tǒng)仍然能正常的工作.為了驗證GPFS文件系統(tǒng)的冗余性,我們做了如下測試.分別在有6臺、5臺、4臺、3臺仲裁管理節(jié)點正常工作的情況下,使用IOzone工具測試集群的讀寫速率.測試結(jié)果如圖1所示.

圖1 GPFS文件系統(tǒng)冗余性檢測

從圖1中可以看出仲裁管理節(jié)點的個數(shù)從6臺減少到3臺的過程中,GPFS文件 系統(tǒng)的讀寫速率維持在4.5 GB/s、2.8 GB/s附近.可見2N+1的Node Quorum機制發(fā)揮了作用,最多在半數(shù)的仲裁管理節(jié)點失效的情況下,GPFS文件系統(tǒng)仍然能夠正常工作,而且讀寫速率不受大的影響.GPFS文件系統(tǒng)的冗余性得到了保證,這樣避免了以后在集群的使用中單點故障的問題,數(shù)據(jù)的安全性得到了大大的增強.

5 結(jié)論與展望

為了方便核聚變的研究,安裝并部署了一個高性能集群,考慮到KTX實驗組的需求,一方面是能夠快速的處理、存儲、讀取數(shù)據(jù),另一方面保證數(shù)據(jù)有足夠的安全保障.據(jù)此,對集群的設(shè)計進行了優(yōu)化.

集群開啟超線程后一共有2688個邏輯CPU,每個CPU的主頻2.6 GHz,理論峰值浮點運算能力達到110 Tflops,保證了強大的計算能力.在實際的Linpack測試當中發(fā)現(xiàn)浮點運算的峰值不理想,經(jīng)過研究發(fā)現(xiàn),是因為CPU的內(nèi)存通道沒有占滿,每個物理CPU有6通道,但是只裝了兩根內(nèi)存條.為了提升浮點運算性能,每臺刀片加裝8根同類型內(nèi)存條,一共加滿到12根內(nèi)存條.另外集群選用GPFS并行文件系統(tǒng),高達4.9 GB/s、2.8 GB/s的讀寫速率,提供了優(yōu)秀的讀寫性能.選用infiniband高速網(wǎng)絡(luò),保證了較高的網(wǎng)絡(luò)傳輸速度和較低的延遲率,并使用xCAT管理工具對集群進行了有效穩(wěn)定的管理.設(shè)計了KTX實驗數(shù)據(jù)存放于GPFS并行文件系統(tǒng)的安全保障機制,保證了數(shù)據(jù)的容錯性、冗余性、穩(wěn)定性.

未來KTX實驗室會將實驗數(shù)據(jù)大規(guī)模存入,數(shù)據(jù)都是HDF5格式的,下一步會規(guī)劃與設(shè)計快速讀取基于HDF5數(shù)據(jù)格式的方案,并設(shè)計和完善在線處理數(shù)據(jù)的功能.