基于Linux的高性能計(jì)算集群MPI并行環(huán)境配置研究

金能智++者建武++李唐艷++孫一桐

摘 要：高性能計(jì)算集群是當(dāng)前較為先進(jìn)的計(jì)算體系，是融合了計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和軟件的綜合體系，高性能計(jì)算的快速發(fā)展已為其他科學(xué)技術(shù)的發(fā)展提供了越來(lái)越廣的支撐，而MPI并行環(huán)境是高性能計(jì)算集群的要素。該文以MPICH3.2為例，從集群無(wú)密碼訪問(wèn)、MPICH3.2編譯安裝、配置環(huán)境變量、并行環(huán)境測(cè)試等方面詳細(xì)闡述了并行環(huán)境的配置過(guò)程。

關(guān)鍵詞：Linux 高性能計(jì)算 集群 MPI 并行環(huán)境

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-098X（2017）01（c）-0116-02

理論推導(dǎo)和科學(xué)實(shí)驗(yàn)長(zhǎng)期以來(lái)一直是人們研究和探索自然的兩大方法，但隨著高性能計(jì)算技術(shù)和應(yīng)用的迅猛發(fā)展，計(jì)算模擬已成為科學(xué)研究中不可缺少的第三種方法[1]。高性能計(jì)算已在基礎(chǔ)科學(xué)研究、工業(yè)設(shè)計(jì)、裝備制造等各個(gè)領(lǐng)域廣泛應(yīng)用，解決了一些重大科學(xué)和工程問(wèn)題，對(duì)支撐科技創(chuàng)新、推動(dòng)經(jīng)濟(jì)發(fā)展起到了重要作用[2]。

高性能計(jì)算（High performance computing，HPC）作為計(jì)算科學(xué)的必備基礎(chǔ)設(shè)施，已經(jīng)成為國(guó)家之間的戰(zhàn)略必爭(zhēng)點(diǎn)和創(chuàng)新轉(zhuǎn)型的利器，各國(guó)都投入巨資爭(zhēng)奪世界制高點(diǎn)。中國(guó)的高性能計(jì)算系統(tǒng)研制水平和能力經(jīng)過(guò)10多年的快速發(fā)展，已經(jīng)躋身世界先進(jìn)水平的行列。2010年11月，國(guó)際TOP500組織在網(wǎng)站上公布了最新全球超級(jí)計(jì)算機(jī)前500強(qiáng)排行榜，中國(guó)首臺(tái)千萬(wàn)億次超級(jí)計(jì)算機(jī)系統(tǒng)“天河一號(hào)”排名全球第一，是中國(guó)國(guó)產(chǎn)超級(jí)計(jì)算機(jī)首次奪得世界冠軍[3]。2013年6月，“天河二號(hào)”以峰值速度、持續(xù)速度成為當(dāng)時(shí)最快的超級(jí)計(jì)算機(jī)[4]。2016年6月20日，國(guó)際TOP500組織在法蘭克福世界超算大會(huì)（ISC）上，“神威·太湖之光”超級(jí)計(jì)算機(jī)系統(tǒng)登頂榜單之首，成為世界上首臺(tái)運(yùn)算速度超過(guò)10億億次的超級(jí)計(jì)算機(jī)。而“中國(guó)芯”“申威26010”的問(wèn)世，也成為中國(guó)自主研發(fā)打破30年技術(shù)封鎖的一柄利器[5]。

并行環(huán)境是提高服務(wù)器計(jì)算速度和處理能力的一種有效手段，對(duì)于高性能計(jì)算是必不可少的。目前，大量并行程序采用的都是基于消息傳遞的并行編程方式。基于消息傳遞的并行編程環(huán)境中，最流行的是MPI（Message Process Interface）[6]。因此，MPI并行環(huán)境的配置研究是高性能計(jì)算的基礎(chǔ)工作，具有重要意義。該文以MPICH3.2為例，詳細(xì)介紹MPI并行環(huán)境的配置過(guò)程。

1 高性能計(jì)算概述

高性能計(jì)算是一個(gè)計(jì)算機(jī)集群系統(tǒng)，它通過(guò)各種互聯(lián)技術(shù)將多個(gè)計(jì)算機(jī)系統(tǒng)連接在一起，利用所有被連接系統(tǒng)的綜合計(jì)算能力來(lái)處理大型計(jì)算問(wèn)題，所以又通常被稱(chēng)為高性能計(jì)算集群[7]。

高性能計(jì)算一直代表了計(jì)算機(jī)學(xué)科領(lǐng)域的尖端技術(shù)，在這一領(lǐng)域的創(chuàng)新和技術(shù)突破，往往可被用于更為廣闊的商用市場(chǎng)，影響不同行業(yè)領(lǐng)域的應(yīng)用，從而帶動(dòng)整個(gè)信息技術(shù)領(lǐng)域的發(fā)展。隨著高性能計(jì)算步入千萬(wàn)億次時(shí)代，必將會(huì)對(duì)現(xiàn)有的系統(tǒng)架構(gòu)和應(yīng)用產(chǎn)生深刻的影響。

2 MPI并行環(huán)境介紹

MPI[8]的全稱(chēng)是Message Passing Interface，即標(biāo)準(zhǔn)消息傳遞界面，是一種基于消息傳遞的并行編程接口，而不是一門(mén)具體的語(yǔ)言。目前已發(fā)展成為消息傳遞模型的代表和事實(shí)上的工業(yè)標(biāo)準(zhǔn)。1997年7月在原來(lái)MPI-1的基礎(chǔ)上推出了MPI的擴(kuò)充部分MPI-2，MPI-2主要擴(kuò)充了3個(gè)方面：并行I/O、遠(yuǎn)程存儲(chǔ)訪問(wèn)和動(dòng)態(tài)進(jìn)程管理。2012年9月，在MPI-2基礎(chǔ)上推出了MPI-3。

MPI吸取了眾多消息傳遞系統(tǒng)的優(yōu)點(diǎn)，具有可移植性和易用性，有完備的異步通信功能，有正式和詳細(xì)的精確定義。

3 MPI并行環(huán)境配置

MPI有多種實(shí)現(xiàn)版本，如，MPICH、CHIMP以及OPENMPI。其中MPICH是一種最重要的MPI實(shí)現(xiàn)版本。它的開(kāi)發(fā)和MPI規(guī)范的制定是同步的，因此最能反映MPI的變化和發(fā)展，是MPI最成熟和最廣泛使用的版本。編程人員可以使用MPICH來(lái)使用這些MPI接口，以便寫(xiě)出適合自己的基于消息傳遞的并行程序。編程人員使用C或者是Fortran語(yǔ)言來(lái)調(diào)用這些標(biāo)準(zhǔn)庫(kù)，實(shí)現(xiàn)程序的并行性，它可以從網(wǎng)上免費(fèi)獲得。該文就以MPICH3.2在甘肅省計(jì)算中心高性能集群為例研究MPI并行環(huán)境的配置。

3.1 集群無(wú)密碼訪問(wèn)配置

該集群操作系統(tǒng)為SUSE Linux Enterprise Server10.0，首先安裝rsh-server軟件包，然后配置/etc/hosts、/etc/hosts.equiv及/root/.rhosts文件，添加需要無(wú)密碼訪問(wèn)的節(jié)點(diǎn)。

/etc/hosts文件將IP與host名對(duì)應(yīng)，例如可添加如下行：

10.10.10.1 node1

10.10.10.2 node2

......

/etc/hosts.equiv和/root/.rhosts文件將host名添加進(jìn)去，例如下行：

node1

node2

......

node*在實(shí)際情況中要替換成服務(wù)器的主機(jī)名，可通過(guò)hostname獲得主機(jī)名。

所有節(jié)點(diǎn)都要操作：

編輯/etc/xinetd.d/rsh和/etc/xinetd.d/rlogin文件，將disable=yes更改為disable=no，并將rexec、rlogin、rsh加入到/etc/securetty里面，然后重啟xinetd進(jìn)程。

到此，可以通過(guò)ssh命令訪問(wèn)不同的服務(wù)器，如果不需要密碼則說(shuō)明服務(wù)器之間可以無(wú)密碼訪問(wèn)：rsh node1。

3.2 MPICH3.2的安裝

3.2.1 下載安裝包并解壓縮

從網(wǎng)站http：//www.mpich.org/downloads/下載mpich-3.2.tar.gz安裝包，然后tar zxvf mpich-3.2.tar.gz解壓縮到磁盤(pán)陣列。

3.2.2 配置configure文件

進(jìn)入解壓后的目錄，配置configure文件。

./configure --prefix=/public1/home/user/jinnzh/mpich3.2

--prefix為軟件所安裝的目錄，該集群配置了磁盤(pán)陣列，測(cè)試用戶(hù)home目錄在磁盤(pán)陣列，因此--prefix配置到磁盤(pán)陣列。

3.2.3 編譯安裝程序

編譯 make

安裝 make install

3.3 配置環(huán)境變量

修改path，為path添加mpi的bin目錄：

vim .bashrc

在.bashrc文件的末尾添加：export PATH=/public1/home/user/jinnzh/mpich3.2/bin：$PATH

source .bashrc

echo $PATH，查看PATH變量是否發(fā)生變化；

ls/usr/local/mpich/bin，查看bin下的可執(zhí)行程序；

which mpiexec，查看命令是否安裝目錄下的命令。

3.4 修改做并行計(jì)算的主機(jī)名

修改/public1/home/user/jinnzh/mpich3.2/share/machines.LINUX文件，加入集群中可以用來(lái)做并行計(jì)算的主機(jī)名，例如：

node1：16

node2：16

node3：16

......

注：冒號(hào)后為節(jié)點(diǎn)的CPU數(shù)或者內(nèi)核數(shù)。

3.5 運(yùn)行測(cè)試程序

在服務(wù)器節(jié)點(diǎn)上，以mpich自帶的計(jì)算PI值的并行計(jì)算程序cpi對(duì)所搭建的集群環(huán)境做簡(jiǎn)單的測(cè)試。

步驟：

在/public1/home/user/jinnzh/mpich3.2/example目錄下。

（1）編譯#make cpi。

（2）啟動(dòng)并行計(jì)算#mpirun–np N cpi（其中N為節(jié)點(diǎn)機(jī)的個(gè)數(shù)）。

可以看到PI值及誤差和計(jì)算時(shí)間，說(shuō)明環(huán)境搭建基本成功。

4 結(jié)語(yǔ)

隨著高性能計(jì)算的迅猛發(fā)展，越來(lái)越多的科學(xué)計(jì)算和工程應(yīng)用依賴(lài)于高性能科學(xué)計(jì)算，采用并行計(jì)算和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)構(gòu)建高性能科學(xué)計(jì)算集群，能夠有效提高計(jì)算速度并降低運(yùn)算成本。這就需要構(gòu)建統(tǒng)一的并行計(jì)算環(huán)境，該文以甘肅省計(jì)算中心高性能計(jì)算集群為試驗(yàn)集群，詳細(xì)介紹了mpich3.2的安裝過(guò)程，對(duì)高性能計(jì)算集群的構(gòu)建、維護(hù)、軟件編譯具有重要的指導(dǎo)意義。實(shí)際工作中，由于MPI的標(biāo)準(zhǔn)和MPI實(shí)現(xiàn)的多樣性，特別是不同的商業(yè)封裝的存在，在MPI環(huán)境的安裝和配置過(guò)程中有所不同，要詳細(xì)地閱讀相關(guān)的幫助文件，以便正確地配置MPI運(yùn)行環(huán)境。

參考文獻(xiàn)

[1] 陳志明.科學(xué)計(jì)算：科技創(chuàng)新的第三種方法[J].中國(guó)科學(xué)院院刊，2012，27（2）：161-166.

[2] 臧大偉，曹政，孫凝暉.高性能計(jì)算的發(fā)展[J].科技導(dǎo)報(bào)，2016，34（14）：22-28.

[3] 朱小謙，孟祥飛，菅曉東，等.“天河一號(hào)”大規(guī)模并行應(yīng)用程序測(cè)試[C]//全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì).2011.

[4] 王濤.“天河二號(hào)”超級(jí)計(jì)算機(jī)[J].科學(xué)，2013（4）：52.

[5] 王濤.“神威太湖之光”超級(jí)計(jì)算機(jī)[J].科學(xué)，2016（4）：5.

[6] 遲學(xué)斌，趙毅.高性能計(jì)算技術(shù)及其應(yīng)用[J].中國(guó)科學(xué)院院刊，2007，22（4）：306-313.

[7] 孫健超.基于Linux的集群系統(tǒng)的應(yīng)用研究[D].遼寧工程技術(shù)大學(xué)，2009.

[8] Clarke L，Glendinning I，Hempel R.The MPI Message Passing Interface Standard： Programming Environments for Massively Parallel Distributed Systems[S].Birkh?user Basel，1994：179.