基于PC集群的MPI并行環境的搭建

希潤高娃

內蒙古師范大學計算機與信息工程學院 內蒙古 010022

0 引言

高性能仍是計算機領域的重要目標。并行計算的不斷發展推動著高性能計算的發展，利用集群系統的并行計算技術已被認為是未來解決大數據量問題或商業計算的導向。集群能夠充分利用現有的閑置計算機資源，而且還能夠使用較低配置的軟硬件，來實現較高性能的計算。隨著處理器技術和高性能網絡技術的飛速發展，以及軟件工具的改善，PC的性能不斷的提高，價格越來越廉價，性價比已遠遠優于工作站，而PC集群也成為了高性價比的并行計算資源。所以基于PC的并行計算環境及其上的并行算法的研究是很有價值和意義的。

MPI(Message Passing Interface)是基于消息傳遞編寫并行程序的一種用戶界面，是一個并行函數庫的標準，是可移植的標準平臺。MPI具有內定和用戶自定義的數據匯集操作功能，可以把大量數據進行打包后傳輸；能有效地管理消息、緩存區，具有結構化緩存，擴充數據類型及異構性，能實現完全異步的點對點通信，發送與接收操作可以完全與計算操作交叉進行。MP移植性好、功能強大、效率高、硬件平臺支持度高等多種優點，使它成為了研究和應用的重要并行環境。

1 集群

1.1 集群系統結構

集群是一組協同工作的服務實體，用以提供比單一服務實體更具擴展性和可用性的服務平臺，屬于分布式存儲的并行計算機結構，典型的集群系統結構如圖1所示。

圖1 集群系統結構圖

集群通過計算機高速網絡將一群工作節點連接起來，充分利用各個節點的各種資源，統一調度，協調處理，以實現高效率的并行計算。其高速網絡可以是普通的局域網也可以是高速網絡，而通信協議一般是TCP/IP協議。集群的節點可以是高端微機也可以是低端微機，而且可以是單機也可以是多處理器系統。每個節點都有獨立的存儲器、I/O設備和操作系統，各節點除了可以作為單一的計算資源供交互式用戶使用外，還可以協同工作表現為單一、集中的計算資源供并行計算任務使用。

1.2 集群系統分類

根據不同的標準，集群系統可有多種分類方式。其中針對集群系統的使用目的可分為三類。

(l) 高性能計算集群(High Performance Compute clustering)：以高性價比替代用于并行計算的傳統超級計算機。使用高速商用互聯網絡；可以包含數十個至上萬個PC機或工作站；可以提供接近甚至超過傳統超級計算機的計算能力。但是價格只是具有同等計算能力的超級計算機的幾十分之一。

(2) 高可用性集群(High-availability clustering)：掩蓋硬件以及軟件的易錯性，對外提供不間斷的服務。高可用性集群致力于使服務器系統的運行速度和響應速度盡可能快。

(3) 負載均衡集群(Load-balance clustering)：在多個節點間分配網絡或計算負載。

這三種類型的集群通常會發生混合與重疊。本文主要圍繞高性能計算集群進行介紹。

2 PC集群的建立與MPI環境的安裝

2.1 硬件選擇與安裝

硬件是集群系統的物理基礎，硬件的安裝比軟件安裝較為標準化。如何選擇適合于搭建集群系統的硬件，主要取決于對集群的功能、性能以及價格等因素的要求。

單個節點構建，包括CPU、內存、總線和I/O系統等；節點連接包括網卡、交換機等。

PC節點跟普通PC并沒有很大的區別，只是性能上可能有所差別，如CPU的主頻較高，內存容量較大，I/O系統速度較快等。

節點連接時，連接各節點的通信子系統是整個集群系統的性能瓶頸。集群系統中使用的網絡技術有很多，包括以太網、光纖分布式數據接口FDDI(Fiber Distributed Data Interface)、異步傳輸模式ATM(Asynchronous Transfer Model)、Myrinet、高性能并行接口HiPPI(High Performance Parallel Interface)以及可擴展一致性接口SCI(Scalable Coherent Interface)等，但由于高速以太網的普及，采用以太網會帶來較高的性價比。以太網系統包括網線、網卡及交換機等。選擇網卡主要考慮帶寬、接口類型、總線類型等。交換機的技術參數較多，主要考慮機架插槽數和擴展槽數、最大可堆疊數、背板吞吐量、緩沖區大小和MAC地址表大小等。

本文中的實例是包含四個PC節點的小型集群，每個節點的配置有，CPU：Pentium Ⅳ 2.0G、內存：2G 、硬盤：160G IDE、主板：ASUS P4T Socket 423 網卡：100Mbps Ethernet，在一個網段的局域網中，四臺PC機可以互相Ping的通，通過DHCP獲得IP地址，互相可以ssh；節點連接沒有使用交換設備。

2.2 軟件的選擇與安裝

2.2.1 軟件選擇

目前，流行的操作系統大致分為如下幾類：Windows系列、各種UNIX、Linux以及Mac OS。對構建高性能計算集群，Linux是最佳的選擇。本文中所創建的集群中使用的是Red Hat Enterprise Linux-5U4。

Linux是目前兼容硬件平臺及各種文件系統最為完備的操作系統，良好的軟硬件兼容性保證了Linux系統能夠使用于異構集群，同時開放源碼的發展模式也保證了現有集群軟件方便地遷移至Linux下運行。Linux系統對UNIX系統的兼容使得目前基于UNIX的集群系統可以在很小的修改下就能夠成功運行于Linux。

MPICH是最重要的一種MPI實現，是一個與MPI規范同步發展的版本。本文將采用MPI的一個成熟和廣泛使用的版本mpich2-1.3.2p1來構造MPI并行環境。

2.2.2 軟件安裝

四個節點的操作相同，下面以節點1的操作為例進行說明。

(1) 配置IP地址及網絡環境

如表1所示，設置IP地址與主機名。

表1 節點主機名與IP地址分配表

① 通過編輯/etc/sysconfig/network文件永久修改主機名。編輯內容為：

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=node1

② 在其中一臺機器上修改/etc/hosts文件，將每個機器的IP地址與主機名關聯起來，然后把該hosts文件拷貝到其他三臺機器的相應目錄下。hosts文件更改如下：

127.0.0.1 localhost.localdomain localhost

192.168.0.164 node1

192.168.0.145 node2

192.168.0.151 node3

192.168.0.118 node4。

(2) 創建SSH信任連接

① 在一臺機器上生成SSH密鑰對，命令為：#ssh-keygen-t dsa。

② 進入ssh目錄，生成authorized_keys文件，命令為：#mv id_rsa.pub authorized_keys ；authorized_keys文件用于保存所有允許以當前用戶身份登錄的ssh客戶端用戶的公鑰內容。

③ 建立本身的信任連接，命令為：#ssh node1，按提示輸入YES。

④ 把生成的authorized_keys文件拷貝到其它機器的ssh目錄下。

⑤ 對每個機器執行ssh命令來確認每臺機器的信任連接已建立。

(3) 安裝MPICH2

① 從MPICH官方網站下載源代碼包，解壓縮，創建安裝目錄，進入mpich2解壓目錄，編譯并且設置安裝目錄/usr/loca/mpi，進行安裝。

② 進入mpd目錄，安裝進程管理器，最新版的MPICH2的默認進程管理器為hydra，本文中使用的是mpd。

#cd src/pm/mpd

#./configure –prefix=/usr/local/mpi

#make && make install

③ 通過編輯.bashrc文件修改環境變量，修改后的.bashrc文件如下：

# User specific aliases and functions

alias rm='rm -i'

alias cp='cp -i'

alias mv='mv -i'

PATH="$PATH:/usr/local/mpi/bin"

#Source global definitions

if [ -f /etc/bashrc ]; then

. /etc/bashrc

fi

④ 修改/usr/local/mpi/etc/mpd.conf文件，設置密碼，內容為：secretword=myword；設置文件讀取權限和修改時間。

#touch /usr/local/mpi/etc/mpd.conf

#chmod 600 /usr/local/mpi/etc/mpd.conf

⑤ 最后創建主機名稱集合文件etc/mpd.hosts，文件內容為四個主機名。

(4) 查錯

啟動單節點和集群，上面運行測試程序，運行正常的話，利用mpdcheck，對每個節點和每兩個節點進行查錯。

3 測試

在建立的集群上運行了MPICH的圓周率程序和分塊矩陣乘法程序，運行結果如表2所示。

表2 測試結果對照表

4 結論

利用集群系統的研究與應用已成為熱點，它具有高性價比、高可擴展性、靈活的系統結構等其它并行系統不可代替的優勢。而在PC普及的今天，PC集群具有很多的優點及很大的發展空間。本文的實例表明，基于PC集群的MPI并行環境是易構建的，對于大量數據計算，性能更佳。由于參與運算的機器需要通過網絡傳遞一些消息，如果計算量不大的話，通信開銷影響會比較明顯，反不如單機來得快。

[1] 徐巍,.李玉榕.MPICH在集群系統中的運用.福建工程學院學報.

[2] 鎮方雄.PC集群的建立和MPI并行環境的實現與編程.咸寧學院學報.

[3] 鄒凱.Linux Cluster and Storage.

[4] 都志輝,李三立,陳渝等.高性能計算之并行編程技術-MPI并行程序設計.清華大學出版社.