集群環(huán)境中網(wǎng)格信息服務(wù)的一個(gè)實(shí)現(xiàn)方案

摘要：由于集群節(jié)點(diǎn)通常只有局部IP地址，集群通過主節(jié)點(diǎn)對(duì)外通信，無法滿足工程應(yīng)用和科學(xué)計(jì)算的要求；另外在網(wǎng)格應(yīng)用中，常見的集群資源監(jiān)控組件提供的信息量和信息種類還不夠滿足應(yīng)用需求。為此提出并實(shí)現(xiàn)了擴(kuò)展Globus MDS的解決方案。在曙光集群上的測(cè)試以及在面向多學(xué)科應(yīng)用的模擬與可視化網(wǎng)格環(huán)境（MASSIVE）中的應(yīng)用證明了該解決方案是可行的。

關(guān)鍵詞：集群；網(wǎng)格信息服務(wù)；資源發(fā)現(xiàn)；資源監(jiān)控；網(wǎng)格

中圖分類號(hào)：TP39文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001－3695(2007)07－0276－03

網(wǎng)格計(jì)算將大量、分布、動(dòng)態(tài)、異構(gòu)的資源組織起來整合在統(tǒng)一的框架中，為用戶提供高效低價(jià)的計(jì)算和信息服務(wù)，以協(xié)同解決復(fù)雜的科學(xué)計(jì)算與工程應(yīng)用問題。

MASSIVE（Multidisciplinary ApplicationS－oriented Simulation and Visualization Environment，面向多學(xué)科應(yīng)用的模擬與可視化環(huán)境）[1]是浙江大學(xué)工程與科學(xué)計(jì)算研究中心（CESC）承擔(dān)開發(fā)的網(wǎng)格項(xiàng)目。它將網(wǎng)格技術(shù)用于支持跨管理域的工程協(xié)作和科學(xué)計(jì)算。MASSIVE網(wǎng)格中，一個(gè)典型的應(yīng)用過程為：用戶在PC機(jī)上控制任務(wù)；CAD建模的模型數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)絊GI Onyx 3900超級(jí)計(jì)算機(jī)進(jìn)行幾何網(wǎng)格劃分；劃分后的數(shù)據(jù)傳輸?shù)绞锕釺C4000L微機(jī)集群完成并行求解計(jì)算，計(jì)算結(jié)果的可視化通過立體顯示墻實(shí)現(xiàn)。在整個(gè)過程中，用到了多個(gè)分布的、異構(gòu)的資源。這些資源包括PC機(jī)、工作站、集群、超級(jí)計(jì)算機(jī)、顯示設(shè)備等。MASSIVE網(wǎng)格中的信息服務(wù)模塊MEMDS[2]為網(wǎng)格應(yīng)用和網(wǎng)格用戶提供準(zhǔn)確、方便、實(shí)時(shí)、高效的資源發(fā)現(xiàn)和監(jiān)控服務(wù)。MASSIVE網(wǎng)格平臺(tái)基于網(wǎng)格中間件GT2.4構(gòu)建。在部署MASSIVE網(wǎng)格環(huán)境時(shí)，集群系統(tǒng)是一個(gè)難題。計(jì)算機(jī)集群是通過軟件和硬件把多個(gè)計(jì)算節(jié)點(diǎn)連接起來的計(jì)算機(jī)系統(tǒng)，對(duì)用戶而言，使用一個(gè)集群系統(tǒng)就像使用一臺(tái)計(jì)算機(jī)一樣。因此，在網(wǎng)格環(huán)境中將集群視為一個(gè)計(jì)算資源是合理的。MASSIVE環(huán)境中使用的曙光TC4000L集群為主從結(jié)構(gòu)，從安全管理和易用性等方面考慮，集群只有首節(jié)點(diǎn)一個(gè)對(duì)外的IP地址，其余節(jié)點(diǎn)均為L(zhǎng)ocal IP。針對(duì)這樣的體系結(jié)構(gòu)，在集群上配置網(wǎng)格環(huán)境時(shí)，將集群首節(jié)點(diǎn)配置成網(wǎng)格服務(wù)節(jié)點(diǎn)，集群其他節(jié)點(diǎn)則作為計(jì)算節(jié)點(diǎn)，并通過首節(jié)點(diǎn)來管理和調(diào)度。這種部署方式雖然符合集群作為一個(gè)計(jì)算資源的思想，方便了網(wǎng)格任務(wù)的執(zhí)行，但在程序并行化、任務(wù)調(diào)度、資源監(jiān)控等方面給網(wǎng)格應(yīng)用帶來了挑戰(zhàn)。在MASSIVE中，本文通過對(duì)網(wǎng)格中間件的一系列修改、擴(kuò)展來解決這些問題，介紹通過擴(kuò)展Globus MDS的方法來實(shí)現(xiàn)集群中的網(wǎng)格信息服務(wù)。

1集群環(huán)境中網(wǎng)格信息服務(wù)的分析

要想實(shí)現(xiàn)網(wǎng)格任務(wù)在集群中的執(zhí)行，在任務(wù)調(diào)度之前，信息服務(wù)必須提供集群整體的資源信息以及各個(gè)節(jié)點(diǎn)本身的詳細(xì)信息；在任務(wù)執(zhí)行過程中，信息服務(wù)也必須實(shí)時(shí)地提供資源變化和計(jì)算節(jié)點(diǎn)環(huán)境的各項(xiàng)信息。目前，很多集群的資源管理系統(tǒng)都能根據(jù)需要收集集群節(jié)點(diǎn)的信息，如PBS[3]、SGE[4]和Ganglia[5]等。然而，當(dāng)集群作為一個(gè)網(wǎng)格計(jì)算資源時(shí)，這些軟件并不能很好地滿足計(jì)算網(wǎng)格中工程與科學(xué)計(jì)算的需求。原因主要有以下兩點(diǎn):

(1)這些軟件提供的資源信息不夠全面。不同的應(yīng)用需要不同的資源信息，對(duì)網(wǎng)格環(huán)境有不同的要求。在MASSIVE網(wǎng)格應(yīng)用中，除了通用資源發(fā)現(xiàn)服務(wù)提供的基本計(jì)算能力信息外，用戶還必須獲得應(yīng)用程序運(yùn)行和結(jié)果回收的其他相關(guān)信息，如網(wǎng)絡(luò)信息、映射用戶信息、可用目錄信息、任務(wù)調(diào)度器信息、虛擬組織信息、可視化設(shè)備相關(guān)信息等。這些信息的提供需要定制的信息提供程序，并且這些程序應(yīng)當(dāng)符合原有的信息服務(wù)規(guī)范。因而，無論采用哪種集群資源監(jiān)控方式都需要靈活易用的信息服務(wù)定制方式。在MASSIVE網(wǎng)格的信息服務(wù)MEMDS中，可通過用戶自定義的信息服務(wù)組件來解決這個(gè)問題。

(2)與網(wǎng)格環(huán)境中其他管理域、其他類型的信息服務(wù)進(jìn)行協(xié)作時(shí)實(shí)現(xiàn)困難。網(wǎng)格要求處于不同管理域的異構(gòu)節(jié)點(diǎn)形成虛擬組織（VO）共同完成任務(wù)。網(wǎng)格信息服務(wù)必須為此提供統(tǒng)一、可兼容、一致的接口，使網(wǎng)格中的任一節(jié)點(diǎn)能獲得所需的網(wǎng)格信息。無論集群利用何種信息服務(wù)工具，都必須能夠與其他網(wǎng)格節(jié)點(diǎn)的信息服務(wù)協(xié)作。因而，筆者希望曙光集群的信息服務(wù)能與超級(jí)計(jì)算機(jī)、PC機(jī)、工作站上部署的MEMDS作為一個(gè)整體視圖來提供信息。

基于以上兩點(diǎn)考慮，同時(shí)考慮到MASSIVE中其他網(wǎng)格節(jié)點(diǎn)的信息服務(wù)工具為MEMDS（基于MDS實(shí)現(xiàn)），為了使集群信息服務(wù)與MEMDS具有一致的信息表示和訪問方式，且能完整合理表述集群本身的信息，本文基于MDS部署集群信息服務(wù)。要實(shí)現(xiàn)這一目標(biāo)，有如下兩種可能的方式：

（1）在集群的每個(gè)節(jié)點(diǎn)上安裝Globus工具包，啟動(dòng)MDS服務(wù)。將首節(jié)點(diǎn)配置為GIIS（Grid Index Information Ser－vice，網(wǎng)格目錄信息服務(wù)）服務(wù)器，其余節(jié)點(diǎn)作為GRIS（Grid Resource Information Service，網(wǎng)格資源信息服務(wù)）提供本地資源信息。將整個(gè)集群視為一個(gè)VO，統(tǒng)一對(duì)外提供VO中各節(jié)點(diǎn)的信息。這種方法的出發(fā)點(diǎn)是將集群的每個(gè)節(jié)點(diǎn)看做是一臺(tái)微機(jī)， 只需在每個(gè)節(jié)點(diǎn)上安裝Globus并進(jìn)行基本的配置即可。但是，在集群的每個(gè)節(jié)點(diǎn)上都安裝Globus工具包工作煩瑣，造成了不必要的浪費(fèi)，給集群管理帶來了負(fù)擔(dān)，并造成集群對(duì)外顯示信息邏輯性差，不能很好地體現(xiàn)集群的特點(diǎn)，有悖于集群作為一個(gè)整體資源的思想。

（2）針對(duì)集群特點(diǎn)，修改Globus工具包中MDS的實(shí)現(xiàn)代碼，使其首節(jié)點(diǎn)通過對(duì)外通信能夠提供集群所有節(jié)點(diǎn)的資源信息，并根據(jù)各節(jié)點(diǎn)信息進(jìn)行分析整合，計(jì)算出集群整體的資源和性能信息。從邏輯上看，該方法將集群視為一個(gè)整體，對(duì)外提供集群整體的負(fù)載、性能等信息；同時(shí)又可以根據(jù)用戶要求靈活地添加新的信息服務(wù)程序，提供多層次、詳細(xì)的集群各節(jié)點(diǎn)的信息。網(wǎng)格用戶可以通過集群對(duì)外IP獲得所需要的信息。采用該方法時(shí)，集群的信息組織形式如圖1所示。

這種方法的出發(fā)點(diǎn)是將集群作為一個(gè)整體提供服務(wù)，而且是提供了一個(gè)系統(tǒng)映像，首節(jié)點(diǎn)是集群的管理節(jié)點(diǎn)。它需要修改Globus MDS的源碼，難度較大，但提供的信息符合網(wǎng)格任務(wù)的需求和集群的體系結(jié)構(gòu)及管理模式；同時(shí)，它也可以用于其他體系結(jié)構(gòu)的集群（如由PC機(jī)搭建的集群，各節(jié)點(diǎn)異構(gòu)）的網(wǎng)格信息服務(wù)。因此，從集群體系結(jié)構(gòu)的功能和系統(tǒng)擴(kuò)展性的角度考慮，本文采用了方法（2）。

2集群環(huán)境中網(wǎng)格信息服務(wù)的實(shí)現(xiàn)

Globus中的信息服務(wù)模塊MDS[6]面向網(wǎng)格計(jì)算環(huán)境中數(shù)據(jù)巨大、地理上分布且具有動(dòng)態(tài)性的各種資源和服務(wù)。其內(nèi)容包括資源（服務(wù)）發(fā)現(xiàn)、資源（服務(wù)）描述和資源（服務(wù)）監(jiān)控與更新。它遵從輕量級(jí)目錄訪問協(xié)議LDAP模型實(shí)現(xiàn)資源信息的組織和檢索。MDS由客戶端和服務(wù)器端組件構(gòu)成，在集群環(huán)境中對(duì)MDS的修改也包括客戶端和服務(wù)器端兩部分。 

2．1MDS客戶端的修改

用戶如果需要在網(wǎng)格內(nèi)查找資源信息，只要運(yùn)行MDS客戶端命令即可。客戶端是通過LDAP的客戶端命令行l(wèi)dapsearch來實(shí)現(xiàn)的。MDS客戶端由shell腳本作為入口，封裝了標(biāo)準(zhǔn)的ldapsearch命令。Shell腳本的功能及客戶端進(jìn)行信息查詢的過程如圖2所示。

對(duì)于客戶端的修改主要集中在修改相關(guān)配置文件信息和shell腳本上。修改配置文件的目的是提供GRIS的配置信息，包括主機(jī)名、默認(rèn)端口、basedn等；修改shell腳本的目的是改變各種環(huán)境變量、ldapsearch的參數(shù)分析等。修改之后，配置文件和腳本入口反映了需要的集群視圖信息，而ldapsearch命令的執(zhí)行方式不更改。

2．2MDS服務(wù)器端的修改

MDS的服務(wù)器端組件由三部分構(gòu)成： 

(1)信息的提供者。MDS的信息由信息提供者提供。他把本地資源的屬性和當(dāng)前狀態(tài)轉(zhuǎn)變成規(guī)定的格式，然后把相關(guān)數(shù)據(jù)提交給GRIS服務(wù)器。

(2)GRIS。它將信息提供者提供的本地資源信息匯集過濾，向GIIS服務(wù)器進(jìn)行動(dòng)態(tài)注冊(cè)更新。當(dāng)一個(gè)信息查詢請(qǐng)求被接收后，根據(jù)請(qǐng)求信息的類型把查詢請(qǐng)求分發(fā)給一個(gè)或多個(gè)本地信息提供者；然后GRIS把信息提供者提供的信息匯總，返回給信息查詢請(qǐng)求者。

(3)GIIS。它包含了GRIS或其他GIIS登記的資源信息索引。GIIS將各GRIS服務(wù)結(jié)合起來，提供一個(gè)統(tǒng)一連貫的系統(tǒng)映像。客戶端用戶通過直接指定GIIS的入口就可以檢索需要的信息。由于集群作為一個(gè)計(jì)算節(jié)點(diǎn)提供資源，集群內(nèi)部不涉及GIIS。從服務(wù)器端的構(gòu)成和查詢處理過程可以看出，服務(wù)器端的修改主要針對(duì)GRIS、IP的配置和實(shí)現(xiàn)。GRIS的修改主要是配置文件的修改，包括schema和lDIF文件。修改后，資源信息組織的框架形式得以改變，同時(shí)規(guī)定了后端調(diào)用IP的特性。具體信息提供則通過修改IP來實(shí)現(xiàn)，IP的實(shí)現(xiàn)主要是由Shell腳本以及部分C程序完成的。因此，在原MDS腳本文件的基礎(chǔ)上進(jìn)行修改，同時(shí)根據(jù)需要加入了部分新的腳本，以實(shí)現(xiàn)自定義的信息提供。將集群系統(tǒng)視為一個(gè)整體，根據(jù)網(wǎng)格任務(wù)需要，提供的核心信息包括集群的性能信息和用戶自定義信息。其中用戶自定義信息提供MASSIVE網(wǎng)格應(yīng)用需要的特殊信息，如映射用戶信息、任務(wù)調(diào)度器信息等。

下面分別介紹兩類信息提供的實(shí)現(xiàn)：

（1） 集群基本性能信息

筆者認(rèn)為，針對(duì)網(wǎng)格計(jì)算任務(wù)，用戶需要的相關(guān)計(jì)算資源信息包括: ①節(jié)點(diǎn)總數(shù)及空閑數(shù)；②CPU個(gè)數(shù)及空閑率；③內(nèi)存和虛擬內(nèi)存的總量及空閑量；④文件系統(tǒng)總量及空閑量；⑤網(wǎng)絡(luò)帶寬與延遲。這些信息由集群整體性能信息和各節(jié)點(diǎn)詳細(xì)信息兩個(gè)層次構(gòu)成，作為核心資源信息提供給用戶。集群性能信息是集群各節(jié)點(diǎn)相應(yīng)信息經(jīng)分析計(jì)算得到的。信息的查詢和整合過程如圖3所示。

系統(tǒng)通常都提供了標(biāo)準(zhǔn)命令可以獲取節(jié)點(diǎn)的相關(guān)信息，集群整體的性能信息通過各節(jié)點(diǎn)信息進(jìn)行計(jì)算獲得。這里以CPU信息為例說明集群性能信息的計(jì)算方法。

通過Linux命令Uptime查詢CPU負(fù)載信息。Uptime命令的輸出結(jié)果格式為：當(dāng)前時(shí)間、系統(tǒng)正常運(yùn)行時(shí)長(zhǎng)、當(dāng)前登錄用戶數(shù)、平均負(fù)載。計(jì)算CPU空閑率的公式為

CPU空閑= （CPU數(shù)－平均負(fù)載）×100

其中，平均負(fù)載可以根據(jù)需要，以1、5、15min計(jì)。

這樣的計(jì)算方法與MDS對(duì)CPU空閑率的表述方式一致，可以使集群的CPU與其他網(wǎng)格節(jié)點(diǎn)的CPU性能具有可比性。從計(jì)算公式可以看出，在只有一個(gè)CPU時(shí)，空閑率小于100。當(dāng)計(jì)算節(jié)點(diǎn)的CPU數(shù)大于1時(shí)，CPU空閑通常大于100。所用的曙光集群的CPU總數(shù)為48，某次檢索結(jié)果發(fā)現(xiàn)CPU在15min內(nèi)的空閑率是4 609。這說明目前集群大約有46個(gè)CPU是完全空閑的，CPU當(dāng)前具有很高的空閑率。

（2）自定義信息服務(wù)

在曙光集群中，根據(jù)MASSIVE的需要加入了如下自定義的信息服務(wù)：網(wǎng)絡(luò)信息、集群映射用戶信息、可用目錄信息、調(diào)度器信息、安全認(rèn)證信息。一個(gè)IP，無論是MDS已有的或是用戶自定義的，從本質(zhì)上來說，都是一段程序，程序的輸入與輸出符合GRIS后端的要求。每個(gè)IP的輸入是一個(gè)LDIF記錄項(xiàng)，描述了操作類型；輸出是LDIF對(duì)象流，描述了目錄樹中某個(gè)節(jié)點(diǎn)的相關(guān)信息。GRIS后端是slapd服務(wù)器的一部分，它通過fork和exec調(diào)用來啟動(dòng)IP，接收IP的輸出進(jìn)行緩存，用于向上層GIIS注冊(cè)信息或響應(yīng)用戶檢索。MDS工具包為用戶自定義IP預(yù)留了命名空間，開發(fā)人員可以根據(jù)需要定制編寫新的信息服務(wù)程序[7]。在MASSIVE網(wǎng)格的自定義信息服務(wù)程序的設(shè)計(jì)實(shí)現(xiàn)中，考慮的問題主要包括以下幾個(gè)方面：①程序?qū)崿F(xiàn)遵循LDAP，信息的組織方式與LDAP前端一致，符合LDAP要求的LDIF格式。所有自定義IP都采用C或標(biāo)準(zhǔn)C++實(shí)現(xiàn)，具有良好的跨平臺(tái)性。因而在實(shí)際部署中，集群環(huán)境中所需的自定義IP與其他網(wǎng)格節(jié)點(diǎn)的部署完全一樣。②與網(wǎng)格環(huán)境融合，充分利用網(wǎng)格中間件提供的功能，程序?qū)崿F(xiàn)符合網(wǎng)格環(huán)境的要求。③與網(wǎng)格中已存在的信息提供者不沖突。在Globus MDS中有許多已經(jīng)存在的信息提供者，而在擴(kuò)展實(shí)現(xiàn)中，必須保證新加入的信息提供者不與之沖突，否則MDS將無法正常工作。在實(shí)現(xiàn)中，利用模式文件（schema文件）、配置文件和時(shí)間相關(guān)的OID來保證這點(diǎn)。④提供靈活、方便、可選的信息提供方式。信息如何加入MASSIVE網(wǎng)格、加入哪些信息、如何檢索，均允許用戶選擇定義。

經(jīng)過修改后，某次信息查詢的結(jié)果在MEMDS中顯示如圖4所示。其中，cesc12是曙光集群，cesc11是超級(jí)計(jì)算機(jī)，其他為PC節(jié)點(diǎn)。可以看到，無論計(jì)算節(jié)點(diǎn)類型是什么，MEMDS對(duì)外都以統(tǒng)一的方式顯示計(jì)算節(jié)點(diǎn)的資源信息。

3結(jié)束語

本文分析了集群環(huán)境對(duì)網(wǎng)格信息服務(wù)的要求和實(shí)現(xiàn)策略。針對(duì)只有一個(gè)對(duì)外IP的集群環(huán)境，在分析各種集群任務(wù)監(jiān)控系統(tǒng)的基礎(chǔ)上，提出并實(shí)踐了基于Globus MDS的可行解決方案。在MASSIVE網(wǎng)格環(huán)境中，通過修改和擴(kuò)展MDS實(shí)現(xiàn)了集群環(huán)境中的網(wǎng)格信息服務(wù)。經(jīng)過測(cè)試，該解決方案可以為用戶提供合理、準(zhǔn)確的集群信息，從而很好地支持網(wǎng)格任務(wù)的運(yùn)行。

當(dāng)前的集群信息服務(wù)能滿足MASSIVE網(wǎng)格的需求，但對(duì)于超級(jí)計(jì)算機(jī)和集群的性能、服務(wù)如何組織、如何評(píng)價(jià)、如何使其提供的服務(wù)更為靈活高效，還有待進(jìn)一步的研究。

參考文獻(xiàn)：

［1］WEI Guiyi，SONG Guanghua，ZHENG Yao，et al.MASSIVE:a multidisciplinary applications－oriented simulation and visualization environment[C]//Proc of the 2004 IEEE International Conference on Services Computing.Los Alamitos:IEEE Computer Society，2004:583－587.

[2]WANG Wei，ZHENG Yao，SONG Guanghua.The design and implementation of scalable information services in a grid environment[C]//Proc of the 2005 IEEE International Conference on Services Computing.[S.l.]:[s.n.]，2005:265－267.

[3]Portable batch system[EB/OL].[2006－04－25].http://www.openpbs.org/.

[4]Grid engine project[EB/OL].[2006－04－25].http://gridengine.sunsource.net.

[5]Ganglia[EB/OL].[2006－04－25]. http://ganglia.sourceforge.net/.

[6]CZAJKOWSKI K，F(xiàn)ITZGERALD S，F(xiàn)OSTER I，et al.Grid information services for distributed resource sharing[C]//Proc of the 10th IEEE International Symposium on High－Performance Distributed Computing.Los Alamitos:IEEE Computer Society，2001:181－194.

[7]MDS 2.2 user’s guide[EB/OL].[2006－04－25].http://www.globus.org/toolkit/docs/2.4/mds/mdsusersguide.pdf.

注：“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”