分布式高性能空間天氣建模框架的研究

摘要：以日地系統活動規律研究、空間天氣模擬及預報為背景，提出了一個新的基于大規模科學計算領域組件標準規范CCA（common component architecture）的大規模科學計算模型協同工作虛擬平臺，即分布式高性能空間天氣建模框架DHPA（distributed high performance architecture for space weather modeling）。該框架采用面向服務的設計思想，解決了現有空間天氣框架SWMF（space weather modeling framework）在模型的建模、集成、應用、管理、互操作等方面暴露的問題。DHPA為空間天氣科學計算和模擬提供了一個新的框架解決方案，也可以作為其他學科大規模科學計算建模框架的設計參考模型。

關鍵詞：空間天氣； 高性能計算； 建模框架； 空間物理模型； 網格計算

中圖分類號：TP311文獻標志碼：A

文章編號：1001－3695(2008)06－1731－05

0引言

在太陽大氣、行星際、地球磁層、電離層和中高層大氣所組成的日地空間環境中，常常出現給地面和空間技術系統的運行和可靠性以及人類健康和生命帶來嚴重危害的變化或狀態，這種由太陽活動引起的短時間尺度的變化，稱為空間天氣[1]。

圖1為發布在美國國家航空和宇宙航行局（NASA）網站的太陽活動爆發圖和太陽輻射觀測圖。

這些太陽劇烈活動會造成惡劣的空間天氣災害，對地球及人類生存環境造成重大影響。例如，太陽風暴產生的X射線破壞高頻通信系統，對航空和衛星通信系統造成重大損失；日冕物質拋射（CME）可將數十億噸的帶電粒子以每秒幾百公里的速度拋入太空，若宇航員暴露在這種空間環境下就相當于醫院X光透視時輻射劑量的5萬倍，會患上嚴重的放射性疾病；另外，衛星會在不斷受到空間災害天氣的破壞而失效，導致通信線路大范圍中斷，甚至直接影響到了正常的經濟運行。一項研究發現[2]，從2000年7月至2001年12月，太陽引起的地磁暴使電力供應損失多達50億美元；為了避免輻射暴露和通信障礙，每次飛機航線的調整使航空公司多花費10萬美元。因此，空間天氣直接影響到國防、航天、國家安全和經濟的發展。空間天氣學研究是地球系統科學和和人類可持續發展研究的重要組成部分，它與固體地球、海洋和大氣密切相關，共同構成日地系統的完整科學體系。然而，由于整個日地系統是一個非常復雜而龐大的自然系統，它包含著許多相互交錯的復雜因素。太陽風以每秒數百公里的速度將大量物質及能量帶入磁氣圈，電離圈和上層大氣圈強烈地影響著每一個物理域的物理過程。對這個復雜系統的研究與預報給科學家們提出了了巨大挑戰。超級計算機和信息技術的發展為日地系統活動規律的研究開辟了一條新的道路。近年來，空間物理和計算機科學家開始為日地系統中的物理域進行建模，在超級計算機上進行空間天氣的高性能模擬。復雜的空間物理過程模擬需要耦合由不同科學研究和組織開發的擁有不同數字化表示的空間物理模型[3]。目前，絕對多數空間物理模型計算機程序代碼高度集成于一體，使得內部代碼有強烈的依賴性，導致軟件越來越復雜，模型無法復用和維護。例如美國密西根大學開發的空間等離子區模擬程序BATSRUS（block adaptive－tree solar－wind roe－type upwind scheme），從最初的高效的磁氣流體力學MHD（magneto－hydro－dynamics）代碼，到最終與一個電離層模型、多種上層大氣模型和一個內部磁力圈模型完全緊緊地耦合在一起。雖然它能夠成功地實現對空間天氣中的全球MHD進行模擬，但是科學家們已經無法對其中的模型進行維護和擴展，這樣的模型已經喪失了生命力。

為了解決以上問題，1996年，在NASA的地球科學技術部ESTO （earth science technology office）的計算技術CT（computing technology）項目的推動下，美國密西根大學的空間環境模擬中心CSEM（center for space environment modeling）開始進行空間天氣建模框架SWMF（space weather modeling framework）[4]的開發。它引入了軟件工程中的組件和軟件框架思想，將跨越太陽表面到地球上層大氣這一領域的一系列物理域模型轉換為各種模型組件，使之以靈活、高效的方式在框架中運行及耦合，從而方便地實現從太陽表面到地球上層大氣圈各區域空間物理過程建模，以及在超級計算機上進行模擬。然而，該平臺也存在明顯的缺陷，如模型的互操作、遺留代碼的重用、代碼安全、代碼維護、支持分布式計算等問題。為了克服這些缺陷，本文提出了一個新的基于CCA（common component architecture)[5]標準規范和CBSE[6]（component－based software engineering）技術的，為空間天氣模擬仿真的物理建模、模型集成、管理、應用構建、應用可視化為一體的，方便科學家使用和系統管理的分布式協同工作虛擬平臺，即分布式高性能計算空間天氣建模框架DHPA。它的開放性、協作性、互操作性、分布式并行性等特點使得該平臺有明顯的優越性。該框架采用基于組件的面向服務的設計思想，解決了SWMF存在的缺陷，能夠實現大規模空間天氣科學計算和模擬的需求。

1空間天氣建模框架SWMF

當前版本的SWMF包含了九個模型分別描述九個空間物理域[4]：a）日冕模型SC（solar corona）。利用太陽觀測數據來描述從約1Rs(太陽半徑)到約24Rs的空間物理域。b）爆發時間生成器模型EE（eruptive event generator）。為模擬初始框架輸入日冕物質拋射。c）內部日光圈模型IH (inner hemisphere)。模擬從日冕外部邊界到地球磁氣圈及其以上的太陽風。d）日光能量粒子模型SP（solar energetic particles）。描述從太陽事件到地球大氣圈的太陽能量粒子的傳輸、加速度和散射。e）全球磁氣圈模型GM（global magnetosphere）。描述內部日光圈與地球磁氣圈外部之間的聯系。f）內部磁氣圈模型IM（inner magnetosphere）。用來計算地球內部磁氣圈中的粒子、電場和電流的動態行為，并計算它們對內部磁氣圈和上層大氣圈造成的影響。g）輻射帶模型RB（radiation belt）。用來追蹤被捕獲的粒子。h）電離層電氣力學模型IE (ionosphere electrodynamics)。用來計算地球電離層中的電壓和極光電子沉降。i）上層大氣模型UA（upper atmosphere）。用來模擬地球熱層和電離層的動力學過程。

SWMF采用類似“三明治”的分層框架，包括上層構造層（superstructure layer）、物理模型層（physics module layer）和基礎設施層（infrastructure layer）。上層構造層包括組件接口和框架服務。組件接口包括物理模型與框架高層控制模塊（CON）的接口——包裝器(wrappers)、組件與組件交互的接口——耦合器(couplers)。框架服務主要負責實現組件注冊、構建和并行計算環境、控制組件的耦合和執行過程，并實現并行計算的耦合工具包。物理模塊層主要包括空間物理過程模擬模型。基礎設施層包括一些底層的并行計算程序庫、可視化中間件等。例如不同坐標系類型轉換工具、時間轉換工具和事務管理工具。

SWMF已經被成功地模擬了2003年發生的一次重大太陽活動事件——“萬圣節前夕2003空間風暴”[1]（halloween 2003 space storms）。SWMF成為科學家們進行空間天氣預報以及科學分析的有力工具。然而，該平臺也存在一些明顯的缺陷：

a）代碼維護困難。SWMF是緊耦合的類似“三明治”的分層框架，模型程序代碼作為子程序運行，整個應用只有一個可執行體，必須整體編譯，因此某個模型的改動，要花費大量時間進行整體編譯，同時也影響了其他用戶的使用。

b）代碼安全和授權。SWMF的模型源代碼必須導入到NASA超級計算機Columbia上才能運行。然而，一些模型代碼擁有者可能不愿公開發布自己的源代碼。

c）開放性差，不支持協同開發。空間物理過程包括大量多種時空范圍的物理模型，涉及到物理、化學、計算機、數學等多學科領域的協同工作，需要綜合來自不同學科的模型，完成復雜的空間事件決策，實現實時的空間天氣預報。

d）開發語言無法實現互操作。不同組織開發的模型采用不同語言進行開發，如Fortran77/90/95、Python、C、C++、Java等，因此，語言互操作是組件間進行交互的必要條件。然而，SWMF要求物理模型必須由Fortran77或Fortran 90來實現，且運行在擁有Fortran 90編譯器的UNIX/Linux操作系統，這種苛刻的要求限制了某些遺留代碼的重用與組件之間的交互。

e）不支持基于互聯網的分布式計算。物理地將源代碼和它的運行支撐環境導入到一臺超級計算機上需要耗費大量的精力和時間，并且單臺超級計算機不一定能夠買足計算需求，科學家們更希望使用有更高計算能力的計算網格。

2分布式高性能空間天氣建模框架DHPA

DHPA采用了基于組件的軟件開發工程CBSE方法，能夠有效地解決軟件的復雜性問題。CBSE方法已被廣泛應用，例如CORBAL、COM/DCOM、Java Bean等已經成為業界的標準，解決了企業級應用的復雜性問題。CBSE有利于軟件封裝，可以實現對已有組件的復用，以及程序的模塊化建模，從而簡化了對大規模應用的構建和維護，提高了復雜科學計算模型的開發效率。框架提供了高層抽象接口，使用戶無須關心復雜的底層實現細節。然而，這些傳統的通用組件不能夠滿足諸如空間天氣模擬之類的大規模高性能科學計算的需求，例如不支持并行計算；無法與科學編程語言（Fortran）互用；不支持諸如復數、Fortran類型的動態多維數組等基本科學計算數據類型。

1998年，由美國能源部DOE（department of energy）的六個實驗室和兩個大學聯合發起CCA項目，提出了適用于大規模高性能科學計算的組件規范CCA，將CBSE方法引入到大規模科學計算軟件工程領域。CCA標準規范定義了兩種實體類型：組件和框架。組件是被封裝的功能計算單元；框架是一個用來動態實例化組件、耦合組件、管理組件的一個軟件集成和運行環境。CCA引入了端口（ports）——組件間相互調用的抽象接口。它包括兩種類型的端口：服務提供端口和服務使用端口。組件通過服務使用端口使用外部服務，與其他組件的服務提供端口連接，同時通過服務提供端口對外提供服務，與其他組件的服務使用端口連接。這種提供服務和使用服務的模式，建立了科學計算組件之間的對等關系。CCA規范明確地定義了構建組件的基本規則、組件必須滿足最小限度行為的規則，以及組件與框架之間的接口規則。組件通過這種定義好的組件端口（插腳），可靈活地將組件插入框架（插座）。CCA標準規范使用了科學接口定義語言SIDL（scientific interface definition language）[5]來描述接口。它類似CORBA IDL[7]，保持了編程語言的中立性，但是它對IDL進行了必要的擴展，主要擴展了并行機制、反射機制、面向對象語義定義，以及科學數據類型，如多維數組，復數等。Babel工具[8]可將SIDL與Fortran 77/90/95、Python、C++、Java無縫地鏈接為一體，實現各種程序設計語言之間的互操作。CCA標準規范沒有明確限定框架的設計和實現、通信協議的選擇以及組件發現機制等功能，使得它可以適用于不同的運行環境，如單個大型超級計算機、工作站集群、計算網格等。至今，科學家們已經研發了多個基于CCA標準規范的科學計算框架，例如CCAFFEINE[9]、UIntah[10]、XCAT[11]、SCIRUN[12]等。本文提出的DHPA是一個采用CCA規范，構建在分布式環境下的用于進行空間天氣模擬和仿真的物理建模、模型集成、管理、應用構建、應用可視化的協同工作虛擬平臺。

3DHPA參考模型

DHPA參考模型包括兩個基本元素：組件和基礎框架。有三種類型的組件：空間物理模型組件、框架服務組件和空間科學應用構建引擎組件。基礎框架包括構架引導驅動和通信機制，如圖2所示。

3．1組件 

3．1．1組件的構建

DHPA參考模型是基于CCA標準規范的，它將組件的功能包裝成服務發布出去，實現對等的面向服務的組件之間的調用模式。組件交互關系如圖3所示。

在這種模型構建環境下，研究人員無須公開模型實現的細節即可提供對外服務，從而保證了模型源代碼的安全，方便模型的維護和系統升級。由于DHPA框架是基于網絡分布式環境的，它將傳統軟件基礎構架中所包含的對上層構架提供的服務提升到應用層，封裝成為框架服務組件，實現了輕量級的基礎框架。

DHPA為研究人員提供了一個便利的開發平臺，使他們只需做很少量的工作就可以生成新組件或改進遺留模塊代碼。DHPCA組件構建流程如圖4所示。研究人員通過SIDL定義組件和組件接口，利用Babel工具對其進行編譯，映射成為目標代碼。目標代碼與原始模塊代碼經本地編譯器編譯鏈接后，生成可執行組件。

例如在DHPA下，可以方便地實現內部磁氣圈模型與全球磁氣圈模型的耦合。在耦合過程中，內部磁氣圈模型需要獲取全球磁氣圈模型中的場線密度。組件包裝過程如下：

a）定義組件接口。內部磁氣圈模型定義服務使用端口UseFldensityPort，全球磁氣圈模型定義服務提供端口ProvideFldensityPort向外提供統計場線密度服務Fldensity()。IM、GM的接口標準定義文件如下：

package IM version 1．0 {

interface UseFldensityPort 

extends gov．cca．Port 

{

double getFldensity(．．．);

…} }

package GM version 1．0 {

interface ProvideFldensityPort

extends gov．cca．Port 

{

double Fldensity(．．．);

…} }

b）定義組件。組件需要實現所定義的接口及CCA定義的gov．cca．Componment中的 setServices()。IM、GM的組件標準定義文件如下：

package IM version 1．0 {

class IM implements IM．UseFldensityPort， 

gov．cca．Component

{

double getFldensity (…);

void setServices(…) throws gov．cca． CCAException;

… } }

package GM version 1．0 {

class GM implements GM．ProvideFldensity Port， gov．cca．Component

{

double Fldensity (…);

void setServices(…) throws gov．cca． CCAException;

… } }

3．1．2組件分類

DHPA主要包括空間物理模型組件、空間科學應用構建引擎組件和框架服務組件。

空間物理模型組件是由不同科學家們開發的、不同的空間物理模型，如日冕模型、內部日光圈模型等，經封裝而成的、遵循CCA規范的組件。

空間科學應用構建引擎組件實現了CCA規范中的builderService端口。它是框架內部實現的功能組件，主要提供組件管理服務和連接管理服務。

框架服務組件為科學家們的協同研究工作提供全面的支持。主要包括以下幾類組件：

a）代碼開發工具組件。它為應用代碼的開發提供服務，包括數值化組件和并行代碼開發組件。數值化組件實現了求解大規模科學問題中出現的偏微分方程組（PDEs）、常微分方程組（ODEs）和優化問題的數值化方法。主要功能包括串行/并行ODE積分器（CVODE/PVODE）、非線性方程求解器（KINSOL）、微分代數方程求解器（IDA）、參數敏感性分析（CVODES）、優化等。比較有代表性的是美國能源部ODE2000支持開發的PETSc(portable，extensible toolkit for scientific computation)[13]，它主要用于在分布式存儲環境高效求解偏微分方程組及相關問題；美國Argonne實驗室開發的高級最優化工具TAO(toolkit for advanced optimization)[14]，其主要目的是在高性能機器上求解大規模最優化問題。并行代碼開發組件主要為分布式組件的并行數據重分配提供支持。比較有代表性的是美國能源部ODE2000支持的PAWS(parallel application workspace)[15]。

b）可視化組件。此類組件主要為應用的構建、運行、控制提供遠程實時可視化顯示服務。美國RSI公司的旗幟產品IDL（interactive data language）是開發這類組件常用的工具。

c）工作流組件。為開發人員提供了一個所見即所得的人性化的友好界面，開發人員只需通過鼠標拖拉方式就可輕松實現遠程實例化組件，構建應用。

d）性能分析與優化組件。此類組件主要提供數字化軟件的分析與優化服務、支持自動代理性能監視與分析策略、自動引導優化策略以及QoS。通過客戶—協商—代理模式，組件將所需要的特殊服務請求及所需的QoS約束的元數據傳遞給代理進行動態協商，最終實例化一個滿足應用級質量的組件。

e）事務服務組件。主要提供網絡或網格資源的可靠性檢查策略、檢查點回滾等容錯策略及日志策略。

f）語言互操作組件。它采用語言獨立的軟件庫實現組件間語言互操作，如Babel工具。

g）組件知識庫組件。它是一個基于網絡的組件知識庫，構成了一個組件市場。它是實現組件共享的重要部分，主要存儲組件及組件的標準接口定義信息，使得組件的服務能被其他組件發現并使用，或被用戶直接查詢到。同時，它隱藏了各個組織所開發模型的原代碼，使得組件間可透明交互。它主要包括向組件提供增加、查詢及版本管理等服務；同時向用戶提供用戶操作界面。其核心實現主要包括模糊搜索算法、與語言互操作工具的基于網絡的接口、組件類型信息知識庫、其他組件軟件工具查詢的調用接口，如LLNL（lawrence livermore national laboratory）開發的Alexandria[16]。

h）注冊與發現服務組件。它主要實現了組件服務的動態注冊及查詢，是組件交互的中間代理。動態注冊與發現服務流程圖如圖5所示。

該圖中主要描述了遠程組件C通過注冊發現服務，與提供所需服務的組件B進行綁定及通信的流程：①各科學研究人員發布組件；②將組件描述及接口描述的標準接口定義語言文件放入組件庫；③遠程組件C進行服務注冊；④查找提供所需服務的組件；⑤⑥返回查詢到的組件B的標志給組件C；⑦組件C與組件B綁定；⑧組件C與組件B通信，開始耦合。

3．2基礎框架

基礎框架是一個輕量級的框架，主要包括框架引導驅動和遠程通信機制。框架引導驅動負責框架的啟動和關閉。遠程通信機制的選擇沒有具體的限定，但需要具有以下性能：在分布式異構框架中具有可靠的傳輸性能；具有頻繁交換浮點數類型的大數組的能力；支持并行組件的通信。主要的兩種實現機制是：CORBAL ORB和Web services 技術的SOAP、XML、HTTP機制。下面分析了主要的兩種遠程通信機制。

a）CORBAL ORB。它采用二進制編碼，具有較強的傳輸能力，這比較適合空間天氣科學應用。但它需要通信雙方必須采用CORBAL 的通信協議，因此互操作性不佳，很難實現分布式應用的透明傳輸。另外，需要對CORBAL進行擴展以支持并行計算，如法國的IRISA研究開發的一個輕便的并行CORBA對象（Paco++）[17]。

b）Web services 的SOAP、XML、HTTP通信機制。XML的可擴展性和自我描述性，及HTTP協議的廣泛性，使得SOAP具有很好的互操作性。然而性能卻不佳。它采用ASCII描述傳送信息，將空間天氣科學應用的浮點數轉換成ASCII這一過程會造成大量性能損耗。有實驗表明，其消耗時間占整個消息傳遞過程所用時間的90%[18]。目前有不少研究者對SOAP優化問題進行了研究，如gSOAP[19] 、XSOAP[20] 、bSOAP[21]。另外，該通信機制不支持并行組件，需要對通信協議進行擴展，如PRMI (parallel remote method invocation)[22]。

目前，在框架的實現上比較有影響力的是印度大學開發的XCAT。它的第二個版本XCAT2采用了Web services技術，使用XSOAP進行組件間通信。第三個版本XCAT3采用基于Web services的OGSA（open grid services architecture），提供了一個進行網格計算的基于組件的網格服務模型。

3．3DHPA運行機制

整個系統運行包括組件與組件的交互、組件與基礎框架的交互。圖6以IM模型和GM模型的耦合為例，分析了系統的運行流程。

a)在基礎框架啟動后，構建引擎通過createInstance()實例化IM和GM。通過setServices()為 IM和GM分別傳入service對象。

b)IM、GM分別通過service對象完成服務使用接口FldensityUsePort和服務提供接口FLdensityProvidePort的注冊。

c)構建引擎通過connect()構建連接，返回connectionID，并將連接信息存放在連接表中。

d)IM的服務使用接口與GM的服務提供接口連接。

e)IM獲取GM提供的統計場線密度服務。IM和GM開始耦合。

4結束語

超級計算機為科學家研究空間天氣提供了高性能的硬件支撐平臺，然而復雜的空間天氣模擬不僅需要高性能計算支持，還需要集空間物理建模、模型管理、應用、互操作、協同、可視化等功能于一體的軟件平臺的支持。本文提出了一個新的基于CCA標準規范和CBSE技術的大規模科學計算模型協同工作虛擬平臺框架DHPA。該框架支持各學科科學家異地協同進行科研工作，支持各種模型組件之間的互操作，支持基于互聯網的分布式計算和網格計算，能夠實現大規模空間天氣科學計算和模擬的需求，為科學家們的天氣預報決策提供重要的信息和手段。

參考文獻：

[1]GOMBOSI T I， TOTH G， SOKOLOV I V， et al. Halloween storm simulations with the space weather modeling framework[C]//Proc ofthe 44th AIAA Aerospace Sciences Meeting. Reno: American Institute of Aeronautics and Astronautics Press， 2006:87－98.

[2]羅瑜. 美發表促進空間天氣行動的建議書[N]. 中國氣象報， 2006－08－24(4).

[3]Community Coordinated Modeling Center．Space weather models at CCMC[EB/OL].(2006－03－01) [2007－05－29]. http://ccmc.gsfc.nasa.gov/models/index.php.

[4]TOTH G， SOKOLOV I V， GOMBOSI T I， et al. Space weather modeling framework: a new tool for the space science community[EB/OL].(2005)[2007－05－29].http://www.agu.org/pubs/crossref/2005/2005 JA011126.shtml.

［5］The Common Component Architecture Forum．CCA forum homepage[EB/OL].(2006－11－08)[2007－05－29]. http://www.cca－forum.org/.

[6]BROWN A W． Component－based software engineering[M]．Los Alamitos: IEEE Computer Society Press，1996.

[7]Object Management Group．CORBA component model[EB/OL].(2007－04－03) [2007－05－29].http://www.omg.org/technology/documents/formal/components.htm.

[8]Lawrence Livermore National Laboratory．Babel[EB/ OL].(2004－01－30) [2007－05－29]．http://www．llnl．gov/C ASC/components/babel．html．

[9]ALLAN B， ARMSTRONG R， LEFANTZI S， et al.Ccaffeine: a CCA component framework for parallel computing[EB/OL].(2005－07－22). [2007－05－29]. http:// www.cca－forum.org/ccafe/.

[10]GERMAIN J S T， MCCORQUODALE J， PARKER S， et al. Uintah: a massively parallel problem solving environment[C]//Proc ofHigh Performance Distributed Computing Conference. Pittsburgh: IEEE Computer Society Press， 2000: 33－41．

[11]Indiana University. XCAT homepage[EB/OL].(2004－09－07) [2007－05－29]. http://www.extreme.indiana.edu/x cat.

[12]Scientific Computing and Imaging Institute (SCI). SCIRun homepage[EB/OL].(2007－02－28) [2007－05－29].http://software.sci.utah.edu/scirun.html.

[13]BALAY S， DALCIN L， GROPP W， et al. PETSc home page[EB/OL].(2007－05－23) [2007－05－29]. http://www－unix.mcs.anl.gov/petsc.

[14]Argonne National Laboratory. Toolkit for advanced optimization[EB/OL].(2006－05－03) [2007－05－29].http: //www－unix.mcs.anl.gov/tao/.

[15]MNISZEWSKI S， FASEL P， RASMUSSEN C． Program coupling and parallel data transfer using PAWS[EB/OL].(2007－05－01) [2007－05－29]． http://acts． nersc．gov/events/Workshop2003/slides/Sottile．pdf.

[16]Lawrence Livermore National Laboratory． Alexandria component repository Homepage[EB/OL]．[2007－05－29](2004－01－30). http://www．llnl．gov/CASC/components/al exandria．html

[17]PREZ C， PRIOL T， RUBES A． PaCO++: a parallel object model for high performance distributed systems [C]//Proc of the 37th Annual Hawaii Inter－national Conference on System Sciences. Hawaii:[s.n.]， 2004.

[18]CHIU K，GOVINDARAJU M，BRAMLEY R．Invest－igating the limits of SOAP performance for scientific computing[C]//Proc of the 11th IEEE International Symposium on High Performance Distributed Computing. Edinburgh: IEEE Computer Society Press， 2002: 246－254．

[19]ENGELEN R A V， GALLIVAN K． The gSOAP toolkit for Web services and peer－to－peer computing networks[C]//Proc of the 2nd IEEE International Symposium on Cluster Computing and the Grid. Berlin: IEEE Computer Society Press， 2002: 128－135．

[20]SLOMINSKI A， GOVINDARAJU M， GANNON D， et al． Design of an XML based interoperable RMI system: SoapRMI C++/Java 1.1[C]//Proc of International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas: CSREA Press， 2001: 1661－1667.

[21]ABU－GHAZALEH N， LEWIS M J， GOVINDARAJU M． Differential serialization for optimized SOAP performance[C]//Proc of the 13th IEEE International Symposium on High Performance Distributed Computting． Hawaii: IEEE Computer Society Press， 2004:55－64．

[22]DAMEVSKI K， PARKER S． Parallel remote method invocation and m－by－n data redistribution[EB/OL].(2006－01－17) [2007－05－30].http://www．cs．utah．edu/~da mevski/files/MxNPaperR．pdf.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文