網(wǎng)格與云計(jì)算集成方案的簡(jiǎn)析

姚 鵬， 侯韶華

（南京郵電大學(xué) 光電工程學(xué)院，江蘇 南京 210003）

0 引言

網(wǎng)格計(jì)算將網(wǎng)絡(luò)中分散的計(jì)算機(jī)組成一個(gè)“虛擬的超級(jí)計(jì)算機(jī)”，利用其中各臺(tái)計(jì)算機(jī)閑置的計(jì)算能力來(lái)解決復(fù)雜的科學(xué)計(jì)算問(wèn)題，并支持跨管理域計(jì)算[1]。網(wǎng)格資源大多數(shù)時(shí)間不會(huì)被最佳利用，只有在某個(gè)高峰段,網(wǎng)格資源才被執(zhí)行任務(wù)充分利用。如果這個(gè)狀態(tài)持續(xù)很長(zhǎng)時(shí)間，那么新提交的網(wǎng)格任務(wù)需要在隊(duì)列中等待，直到需要的網(wǎng)格資源被釋放。

云計(jì)算是一種商業(yè)計(jì)算模型[2]。它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠按需獲取計(jì)算能力、存儲(chǔ)空間和軟件服務(wù)。云中的資源是可擴(kuò)展的，按需使用的和租憑付費(fèi)的?，F(xiàn)在公有云的普及仍然有一些障礙，特別是安全問(wèn)題。為了克服這些障礙，私有云出現(xiàn)了，它相對(duì)安全一些，而且依然保持云的典型特點(diǎn)，如彈性機(jī)制，但私有云的彈性拓展會(huì)受到私有云硬盤容量的限制。有研究人員試圖通過(guò)從公有云中獲取額外資源來(lái)處理私有云在需求高峰和極端需求[3]時(shí)的特殊情況。然而，集成私有云和公有云會(huì)面臨安全的威脅，所以不能被廣泛采納。

為了彌補(bǔ)網(wǎng)格和私有云的缺陷，人們?cè)噲D將兩者集成起來(lái)，將兩者的優(yōu)勢(shì)彌補(bǔ)彼此的缺陷：當(dāng)私有云在需求高峰和極端需求的情況下需要額外資源時(shí)，挪用網(wǎng)格資源；反之當(dāng)網(wǎng)格任務(wù)執(zhí)行阻塞時(shí)，挪用私有云資源。由于網(wǎng)格高度安全，所以這種集成不會(huì)對(duì)私有云帶來(lái)任何安全威脅。網(wǎng)格和云計(jì)算的集成在高性能計(jì)算（HPC）領(lǐng)域是非常重要的需求，而且這種集成能夠非常有效的利用資源，同時(shí)提高網(wǎng)格和云計(jì)算兩者的服務(wù)性能。

1 網(wǎng)格與云計(jì)算的通用框架

網(wǎng)格和云計(jì)算的集成架構(gòu)一般包括3個(gè)主要部分：網(wǎng)格，云和集成調(diào)度器，如圖1所示。

圖1 網(wǎng)格云集成通用框架

網(wǎng)格環(huán)境：網(wǎng)格環(huán)境如圖2所示，由傳統(tǒng)網(wǎng)格和網(wǎng)格元調(diào)度組成，網(wǎng)格元調(diào)度有 GridWay和GMarte[4]兩種。當(dāng)一個(gè)網(wǎng)格任務(wù)被提交給網(wǎng)格時(shí)，元調(diào)度將查詢有效的網(wǎng)格資源。如果有資源，網(wǎng)格元調(diào)度將任務(wù)請(qǐng)求傳遞給相應(yīng)集群的本地調(diào)度器。本地調(diào)度器將該請(qǐng)求交由計(jì)算節(jié)點(diǎn)來(lái)處理。如果查詢返回結(jié)果顯示沒(méi)有可用資源，那么該請(qǐng)求將會(huì)被傳遞給集成調(diào)度器，由集成調(diào)度器嘗試?yán)迷朴?jì)算來(lái)執(zhí)行。

圖2 網(wǎng)格環(huán)境

云計(jì)算環(huán)境：典型的云計(jì)算系統(tǒng)包括 Amazon EC2彈性計(jì)算云、Google App Engine。圖3所示的云計(jì)算環(huán)境中，管理器負(fù)責(zé)監(jiān)視統(tǒng)計(jì)云中每個(gè)集群的資源使用情況，為用戶提交的任務(wù)尋找最匹配的資源，同時(shí)根據(jù)用戶任務(wù)對(duì)軟硬件的需求，在云中部署虛擬器鏡像，最后分配任務(wù)到虛擬機(jī)上執(zhí)行。服務(wù)目錄能夠記錄云中已經(jīng)部署的虛擬機(jī)鏡像資源，這樣對(duì)于需要已有虛擬機(jī)鏡像的任務(wù)可以直接被執(zhí)行，而無(wú)需重新配置。

圖3 云計(jì)算環(huán)境

如果鏡像由于缺少資源不能夠被部署，那么該請(qǐng)求將會(huì)被傳遞給集成調(diào)度器，嘗試?yán)镁W(wǎng)格資源處理該任務(wù)。

集成調(diào)度器：集成調(diào)度器是網(wǎng)格云集成的核心。所有提交的任務(wù)均不考慮是否為網(wǎng)格任務(wù)或者云任務(wù)，全部存儲(chǔ)在任務(wù)管理器中。網(wǎng)格元調(diào)度和云管理器定時(shí)向集成調(diào)度器更新環(huán)境中的有效資源信息，以便調(diào)度器為提交的任務(wù)查詢合適的資源，分配給網(wǎng)格或者云計(jì)算處理。

2 網(wǎng)格云集成調(diào)度的負(fù)載均衡策略

集成調(diào)度器的核心任務(wù)是對(duì)網(wǎng)格和云進(jìn)行動(dòng)態(tài)負(fù)載均衡，提高整體計(jì)算的吞吐量，加強(qiáng)系統(tǒng)處理能力。現(xiàn)有的動(dòng)態(tài)負(fù)載策略分為負(fù)載狀態(tài)策略和資源需求策略。

負(fù)載狀態(tài)策略根據(jù)節(jié)點(diǎn)的負(fù)載狀態(tài)分配任務(wù)。如LVS中的最少連接數(shù)策略、服務(wù)器集群的LARD策略等。該類策略只有在保證任務(wù)資源需求特征不變和任務(wù)需求相似的前提下，才有好的效果。當(dāng)任務(wù)資源需求差異較大時(shí)，使用該類策略容易引起節(jié)點(diǎn)負(fù)載狀態(tài)抖動(dòng)，降低系統(tǒng)整體性能。而實(shí)踐中，網(wǎng)格和云中的資源匹配度不高，且云中任務(wù)資源需求不盡相同，這就使得負(fù)載狀態(tài)策略不理想。

資源需求策略根據(jù)任務(wù)資源需求信息和計(jì)算節(jié)點(diǎn)負(fù)載信息，將任務(wù)分配到符合任務(wù)資源需求且負(fù)載最低的節(jié)點(diǎn)上。如服務(wù)器集群的 CAP 策略和Branco的策略。該類策略在任務(wù)資源需求差異較大時(shí)能達(dá)到好的效果，但需要掌握任務(wù)的資源需求信息，這限制了其適用范圍。

已有的致力于集成網(wǎng)格和云計(jì)算的文獻(xiàn)提供了各式各樣的集成方案，文獻(xiàn)[5]中作者使用CometCloud軟件來(lái)動(dòng)態(tài)聯(lián)合網(wǎng)格和云計(jì)算，執(zhí)行應(yīng)用程序。

CometCloud實(shí)現(xiàn)了一種基于自主的cloudbridging和cloudbursting的動(dòng)態(tài)負(fù)載策略，自主 cloudbridging能夠?qū)崿F(xiàn)多樣計(jì)算環(huán)境的集成 ，而自主 cloudbursting實(shí)現(xiàn)了一種能夠解決動(dòng)態(tài)負(fù)載、需求高峰和極端需求下的動(dòng)態(tài)應(yīng)用規(guī)模擴(kuò)展。CometCloud 系統(tǒng)平臺(tái)的自適應(yīng)負(fù)載均衡策略可以很好地獲得工作節(jié)點(diǎn)的運(yùn)行信息，并精確計(jì)算其負(fù)載狀態(tài)，從而解決了網(wǎng)格云集成環(huán)境中，任務(wù)資源需求差異明顯，任務(wù)資源需求特征動(dòng)態(tài)多變且難以準(zhǔn)確掌握任務(wù)資源需求信息的難題。

在文獻(xiàn)[6]中，作者設(shè)計(jì)的網(wǎng)格云集成調(diào)度的策略參考了SLA（服務(wù)水平協(xié)議），采用任務(wù)執(zhí)行時(shí)間，任務(wù)執(zhí)行成本，應(yīng)用程序資源需求和網(wǎng)絡(luò)帶寬等因素，用貪心算法來(lái)折中選擇最佳的匹配資源。

網(wǎng)格云集成環(huán)境對(duì)于資源匹配有著精確的要求，這造成了集成環(huán)境中資源的無(wú)法被充分利用。文獻(xiàn)[7]中，作者提出在集成網(wǎng)格云計(jì)算環(huán)境中使用語(yǔ)義資源匹配，而不是精確匹配，通過(guò)語(yǔ)義資源匹配尋找可替代資源，讓更多的任務(wù)可以被分配到可用資源。例如用戶請(qǐng)求“鴨舌帽”的操作系統(tǒng)，“草帽”內(nèi)核的操作系統(tǒng)將是一個(gè)可替代的選擇。

3 結(jié)語(yǔ)

在當(dāng)下云計(jì)算迅速發(fā)展的大環(huán)境下，網(wǎng)格和云計(jì)算的融合也被寄予了期望。國(guó)外已有的網(wǎng)格云集成案例種類多樣，但側(cè)重點(diǎn)多在借助云計(jì)算資源動(dòng)態(tài)拓展的優(yōu)勢(shì)來(lái)優(yōu)化網(wǎng)格的高性能計(jì)算。

網(wǎng)格和云還具有多個(gè)方面的互補(bǔ)性[8-11]：

1）網(wǎng)格計(jì)算支持跨平臺(tái)、跨系統(tǒng)和跨地域；云計(jì)算的資源集中，云與云之間是獨(dú)立的信息孤島。網(wǎng)格云集成能夠幫助云計(jì)算平臺(tái)間實(shí)現(xiàn)互操作。

2）云計(jì)算主要針對(duì)松耦合數(shù)據(jù)處理應(yīng)用，對(duì)于不易分解成獨(dú)立子任務(wù)的緊耦合計(jì)算任務(wù)處理效率低；網(wǎng)格計(jì)算適合處理緊耦合型應(yīng)用。網(wǎng)格云集成可以擴(kuò)大應(yīng)用范圍。

3）云計(jì)算托管用戶數(shù)據(jù)，存在安全隱患；而網(wǎng)格具有物理分散、邏輯集中的特點(diǎn)。數(shù)據(jù)可以保存在客戶端，由用戶管控，對(duì)外界提供數(shù)據(jù)訪問(wèn)服務(wù)，有利于避免敏感數(shù)據(jù)的泄露。

網(wǎng)格和云集成有著很大的發(fā)展空間，也存在著一些難點(diǎn)，例如如何把網(wǎng)格跨平臺(tái)、跨系統(tǒng)和跨地域的特點(diǎn)賦予云計(jì)算，以及如何借鑒網(wǎng)格的安全優(yōu)勢(shì)來(lái)解決公有云的安全問(wèn)題，是網(wǎng)格云集成在未來(lái)的研究重點(diǎn)。

[1]Parascale.Eleven Benefits of Using the Cloud Storage[EB/OL].(2009-11-05)[2012-09-18].http://www.cloudcomputing-china.cn/Article/luilan/200909/306.html.

[2]GONG Qiang.Grid Computing Commercial Evolution of Cloud Computing and Application Prospects[J].Information Technology,2011(10):21-25.

[3]NAIR S K,PORWAL S,DIMITRAKOS T,et al.Towards Secure Cloud Bursting, Brokerage and Aggregation[C]// 8thEuropean Conference on Web Services.Cyprus: European Commission’s Seventh Framework Programme,2010:189-196.

[4]ALONSO J M,HERN′ANDEZ V,MOLT′O G.GMarte: Grid Middleware to Abstract Remote Task Execution[J].Concurrency and Computation: Practice and Experience,2006,18(15):2021-2036.

[5]KIM H,EL-KHAMRA Y, JHA S,et al.An Autonomic Approach to Integrated hpc Grid and Cloud Usage[C]// 15thIEEE International Conference on e-Science.Oxford: National Science Foundation,2009:366-373.

[6]CALATRAVA A,MOLT′O G,HERN ′ANDEZ V.Combining Grid and Cloud Resources for Hybrid Scientific Computing Executions[C]// Third IEEE International Conference on Cloud Computing Technology and Science.Athens:IEEE,2011:494-501.

[7]SELVARAJ K,MUKHERJEE S.Integration of Grid and Cloud with Semantics Based Integrator[C]// Third International Conference on Computational Intelligence, Communication Systems and Networks.Bali:IEEE,2011:308-313.

[8]The Grid Technology Complementary Cloud Computing[EB/OL].(2011-09-19)[2012-11-22].http://info.secu.hc360.com/2011/09/190857579562.shtml.

[9]曾曦,陳軍.下一代網(wǎng)絡(luò)軟件技術(shù)的發(fā)展趨勢(shì)[J].通信技術(shù),2007,40(11):223-224,232.

[10]唐新來(lái).網(wǎng)格環(huán)境下信息服務(wù)系統(tǒng)的研究[J].通信技術(shù),2009,42(02):314-316,319.

[11]張秋江,王澎.云計(jì)算的安全問(wèn)題探討[J].信息安全與通信保密,2011(05):94-95.