利用優(yōu)先級(jí)雙重深度強(qiáng)化學(xué)習(xí)的自適應(yīng)Web服務(wù)組合方法

張?chǎng)析?/p>

(新疆工程學(xué)院 工程技能實(shí)訓(xùn)學(xué)院，烏魯木齊 830023)

0 引言

隨著Web服務(wù)數(shù)量的急劇增加，網(wǎng)絡(luò)數(shù)據(jù)請(qǐng)求日益增多，且呈現(xiàn)出復(fù)雜化的趨勢(shì)，Web服務(wù)組合的優(yōu)化難度越來(lái)越大，要求也越來(lái)越高。如何從眾多的候選服務(wù)中快速地選擇出滿足用戶要求的可靠服務(wù)，在服務(wù)計(jì)算機(jī)方面帶來(lái)了一定的技術(shù)障礙。面向服務(wù)計(jì)算(SOC,service-oriented computing)的應(yīng)用主要是用來(lái)解決多款軟件在多個(gè)平臺(tái)中的相互協(xié)作，在不同服務(wù)提供商以及消費(fèi)者能夠合作的系統(tǒng)上，才可以更好的將SOC的作用發(fā)揮出來(lái)。由于單一服務(wù)無(wú)法確保符合人們對(duì)實(shí)際要求，多個(gè)服務(wù)開展合作就成了必然需求。服務(wù)組合的目的就是未來(lái)能夠進(jìn)一步制定面向服務(wù)架構(gòu)(SOA,service-oriented architecture)。在該過(guò)程中，最大的挑戰(zhàn)是，如何從一組功能等效的服務(wù)組合中選擇滿足服務(wù)質(zhì)量(QoS,quality of service)約束的最佳集合。雖然滿足QoS的服務(wù)組合在SOC和SOA領(lǐng)域得到了廣泛研究，但大多數(shù)現(xiàn)有的服務(wù)組合方法都建立于確定性環(huán)境中，當(dāng)面對(duì)動(dòng)態(tài)服務(wù)環(huán)境時(shí)，這些方法大多會(huì)失效。因?yàn)镾OC本就具有動(dòng)態(tài)特征，并且十分復(fù)雜，所以服務(wù)組合方法就要確保能夠更好地滿足服務(wù)環(huán)境將會(huì)發(fā)生變化的可能。除此之外，功能等效服務(wù)數(shù)量呈現(xiàn)幾何倍數(shù)遞增，所以這就要求要設(shè)計(jì)更加高效的算法，以便能夠快速在候選服務(wù)組合中進(jìn)行選擇的問(wèn)題。

強(qiáng)化學(xué)習(xí)(RL,reinforcement learning)通過(guò)一系列順序決策來(lái)達(dá)到特定目標(biāo)，在該策略過(guò)程中，智能體與環(huán)境進(jìn)行交互，通過(guò)反復(fù)試驗(yàn)來(lái)獲得最佳學(xué)習(xí)方案，目前，RL已經(jīng)成為處理自適應(yīng)服務(wù)組合的強(qiáng)大工具，通過(guò)與動(dòng)態(tài)服務(wù)環(huán)境的交互進(jìn)行反復(fù)學(xué)習(xí)，RL可以動(dòng)態(tài)地選擇最佳服務(wù)集，無(wú)需對(duì)服務(wù)環(huán)境的完整性和充分性進(jìn)行了解。……