基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測(cè)

陳禮賢,梁 杰,黃一帆,陳哲毅,于正欣,陳 星

1(福州大學(xué) 計(jì)算機(jī)與大數(shù)據(jù)學(xué)院 ,福州 350116)

2(福建省網(wǎng)絡(luò)計(jì)算與智能信息處理重點(diǎn)實(shí)驗(yàn)室,福州 350116)

3(蘭卡斯特大學(xué) 計(jì)算與通信學(xué)院,英國(guó) 蘭卡斯特 LA1 4YW)

0 引 言

作為一種物聯(lián)網(wǎng)(Internet-of-Things,IoT)時(shí)代的新興計(jì)算范式,邊緣計(jì)算可以有效地降低IoT應(yīng)用的響應(yīng)時(shí)間進(jìn)而提高用戶的服務(wù)體驗(yàn)[1].邊緣計(jì)算將計(jì)算與存儲(chǔ)資源部署在更加接近終端設(shè)備的網(wǎng)絡(luò)邊緣,有效支撐與提升各類IoT應(yīng)用(如,自動(dòng)駕駛、AR/VR和智能城市等)的運(yùn)行性能與效益.根據(jù)思科報(bào)告[2],到2023年,全球范圍內(nèi)將部署超過293億臺(tái)終端設(shè)備.如果將終端設(shè)備上所產(chǎn)生的計(jì)算任務(wù)全部上傳到遠(yuǎn)程云數(shù)據(jù)中心,無疑將消耗大量的帶寬資源并給云數(shù)據(jù)中心帶來巨大的處理負(fù)擔(dān).同時(shí),云數(shù)據(jù)中心與終端設(shè)備之間的長(zhǎng)距離數(shù)據(jù)傳輸也會(huì)造成嚴(yán)重的響應(yīng)延遲.相對(duì)而言,邊緣計(jì)算所提供的計(jì)算與存儲(chǔ)資源更加靠近終端設(shè)備,可大大減小傳輸數(shù)據(jù)與處理任務(wù)所產(chǎn)生的延遲,進(jìn)而在一定程度上降低服務(wù)提供商的運(yùn)營(yíng)成本并提升其服務(wù)質(zhì)量.因此,邊緣計(jì)算的出現(xiàn)可有效支持新興IoT應(yīng)用對(duì)實(shí)時(shí)性的高需求.

作為邊緣計(jì)算中一項(xiàng)重要的技術(shù)支撐,負(fù)載預(yù)測(cè)可更好地支持邊緣計(jì)算服務(wù)提供商進(jìn)行資源的提前配置與分配,進(jìn)而實(shí)現(xiàn)更高效更合理的資源供給.例如,當(dāng)有大量服務(wù)請(qǐng)求同時(shí)達(dá)到邊緣服務(wù)器時(shí),資源的配給不足會(huì)增加服務(wù)請(qǐng)求的等待時(shí)間;當(dāng)邊緣服務(wù)器長(zhǎng)時(shí)間內(nèi)僅有少量服務(wù)請(qǐng)求到達(dá)時(shí),資源的過度配給會(huì)導(dǎo)致服務(wù)器閑置狀態(tài)的頻繁出現(xiàn),造成了資源的浪費(fèi).因此,若預(yù)測(cè)未來一段時(shí)間內(nèi)的邊緣負(fù)載將處在較低水平時(shí),可相應(yīng)減少邊緣資源的分配;反之,若預(yù)測(cè)未來一段時(shí)間內(nèi)的邊緣負(fù)載將處在較高水平時(shí),可相應(yīng)增加邊緣資源的分配.因此,通過邊緣負(fù)載預(yù)測(cè),可以更好地保證服務(wù)級(jí)協(xié)議(Service Level Agreement,SLA)并有效提升邊緣計(jì)算系統(tǒng)的可靠性[3].不同于云數(shù)據(jù)中心負(fù)載,邊緣服務(wù)器部署在靠近終端設(shè)備的網(wǎng)絡(luò)邊緣,其負(fù)載狀況與終端用戶的工作與生活方式息息相關(guān)并隨之不斷變化[4].因此,需要高效地利用歷史邊緣負(fù)載數(shù)據(jù)對(duì)未來一段時(shí)間內(nèi)的負(fù)載情況進(jìn)行精確預(yù)測(cè),為智能化的邊緣資源管理提供有力支撐.例如,可利用邊緣負(fù)載預(yù)測(cè)結(jié)果指導(dǎo)虛擬機(jī)的分配與遷移,避免邊緣服務(wù)器過載或網(wǎng)絡(luò)擁塞等情況的出現(xiàn).此外,通過邊緣負(fù)載預(yù)測(cè)也可有效提升邊緣服務(wù)器的資源利用率并降低其能耗.

現(xiàn)有負(fù)載預(yù)測(cè)工作大多是以云數(shù)據(jù)中心為研究對(duì)象,這些工作主要基于傳統(tǒng)的回歸、啟發(fā)式和神經(jīng)網(wǎng)絡(luò)等方法.其中,基于神經(jīng)網(wǎng)絡(luò)的方法展現(xiàn)出了對(duì)時(shí)序預(yù)測(cè)問題良好處理能力.但是,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)一般只包含淺層的網(wǎng)絡(luò)結(jié)構(gòu)(如,多層感知機(jī)(Multilayer Perceptron,MLP)和徑向基函數(shù)(Radial Basis Function,RBF))[5].這類方法通常只能對(duì)具有明顯變化趨勢(shì)的負(fù)載實(shí)現(xiàn)精確預(yù)測(cè),對(duì)于高度變化的邊緣負(fù)載并不能取得高預(yù)測(cè)精度,因?yàn)樗鼈儫o法有效捕捉邊緣負(fù)載變化的模式.為了獲得更高的預(yù)測(cè)精度,需要利用一些更加復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)邊緣負(fù)載的變化模式.循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)[6]因其在時(shí)間序列建模方面的良好表現(xiàn)而經(jīng)常被用于云負(fù)載的預(yù)測(cè),但由于梯度消失問題,傳統(tǒng)的RNN難以學(xué)習(xí)長(zhǎng)期記憶依賴.為了彌補(bǔ)這一缺點(diǎn),一些RNN的改進(jìn)變體(如,長(zhǎng)短期記憶(Long Short-Term Memory,LSTM)[6]和門控循環(huán)單元(Gated Recurrent Neural Network,GRU)[7])被提出,并且展現(xiàn)出了對(duì)長(zhǎng)期記憶優(yōu)秀的學(xué)習(xí)能力.

相比集中式管理的云數(shù)據(jù)中心,邊緣服務(wù)器的部署更加分散,且不同邊緣服務(wù)器的負(fù)載分布高度不平均[4].例如,跨站點(diǎn)的邊緣服務(wù)器負(fù)載最大差距達(dá)19.8倍,而同站點(diǎn)的邊緣服務(wù)器負(fù)載最大差距也有14.3倍.這種邊緣負(fù)載數(shù)據(jù)樣本的分布不均導(dǎo)致了不同時(shí)間序列對(duì)于預(yù)測(cè)模型的影響程度是不同的,同時(shí)也給邊緣負(fù)載的預(yù)測(cè)工作帶來的挑戰(zhàn).因此,這種樣本級(jí)差異問題有待解決.此外,現(xiàn)有負(fù)載預(yù)測(cè)工作大多都只針對(duì)單點(diǎn)實(shí)值預(yù)測(cè),并不支持負(fù)載的概率分布預(yù)測(cè).但是,在許多實(shí)際邊緣計(jì)算場(chǎng)景中,得到未來負(fù)載變化的概率分布情況會(huì)比直接預(yù)測(cè)未來負(fù)載的實(shí)值更具應(yīng)用價(jià)值[8].這是因?yàn)檫吘壺?fù)載的概率分布預(yù)測(cè)對(duì)于把握邊緣負(fù)載的未來變化情況更有參考意義也更有助于邊緣計(jì)算系統(tǒng)靈活地調(diào)配資源供給.

為了解決上述關(guān)鍵性難題,本文提出了一種基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測(cè)方法(Edge Load Prediction with Deep Autoregressive Recurrent networks,ELP-DAR).本文的主要貢獻(xiàn)總結(jié)如下.

1)設(shè)計(jì)了一種新型的邊緣負(fù)載預(yù)測(cè)模型,并將精確預(yù)測(cè)未來邊緣負(fù)載的概率分布作為目標(biāo).首先,獲取邊緣服務(wù)器歷史負(fù)載數(shù)據(jù),對(duì)其進(jìn)行清洗、重采樣等預(yù)處理操作并引入?yún)f(xié)變量編碼.接著,通過實(shí)現(xiàn)對(duì)邊緣負(fù)載概率分布的精確預(yù)測(cè),以更好支持邊緣計(jì)算系統(tǒng)對(duì)資源的高效分配.

2)提出了一種新穎的基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測(cè)方法(ELP-DAR).ELP-DAR方法利用LSTM捕捉邊緣負(fù)載數(shù)據(jù)的重要表征,進(jìn)而實(shí)現(xiàn)對(duì)未來邊緣負(fù)載概率分布的精確預(yù)測(cè).特別地,ELP-DAR方法很好地?cái)M合了樣本級(jí)差異較大的邊緣負(fù)載數(shù)據(jù),為邊緣負(fù)載建立了統(tǒng)一的預(yù)測(cè)模型.

3)基于真實(shí)的邊緣負(fù)載數(shù)據(jù)集,通過大量仿真實(shí)驗(yàn)對(duì)所提出ELP-DAR方法的有效性進(jìn)行了驗(yàn)證與分析.實(shí)驗(yàn)結(jié)果表明,與其他基準(zhǔn)方法相比,ELP-DAR方法可以取得更高的預(yù)測(cè)精度,并且在不同預(yù)測(cè)長(zhǎng)度下均展現(xiàn)出了優(yōu)越的性能表現(xiàn).

1 相關(guān)工作

近年來,許多學(xué)者對(duì)負(fù)載預(yù)測(cè)問題開展了研究,主要可分為基于回歸的方法和基于學(xué)習(xí)的方法.在本節(jié)中,本文將從這兩個(gè)角度回顧并分析負(fù)載預(yù)測(cè)相關(guān)的研究工作.

1.1 基于回歸的負(fù)載預(yù)測(cè)方法

Hu等人[9]設(shè)計(jì)了一種基于自回歸的預(yù)測(cè)模型,利用歷史CPU使用率時(shí)序數(shù)據(jù)對(duì)未來負(fù)載進(jìn)行預(yù)測(cè).Calheiros等人[10]利用自回歸方法對(duì)Web應(yīng)用程序的未來請(qǐng)求量進(jìn)行預(yù)測(cè).但是,自回歸方法嚴(yán)格遵循線性,無法適應(yīng)復(fù)雜邊緣環(huán)境中高度變化的負(fù)載.Yang等人[11]提出了一種基于線性回歸的負(fù)載預(yù)測(cè)方法,進(jìn)而采用自動(dòng)縮放機(jī)制優(yōu)化虛擬資源分配,以滿足SLA并降低擴(kuò)展成本.Singh等人[12]將線性回歸與支持向量機(jī)相結(jié)合,用于Web應(yīng)用程序的負(fù)載預(yù)測(cè),并設(shè)計(jì)了一種負(fù)載分類器,根據(jù)負(fù)載特征選擇預(yù)測(cè)模型.Liu等人[13]提出了一種基于負(fù)載分類的自適應(yīng)負(fù)載預(yù)測(cè)方法,將各種預(yù)測(cè)模型分配給不同類型的負(fù)載.Bi等人[14]將Savitzky-Golay 濾波器和、小波分解與隨機(jī)混合網(wǎng)絡(luò)相結(jié)合,用于負(fù)載預(yù)測(cè).Kaur等人[15]針對(duì)科學(xué)應(yīng)用,將8種基于回歸的預(yù)測(cè)模型的平均精度作為最終的負(fù)載預(yù)測(cè)結(jié)果,但這種方法可能會(huì)受限于不同預(yù)測(cè)模型的訓(xùn)練時(shí)長(zhǎng).Xie等人[16]提出了一種基于ARIMA和三重指數(shù)平滑的混合模型,從線性與非線性角度實(shí)時(shí)預(yù)測(cè)云計(jì)算環(huán)境中容器資源負(fù)載的變化.

上述基于回歸的負(fù)載預(yù)測(cè)方法在處理具有明顯規(guī)律或趨勢(shì)的負(fù)載時(shí)可以實(shí)現(xiàn)精確的預(yù)測(cè).但是,在面對(duì)邊緣環(huán)境中高度變化的負(fù)載時(shí),這類方法很難學(xué)習(xí)到負(fù)載的重要表征.此外,這些方法通常只適用于小規(guī)模集群的場(chǎng)景,相比于邊緣計(jì)算場(chǎng)景,其負(fù)載變化所具有的方差更低,預(yù)測(cè)也更為容易.因此,為了能更好地捕捉到邊緣負(fù)載變化的重要表征,許多學(xué)者采用了一些更先進(jìn)的方法(如機(jī)器學(xué)習(xí)和深度學(xué)習(xí)).

1.2 基于學(xué)習(xí)的負(fù)載預(yù)測(cè)方法

Zhang等人[17]提出了一種基于規(guī)范多元分解的深度學(xué)習(xí)模型,用于預(yù)測(cè)云虛擬機(jī)負(fù)載使用情況.Kumar等人[18]提出了一種基于LSTM的負(fù)載預(yù)測(cè)模型,在降低均方誤差方面表現(xiàn)出良好的性能.Qiu等人[19]引入了一種負(fù)載特征提取方法,進(jìn)而通過深度學(xué)習(xí)預(yù)測(cè)虛擬機(jī)未來的負(fù)載情況.Zhu等人[20]提出了一種基于注意力機(jī)制的LSTM網(wǎng)絡(luò)模型,通過編碼器網(wǎng)絡(luò)提取歷史數(shù)據(jù)的特征,并將注意力機(jī)制集成到解碼器網(wǎng)絡(luò)中進(jìn)行負(fù)載預(yù)測(cè).Chen等人[21]提出了一種基于深度學(xué)習(xí)的負(fù)載預(yù)測(cè)方法,該方法先設(shè)計(jì)了一種改進(jìn)的稀疏自編碼器用于提取負(fù)載的特征,接著通過集成GRU以實(shí)現(xiàn)對(duì)高變化負(fù)載的自適應(yīng)精確預(yù)測(cè).Xu等人[5]提出了一個(gè)基于監(jiān)督學(xué)習(xí)深層神經(jīng)網(wǎng)絡(luò)用于對(duì)云環(huán)境下的負(fù)載進(jìn)行預(yù)測(cè).利用滑動(dòng)窗口將多元數(shù)據(jù)轉(zhuǎn)化為監(jiān)督學(xué)習(xí)時(shí)間序列,并使用改進(jìn)的GRU對(duì)負(fù)載進(jìn)行預(yù)測(cè).Bi等人[22]利用Bi-LSTM預(yù)測(cè)云環(huán)境下的負(fù)載變化與資源消耗,并在谷歌云集群數(shù)據(jù)集上進(jìn)行了驗(yàn)證.Karim等人[23]將RNN與Bi-LSTM相結(jié)合,用于預(yù)測(cè)虛擬機(jī)的CPU負(fù)載情況.Kim等人[24]設(shè)計(jì)了一種CloudInsight預(yù)測(cè)框架,該框架結(jié)合了多個(gè)基于傳統(tǒng)機(jī)器學(xué)習(xí)的預(yù)測(cè)器,可支持動(dòng)態(tài)與周期性優(yōu)化,以實(shí)現(xiàn)對(duì)云負(fù)載變化的準(zhǔn)確預(yù)測(cè).Singh等人[25]提出了一種基于進(jìn)化量子神經(jīng)網(wǎng)絡(luò)的云工作負(fù)載預(yù)測(cè)模型,利用了高效的量子計(jì)算,將工作負(fù)載編碼為量子比特,以提高預(yù)測(cè)的準(zhǔn)確性.Chen等人[26]設(shè)計(jì)了一種融合注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò),通過相關(guān)性分析來篩選性能指標(biāo)以作為云工作負(fù)載預(yù)測(cè)的多維特征輸入.

上述基于學(xué)習(xí)的負(fù)載預(yù)測(cè)方法大多針對(duì)都是云計(jì)算環(huán)境.近年來,邊緣計(jì)算吸引了來自學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注.作為邊緣計(jì)算中的一項(xiàng)重要技術(shù)支撐,負(fù)載預(yù)測(cè)可用于更好地支持邊緣資源的提前配置與分配,進(jìn)而實(shí)現(xiàn)更高效更合理的資源供給.此外,現(xiàn)有方法通常是對(duì)未來負(fù)載進(jìn)行單點(diǎn)實(shí)值預(yù)測(cè).但是,在許多實(shí)際邊緣計(jì)算環(huán)境中,預(yù)測(cè)未來負(fù)載變化的概率分布情況會(huì)比單純地得到未來負(fù)載的實(shí)值更具應(yīng)用價(jià)值.

2 系統(tǒng)模型與問題定義

為了更好地滿足用戶服務(wù)請(qǐng)求,邊緣計(jì)算系統(tǒng)需要能夠根據(jù)當(dāng)前和未來的負(fù)載情況對(duì)計(jì)算和存儲(chǔ)等資源進(jìn)行高效調(diào)度,從而實(shí)現(xiàn)系統(tǒng)的負(fù)載平衡.然而,由于邊緣負(fù)載的高度變化性,很難快速制定理想的資源調(diào)度方案,這會(huì)嚴(yán)重影響用戶體驗(yàn).同時(shí),不合理的資源調(diào)度方案也會(huì)導(dǎo)致不必要的運(yùn)維成本或違反SLA[21].針對(duì)邊緣計(jì)算環(huán)境,本文提出了一種負(fù)載預(yù)測(cè)模型,如圖1所示.

圖1 所提出的邊緣負(fù)載預(yù)測(cè)模型概覽Fig.1 Overview of the proposed edge-load prediction model

在所提出的邊緣預(yù)測(cè)模型中,本文利用了真實(shí)邊緣計(jì)算系統(tǒng)中歷史負(fù)載數(shù)據(jù).其中,CPU使用率被視為一項(xiàng)最關(guān)鍵的資源指標(biāo),因此本文將CPU使用率視為主要預(yù)測(cè)指標(biāo).在邊緣計(jì)算系統(tǒng)中,CPU使用率可能在短時(shí)間內(nèi)急劇變化.同時(shí),不同邊緣服務(wù)器的CPU使用率也存在較大的差異[4].例如,一些邊緣服務(wù)器的負(fù)載在短時(shí)間內(nèi)出現(xiàn)較大起伏,一些邊緣服務(wù)器的負(fù)載呈現(xiàn)明顯的季節(jié)性,而一些邊緣服務(wù)器的負(fù)載長(zhǎng)期處于較低水平.針對(duì)復(fù)雜多變的邊緣負(fù)載變化模式,所提出的邊緣預(yù)測(cè)模型將最小化預(yù)測(cè)負(fù)載與實(shí)際負(fù)載之間的誤差,以提高邊緣計(jì)算系統(tǒng)的服務(wù)質(zhì)量.

具體而言,針對(duì)一臺(tái)邊緣服務(wù)器i的負(fù)載,zi,t表示邊緣服務(wù)器i在一段時(shí)間t內(nèi)的CPU使用率變化情況.那么,該邊緣服務(wù)器的歷史負(fù)載序列可表示為[zi,1,zi,2,…,zi,t0-1]:=zi,1:t0-1,未來預(yù)測(cè)負(fù)載序列可表示為[zi,t0,zi,t0+1,…,zi,T]:=zi,t0:T.其中,t0表示負(fù)載預(yù)測(cè)的起始點(diǎn),T為負(fù)載序列的總長(zhǎng)度,[1,t0-1]表示歷史負(fù)載序列的時(shí)間范圍,[t0,T]表示未來預(yù)測(cè)負(fù)載序列的時(shí)間范圍.由于原始邊緣負(fù)載數(shù)據(jù)集采用了較高的采樣頻率,產(chǎn)生了一定量的噪聲數(shù)據(jù).對(duì)于無效數(shù)據(jù),在數(shù)據(jù)清洗過程中通過取區(qū)間平均值進(jìn)行替換.同時(shí),負(fù)載數(shù)據(jù)的高緯度與冗余性會(huì)嚴(yán)重影響了預(yù)測(cè)精度,也導(dǎo)致了較高的計(jì)算復(fù)雜度.針對(duì)這一問題,本文通過重采樣對(duì)負(fù)載數(shù)據(jù)進(jìn)行了壓縮,有效提取出負(fù)載數(shù)據(jù)的重要特征.此外,本文將使用邊緣服務(wù)器的用戶作為協(xié)變量以提升邊緣負(fù)載預(yù)測(cè)模型的學(xué)習(xí)效果,因?yàn)閰f(xié)變量的引入可以幫助預(yù)測(cè)模型更好地捕捉序列之間的關(guān)聯(lián)性.具體而言,本文將用戶ID編碼為協(xié)變量,表示為[xi,1,xi,2,…,xi,T]:=xi,1:T.在邊緣計(jì)算系統(tǒng)中,跨服務(wù)器之間的CPU使用率存在10～20倍的差異.為了應(yīng)對(duì)上述數(shù)據(jù)跨度差異進(jìn)而建立精確的邊緣負(fù)載預(yù)測(cè)模型,本文將每條邊緣服務(wù)器負(fù)載數(shù)據(jù)的均值作為縮放因子vi(在輸入預(yù)測(cè)模型時(shí)將負(fù)載除以vi,在輸出預(yù)測(cè)模型時(shí)將相應(yīng)的負(fù)載乘以vi),其定義為:

(1)

接著,經(jīng)過數(shù)據(jù)預(yù)處理,縮放后的歷史負(fù)載zi,1:t0-1和協(xié)變量xi,t0-1將作為預(yù)測(cè)模型的輸入,對(duì)未來的邊緣負(fù)載進(jìn)行預(yù)測(cè).預(yù)測(cè)模型能夠根據(jù)已知的歷史負(fù)載對(duì)未來的負(fù)載情況進(jìn)行建模,得到未來負(fù)載的概率分布,其定義為:

P(zi,t0:T|zi,1:t0-1,xi,1:T)

(2)

最后,邊緣負(fù)載預(yù)測(cè)結(jié)果將協(xié)助邊緣計(jì)算服務(wù)提供商制定合適的資源調(diào)度方案,以實(shí)現(xiàn)邊緣計(jì)算系統(tǒng)的負(fù)載均衡.為了從歷史邊緣負(fù)載數(shù)據(jù)中捕捉未來的邊緣負(fù)載的變化情況,本文提出了一種新穎的ELP-DAR方法以對(duì)時(shí)間序列問題實(shí)現(xiàn)更精確的概率分布預(yù)測(cè),ELP-DAR方法的細(xì)節(jié)將在第4節(jié)中給出.為評(píng)估邊緣負(fù)載預(yù)測(cè)的精確度,本文引入了RMSE、ND和mean wQuantileLoss等性能指標(biāo)[8],其具體定義為:

(3)

(4)

(5)

(6)

3 ELP-DAR方法

基于所提出的系統(tǒng)模型與問題定義,本文提出了一種新穎的基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測(cè)方法(ELP-DAR),其關(guān)鍵步驟如算法1所示.

算法1.所提出的ELP-DAR方法

1. 輸入:邊緣負(fù)載數(shù)據(jù)[zi,1,zi,2,…,zi,T]:=zi,1:T、協(xié)變量[xi,1,xi,2,…,xi,T]:=xi,1:T

3. 初始化:學(xué)習(xí)率γ、訓(xùn)練輪數(shù)K、邊緣服務(wù)器數(shù)N、LSTM神經(jīng)網(wǎng)絡(luò)層數(shù)Nl、LSTM每層神經(jīng)網(wǎng)絡(luò)神經(jīng)元數(shù)Nc、負(fù)載輸入長(zhǎng)度Lc、負(fù)載預(yù)測(cè)長(zhǎng)度Lp、訓(xùn)練批(mini-batch)大小Nbs、分布函數(shù)P、編碼器輸入初始化為0

4. 根據(jù)Lc和Lp,將時(shí)序數(shù)據(jù)zi,1:T劃分為輸入負(fù)載數(shù)據(jù)[zi,t0-Lc,zi,t0-Lc+1,…,zi,t0-1]:=zi,t0-Lc:t0-1和預(yù)測(cè)負(fù)載數(shù)據(jù)[zi,t0,zi,t0+1,…,zi,t0+Lp]:=zi,t0:t0+Lp,并同理將協(xié)變量做相應(yīng)劃分;

5. FORepisode=1,2,…,KDO

6. FORi=1,2,…,NDO

7. 編碼器對(duì)zi,t0-Lc:t0-1、xi,t0-Lc:t0-1進(jìn)行編碼并輸出hi,t0-1;

8. 解碼器hi,t0-1,zi,t0:t0+Lp、xi,t0:t0+Lp對(duì)進(jìn)行解碼;

9. FORt= 1,2,…,Lc+LpZ DO

11. END FOR

12. FORt= 1,2,…,LpZDO

13. 計(jì)算每個(gè)時(shí)間步t的似然函數(shù)參數(shù):θi,t=θ(hi,t,Θl);

16. END FOR

17. FORj= 1,2,…,NbsDO

18. 通過Adam訓(xùn)練LSTM單元的參數(shù)Θh(Wc,Wf,Wi,Wo)和似然函數(shù)的映射參數(shù)Θl(Wμ,Wσ));

19. END FOR

20. END FOR

21. END FOR

所提出的ELP-DAR方法利用LSTM提取時(shí)序特征,其輸入是過去一段時(shí)間內(nèi)的邊緣負(fù)載數(shù)據(jù)和協(xié)變量.ELP-DAR方法的目標(biāo)是預(yù)測(cè)每個(gè)時(shí)間步上邊緣負(fù)載zi,t的概率分布.基于公式(2),上述概率分布定義為:

(7)

其中,hi,t代表一個(gè)LSTM的輸出.將上一時(shí)刻的觀察值z(mì)i,t-1和LSTM輸出hi,t-1作為輸入,通過計(jì)算可得到hi,t為:

hi,t=h(hi,t-1,zi,t-1,xi,t,Θh)

(8)

其中,h表示一個(gè)具有多層LSTM結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),Θh為L(zhǎng)STM中參數(shù)的集合.上一時(shí)刻的邊緣負(fù)載數(shù)據(jù)zi,1:t-1和隱藏層輸出hi,t-1將用于計(jì)算當(dāng)前時(shí)刻的網(wǎng)絡(luò)輸出hi,t.似然函數(shù)l(zi,t|θ(hi,tΘl))為一個(gè)概率分布,通過θ(hi,t,Θl)計(jì)算得到其參數(shù)集合,包括均值μ與方差σ等,而Θl實(shí)現(xiàn)了從hi,t到似然函數(shù)參數(shù)集合的映像.

ELP-DAR方法總體上為一種序列-序列(Sequence-to-Sequence,S2S)架構(gòu),包含編碼器與解碼器.具體而言,ELP-DAR方法中的編碼器與解碼器采用了相同的網(wǎng)絡(luò)結(jié)構(gòu)且它們之間共享權(quán)重.編碼器的初始輸入(hi,t0-1和zi,0)均初始化為0.在時(shí)間區(qū)間[1,t0-1]內(nèi),編碼器通過計(jì)算得到hi,t0-1,并將其作為解碼器的初始輸入.

圖2展示了ELP-DAR方法的訓(xùn)練與預(yù)測(cè)過程.訓(xùn)練與預(yù)測(cè)過程中的編碼器是相同的.在模型訓(xùn)練階段,所有負(fù)載數(shù)據(jù)都是已知的,編碼器將[1,t0-1]時(shí)間區(qū)間內(nèi)的負(fù)載數(shù)據(jù)依次輸入到LSTM中,得到最后一層隱藏層的輸出hi,t0-1,并將其作為解碼器的輸入.

圖2 ELP-DAR方法中的S2S架構(gòu)Fig.2 S2S architecture in the ELP-DAR method

ELP-DAR方法的訓(xùn)練過程如圖2(a)所示.每一個(gè)時(shí)間步的輸入包括協(xié)變量xi,t0、前一時(shí)刻的負(fù)載值z(mì)i,t0-1以及前一時(shí)刻的網(wǎng)絡(luò)輸出hi,t0-1,通過訓(xùn)練得到當(dāng)前時(shí)刻的網(wǎng)絡(luò)輸出hi,t0=h(hi,t0-1,zi,1:t0-1,xi,t0,Θh),進(jìn)而計(jì)算似然函數(shù)l(zi,t0|θi,t0)的參數(shù)θi,t0=θ(hi,t0,Θl).接著,通過自適應(yīng)動(dòng)量的隨機(jī)優(yōu)化方法(Adaptive Moment,Adam)優(yōu)化損失函數(shù):

(9)

其中,N為邊緣負(fù)載數(shù)據(jù)序列的總數(shù)量,θ(hi,t,Θl)為似然函數(shù)的參數(shù)集合,zi,t為真實(shí)負(fù)載值.

(10)

圖3 ELP-DAR 方法中的LSTM單元結(jié)構(gòu)Fig.3 LSTM cell structure in the ELP-DAR method

(11)

其中,Wc表示與前一層隱藏層與輸入zt、xt之間的連接權(quán)重,bc表示對(duì)應(yīng)的偏差.

遺忘門定義為:

ft=sig(Wf[zt,xt,ht-1]+bf)

(12)

其中,Wf表示與前一層隱藏層與輸入zt、xt之間的連接權(quán)重,bf表示對(duì)應(yīng)的偏差.

更新門定義為:

it=sig(Wi[zt,xt,ht-1]+bi)

(13)

其中,Wi表示與前一層隱藏層與輸入zt、xt之間的連接權(quán)重,bi表示對(duì)應(yīng)的偏差.

輸出門定義為:

ot=sig(Wo[zt,xt,ht-1]+bo)

(14)

其中,Wo表示與前一層隱藏層與輸入zt、xt之間的連接權(quán)重,bo表示對(duì)應(yīng)的偏差.輸出門ot用于計(jì)算t時(shí)刻的隱藏層輸出ht,其定義為:

ht=ottanh(ct)

(15)

與現(xiàn)有負(fù)載預(yù)測(cè)相關(guān)工作不同的是,所提出的ELP-DAR 方法并不是直接輸出下一時(shí)刻的負(fù)載實(shí)值,而是輸出下一時(shí)刻負(fù)載預(yù)測(cè)的概率分布.針對(duì)邊緣服務(wù)器負(fù)載存在的數(shù)據(jù)特征差異,ELP-DAR方法考慮了基于不同概率分布的似然函數(shù),包括高斯似然函數(shù)和T分布似然函數(shù).以高斯似然函數(shù)為例,只需要考慮均值和方差這兩個(gè)參數(shù),其定義為:

(16)

其中,均值通過將神經(jīng)網(wǎng)絡(luò)最后一層的輸出映射到線性層得到,其定義為:

(17)

而方差則是進(jìn)一步通過softplus函數(shù)進(jìn)行激活后得到,其定義為:

(18)

4 性能評(píng)估

在本節(jié)中,首先介紹了數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置.接著,本文對(duì)所提出的ELP-DAR方法的性能進(jìn)行了評(píng)估,并于其他基準(zhǔn)方法進(jìn)行了對(duì)比.

4.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中,本文采用了真實(shí)的邊緣負(fù)載數(shù)據(jù)集[4].該數(shù)據(jù)集包含了6870臺(tái)邊緣服務(wù)器的負(fù)載數(shù)據(jù),并以1分鐘為采樣頻率記錄了其1個(gè)月內(nèi)的負(fù)載變化情況.具體而言,本文將CPU使用率作為采樣的關(guān)鍵性能指標(biāo),并將邊緣服務(wù)器所屬的用戶ID、開始記錄時(shí)間、結(jié)束記錄時(shí)間、采樣頻率等信息作為邊緣負(fù)載數(shù)據(jù)集的組成部分.圖4展示了不同邊緣服務(wù)器的CPU使用率,不同邊緣服務(wù)器的負(fù)載變化模式存在高度差異.例如,負(fù)載變化可能會(huì)表現(xiàn)出較強(qiáng)的隨機(jī)性,也可能會(huì)表現(xiàn)出較強(qiáng)的季節(jié)性.

圖4 邊緣負(fù)載變化模式的高度差異Fig.4 High variance of edge-load patterns

基于GlounTS[27],本文實(shí)現(xiàn)了所提出的邊緣負(fù)載預(yù)測(cè)模型.對(duì)于6870條邊緣負(fù)載數(shù)據(jù),本文將每條負(fù)載數(shù)據(jù)劃分為訓(xùn)練集(50%)、驗(yàn)證集(25%)和測(cè)試集(25%).其中,訓(xùn)練集用于模型的訓(xùn)練(計(jì)算神經(jīng)網(wǎng)絡(luò)的權(quán)重),驗(yàn)證集用于模型參數(shù)的選擇(選擇超參數(shù)并防止過擬合),而測(cè)試集則是用于模型性能的評(píng)估.在每個(gè)數(shù)據(jù)集中,根據(jù)負(fù)載輸入長(zhǎng)度和負(fù)載預(yù)測(cè)長(zhǎng)度生成多個(gè)負(fù)載實(shí)例.其中,本文設(shè)置了預(yù)測(cè)長(zhǎng)度為20分鐘、40分鐘、60分鐘、1天、2天、3天等場(chǎng)景.對(duì)分鐘級(jí)別的預(yù)測(cè)場(chǎng)景,設(shè)置輸入長(zhǎng)度為60分鐘;對(duì)天級(jí)別的預(yù)測(cè)場(chǎng)景,設(shè)置輸入長(zhǎng)度為3天.同時(shí),本文對(duì)用戶ID進(jìn)行了編碼并作為協(xié)變量,并與邊緣負(fù)載數(shù)據(jù)一同作為邊緣負(fù)載預(yù)測(cè)模型的輸入.此外,本文設(shè)置訓(xùn)練總輪數(shù)為100,學(xué)習(xí)率為0.001,LSTM層數(shù)為3,每層的神經(jīng)元為120,批大小為32.

為消除噪聲數(shù)據(jù)以進(jìn)一步提升預(yù)測(cè)的精度與效率,本文根據(jù)預(yù)測(cè)長(zhǎng)度設(shè)置了不同的重采樣頻率.對(duì)于分鐘級(jí)別的預(yù)測(cè)場(chǎng)景,由于數(shù)據(jù)集本身采樣頻率為1分鐘,故沒有進(jìn)行重采樣;對(duì)于天級(jí)別的預(yù)測(cè)場(chǎng)景,重采樣頻率設(shè)置為30分鐘,并取區(qū)間上界時(shí)間戳作為重采樣后的新時(shí)間戳.圖5展示了重采樣前后負(fù)載數(shù)據(jù)的對(duì)比,可以發(fā)現(xiàn),重采樣后的數(shù)據(jù)保留了原始負(fù)載數(shù)據(jù)的主要特征和變化模式.通過重采樣對(duì)數(shù)據(jù)進(jìn)行了壓縮并在一定程度上消除了噪聲,因此可減小模型訓(xùn)練的復(fù)雜度并提升其收斂效果.

圖5 重采樣前后負(fù)載數(shù)據(jù)的對(duì)比Fig.5 Comparison of load data before and after resampling

基于上述數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置,本文將所提出的ELP-DAR方法與以下3種基準(zhǔn)方法進(jìn)行了對(duì)比:

1)MQ-RNN[28]:基于S2S架構(gòu),編碼器采用LSTM,解碼器采用MLP,輸出負(fù)載的分位數(shù);

2)MQ-CNN[28]:基于S2S架構(gòu),編碼器采用CNN,解碼器采用MLP,輸出負(fù)載的分位數(shù);

3)SFF(Simple Feed Forward):傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò),各神經(jīng)元分層排列,輸出負(fù)載的分位數(shù).

4.2 結(jié)果分析

首先,對(duì)于不同預(yù)測(cè)長(zhǎng)度場(chǎng)景,本文評(píng)估了不同概率分布函數(shù)對(duì)所提出ELP-DAR方法預(yù)測(cè)性能的影響.如表1所示,當(dāng)預(yù)測(cè)長(zhǎng)度小于等于1天時(shí),ELP-DAR方法采用高斯分布相比于采用T分布可取得更好的性能表現(xiàn);當(dāng)預(yù)測(cè)長(zhǎng)度大于1天時(shí),隨著預(yù)測(cè)長(zhǎng)度的增加,采高斯分布的ELP-DAR方法預(yù)測(cè)精度逐漸下降,而采用T分布的ELP-DAR方法仍保持較高的預(yù)測(cè)精度.因?yàn)楦咚狗植紴門分布的特殊情況,且T分布更加適合方差未知的樣本數(shù)據(jù).在預(yù)測(cè)長(zhǎng)度較短的場(chǎng)景中,負(fù)載變化模式更易于捕捉,因此采用高斯分布和T分布所產(chǎn)生的預(yù)測(cè)性能并沒有較大差距.但是,隨著預(yù)測(cè)長(zhǎng)度的增加,負(fù)載變化模式變得更加復(fù)雜,導(dǎo)致高斯分布擬合性能的下降.相對(duì)而言,T分布對(duì)方差未知的負(fù)載數(shù)據(jù)具備更好的擬合能力.因此,在接下來的實(shí)驗(yàn)中,對(duì)于預(yù)測(cè)長(zhǎng)度小于等于1天的場(chǎng)景,本文采用高斯分布作為擬合的似然函數(shù);對(duì)于預(yù)測(cè)長(zhǎng)度大于1天的場(chǎng)景,本文采用T分布作為擬合的似然函數(shù).

表1 不同預(yù)測(cè)長(zhǎng)度下采用T分布與高斯分布的性能對(duì)比Table 1 Performance comparison of T and Gaussian distributions with different prediction lengths

接著,本文對(duì)比了ELP-DAR方法與其他3種基準(zhǔn)方法在不同預(yù)測(cè)長(zhǎng)度下的性能表現(xiàn).如表2所示,在分鐘級(jí)別的預(yù)測(cè)場(chǎng)景下,ELP-DAR方法在幾項(xiàng)不同的評(píng)價(jià)指標(biāo)上都展現(xiàn)出了更好的性能.當(dāng)預(yù)測(cè)長(zhǎng)度較短時(shí),由于負(fù)載變化模式較為簡(jiǎn)單,ELP-DAR方法相比于其他3種基準(zhǔn)方法在預(yù)測(cè)精度上沒有體現(xiàn)出較大的優(yōu)越性.例如,在預(yù)測(cè)長(zhǎng)度為20和60分鐘的場(chǎng)景中,SFF和MQ-CNN方法在部分評(píng)價(jià)指標(biāo)中展現(xiàn)出比ELP-DAR方法更好的預(yù)測(cè)性能.在天級(jí)別的預(yù)測(cè)場(chǎng)景中,ELP-DAR方法在預(yù)測(cè)精度上優(yōu)于其他3種基準(zhǔn)方法.隨著預(yù)測(cè)長(zhǎng)度的不斷增加,ELP-DAR方法可以保持比較穩(wěn)定的預(yù)測(cè)性能,并且與其他方法的性能差異愈發(fā)明顯.基于S2S架構(gòu)的MQ-RNN和MQ-CNN方法的預(yù)測(cè)性能優(yōu)于SFF方法,但相比于ELP-DAR方法仍存在不小差距.這是因?yàn)镋LP-DAR方法的編碼器和解碼器中均采用了LSTM,并且能夠根據(jù)不同預(yù)測(cè)長(zhǎng)度擬合出合適的概率分布函數(shù),因此對(duì)于不同預(yù)測(cè)長(zhǎng)度場(chǎng)景展現(xiàn)出了更優(yōu)越的預(yù)測(cè)性能.特別地,在Mean wQuantileLoss這項(xiàng)評(píng)價(jià)指標(biāo)上(該評(píng)價(jià)指標(biāo)反映了不同分位數(shù)的計(jì)算誤差),相比于其他3種基準(zhǔn)方法,ELP-DAR方法取得了更高的預(yù)測(cè)精度.這說明ELP-DAR方法不僅在單點(diǎn)預(yù)測(cè)中具備良好的性能表現(xiàn),并且在概率分布預(yù)測(cè)方面,ELP-DAR方法得到的分位數(shù)也能更好地涵蓋真實(shí)值.這也彌補(bǔ)了在一些預(yù)測(cè)場(chǎng)景出現(xiàn)單點(diǎn)預(yù)測(cè)性能不理想的情況,ELP-DAR方法可以通過概率預(yù)測(cè)給出分位數(shù),更好地判斷負(fù)載未來的變化趨勢(shì).

表2 各種方法在不同預(yù)測(cè)長(zhǎng)度下的性能表現(xiàn)Table 2 Performance of various methods with different prediction lengths

圖6展示了當(dāng)預(yù)測(cè)長(zhǎng)度為3天時(shí)不同方法的預(yù)測(cè)效果.其中,90%預(yù)測(cè)區(qū)間表示預(yù)測(cè)的負(fù)載值有90%的概率落在該區(qū)間內(nèi);50%預(yù)測(cè)區(qū)間表示預(yù)測(cè)的負(fù)載值有50%的概率落在該區(qū)間內(nèi).從圖中可以發(fā)現(xiàn),ELP-DAR方法能夠較為精準(zhǔn)地預(yù)測(cè)出未來3天內(nèi)負(fù)載的概率分布,且負(fù)載真實(shí)值大部分也都落在90%預(yù)測(cè)區(qū)間內(nèi).MQ-RNN、MQ-CNN和SFF等方法雖然能夠大致預(yù)測(cè)出負(fù)載在未來3天內(nèi)的變化趨勢(shì),但無論是對(duì)于90%或50%預(yù)測(cè)區(qū)間都是通過較大的預(yù)測(cè)范圍來將真實(shí)負(fù)載值囊括在內(nèi).因此,這些方法無法準(zhǔn)確地預(yù)測(cè)真實(shí)值可能落在的區(qū)間,并且隨著預(yù)測(cè)長(zhǎng)度的增加,預(yù)測(cè)區(qū)間范圍也不斷擴(kuò)大,這說明方法的置信度較低.相比于這些方法,所提出ELP-DAR方法隨著預(yù)測(cè)長(zhǎng)度的增加仍可以保持較高的置信度,其預(yù)測(cè)區(qū)間能夠精確地反映負(fù)載真實(shí)值的變化趨勢(shì).

圖6 當(dāng)預(yù)測(cè)長(zhǎng)度為3天時(shí)不同方法的預(yù)測(cè)效果Fig.6 Prediction effect of different methods when the prediction length is 3 days

5 結(jié) 論

在本文中,首先設(shè)計(jì)了一種新型的邊緣負(fù)載預(yù)測(cè)模型.接著,本文提出了一種基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測(cè)方法(ELP-DAR),高效捕捉邊緣負(fù)載變化的重要表征,進(jìn)而實(shí)現(xiàn)對(duì)未來邊緣負(fù)載概率分布的精確預(yù)測(cè).基于真實(shí)的邊緣負(fù)載數(shù)據(jù)集,本文進(jìn)行了大量實(shí)驗(yàn),驗(yàn)證了所提出ELP-DAR方法的可行性和有效性.實(shí)驗(yàn)結(jié)果表明,ELP-DAR方法可通過選擇不同的概率分布函數(shù)從而針對(duì)不同預(yù)測(cè)長(zhǎng)度實(shí)現(xiàn)更優(yōu)的預(yù)測(cè)效果.與其他基準(zhǔn)方法相比,ELP-DAR方法在不同預(yù)測(cè)長(zhǎng)度下均展現(xiàn)出了更加優(yōu)越的預(yù)測(cè)精度,并且在不同預(yù)測(cè)區(qū)間內(nèi)均取得了更高的置信度.