基于生成對抗網絡與深度學習的少數據云資源預測

陳基漓， 張長暉， 謝曉蘭*

(1. 桂林理工大學信息科學與工程學院， 桂林 514004； 2.廣西嵌入式技術與智能系統重點實驗室， 桂林 514004)

在云資源計算領域中，云資源預測是一個重要的研究領域，通過對云計算資源的長/短期預測，可以降低資源抖動的概率，從而實現計算平臺的安全運行[1]。長期以來，云資源預測的研究就受到中外學者的廣泛重視，然而現實情況較為復雜，導致預測結果的準確性較低。因此，實現云資源較高精度的預測是所有學者面臨的一大挑戰。

云資源數據是時間序列樣本的一種，對于時間序列樣本的傳統預測研究中，主要有兩種方法：一是物理模型方法，二是統計學方法[2]。由于實際云資源數據具有波動性和隨機性，常規的物理模型在預測上存在很多干擾因素，預測難度大。統計學方法預測過程中受到不少復雜因素的影響[3]，其預測精度同樣有限。

近年來，隨著人工智能的發展，深度學習和機器學習算法已經成為了時間序列數據預測的研究熱點。人工智能算法具有良好的參數學習能力以及非線性數據擬合能力[4]，隨著機器學習和深度學習的技術在圖像處理以及語音識別等領域的逐漸成熟，其思路和方法技術逐步被應用到多個領域時間序列的預測研究中，主要包括：反向傳播神經網絡(back propagation neural network， BPNN)[5]、支持向量機(support vector machine， SVM)[6]、隨機森林(random forest，RF)[7]、極限學習機(extreme learning machine，ELM)[8]和長短期時間記憶網絡(long short-term memory network, LSTM)[9]。

文獻[10]建立了改進BP神經網絡模型進行云資源預測，但是BP神經網絡模型結構過于簡易，存在的缺點有：①參數權重繁多和學習速度慢，迭代時間過長，容易出現梯度爆炸或者梯度消失的現象；②容易出現過擬合現象，泛化能力低下，即訓練集的預測效果良好，但在測試集中的預測效果很差；③陷入局部最值，在訓練過程中梯度下降到局部極小值點就停止迭代，無法跳出局部最優。文獻[11]提出了一種自適應神經網絡的云資源預測模型相對于BPNN模型，自適應網絡算法的學習速度較高且泛化能力強，但是其預測結果并不穩定，非線性擬合能力不高。單一的算法模型存在自身的局限性，很難有較高的預測準確率，因此許多學者對傳統算法模型進行改進，從而達到提高預測精度的目的。文獻[6]使用卷積神經網絡和支持向量機建立了云資源預測模型，經卷積神經網絡處提取空間關系后的數據，加強了SVM的數據擬合能力以及泛化能力，提高了模型訓練的預測精度，但是SVM仍然對原始數據中存在的噪聲比較敏感，一旦噪聲明顯則模型訓練的效果較差。此外，巨大數據量的樣本會使得SVM的計算過程變得困難。

以往關于云計算資源的預測研究中，不少算法模型在一定程度上有著較高的預測精度[12]，但是在數據匱乏的情況下，原本的算法模型精度明顯下降。對于資源數據相對較少的情況下，數據的匱乏將會很大程度提高算法模型的訓練難度，降低模型預測的準確率[13]。在電氣領域，文獻[14]使用生成對抗網絡對變壓器數據這類時序樣本進行學習擴充，在得到高質量的虛擬數據后，因少樣本數據造成的預測精度低下的問題得到明顯改善。現借鑒已有生成對抗網絡(generative adversarial network, GAN)技術，提出在云計算資源的預測研究中使用生成對抗網絡對云資源數據進行學習擴充，同時，針對傳統循環神經網絡無法全面利用數據時間相關信息這一局限性，使用雙向門控循環單元網絡作為預測模型，從前向和反向兩個方向提取數據的時間相關性，以期提高模型預測性能。

1 WGAN模型

1.1 GAN模型

GAN算法作為一種典型的無監督深度學習方法[15]，已被廣泛應用于解決圖像處理、特征提取和模型識別等問題。在GAN框架中，生成模型和判別模型相互博弈，產生最優的數據結果[16]。生成模型用于提取真實數據樣本中潛在的復雜分布并生成虛擬樣本，并使用判別模型來識別輸入是來自真實樣本還是虛擬樣本。生成模型和鑒別模型通過“最小-極大”博弈不斷優化，分別提高生成器生成數據的能力和判別器判斷數據真假的能力[17]。GAN的基本架構如圖1所示。

生成模型生成的真實樣本x和虛擬樣本G(z)都可以作為判別模型的輸入。如果輸入為G(z)，則將判別模型的輸出標記為“0”。如果輸入是真實樣本x，則將判別模型的輸出標記為“1”。生成模型的主要目的是模擬真實樣本數據的復雜分布，以達到“欺騙”判別模型的目的[18]。因此，生成器和判別器之間的博弈實際上是一個動態的游戲。在最理想的狀態下，生成器可以生成虛擬樣本，而判別器很難判別生成器所生成的樣本是否為虛擬的[19]。

判別模型的目標函數易于定義，當輸入為x和G(z)時，判別模型的輸出分別對應于1和0。判別模型的訓練過程基于交叉熵最小化以下目標函數，判別器損失LD定義為

(1)

D[G(z)]為判別器對生成樣本的判別輸出；D(z)為判別器對噪 聲的判別輸出圖1 原始GAN網絡結構Fig.1 The structure of original GAN

式(1)中：x和z分別為真實樣本和隨機噪聲；E為期望。

生成模型的目標是通過最小化式中的目標函數來模擬真實數據中的復雜分布，以達到使D[G(z)]接近1的目的。

生成器損失LG定義為

(2)

從式(1)、式(2)可以看出，LD和LG可以構成一個動態的最小-最大優化游戲，可表示為

Elg{1-D[G(z)]}

(3)

式(3)中：D、G分別為判別器和生成器。

對GAN中的生成模型和判別模型進行交替優化，以達到納什均衡的穩定狀態[20]。

1.2 WGAN-GP模型

自GAN網絡提出以來，判別器和生成器就存在訓練困難的問題，主要表現為兩個方面：一是生成器生成的虛擬樣本缺乏多樣性，二是當判別器模型越好，生成器模型的梯度消失現象越嚴重[21]。

為有效解決GAN網絡訓練不穩定的問題，使用WasserStein距離替換原始GAN網絡中的JS離散度用以衡量真實分布和生成分布之間的距離[22]。使得網絡中的生成器與判別器更加穩定，并且生成器所生成的虛擬樣本更具多樣性，并且更加接近原始樣本的邊緣分布。

WasserStein 距離又稱為EM(Earth-Mover)距離，定義為

(4)

為了使網絡不出現模式崩潰等問題，將梯度懲罰項加入判別器損失函數中，對生成樣本施加 Lipschitz 限制，以此提高網絡收斂速度。因此判別器損失函數定義為

LD=Ex～Pg[fw(x)]-Ex～Pdata[fw(x)]+

(5)

原始GAN網絡訓練過程中，出現真實分布和生成分布沒有重疊時，JS離散度和相對熵并不能夠反應兩者的遠近程度，而WasserStein 距離有效解決了這個問題。相對熵和JS散度是突變的且極端，而WasserStein 距離卻是平滑的，并且WasserStein 距離是可以用梯度下降法優化部分參數，具有更好的魯棒性[23]。由此，加入WasserStein距離在相當大程度上改進了GAN網絡的訓練過程，增加了模型的穩定性，減少梯度爆炸或梯度消失的現象[24]。

針對云資源數據匱乏造成算法模型訓練過程困難的問題，提出一種基于WGAN-GP的云資源數據增強方法，提高預測模型精度。WGAN-GP網絡算法步驟如下。其中，ω為權重，RMSProp為優化器類型，clip為梯度。

WGAN-GP算法,所有WGAN-GP實驗所用參數α=0.000 5,c=0.01,m=64,ηcritic=5輸入:學習率α,梯度參數c,訓練批次數m,生成器生成一次數據時判別器的迭代次數ηcritic,輸出:初始化判別器參數ω0,初始化生成器參數θ01:while θ 不收斂do2: for t = 0, 1, …, ηcriticdo3: 真實數據樣本 {x(i)}mi=1～Pr4: 隨機噪聲數據 {z(i)}mi=1～P(z)5: gw←Δw1m∑mi=1fw[x(i)]-1m∑mi=1fw{gθ[z(i)]} 6: ω←ω+αRMSProp(ω,gw)7: ω←clip(ω,-c,c)8: end for9: 隨機噪聲數據 {z(i)}mi=1～P(z)10: gθ←-Δθ1m∑mi=1fw{gθ[z(i)]} 11: θ←θ-αRMSProp(θ,gθ)12:end while

2 BiGRU網絡

2.1 GRU模型

門控單元網絡 (gate recurrent unit， GRU)是一種改良的RNN類型，可以學習時序樣本中隱含的長期信息。RNN神經網絡模型被廣泛用于語言識別和文本分類等多個研究領域[14]。相比于人工神經網絡模型(artificial neural network, ANN)，RNN神經網絡模型可以循環利用神經元的權重參數，能夠有效提取原始數據的時間相關性，提高時序數據的預測精度。然而，RNN的不足之處是其誤差反向傳播過程權重的重復利用，容易產生梯度爆炸或梯度消失問題，這對歷史數據的長期依賴性問題無法有效解決。GRU的出現有效地解決了以上問題，GRU模型如圖2所示。

GRU模型相較于LSTM是在其基礎上將遺忘門和輸入門優化為單一的更新門，同時混合神經元狀態與隱藏狀態。

(1)更新門。保留上一時刻的記憶信息，計算輸入門it和在t時刻輸入細胞的候選狀態值at，計算公式分別為

it=σ[Wi(ht-1,xt)+bi]

(6)

at=tanh(Wc(ht-1,xt)+bf)

(7)

式中：Wi和Wc為不同門控機制對輸入向量xt的權重；bi為輸入門的偏置向量；tanh為激活函數；bf為遺忘門偏置向量。

(2)重置門。根據輸入門和遺忘門的計算結果, 對細胞狀態進行更新,從而得出t時刻的細胞狀態更新值Ct，可表示為

Ct=itat+ftCt-1

(8)

式(8)中：ft為遺忘門。

(3)輸出門。控制決定哪些信息需要輸出.根據計算得到的細胞狀態更新值, 可得到輸出門的計算公式為

ht=σ[Wf(ht-1,xt)+bo]tanhCt

(9)

式(9)中：Wo和bo分別為輸出門的權重和偏置向量；ht為當前單元的輸出值；xt為t時刻的輸入；yt為t時刻的輸出；σ為sigmoid函數。

在GRU模型誤差反向傳播校正權重時，有些誤差可以直接通過輸入門傳遞給下一層神經元，有些誤差則可以通過遺忘門去進行數據遺忘，這樣就解決了梯度爆炸與消失的難題，即有效地處理歷史數據中相關信息的冗余等問題。

zt為更新門在t時刻保留的信息；為保留了上一狀態的記憶圖2 GRU隱含層圖Fig.2 The hidden layer of GRU

2.2 Bidirectional GRU模型

云資源數據具有明顯的時間相關性，如某一時刻CPU使用率不僅與前一時刻的使用率有關，與后一時刻的使用率同樣相關，傳統的GRU單向訓練模式無法做到完全利用數據全局的時間信息，在訓練長短期時間記憶網絡的過程中，隱含層的狀態更新通過的單向時序樣本數據輸入實現。傳統的單向循環網絡及其變種網絡都存在數據的時間跨度越大，網絡就越有可能遺忘掉早期學習到的內容的問題。

雙向遞歸神經網絡(BiRNN)可以同時利用數據的正向時間信息和反向時間信息，更加高效和全面的利用數據的時間相關性。采用BiRNN網絡結構，用長短期時間記憶網絡細胞取代傳統的RNN細胞。雙向門控單元網絡(bidirectional gate recurrent unit，BiGRU)將兩個傳輸方向相反的隱藏層連接到同一輸出層，使輸出層獲得過去和未來狀態的信息。這意味著BiGRU神經網絡能夠從兩個不同的數據方向學習信息，從而進行更準確的預測。BiGRU的實質是將常規的GRU神經元拆分為正向狀態(正時間方向)和反向狀態(負時間方向)，每一時步的輸出均由正反兩向 GRU共同組成，可對歷史數據進行正反兩方向訓練，從歷史數據中學到更多有效信息，BiGRU基本結構如圖3所示。

圖3 雙向門控單元網絡結構圖Fig.3 The structure of BiGRU

3 WGAN-GP-BiGRU模型及參數設置

3.1 數據處理與評估指標

3.1.1 數據處理

由于云資源數據中不同特征間數值范圍相差較大，為對數據增強以及模型預測產生消極影響，需要對原始數據進行歸一化處理，數據歸一化的表達式為

(10)

式(10)中：minValue和maxValue分別為最小值和最大值。

原始數據中按8∶2劃分訓練集與測試集，訓練集用于生成新樣本，并用于訓練WasserStein生成對抗網絡(WasserStein generative adversarial network with gradient penalty，WGAN-GP)以及BiGRU網絡，測試集用于驗證模型的有效性。

3.1.2 生成樣本評價指標

選取功率譜密度(power spectral density, PSD)和相關系數矩陣配色圖(spatial correlation coefficients matrix colormap, SCCMC)來驗證WGAN-GP網絡生成樣本的質量。

功率譜密度定義為單位頻率間隔的噪聲功率，可表示為

(11)

式(11)中：SX(f)為頻率密度；τ為輸入；GX為傅里葉變換；T為時間周期。

3.1.3 預測評估指標

選擇均方根誤差(root mean square error, RMSE,記為YRMSE)、平均絕對誤差(mean absolute error, MAE,記為YMAE)和決定系數R2來評估文中所有模型的預測效果。

(12)

(13)

(14)

在以上指標中，RMSE和MAE的數值越小，表明模型性能越好，而R2指標則是數值越接近1，表明模型的預測精度越高。

3.2 WGAN-GP-BiGRU模型

以CPU使用率作為預測對象，采樣點為10個/d。充分考慮到CPU使用率與其他特征因素之間的關聯性，以及考慮CPU使用率的時間序列規律，每個采樣點有4個特征，包括CPU使用率、內存使用率、入口網絡流量、出口網絡流量和磁盤使用率。

使用全連接層搭建WGAN-GP網絡，學習原始時序樣本中每個單一特征的數據分布。模型采用符合高斯分布的100的噪聲作為生成器的輸入，根據指定生成新數據的數量，擴充比例分別為30%、60%、100%，即讓生成器生成不同數量的虛擬數據進行實驗對比。

WGAN-GP網絡中的生成器和判別器的結構如表1、表2所示，模型采用RMSProp優化器，訓練過程中判別器與生成器相互博弈，達到納什均衡后完成訓練，再根據不同的噪聲量生成與原始數據具有相同分布的數據，達到數據增強的目的，從而降低算法模型的訓練難度，提高預測精度。BiGRU網絡的具體參數如表3所示。

所提出WGAN-GP-BiGRU模型的整體框架如圖4所示。

表1 WGAN-GP網絡中判別器與生成器的結構Table 1 Structure of discriminator and generator in WGAN-GP

表2 BiGRU模型擬合參數Table 2 Fitting parameters of BIGRU model

圖4 WGAN-GP-BiGRU預測框架Fig.4 Forecasting framework of WGAN-GP-BiGRU

4 算例分析

4.1 實驗配置

本實驗計算是在Inter Core i5-9600的計算機處理器，CPU頻率為2.4 GHz，運行內存為16 GB，操作系統為Window10的仿真環境下實現的。算法模型采用Python3.7作為編程語言，架構基于Keras框架，繪圖工具采用matplotlab模塊。

表3 不同增強比例下各預測模型性能對比Table 3 Performance comparison of each prediction model under different enhancement ratios

實驗采用Google公司2016年1月份上半月份的云資源數據，數據分辨率為10 min/個，1 d共有288個數據。將前10 d數據作為訓練集，后五天數據作為測試集，使用WGAN-GP模型進行學習增強，生成新的樣本后與真實數據拼接，作為預測模型的輸入。

4.2 WGAN-GP有效性驗證

使用WGAN-GP模型的目的是穩定模型訓練過程，更好地捕獲歷史數據的內在特征，去生成與原有數據具有相似分布的不同特征的新數據。在實驗中，向訓練后的生成器輸入從預定義的高斯分布中提取的100個噪聲向量。為了測試本文數據驅動模型對生成數據的魯棒性，以增強比例為100%為例，利用原始云資源數據去生成的新的云資源數據，通過功率譜密度和相關性系數矩陣顏色圖兩種方法來驗證WGAN-GP網絡所生成數據的有效分布。為突出實驗效果，實驗中使用原始GAN網絡、WGAN網絡進行對比，以增強比例為100%的CPU使用率為例，3種GAN模型生成數據的功率譜密度對比以及相關性系數矩陣分別如圖5、圖6所示。

由圖5可以看出，不同GAN網絡生成數據的功率譜密度曲線中，WGAN-GP功率譜曲線更貼合真實數據的功率譜密度曲線，即相比于原始GAN模型和WGAN網絡，WGAN-GP網絡模型所生成數據的密度分布更接近于原始數據的真實密度分布，這意味著這兩種模型下WGAN-GP網絡最能良好地學習到真實的數據分布，生成具有分布相似度最高的數據樣本。

圖5 不同GAN網絡生成數據的功率譜密度Fig.5 Power spectral density of data generated by different GAN networks

為驗證不同GAN網絡生成數據與原始真實數據之間的空間相關性，在增強比例為100%的不同模型下，向模型生成器中注入相同的噪聲，在生成數據中以及原始數據中隨機選取生成樣本連續的相同時刻的24×24個數據點進行相關性對比，形成系數矩陣并由配色圖將結果可視化如圖6所示。

由圖6(b)、圖6(c)與圖6(a)配色的對比結果可以直觀看出，并沒有圖6(a)與圖6(d)之間高度相似的配色，這說明WGAN-GP生成的數據與原始樣本之間具有高度相似的時間相關性以及空間相關性。

4.3 WGAN-GP不同增強比例下各預測模型的誤差指標

為了驗證BiGRU的預測有效性，選用幾種經典的預測算法進行對比，包括隨機森林(random forest, RF)、長短期時間記憶網絡(long short-term memory, LSTM)、門控循環單元(gate recurrent unit, GRU)和支持向量回歸(support vector regression, SVR)。

從表3和圖7可以得出以下結論。

(1)在任何增強比例下，基于WGAN-GP網絡進行數據增強的各機器學習模型的預測性能要高于未使用使用數據增強的模型。例如，以增強30%為例，WGAN-GP-SVR模型的RMSE和MSE要比單一SVR模型分別降低2.04%和2.75%，R2指標要提高2.64%,其他模型也是如此。

(2)在同等增強比例情況下，BiGRU模型的預測性能要明顯高于其他算法模型。以增強比例為100%為例，BiGRU的RMSE和MAE指標比LSTM和GRU分別降低7.898%，9.021%和6.537%、8.353%，R2指標分別提高了10.203%和7.752%，這說明了BiGRU能夠能夠雙向提取數據的時間相關性，提高了模型的預測性能。

圖6 不同GAN網絡數據生成的相關性系數矩陣配色圖Fig.6 Color mapping of correlation coefficient matrix generated from different GAN network data

圖7 不同增強比例下的模型預測圖Fig.7 Model prediction of different enhancement ratios

(3)用WGAN-GP網絡進行數據增強，增強比例越高各模型的預測性能越高，以BiGRU為例，增強比例為100%下相對于增強比例為66.6%和33.3%的RMSE和MAE指標分別降低8.516%、7.841%和13.478%、7.848%，R2指標分別提高了2.451%和2.654%。由圖7可以看出，隨著增強比例的增加，測試集中各模型的預測曲線更加貼合真實值。

5 結論

針對云資源數據匱乏導致的模型預測精度低的問題，提出一種基于WasserStein生成對抗網絡和雙向門控單元網絡的云資源短期預測模型。通過實驗仿真，得出如下結論。

(1)通過WGAN-GP可以有效地學習原始樣本的數據分布規律，并生成與原始樣本高度相似的較高質量的新數據，從而彌補數據匱乏導致預測精度低的缺陷。

(2)采用雙向門控單元網絡作為預測模型，可以對數據時間相關性進行前向和反的提取，突破傳統循環網絡單向提取時間信息的局限，達到全面利用數據的時間信息，提高模型預測性能的目的。

盡管所提出模型在本實驗中表現優異，但仍然有其局限性需要討論：模型只在一個數據集上進行實驗，對于其應用在其他數據上的有效性仍有待驗證。因此在未來工作中將考慮使用其他數據對所提出模型做進一步研究。