基于LSTM網絡的Web軟件系統實時剩余壽命預測①

黨偉超,李 濤,白尚旺

(太原科技大學 計算機科學與技術學院,太原 030024)

長時間運行的軟件系統,會出現軟件錯誤不斷累積、占用資源不斷增加、性能持續下降,最終導致軟件失效或崩潰的軟件老化現象[1].對于發生老化的軟件系統,在適當時刻主動進行抗衰操作可以避免軟件發生失效[2].因此,如果能夠實時準確預測軟件系統的剩余壽命,通過預測軟件剩余使用壽命來推導軟件最優抗衰時刻,將會減少抗衰決策判斷誤差.

軟件剩余使用壽命(Remaining Useful Life,RUL)指軟件以當前的運行條件,能夠實現其正常功能的剩余時間[3].RUL 常見的預測方法可分為基于模型與數據驅動的方法.基于模型的方法是指通過構建設備退化的數學或物理模型來進行預測.馬波等人提出了一種基于狀態監測信息和滾動軸承退化物理模型的壽命預測方法[4].基于模型的方法取得了不錯的效果,但它依賴與特定的模型,不利于推廣[5].

數據驅動中的深度學習方法由于具有強大的數據驅動能力,并且無需知道確切的物理模型和領域知識,以及在非線性映射特征提取方面的優異性能,成為了剩余壽命預測領域中熱門方法[6].閆楚良等人[7]和王佳煒等人[8]用BP 神經網絡分別對材料疲勞壽命和電磁繼電器進行了預測.Felix 等人提出用循環神經網絡(Recurement Netural Network,RNN)對航空發動機領域剩余壽命進行了預測[9].RNN 網絡在結構設計中引入了時序的概念,在學習具有內在依賴性的時序數據時能夠產生對過去數據的記憶狀態,能夠從原始數據獲取更多的數據規律性特征.LSTM (Long Short-Term Memory)作為一種改進后的RNN 網絡,成為剩余壽命預測的熱點技術.在航天發動機、鋰電池、滾動軸承等剩余壽命預測領域都取得了成功[10–12].

基于上述分析,本文提出了一種基于LSTM的Web軟件系統實時剩余壽命預測模型,該模型充分考慮了Web 軟件系統資源消耗的時間特性,將當前系統的剩余壽命動態地與Web 資源損耗情況相關聯.

1 模型原理

1.1 長短期記憶網絡

LSTM是一種改進之后的循環神經網絡,可以解決RNN 感知能力下降的問題[13].與RNN 相比,LSTM在其基礎上增加了一個細胞狀態(cell state),內部有4個網絡層.一個典型的LSTM 通過3個門來控制細胞狀態,這3個門分別為遺忘門、輸入門和輸出門.如圖1所示.門控循環單元(Gate Recurrent Unit,GRU)是LSTM 網絡的一種變體,它組合了遺忘門和輸入門到一個單獨的“更新門”中,合并了細胞狀態和隱藏狀態,沒有輸出門,增加了重置門,如圖2所示.

圖1 LSTM 單元結構圖

圖2 GRU 單元結構圖

LSTM 三個門基于Sigmoid函數來增加或刪除細胞狀態中的信息,其中遺忘門和控制門用來控制上一時刻細胞狀態ct?1和當前輸入新生成～ct里有多少信息可以加到當前的細胞狀態中ct去,通過遺忘門和輸入門的輸出,更新細胞狀態.式(1)為給定一個老化序列數據{x1,x2,···,xt,···,xT},其中xt∈Rd,其中xt∈Rd,d為老化指標信息特征個數,T為時間步,當輸入網絡時各門的計算結果.

式中,ft,it,ot∈Rm分別表示遺忘門、輸入門、輸出門的計算結果;,ct,ht∈Rm分別表示為新生成的細胞狀態、當前細胞狀態、隱含層的輸出結果.m為隱含層LSTM 單元的數量.Whf,Whi,Who,Whc和Wxf,Wxi,Wxo,Wxc∈Rm×m是權重參數;bf,bi,bo,bc∈Rm×d為偏差參數.Sigmoid(),tanh()為激活函數,⊙表示hadamard 乘積.

1.2 基于LSTM 網絡的Web 系統壽命預測模型構建過程

基于LSTM 剩余壽命預測模型由輸入層、兩層LSTM 層、池化層、全連接層、輸出層構成.如圖3所示.

圖3 模型結構圖

(1)收集樣本并進行標準化處理

每秒收集一次Web 軟件系統運行過程內存使用量數據,假設第n秒發上了OOM (Out Of Memory)故障,則一共收集了n秒的系統運行數據.OOM 指的是當系統因為沒有足夠的內存為對象分配空間,就會報出這種故障.將系統在第i秒的內存使用量表示為mi,則系統在i秒的剩余壽命可表示為ri=n?i,假設系統運行了k秒以后才進入系統老化狀態,則每次運行可得到如下采樣數據:

得到的樣本表示為(M,R)={(mi,ri),i=1,2,3,···,n}.標準化處理后的樣本表示為(M′,R′)={(m′i,ri′),i=1,2,3,···,n},其中m′i和ri′的定義如式(3)所示:

(2)按照時間步長得到模型的輸入

將集合M′按照時間步長w分割為n?w個長度為w的時間序列,用X表示,對應的實際壽命用Y表示,如式(4)所示:

(3)確定LSTM的網絡結構并初始化網絡

確定網絡的時間步長、隱含層單元數、每層網絡節點的舍棄率以及相應的激活函數、誤差的計算方式和權重更新迭代方式.給定初始權值矩陣,設置最大迭代次數和最小誤差值,訓練網絡以更新各項網絡參數.

(4)前向計算

將X={X1,X2,···,Xi,···,Xn?w}輸入LSTM 網絡,根據式(1)計算對應的遺忘門、輸入門以及輸出門的值,經過LSTM 層得到的網絡輸出表示為式(5):

(5)池化層和全連接層

池化層將經過LSTM 層處理輸出的Ht′平均池化,得到∈Rm,再經過全連接層將進行特征融合,得到∈R,再經過反標準化處理,得到最終預測剩余壽命的預測值.

(6)定義損失函數

損失函數的計算公式如式(6)所示,式中,n為測試樣本總數,為剩余壽命的預測值,Yi為剩余壽命的真實值,w為時間步長的值.

(7)反向誤差傳播

采用批量梯度下降算法對指標數據進行批次劃分,采用優化算法(RMSprop、AdaDelta、Adamax、Adam)對當前的損失函數進行優化,實時調整網絡的偏置和權值,使網絡誤差不斷減少.當最小誤差和迭代次數滿足要求時停止訓練模型.將測試樣本數據輸入模型得到預測結果.

(8)評價指標

為評估基于LSTM 網絡的Web 壽命預測模型的性能,用平均絕對誤差(Mean Absolute Error,MAE)和均方根誤差(Root Mean Squared Error,RMSE)作為評價指標.其公式如下:

除了RMSE和MAE之外,本文引入另外兩個相對評價指標:指數評價函數(Scoring Function,SF)和相對準確率(Accuracy).預測壽命相對剩余壽命偏小和偏大,分別設置不同的影響因子,分別記做a1和a2,且a1>a2,這是因為比起Web 失效后采取抗衰操作,在失效之前執行抗衰操作帶來較小的損失.本文中影響因子設為a1=150,a2=50.

2 實驗與結果分析

由于軟件老化是一個錯誤不斷累計的過程,Web軟件系統開始出現老化后并不會立刻失效,需要耗費很長時間才會發現故障.受Matias 等人提出的系統化方法的啟發[14],本文仿照工業領域應用的加速理論,在Web 軟件系統中采用加速內存泄露的方法收集可以反映軟件老化情況的指標數據,基于收集到的時序數據,構建基于LSTM的Web 軟件系統實時剩余壽命預測模型.

2.1 數據收集

為收集因內存泄露導致的軟件老化的指標數據,搭建了一個符合多層TPC-W 基準測試規范的電子商務網站購書系統.該軟件系統由一個Web 服務器,一個數據庫服務器和一組模擬的客戶端組成.三者之間的關系如圖4所示,Web 服務器Tomcat 關于JVM的內存配置參數如表1所示.

表1 Tomcat 關于JVM 堆內存配置信息

設定服務端的內存泄漏強度和客戶端并發數,運行該系統直到發生OOM 故障為一次實驗.當發生OOM 故障時,記當前時刻為T,該時刻系統剩余壽命r=0.實驗過程中每1 s 收集一次JVM的內存使用量,采集到的樣本個數分別為10929,8202.如圖5所示,表示Web 系統在不同內存泄露強度(leakage)和客戶端并發數(concurrency)下的內存變化趨勢圖.表2為數據對應的實驗參數.

圖5 JVM內存使用情況變化趨勢圖

2.2 實驗環境

2.3 基于LSTM的剩余壽命預測模型

實驗環境參數如表3.本文使用Keras 框架搭建并訓練LSTM 網絡預測模型,所使用到的網絡主要由循環層(recurrent)中的LSTM 層和全連接層(dense)組成.用Data1 作為訓練集,其余3 組作為測試集.分別比較不同優化算法、隱含層單元數下的模型性能.最后在相同參數情況下,與RNN、GRU 模型結構進行對比.

表3 實驗環境參數

(1)尋找合適的隱含層單元數量

用Data2 做測試集,用Adam 算法進行優化,MAE作為評價指標,嘗試不同隱含層單元數量尋找最佳的網絡結構.結果如表4所示,可以看出隱含層單元數量為120 時,MAE的值最小.

表4 不同隱含層單元數量的MAE

(2)優化算法

在隱含層單元數為80 情況下,用Data2 做測試集,采用不同的優化算法訓練模型,用MAE作為評價指標.對比不同算法在訓練集和測試集上MAE的大小.結果如表5所示,可以看出Adam的算法的性能優于其它算法.

表5 不同優化算法的MAE 對比

(3)與單層LSTM 網絡進行對比

為了驗證基于LSTM 網絡的Web 軟件系統剩余壽命預測模型的優勢,用Adam 優化算法、隱含層單元數量為120的參數下,將雙層LSTM 網絡的結構與單層的LSTM 網絡結構做了對比.從圖6可以看出,雙層LSTM 網絡結構的擬合效果更好,用MAE和SF作為評價指標,對比兩種網絡的性能.如表6所示,可以看出雙層的LSTM 網絡結構相較于單層的LSTM 網絡結構性能有所提升.

圖6 壽命預測結果對比圖

表6 網絡性能對比

2.4 結果分析

第2.3 節實驗驗證了基于神經網絡RNN 以及LSTM的Web 軟件系統剩余壽命預測模型的適用性.而從表6可看出,改進后的基于LSTM 壽命預測模型對于Web軟件系統抗衰決策具有良好指導意義.為了進一步驗證改進后的基于LSTM 壽命預測模型的預測能力,表7列出了各網絡模型在不同指標下的評價指標對比,表中PT(Prediciton Time)表示單位樣本預測所需要的時間,單位為ms,從表中可以看出,PT值較小,滿足實時預測要求.從表中可以看出,改進后LSTM 壽命預測模型在3 組實驗里的MAE、RMSE、SF都是最低,Accuracy最高,說明該壽命預測相較與BP 網絡和常規循環神經網絡而言,預測精度最高.

表7 各網絡預測精度對比

3 結論

本文通過搭建引入內存泄露的軟件老化實驗平臺收集能夠反映軟件老化的指標數據,根據獲取到的性能指標數據構建并訓練了基于LSTM的Web 軟件系統實時剩余壽命預測模型.通過實驗表明該預測模型與Web 軟件系統的壽命趨勢一致,擬合度很高,能夠準確地預測軟件的剩余壽命,為及時采取老化軟件的抗衰決策提供保證.與常規循環神經網絡和BP 網絡相比,滿足實時性要求,預測精度高.說明LSTM 網絡能夠完成Web 軟件系統實時剩余壽命預測的要求.