一種云環境下的高效異常檢測策略研究

程云觀 臺憲青 馬治杰

1(江蘇物聯網研究發展中心 江蘇 無錫 214135)2(中國科學院大學微電子學院 北京 101407)3(中國科學院電子學研究所蘇州研究院 江蘇 蘇州 215121)

0 引 言

云計算具有按需分配資源(計算、存儲、網絡等)、靈活的彈性擴展、高性價比、面向服務等優勢[1]，目前已經逐漸成為主流的計算和服務模式[2]。在云計算系統中，所有的資源均以虛擬機的形式進行封裝，然后分配給用戶租用[3]。然而，伴隨著云計算系統規模的不斷擴大，虛擬機在運行過程中出現各種異常的頻率也越來越高[4]，從而導致宕機、數據丟失等各種故障事故頻繁爆發，造成難以估量的損失，阻礙云計算技術的長遠發展。針對以上情況，需要對云計算系統中虛擬機的運行狀態進行持續監控，以便運維人員及時發現異常情況，并采取必要的措施，防止更大規模的損失[5]。

目前，對虛擬機進行異常檢測主要是通過分析虛擬機的日志信息或者性能指標數據。比如，文獻[6]采用主成分分析法(Principal Component Analysis,PCA)來處理所采集到的高維性能指標數據，然后利用卡爾曼濾波器預測當前時刻虛擬機的運行狀態，接著將該狀態與實際情況相比較，最后判斷虛擬機是否處于異常狀態。該方法可以通過PCA降低數據維度以提升算法效率，但由于沒有對性能指標數據進行預先篩選，致使性能指標數據包含較多不相關信息，從而對檢測準確率造成了一定影響。文獻[7]提出了一種基于運維日志的性能指標選擇方法。該方法根據日志文件中記錄的運維事件與同一時刻虛擬機的異常指標來構造回歸模型，然后通過該模型選出與異常狀態相關性較強的性能指標。通過這種方式，雖然能在一定程度上降低數據維度，但云環境下虛擬機數量龐大，仍會存在較高時間開銷。另外，該方法僅局限于運維操作產生的性能異常，對運行故障等其他原因產生的異常卻無能為力，因此，其使用場景較為局限，適用性不夠廣泛。綜上所述，現階段的虛擬機異常檢測方法主要存在兩方面的問題。一方面，虛擬機的性能指標數據屬于高維數據，現有方法不能有效降低數據維度，導致異常檢測算法的效率與準確率較低。另一方面，現有的虛擬機異常檢測方法大多都只能判斷異常或正常兩種狀態，無法定量的刻畫虛擬機的異常程度。

局部異常因子算法(Local Outlier Factor，LOF)[8]是一種基于局部密度的異常檢測方法，它通過待測數據實例與其周圍鄰居的局部密度的比值，計算出該待測數據實例的異常分數，從而實現定量衡量一個待測數據實例的異常程度。LOF算法屬于純數據驅動的算法，可適用于不同的數據類型，很適合于分析虛擬機的性能指標數據。文獻[9]利用LOF算法為每個采樣時刻的性能指標數據計算異常得分，從而達到在判斷虛擬機運行狀態異常與否的同時，也能量化異常程度的效果。然而，虛擬機的性能指標數據具有維度高、數據量大的特點，直接使用LOF算法進行虛擬機的異常檢測將會面臨高額的時間開銷。另外，傳統的LOF算法使用歐氏距離計算數據實例之間的距離，使得每個狀態維度對于距離的貢獻都是相同的。這會削弱對異常狀態影響較大的狀態維度的區分效果，降低檢測的準確率。

針對上述問題，本文提出了一種高效的虛擬機異常檢測策略。為了有效降低數據維度，本文采用指標篩選與主成分提取相結合的方式對采集到的性能指標進行預處理，以此提高檢測效率。同時，為了強化不同狀態維度的性能指標對異常狀態的區分效果，本文基于性能指標與異常相關程度的大小，給不同狀態變量之間的距離賦予相應的權重，提升了異常檢測的準確率。因此，本文的異常檢測方法可概括如下：首先，以最大相關最小冗余算法，對云平臺中采集到的虛擬機性能指標數據進行篩選；接著，利用主成分分析法，對篩選出的性能指標數據進行進一步降維；然后，以指標篩選過程中得到的每個性能指標的相關度分數作為權重，改進LOF算法中的距離計算方法；最終，把經過篩選和提取的性能指標數據輸入改進的LOF算法中進行異常檢測。實驗結果表明，相比于傳統的LOF算法，本文的異常檢測策略在召回率、準確率、F值、時間開銷等各項指標上，均有不同程度的提高。

1 異常檢測架構設計

圖1展示了本文所設計的異常檢測策略的整體架構圖。由此圖可知，該系統共包含三個模塊：采集性能指標數據的數據采集模塊；對性能指標數據做篩選、降維的性能指標預處理模塊；判定虛擬機異常狀態的異常檢測模塊。

圖1 異常檢測整體架構圖

數據采集模塊會在待監控的虛擬機中部署采集插件，以固定采樣間隔采集虛擬機的性能指標數據，這些數據是異常檢測的基礎。

性能指標預處理模塊用來對數據采集模塊獲得的性能指標數據進行篩選與提取。高維度的性能監控數據會帶來高額的時間開銷，并導致檢測的準確率降低[10]，因此性能指標預處理模塊首先通過最大相關最小冗余算法進行篩選，找出對異常狀態貢獻度較大的指標，剔除與異常狀態相關性較小的指標，并刪去含重復信息較多的指標，降低數據的冗余程度，從而減少異常檢測的數據量。接著，通過主成分分析法進一步降低數據維度、消除噪聲，提高檢測效率與準確率。

異常檢測模塊用于評估虛擬機的異常狀態。該模塊基于改進的LOF算法，利用預處理模塊在指標篩選階段對每個指標的相關性評分，來設定對應的狀態維度的距離權值，以強化正常與異常狀態之間的差異。最終通過基于局部密度比值的LOF值來計算虛擬機的異常分數，達到定量刻畫虛擬機異常程度的目的。

2 數據采集模塊

數據采集模塊是整個異常檢測系統的數據基礎，為后續的所有異常檢測流程提供數據。該模塊采用集中式的主從結構[11]：在每臺虛擬機上部署一個負責采集數據的代理插件，以固定頻率收集虛擬機的性能指標數據；設置一臺中央服務器作為數據接收匯總端，用來接收并存儲各個采集插件收集到的性能指標數據。云平臺中各個虛擬機的性能指標數據采用被動推送的方式來獲取，即數據采集完成后，會由相關的采集插件自動推送到接收端，這種方式能夠及時獲取到最新數據，實時性較高。

表1展示了數據采集模塊所能采集的虛擬機的性能指標種類。共分為四大類，十個小類，共計166種。

表1 性能指標種類統計表

續表1

3 性能指標預處理模塊

為了詳細地分析一個系統的運行狀態，往往要盡可能多地考慮與系統相關的特征因素。每個特征因素都是一個描述系統狀態信息的維度，維度選取越多，對系統的識別分析就越準確[12]。然而在異常檢測領域，特征維度的選擇并非越多越好：

(1) 當維度數量超過一定閾值后，檢測效果可能不升反降[13]。因為并不是所有性能指標都與異常的性能狀態有較強的相關性，部分指標數據可能并不含有與異常狀態相關的信息。當不相關的性能指標數量增加時，會引入更多的噪聲，降低相關性強的性能指標的權重，從而導致檢測的準確率不增反降。

(2) 性能指標數據之間存在的冗余信息會降低異常檢測的速度。不同的性能指標數據之間可能會存在相關性，即這些性能指標之間可能存在著信息冗余。直接使用這些性能指標數據進行異常檢測，會造成大量重復計算，加劇解決問題的復雜度，使得數據處理的時間開銷增加，耗費更多計算資源。

因此，需要對數據采集模塊采集到的性能指標數據進行篩選提取，選取出部分最關鍵的性能指標數據作為異常檢測的依據。本文采取的策略是首先使用最大相關最小冗余算法挑選出與異常狀態相關性較強的部分性能指標，然后利用主成分分析法提取數據的主要部分，進一步降低數據維度。

3.1 最大相關最小冗余法篩選性能指標

假設采集到L條性能指標數據，每條采樣數據包含N種性能指標M={mi,i=1,2,…,N}。目標分類變量c代表異常類別，是一個整數變量。如果存在正常和異常兩種狀態，則c可以取值0和1；若存在t種異常狀態，則c∈{0,1,2,…,t}。篩選的目的是希望從N維的全量性能指標空間中挑選出一個性能指標子集S，使其盡可能好地區分虛擬機的異常類別c，并且相互之間冗余度盡可能小。

本文采用互信息量來衡量性能指標之間，以及性能指標與異常之間的相關性。互信息量是信息論領域的概念，用來表示兩個隨機變量之間關聯程度的強弱[14]，互信息量的大小代表這兩個隨機變量之間共同含有的信息的多少。本文用I(mi;mj)表示兩個性能指標mi與mj之間的互信息量，具體定義如下：

(1)

式中：p(mi)和p(mj)代表這兩個性能指標的邊緣概率，p(mi,mj)代表這兩個性能指標的概率質量函數，這三個變量都可以通過采集到的性能指標數據統計得知。

指標篩選的目的是希望從采集到的N種性能指標中，選取出對異常檢測最有益的性能指標子集，從而實現在不影響異常檢測正確性的前提下，顯著提高算法的執行效率。以互信息量作為衡量性能指標之間相關程度的度量標準，可以得出篩選的兩條原則：最大相關性原則和最小冗余度原則。

最大相關性原則要求被選擇的性能指標與異常狀態的相關性盡可能大。對于一個給定的性能指標子集S，需要使子集S中保留下來的性能指標與異常運行狀態的相關程度最大，其相關程度可以通過計算目標變量c與S中性能指標的互信息量獲得，具體公式如下：

(2)

使上式取最大值雖然會篩選出與異常最相關的性能指標子集S，但S中各指標之間會存在大量冗余信息。為了減少冗余數據、提高檢測效率，需要讓子集S中各個性能指標之間的相關程度盡可能小，其相關程度可以通過計算各個性能指標之間的互信息量獲得，具體公式如下：

(3)

綜合式(2)、式(3)，即可得到指標篩選的最優原則，即最大相關最小冗余原則：

optimalScore=relevance(S)-redundancy(S)

(4)

依據最大相關最小冗余原則，即可從N維的性能指標空間中篩選出既與異常有較強相關性，相互之間冗余信息又比較少的性能指標子集。然而從N個性能指標中找到最優的S個，是在2N的搜索空間中尋找符合條件的2S子空間，是NP難問題。因此本文采取增量式的搜索方法來降低時間復雜度。假設現有已選定k-1個性能指標的子集Sk-1，接著根據下式，從剩余的性能指標U-Sk-1中選擇滿足最大依賴性的第k個性能指標，直到達到設定好的目標個數S為止。

(5)

3.2 主成分分析法提取性能指標

主成分分析法是一種統計分析方法，可以將高維空間的數據投影到低維空間，形成新的少數變量，以達到減少變量數量的目的。其基本思想就是通過坐標變換，用高維空間多數變量的線性組合，構成新的較少的綜合變量，以代替之前的多數變量[15]。經過上一階段的指標篩選后，會得到一個較小的性能指標數據子集。接著在指標提取階段，會使用主成分分析法進一步降低數據維度，提高異常檢測的時間效率。

假設經過性能指標篩選后，得到了P種維度的性能指標監控采樣數據，共計L條，因此可以構成一個L×P的矩陣D：

(6)

式中：Xij表示第i條性能指標采樣數據中，第j個性能狀態維度的采樣值。

得到篩選過后的性能指標數據后，需要使用主成分分析法進一步降低數據維度，以下是具體步驟：

步驟1經過性能指標篩選后，得到監控采樣數據D，接著對D進行標準化處理，得到矩陣X。

步驟2計算X的協方差矩陣，公式如下：

(7)

步驟3求取特征值和特征向量。計算出矩陣CovP×P的P個特征值λ1,λ2,…,λp以及與每個特征值相對應的特征向量e1,e2,…,eP。

步驟4對主成分排序并選取。將特征值按降序排列，選擇其中最大的前r個。將這r個特征值對應的r個特征向量排列組成新的矩陣，即可獲得降維后的數據。r值的確定可以通過方差貢獻率來確定，方差貢獻率δr定義如下：

(8)

方差一般用來描述數據所能代表的信息量的大小，方差越大表示含有越多的信息量。而方差貢獻率代表被保留的主元的方差之和占總方差的百分比。因此，通過對δr設定閾值，保留符合要求的前r個主成分，而忽略后面的不太重要的次成分，可以達到在不損失主要信息的同時，降低數據維度的目的。

4 異常檢測模塊

檢測云環境下虛擬機的異常，有助于及時發現和識別系統的異常狀態，便于云平臺的運維人員能夠在系統崩潰或者服務失效前，及時采取預防性的措施，是提高云計算系統的可靠性的重要手段。LOF算法作為一種純數據驅動的無監督異常檢測算法，不需要對標記數據進行預先的訓練，非常適用于處于動態變化，且標記數據獲取困難的虛擬機性能指標數據。LOF算法將待測數據實例與其鄰居的局部密度比值作為判定異常的標準，可以計算出待測數據實例的異常程度。該特性可以定量地刻畫云平臺中虛擬機的運行狀態，從而輔助運維人員直觀地了解虛擬機運行狀況的好壞，進行合適的運維操作。

經過篩選與降維后的性能指標數據，會匯成一條高維度的時間序列。每條采樣記錄包含一個時刻的多種性能指標數據的采樣值，代表了高維時間序列中某一時刻的數據點。在算法的執行過程中，依次計算每個數據點的局部異常因子值，即LOF值。根據LOF值的大小判斷數據點的正常與否，從而得出每個時刻虛擬機的異常程度值。

為了更好地利用指標篩選的結果，提高異常檢測的效果，本文對LOF算法進行了改進。在計算數據點之間的距離時，依據不同性能指標在篩選過程中獲得的optimal score的大小確定各個維度的距離權值。改進后的LOF算法的計算流程分為如下四個步驟：

步驟1確定數據點p的第k距離鄰域。點p的第k距離鄰域是指以點p為圓心，以p的第k距離kDistance為半徑畫圓，所得到的所有在圓內與圓上的點組成的集合。點p的第k距離kDistance是指在數據集中，距離點p第k遠的點到點p的距離。其中數據點之間的距離計算方法用帶權重的歐氏距離代替原有歐氏距離。即針對歐式距離的不同變量，根據指標篩選階段對指標的評分optimal score，對距離賦予不同的權值。

假設經過性能指標篩選出M個性能指標，篩選結果又經主成分分析后保留了P個主成分，則每個主成分xp表示如下：

(9)

式中：mi代表篩選結果中某個特定的性能指標；rj代表這個指標在該主成分中的線性系數，即為性能指標mi在主成分xp中的權重占比。那么當給定兩個數據點A(xa1,xa2，…，xaP)和B(xb1,xb2，…，xbP)時，它們之間的帶權歐式距離d(A,B)可表示為：

(10)

式中：gi(i=1,2，…，P)即為該維度主成分的權重。其計算公式如下：

(11)

式中：hi表示第i個性能指標的optimal score值，rj的含義同式(9)，代表這個指標在該主成分中的線性系數。由式(11)可知，gi是該主成分所包含的所有性能指標optimal score值(即hi)的線性組合，代表第i個維度的主成分在d(A,B)中所占的權重。

使用基于權值的歐氏距離替代原有的歐氏距離，可以利用指標篩選階段對每個性能指標重要程度的評估結果，進一步加大對異常狀態更具分辨能力的性能指標的影響力，從而提高異常檢測的效果。

步驟2計算數據點p的可達距離。兩個數據點之間的可達距離定義為：

reachDistance(p,o)=max{kDistance(p),d(p,o)}

(12)

由上式可知，點p的可達距離，是點p的第k距離以及點p與點o之間實際距離這兩者中的較大值。這樣有助于顯著降低因過于靠近點p而造成的統計波動，使正常數據更加平滑。

步驟3計算數據點p的局部可達密度。數據點p的局部可達密度，是其第k鄰域內的其他數據點與p的可達距離的平均值的倒數，定義為：

(13)

步驟4計算點p的局部異常因子。計算公式為：

(14)

由以上定義可以得知，數據點p的局部異常因子的物理意義為：數據點p的第k鄰域內數據點的局部密度的平均值，與數據點p本身的局部密度的比值。其中點p的第k鄰域內數據點局部密度的平均值，反映了點p周圍的平均分布密度。將該值與點p本身的局部密度做比值，可以很容易地看出數據p的局部密度與其鄰居的局部密度的分布情況的差異。當值遠大于1時，說明數據點p比其鄰域內的其他數據點的分布情況要稀疏很多，因此通常可以判定為異常。即該值越接近于1，點p越正常；該值越大于1，點p的異常程度越高。

5 實驗驗證

本節會對本文提出的異常檢測策略進行實驗驗證。實驗首先采集一段時間內的虛擬機的性能指標數據，并利用開發的異常注入工具，在數據采集的過程中，隨機注入若干種類的異常。然后，進行性能指標的篩選與提取，列出性能指標數據篩選的相關度冗余度評分結果，并對挑選出的性能指標數據使用主成分分析法進一步降維，觀察各成分的方差貢獻率分布情況。最后，利用改進的LOF算法，對經過篩選提取后的數據進行異常檢測，并對比傳統的LOF算法的性能與效果。

5.1 實驗數據采集與異常注入

實驗在2臺物理服務器上搭建了16臺虛擬機模擬云計算平臺。物理服務器的配置為32 GB內存，Intel Xeon E3的4核處理器。通過數據采集模塊，實時的將虛擬機的性能指標數據收集起來，存入時間序列數據庫中。為了使采集到的性能指標數據中包含異常狀態下的數據，本文開發了異常注入工具，用來在實驗期間隨機地向虛擬機注入異常，模擬的異常主要分為以下四類[16]：

(1) 計算資源消耗異常：通過在虛擬機上運行一個CPU密集的程序模擬軟件故障，以產生CPU不斷消耗的異常情況。

(2) 內存資源消耗異常：通過在虛擬機上運行一個利用malloc()函數不斷申請內存卻不釋放的程序，來模擬內存泄露故障，以產生內存資源消耗的異常。

(3) 磁盤I/O異常：在虛擬機上運行一個程序，不斷讀取磁盤中的大文件，產生大量的磁盤I/O行為，模擬磁盤I/O故障，以產生磁盤I/O異常。

(4) 網絡相關異常：通過另一臺主機開啟大量線程，并發訪問部署在虛擬機上的Web服務器，生成大量HTTP連接，模擬DDOS攻擊，以產生網絡相關異常。

本文設定數據采集模塊的采樣頻率為1分鐘，共采集了16臺虛擬機1周時長的性能指標數據。采集的性能指標涵蓋了描述虛擬機運行時性能狀態的方方面面，包括CPU利用率、內存交換空間大小、磁盤I/O時長、上下行流量傳輸速率、進程切換次數等共4大類166種性能指標數據。并在1周內利用異常注入工具，對每臺虛擬機以隨機選取的方式注入不同類型的異常共85個，每個異常持續5分鐘的注入時長。

5.2 性能指標篩選提取結果

采集到的166個維度的性能指標數據，對于異常狀態的貢獻程度各不相同。因此需要通過性能指標篩選模塊，篩選出部分對異常檢測貢獻最大的性能指標數據。正如式(4)所述，本文采用互信息量作為衡量性能指標數據與異常狀態關聯程度的標準，也作為衡量不同性能指標之間冗余度的標準。以relevance(S)與redundancy(S)的差值optimal score作為評價一個性能指標數據好壞的打分標準，optimal score越大代表對異常檢測的貢獻值越大，應該保留；反之則貢獻越小，應該剔除。圖2為166個維度的性能指標數據的optimal score打分結果。

圖2 各維度性能指標相關性與冗余度差值

本實驗通過設置閾值λ=0.25來篩選性能指標數據，當性能指標的optimal score大于λ時，保留該性能指標，否則舍棄。經過計算相關性與冗余度，有43個維度的性能指標數據符合設定的閾值。對這43個維度的性能指標數據利用主成分分析法進一步降維，并設定累積方差貢獻率δr=0.95，最終得到4個主成分。圖3顯示了主成分的分布情況。

圖3 各維度主成分方差貢獻率示意圖

5.3 異常檢測性能效果對比

經歷性能指標的篩選與提取之后，數據維度從原本的166個維度降低到4維度，極大減少了異常檢測的數據量。接下來利用改進的LOF算法，對篩選提取后的數據進行異常檢測，觀測檢測結果。

算法對數據進行異常檢測時，會出現以下四種情況：

(1) 正報(True Positive,TP)：對于異常數據，算法檢測結果顯示為異常，即算法能夠正確地檢測出異常狀態。

(2) 漏報(False Negative,FN)：對于異常數據，算法未能檢測到異常，而顯示檢測結果為正常，即算法不能夠正確地檢測出異常狀態。

(3) 負報(True Negative,TN)：對于正常數據，算法的檢測結果也顯示為正常，即算法能夠正確地檢測出正常狀態。

(4) 誤報(False Positive,FP)：對于正常數據，算法檢測結果顯示卻是異常的，即算法不能夠正確地檢測出正常狀態。

依據以上四種檢測結果，本實驗采用召回率、精確率與Fβ來評價檢測結果的好壞。召回率是指當異常發生時，能正確檢測到異常數據的概率，定義如下：

(15)

準確率是指在所有被算法認為是異常數據的情況中，有多少是真正的異常而不是誤報，定義如下：

(16)

對于異常檢測來說，召回率和精確率越高越好，但是大量實驗表明，這兩個評價標準是不能兩全的，當召回率增加時，精確率就會相應降低，反之亦然。因此引入了Fβ值[17]這個綜合評價指標，來評價異常檢測的效果。Fβ定義如下：

(17)

由式(16)可知，當β=1時，F1為精確率和召回率的調和平均值，即F1綜合考慮了這兩個異常檢測的評價標準。接下來本文針對數據采集模塊收集到的1周的虛擬機性能指標數據，對比了傳統LOF算法與經過改進的LOF算法的異常檢測效果。傳統LOF算法使用的是全量共166個維度的性能指標數據，而改進后的LOF算法使用的是經過性能指標篩選和PCA降維后的性能指標數據，檢測結果如表2所示。

表2 檢測效果對照表 %

由表2可以看出，在對LOF算法進行改進之后，精確率基本保持不變的同時，召回率顯著升高，從而使得F值有較大提升。實驗結果表明，本文提出的異常檢測策略使檢測效果有了比較明顯的提升。該策略中，性能指標的篩選過程去除了部分與異常狀態不相關的性能指標；主成分分析法在進一步降低了數據維度的同時，過濾了數據中的部分噪聲；而利用基于權值的歐氏距離對LOF算法進行改進，提高了算法對異常狀態的分辨能力。綜合上述幾個步驟，異常檢測的效果有了較大提升。

同時，在經過指標篩選與主成分分析后的數據預處理過程后，待測數據的維度顯著降低，減輕了異常檢測的算力負擔，極大提高了異常檢測的時間效率。表3對比了針對1周的監控數據，是否進行數據預處理兩種情況下，運行傳統LOF算法所消耗的時間。

表3 改進前后LOF算法時間開銷對照表 s

由表3可以看出，在經過性能指標的篩選與提取后，異常檢測算法的時間開銷顯著降低，耗時由27.6 s縮短到了7.8 s，降低了71.7%，檢測速度明顯加快。

6 結 語

云計算系統的可靠性十分重要，而異常檢測就是提高云計算系統可靠性的重要手段之一。在云計算系統中，虛擬機的性能狀態不僅受底層物理服務器的運行狀態的影響，還受用戶應用系統的運行狀態的影響，因此把處于中間層的虛擬機作為異常檢測的對象，有助于發現云環境中不同實體的異常狀態[18]。本文針對云計算系統中的虛擬機的運行性能狀態進行異常檢測，基于最大相關最小冗余原則對性能指標數據進行篩選，并使用主成分分析法對篩選后的結果進一步提取以降低數據維度，大大提高了算法的執行效率。又利用基于權值的歐式距離對傳統LOF算法的距離度量進行改進，提升了異常檢測的檢測率。通過計算每條采樣數據的異常分數，達到了定量刻畫虛擬機異常程度的目的。總體上，本異常檢測策略在檢測性能和效果上都優于傳統的LOF算法，適用于云平臺中虛擬機的異常檢測。