基于多維指標關聯(lián)的物聯(lián)網(wǎng)裝備異常預測方法

洪浩彥,楊 輝,姚秋彥,栗 琳

(1.北京郵電大學 電子工程學院, 北京 100876; 2.軍事科學院國防科技創(chuàng)新研究院, 北京 100097)

0 引言

隨著我國科學技術水平與經(jīng)濟實力不斷提升,裝備發(fā)展呈現(xiàn)出更加多元化趨勢,在現(xiàn)代化的裝備保障體系中,裝備類型多樣且同類型裝備的特征要素繁雜,要素間關聯(lián)關系極為復雜。特別是在瞬息萬變的環(huán)境下,裝備狀態(tài)動態(tài)變化導致多狀態(tài)特征提取與相似特征要素關聯(lián)實現(xiàn)變得異常困難,裝備異常檢測的精確度與狀態(tài)感知可靠性低下。因此,研究人員研發(fā)了面向物聯(lián)網(wǎng)裝備狀態(tài)的感知和評估技術來滿足高動態(tài)的裝備保障業(yè)務需求。在對裝備狀態(tài)的感知預測方面,根據(jù)文獻[1],可劃分為基于物理模型、基于統(tǒng)計模型和基于計算智能的預測。基于物理模型的方法出現(xiàn)在早期的實驗中,現(xiàn)在由于裝備系統(tǒng)故障模式越發(fā)繁雜,其應用范圍和效果受到限制。基于統(tǒng)計模型的預測,例如灰色模型[2-3]和ARIMA[4-5],其對數(shù)據(jù)的要求比較嚴格且依賴于模型的參數(shù)。因此,近年來,基于計算智能預測中的機器學習方法成為裝備狀態(tài)感知與預測的主流。機器學習方法可分為淺層和深層,對于淺層機器學習方法,文獻[6]結合鋰電池的容量增量分析和BP神經(jīng)網(wǎng)絡預測了不同溫度下鋰電池的健康狀態(tài),但淺層機器學習方法需要人工抽取樣本特征,依賴更多的先驗知識,對海量數(shù)據(jù)處理能力有限。為解決淺層機器學習問題,深層機器學習方法卷積神經(jīng)網(wǎng)絡(CNN) 、循環(huán)神經(jīng)網(wǎng)絡(RNN)、長短期記憶神經(jīng)網(wǎng)絡(LSTM)等得到廣泛應用,文獻[7]不需要事先具備信號處理的專業(yè)知識,利用CNN對采用時間窗準備數(shù)據(jù)進行壽命狀態(tài)的預測。文獻[8]利用RNN實時分析油的參數(shù),從而感知燃氣輪機發(fā)動機的狀態(tài)。RNN雖在CNN上添加了記憶功能,但無法適配長期序列,在更長的時間序列上,LSTM則有更好的表現(xiàn)。文獻[9]結合聚類和LSTM對風力發(fā)電機健康狀態(tài)實現(xiàn)了故障預測。文獻[10]通過模糊處理得到變壓器裝備各指標的相對惡化程度與變壓器狀態(tài)之間的關系,然后通過LSTM網(wǎng)絡,提取變壓器狀態(tài)的演變過程,構建了裝備狀態(tài)預測模型。但這些對LSTM的使用方法僅考慮機器狀態(tài)指標較少情況,在多維指標關聯(lián)復雜的裝備情況下,難以實現(xiàn)高精度預測。在對裝備狀態(tài)的評估方面,文獻[11]提出一種深度遷移學習的自編碼網(wǎng)絡提取軸承異常特征,利用離線軸承正常狀態(tài)的排列熵值構建報警閾值,有效識別軸承異常狀態(tài)。但該方法專注于異常的在線檢測,只能在異常已經(jīng)發(fā)生時檢測到,無法有效地提前預測和響應異常。在文獻[12-13]中,作者利用支持向量機(SVM)技術,能夠辨識核電系統(tǒng)中的異常并對核電設備中的多個異常進行分類檢測。文獻[14]利用深度神經(jīng)網(wǎng)絡(DNN)實現(xiàn)了高精度的滾動軸承故障狀態(tài)識別。文獻[15]也利用了DNN對裝備中的異常振動實現(xiàn)了檢測。由于帶有異常標簽的數(shù)據(jù)在真實物聯(lián)網(wǎng)裝備環(huán)境很少見,這些類似于SVM、DNN等有監(jiān)督的狀態(tài)評估方法難以實現(xiàn)。

針對上述方法的不足,結合物聯(lián)網(wǎng)裝備狀態(tài)中數(shù)據(jù)具備時序性、指標繁多且關聯(lián)復雜、標簽缺失等特點,提出一種基于多維指標關聯(lián)的物聯(lián)網(wǎng)裝備異常預測方法。該方法通過構建基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡感知模型和基于密度空間聚類的狀態(tài)評估模型,實現(xiàn)了物聯(lián)網(wǎng)裝備未來異常的高精度預測。

1 裝備狀態(tài)感知模型

1.1 多維指標關聯(lián)分析

物聯(lián)網(wǎng)的裝備在運行過程中會產(chǎn)生大量的歷史狀態(tài)信息,通過裝備數(shù)據(jù)收集模塊(例如傳感器等)采集這些狀態(tài)信息,并將這些狀態(tài)信息存儲在裝備的存儲單元。這些歷史狀態(tài)信息中會含有多種指標數(shù)據(jù),例如:溫度、振動、功率等數(shù)據(jù)。

多種指標數(shù)據(jù)相關分析在物聯(lián)網(wǎng)裝備維修異常檢測中非常重要。一方面,物聯(lián)網(wǎng)裝備有很多設備狀態(tài)指標和服務指標。當我們要對物聯(lián)網(wǎng)裝備的某個指標A進行監(jiān)控或預測時,可能無法獲得有效的歷史數(shù)據(jù)或實時數(shù)據(jù)。這時,我們可以選擇物聯(lián)網(wǎng)設備中與該指標關聯(lián)度較高的指標B進行預測,并保證該指標B有足夠的歷史數(shù)據(jù)或實時數(shù)據(jù)。另一方面,采用單一指標檢測分析在物聯(lián)網(wǎng)設備異常檢測中往往無法取得良好的效果。我們需要充分利用物聯(lián)網(wǎng)設備中的多指標數(shù)據(jù)對物聯(lián)網(wǎng)設備中狀態(tài)進行實時檢測。

在統(tǒng)計學中,斯皮爾曼等級相關系數(shù)是分析相關性的重要方法之一。它不需要檢查變量的樣本量或總體分布特征。斯皮爾曼系數(shù)通過提取數(shù)據(jù)的排序特征來計算變量的相關性。通過評價2個指標之間的關聯(lián)度,找出在裝備歷史狀態(tài)信息中和目的指標相關性較強的其余指標。2個指標間的關聯(lián)度計算表達式為

(1)

式(1)中:X和Y表示2個指標數(shù)據(jù)集合;Xi和Yi分別是2個集合中的元素值(1≤i≤N),xi表示Xi在X中的秩,yi表示Yi在Y中的秩,同時這些秩都是升序或者降序排列的。

如果所有N排的數(shù)據(jù)都是不同的整數(shù),用di表示xi和yi之間的差,其中。di=xi-yi。則2個指標間的相關性可以表示為:

(2)

當計算得到的相關系數(shù)結果為正時,表示各指標之間的單調性相同;當計算得到的相關系數(shù)結果為負時,表示各指標之間的單調性相反。系數(shù)絕對值越接近1,說明2個指標的相關性越強。通過斯皮爾曼計算指標之間的相關性后,可以得到與目的指標相關性較強的其他指標。

1.2 基于LSTM神經(jīng)網(wǎng)絡的指標預測

由于裝備的歷史狀態(tài)信息所包含的各個指標數(shù)據(jù)具有很強的時間序列特征,因此我們采用LSTM神經(jīng)網(wǎng)絡來對裝備的狀態(tài)進行精準感知。LSTM神經(jīng)網(wǎng)絡不僅適合時間序列特征的數(shù)據(jù)處理,而且同其他機器學習方法相比,LSTM神經(jīng)網(wǎng)絡可以通過計算隱藏層的相關權重系數(shù)自動調整和學習時間序列之間的隱式關系,達到更高的效率。LSTM神經(jīng)網(wǎng)絡的標準結構如圖1所示,采用3門結構控制時間序列信息的傳輸過程。

圖1 LSTM神經(jīng)網(wǎng)絡的標準結構

遺忘門的狀態(tài)用于確定有多少信息可以從上一時刻的單元狀態(tài)轉移到當前時刻的單元狀態(tài)。如果輸出為0,表示丟棄上一時刻的信息;如果輸出為1,表示保留上一時刻的信息。遺忘門的狀態(tài)的計算公式為

ft=σ(Wxf*xt+Whf*ht-1+bf)

(3)

式(3)中:ft為遺忘門的狀態(tài);σ為激活函數(shù);xt為輸入值;ht-1為隱藏層的最后一次輸出值;Wxf為遺忘門和輸入層之間的權重;Whf為遺忘門和隱藏層之間的權重;bf為偏置向量。

輸入門由2個部分組成,可以決定哪些新的輸入信息可以添加到單元格結構中。具體的計算公式為

it=σ(Wxi*xt+Whi*ht-1+bi)

(4)

(5)

(6)

輸出門Ot控制整個LSTM網(wǎng)絡的當前輸出值ht,它決定了之前更新的單元格狀態(tài)Ct能輸出多少信息。具體的計算公式為

Ot=σ(Wxo*xt+Who*ht-1+bo)

(7)

ht=Ot*tanh(Ct)

(8)

式(7)—式(8)中:σ為激活函數(shù);xt為輸入值;ht-1為隱藏層的最后一次輸出值;Wxo為輸出門和輸入層之間的權重;Who為輸入層和隱藏層之間的權重;bo為偏置向量。

經(jīng)過對模型進行分析后,開始搭建基于LSTM神經(jīng)網(wǎng)絡的裝備狀態(tài)感知和預測模型。本預測模型包含一個LSTM神經(jīng)網(wǎng)絡層和一個全連接層,2層之間順序連接。LSTM 層是該預測模型的核心,該層可接收經(jīng)過模型輸入數(shù)據(jù)格式處理后的裝備歷史狀態(tài)信息數(shù)據(jù),對其進行分析和結果預測;連接 LSTM層的下一層為一個全連接層,負責輸出計算結果。首先設置LSTM神經(jīng)網(wǎng)絡層,包括輸入數(shù)據(jù)維度設置、時間步長設置和循環(huán)神經(jīng)網(wǎng)絡結構中3個 sigmoid層和1個tanh層的神經(jīng)元數(shù)量設置。LSTM神經(jīng)網(wǎng)絡屬于有監(jiān)督學習的神經(jīng)網(wǎng)絡,因此用于模型訓練的樣本需要同時包含特征和標簽等2類數(shù)據(jù)。在裝備的歷史狀態(tài)序列數(shù)據(jù)中只包含目的指標數(shù)據(jù)集和與其相關的指標數(shù)據(jù)集,并沒有特征和標簽的區(qū)分,需要按照有監(jiān)督學習模型的樣本需求將序列數(shù)據(jù)改造為特征與標簽的一一對應形式。例如,依據(jù)搭建完成的模型訓練要求,將裝備歷史狀態(tài)信息數(shù)據(jù)中1-5 d的各項指標數(shù)據(jù)作為模型輸入數(shù)據(jù)的特征,第6 d的目的指標數(shù)據(jù)作為標簽;再以裝備歷史狀態(tài)信息數(shù)據(jù)中第2～6 d的各項指標數(shù)據(jù)作為模型輸入數(shù)據(jù)的特征,第7 d的目的指標數(shù)據(jù)作為標簽,依次類推。模型的學習為連續(xù)的過程,通過連續(xù)學習樣本數(shù)據(jù)中的特征和標簽數(shù)據(jù)達到有監(jiān)督的學習目的。

模型訓練的目的為通過學習有標簽的樣本數(shù)據(jù)調整自身網(wǎng)絡權重,使模型的計算結果能夠最大限度的接近實際值,來減少偏差達到理想狀態(tài)。在模型訓練的過程中,不同網(wǎng)絡權重值的設置使模型產(chǎn)生不同程度的偏差,可以采用一種損失函數(shù)來描述在設置不同網(wǎng)絡權重情況下的不同預測偏差。本模型采用均方誤差作為模型的損失函數(shù),既有利于求導計算梯度,又可較好地反應優(yōu)化過程中不同網(wǎng)絡權重對應的不同模型損失情況。通過尋找模型設置的網(wǎng)絡權重值與預測損失的關系,可以在優(yōu)化過程中訓練得出出使損失值最小的網(wǎng)絡權重集合。由于Adam優(yōu)化算法為每一個網(wǎng)絡權重都保持獨立的自適應的學習速率,具有很好的收斂效果,因此本模型采用Adam優(yōu)化算法作為模型優(yōu)化器。

模型采用迭代的方式進行預測,首先將裝備的歷史狀態(tài)數(shù)據(jù)經(jīng)過有監(jiān)督學習模式轉化后,輸入模型進行結果預測,得出未來一天的目的指標數(shù)據(jù)并記錄;然后將實際輸出結果加入下一次模型訓練的輸入特征中,與其他輸入特征共同作為訓練樣本再次預測未來一天的目的指標數(shù)據(jù),依次類推,得到預測結果。應用LSTM神經(jīng)網(wǎng)絡對物聯(lián)網(wǎng)的裝備進行狀態(tài)感知和預測,通過使用裝備的歷史目的狀態(tài)指標數(shù)據(jù)和幾個與其強相關性指標數(shù)據(jù)的主成分,經(jīng)過LSTM神經(jīng)網(wǎng)絡的處理和分析,預測裝備狀態(tài)可能發(fā)生的變化。

2 裝備狀態(tài)評估模型

帶有異常標簽的數(shù)據(jù)在物聯(lián)網(wǎng)裝備的真實環(huán)境中是很少見。因此為了提高檢測的準確性和定位未來可能發(fā)生的異常,采用無監(jiān)督聚類算法對LSTM的結果進行分析。對裝備的狀態(tài)預測數(shù)據(jù)集進行聚類,篩選出異常數(shù)據(jù),完成對裝備狀態(tài)的異常檢測,實現(xiàn)裝備狀態(tài)的有效評估。

無監(jiān)督學習聚類的算法非常多樣,DBSCAN算法是一個優(yōu)秀的基于密度的聚類算法,可以發(fā)現(xiàn)任意形狀的聚類,能有效發(fā)現(xiàn)噪聲點和離群點,十分適合于處理不規(guī)則的數(shù)據(jù)樣本。因此我們采用DBSCAN算法進行數(shù)據(jù)集的聚類與異常數(shù)據(jù)標記。

DBSCAN 算法最重要的2個參數(shù)是Eps(半徑閾值)和Minpts(密度閾值)。首先以每個數(shù)據(jù)點為圓心,計算以Eps為半徑的圈包含數(shù)據(jù)點的個數(shù)為該點密度值。然后選取一個密度閾值Minpts,圈內(nèi)點數(shù)小于Minpts的圓心點為低密度的點,而大于或等于Minpts的圓心點記為高密度的點。如果有一個高密度的點在另一個高密度的點的圈內(nèi),就把這2點連接起來,從而不斷地串聯(lián)數(shù)據(jù)點。如果有低密度的點在高密度的點的圈內(nèi),把它連到最近的高密度點上作為邊界點。所有連到一起的點形成一個簇,不在任何簇內(nèi)的低密度點即標記為異常點。如圖2所示,點A、B、C、D、E、F均為高密度點,P、Q為邊界點,M為異常點。取Minpts為3,以高密度點為圓心,Eps為半徑的圓中包含的數(shù)據(jù)點數(shù)均大于等于3。

圖2 DBSCAN數(shù)據(jù)點定義圖

為了確定2個參數(shù)值,首先獲取之前預處理后的裝備歷史狀態(tài)信息數(shù)據(jù)集,其中含有N個數(shù)據(jù)點,先在該數(shù)據(jù)集中任意選擇一個數(shù)據(jù)點,計算該點與數(shù)據(jù)集中其余點的歐氏距離D。在具體的實例分析中,DBSCAN算法中的2個參數(shù)Eps(半徑閾值)和Minpts(密度閾值)需要另外確定。歐氏距離D計算公式為:

(9)

檢查從數(shù)據(jù)點xi密度可達的所有點,形成聚類,將數(shù)據(jù)點xi稱為核心點。如果數(shù)據(jù)點xj滿足條件|Eps(xj)|=Minpts,則稱為邊界點,該狀態(tài)數(shù)據(jù)集中的其余點稱為異常點或者噪聲點。

利用DBSCAN算法對LSTM神經(jīng)網(wǎng)絡輸出的目的指標進行聚類,可以對LSTM神經(jīng)網(wǎng)絡輸出的各個目的指標的發(fā)展趨勢提供量化度量,能夠更加準確地預測裝備未來可能的狀態(tài)情況,從而實現(xiàn)面向多維指標關聯(lián)的裝備狀態(tài)的評估,為裝備維修保障決策提供科學合理的客觀分析依據(jù)。

3 仿真分析

實驗平臺是一臺包括16個2.6 GHz Intel核心和NVIDIA Tesla V100 GPU的服務器,服務器的RAM為64 GB。

我們的異常數(shù)據(jù)集是通過傳感器/射頻識別/二維碼等技術收集物聯(lián)網(wǎng)通信裝備不同時刻的狀態(tài)信息組成,該數(shù)據(jù)集記錄了60個物聯(lián)網(wǎng)通信裝備單元的數(shù)據(jù),每個單元有3 000多條數(shù)據(jù),包括通信數(shù)據(jù)平均往返時間(AvgRtt)、通信數(shù)據(jù)最短往返時間(MinRtt)、通信數(shù)據(jù)最長往返時間(MaxRtt)、裝備處理通信數(shù)據(jù)的時間(Process)、功率(Power)、電壓(U)、電流(I)、溫度(Temp)、振動信息(Vibration)、加速度(Acceleration)。

3.1 關聯(lián)分析與降維

在實驗分析之前,首先對數(shù)據(jù)集進行去噪和歸一化處理,然后計算物聯(lián)網(wǎng)通信裝備中指標之間的斯皮爾曼相關系數(shù)。相關分析的結果如圖3所示。每個方格都標有系數(shù)的值,每個方格用不同的顏色標記。顏色越深,計算結果越接近1,代表2個指標具有很強的正相關性;顏色越淺,計算越接近-1,代表2個指標具有很強的負相關性。為使圖片簡明扼要,各指標均使用簡稱。

圖3 指標的斯皮爾曼相關性分析

由圖3可知,物聯(lián)網(wǎng)通信裝備中一些指標具有很強的相關性,例如通信數(shù)據(jù)平均往返時間(AvgRtt)和裝備處理通信數(shù)據(jù)的時間(Process)間的相關系數(shù)為0.88。將通信數(shù)據(jù)平均往返時間(AvgRtt)作為實驗的目的指標,把與其強相關的指標進行PCA降維,經(jīng)過計算,相關系數(shù)矩陣的特征值、相應的特征向量以及貢獻率列于表1。

表1 PCA計算結果

從表1中可以看到,前3個主成分的累計貢獻率達84.23%,因此可以考慮只取前面3個主成分,它們能夠很好地概括原始變量。Fi=α1iX1+α2iX2+…+α9iX9,i=1,2,…,m。

3.2 目的指標預測

在本文中使用的數(shù)據(jù)集里,每個時間點的采樣間隔為15 min,因此每天有96個時間點。我們選取前5 d的平均數(shù)據(jù)往返時間自身數(shù)據(jù)和上階段降維后的3個相關聯(lián)主成分數(shù)據(jù)作為LSTM神經(jīng)網(wǎng)絡的輸入,輸出第6 d的平均數(shù)據(jù)往返時間數(shù)據(jù)。隨著時間窗的移動,會不斷產(chǎn)生新的真實數(shù)據(jù)放入時間窗中。例如,將第2～6 d的數(shù)據(jù)作為神經(jīng)網(wǎng)絡的輸入,輸出第7 d的平均數(shù)據(jù)往返時間預測數(shù)據(jù)。將裝備的歷史數(shù)據(jù)分為訓練集和測試集,利用訓練集的數(shù)據(jù)多次訓練LSTM模型,調整好參數(shù)之后,對測試集的目的指標進行預測。多維LSTM預測效果圖如圖4所示。

圖4 多維LSTM預測效果圖

圖4中,黑色實線代表平均數(shù)據(jù)往返時間的真實值,紅色虛線代表平均數(shù)據(jù)往返時間的預測值。可以看出,基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡模型可以準確地預測裝備指標的未來趨勢。

為了進一步衡量裝備感知模型的預測效果,我們在不同的物聯(lián)網(wǎng)通信裝備單元中,計算了幾種常見模型——單指標LSTM(只使用目的指標自身的歷史數(shù)據(jù)進行預測)、RNN循環(huán)神經(jīng)網(wǎng)絡的預測結果平均絕對百分比誤差(mean absolute percentage error,MAPE),并與多維LSTM預測結果的MAPE值作對比。其中MAPE值表示預測結果與真實數(shù)據(jù)之間的偏差程度,較小 MAPE 代表較高的預測精度。

算法對比如圖5所示,對比結果表明,多維LSTM模型具有更好的預測效果。這是因為裝備中指標——平均數(shù)據(jù)往返時間,是具有潮汐效應等時序特征的長期時間序列,并且平均數(shù)據(jù)往返時間的變化趨勢會受到與其強相關指標的影響。因此基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡模型能更好地感知預測平均數(shù)據(jù)往返時間的變化。

圖5 算法對比

3.3 異常檢測

利用基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡模型預測出裝備指標——平均數(shù)據(jù)往返時間未來的400個數(shù)據(jù)點。然后針對實際應用中缺乏物聯(lián)網(wǎng)通信裝備異常標簽的情況,我們使用無監(jiān)督學習的基于密度空間聚類的DBSCAN算法,來對基于多維指標關聯(lián)分析的LSTM模型預測出來的400個數(shù)據(jù)點進行聚類,將所有點劃分到不同的簇中。最后將異常點用黑色圓圈進行標注,紅色點表示正常的數(shù)據(jù)點。異常檢測圖如圖6所示。

圖6 異常檢測圖

由圖6可以看出,DBSCAN算法有效地分離了指標——平均數(shù)據(jù)往返時間在未來中的正常值和異常值。我們標記了目的指標在未來時間中的異常點,實現(xiàn)了物聯(lián)網(wǎng)通信裝備狀態(tài)的評估。

4 結論

針對缺乏異常標簽的物聯(lián)網(wǎng)裝備,本文中提出了一種基于多維指標關聯(lián)的物聯(lián)網(wǎng)裝備異常預測方法。結論如下:

1) 構建基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡感知模型。通過計算斯皮爾曼系數(shù)來分析不同指標之間的相關性,使用主成分分析方法來將與目的檢測指標相關性強的指標降維成幾個保留原始數(shù)據(jù)重要特征的主成分,將目的檢測指標歷史數(shù)據(jù)和關聯(lián)的主成分數(shù)據(jù)作為 LSTM神經(jīng)網(wǎng)絡的輸入,LSTM神經(jīng)網(wǎng)絡的輸出為目的檢測指標的未來預測數(shù)據(jù)。實現(xiàn)了物聯(lián)網(wǎng)裝備狀態(tài)的精準感知。

2) 構建基于密度空間聚類的狀態(tài)評估模型。對基于多維指標關聯(lián)分析的LSTM神經(jīng)網(wǎng)絡感知模型預測出的目的指標未來數(shù)據(jù),利用DBSCAN聚類算法,進行了異常情況標記。實現(xiàn)了物聯(lián)網(wǎng)裝備狀態(tài)的有效評估。

本文中提出的基于多維指標關聯(lián)的物聯(lián)網(wǎng)裝備異常預測方法構建了物聯(lián)網(wǎng)裝備狀態(tài)感知與評估模型,能夠提前預測物聯(lián)網(wǎng)裝備狀態(tài)的異常情況,并對未來一段時間內(nèi)可能發(fā)生的異常情況進行標記,從而提高了物聯(lián)網(wǎng)裝備的安全性和服務質量。