基于深度置信網絡的卡爾曼濾波算法改進

郭繼峰 李忠志 張國強 房德智 李艷娟

(東北林業大學信息與計算機工程學院 黑龍江 哈爾濱 150040)

0 引 言

卡爾曼濾波是一種基于最小方差下的最優估計方法。在系統模型、過程噪聲和測量噪聲的統計特性都已知的條件下，輸入觀測量、輸出估計值，并且觀測更新與時間變化具有一定聯系，通過這一聯系卡爾曼濾波可以不斷地進行遞推和對估計進行修正，主要解決的是隨機線性問題[1]。卡爾曼濾波解決的是對線性系統的估計，主要算法設計如下，其中X(k+1)為k+1時刻目標狀態變量，f(k)為狀態轉移矩陣，G(k)為噪聲驅動矩陣，Z(k+1)為k+1時刻觀測向量，H(k)為觀測矩陣，R(k)為k時刻噪聲協方差矩陣。

(1) 狀態估計的一步預測方程：

(1)

(2) 一步預測狀態的協方差為：

P(k+1|k)=f(k)P(k|k)f′(k)+G(k)Q(k)G′(k)

(2)

(3) 一步觀測矩陣的協方差為：

(3)

(4) 觀測向量的預測誤差協方差為：

S(k+1)=H(k+1)P(k+1|k)H′(k+1)+R(k+1)

(4)

(5) 新息或測量殘差為：

(5)

(6) 濾波器增益為：

K(k+1)=P(k+1|k)H′(k+1)S-1(k+1)

(6)

(7) 卡爾曼濾波算法的狀態更新方程為：

(7)

(8) 濾波誤差協方差的更新方程為：

P(k+1|k+1)=P(k+1|k)-K(k+1)S(k+1)K′(k+1)=

[I-K(k+1)H(k+1)]P(k+1|k)

(8)

通過不斷重復以上步驟來不斷更新濾波的誤差協方差矩陣，獲得更精確的濾波效果，卡爾曼濾波算法的結構如圖1所示。

圖1 卡爾曼濾波結構框圖

1 標準卡爾曼算法在濾波存在的問題分析改進

傳統的卡爾曼濾波算法主要有自適應卡爾曼算法[15]、模糊卡爾曼算法[16]和新息卡爾曼算法等。其中韓亞坤等[17]提出的新息自適應卡爾曼濾波算法沒有考慮對新息測量噪聲協方差矩陣進行在線優化，李忠良[18]提出基于BP神經網絡的自適應卡爾曼濾波算法沒有考慮對人工神經網絡進行優化，只使用簡單的三角函數來對比試驗，忽略了其他影響卡爾曼濾波的因素，對預測精度有一定的影響。針對以上卡爾曼算法在濾波中出現的，當系統模型不精確時濾波精度不高的問題，提出一種基于深度置信網絡模型的新息卡爾曼濾波算法。首先通過對新息卡爾曼濾波算法在濾波過程中利用實時觀測量和估計量信息在線修正參數和噪聲的統計特性，然后使用深度置信網絡模型在線調整噪聲協方差矩陣Q,使其接近實際噪聲量，從而提高濾波估計精度[2]。

1.1 新息自適應卡爾曼濾波原理

自適應卡爾曼濾波算法是為了解決理想狀態下的噪聲無法在現實環境中實現這個問題而提出的一種改進卡爾曼算法，而新息自適應卡爾曼算法是其中的一種。通過式(3)和式(8)推導出k時刻的新息，其中I(k)為k時刻的新息，C為新息協方差，Q(k+1)為k+1時刻噪聲矩陣，R(k)為k時刻觀測噪聲協方差矩陣:

(9)

k時刻的新息協方差：

(10)

由式(4)和式(7)得到Q(k+1)的表達式：

Q(k+1)=K(k)H(k)P(k)

(11)

最后將式(11)代入式(6)得出：

Q(k+1)=K(k)C(k)H(k)K′(k)

(12)

由式(10)變換可得到新息測量噪聲協方差矩陣R：

(13)

通過以上的推導和變換就可將標準的卡爾曼濾波算法改寫成基于新息的自適應濾波表達式，新息的自適應卡爾曼濾波和標準的卡爾曼濾波的不同在于，新息自適應卡爾曼濾波表達式中的噪聲協方差不再是固定的，而是對噪聲進行實時估計，從而使R和Q更加精確，提高了濾波的精度。

1.2 深度置信網絡模型構建與原理

深度置信網絡(Deep Belief Network)[14]由許多層用于接受輸入的顯層神經元(以下簡稱顯元)和用于提取特征的隱層神經元(以下簡稱隱元)構成，因此隱元也可以被稱為特征檢測器[3]。頂部兩層之間是無方向連接的，并構成聯合記憶。 下層的其他上層和下層之間存在有方向連接。 最底層表示的是數據向量，每個神經元表示為一維數據向量。受限玻爾茲曼機RBM(Restricted Boltzmann Machine)是DBN的主要組成元件。 因此，DBN的訓練過程是漸進的。 在每一層中，數據向量用于推斷隱藏層神經元，并且該隱藏層被視為下一層的數據向量。其結構如圖2所示。

圖2 模型結構圖

1.2.1受限玻爾茲曼機結構及工作原理

受限玻爾茲曼機是由一層顯性神經元和一層隱性神經元組成的，并且兩層神經元之間為雙向全連接，所以又被成為神經感知器，結構如圖3所示。

圖3 受限玻爾茲曼機網絡結構圖

在受限玻爾茲曼機中，任意兩個連接的隱層神經元和顯層神經元都有權重w來表示它們的連接強度，且每個顯層神經元都有表示自身權重的偏置系數c，每個隱層神經元都有表示自身權重的偏置系數b。因為RBM是基于能量的模型EBM(Energy Based Model)，所以可以用下面函數表示一個受限玻爾茲曼機的能量,并通過該能量函數引入一系列相關的概率分布函數:

(14)

在一個受限玻爾茲曼機中，激活隱層神經元hj的概率密度函數為:

(15)

由于是雙向連接，所以顯層神經元可以被隱層神經元激活，其概率密度函數為:

(16)

式中：σ為Sigmoid函數[4]，也可以設定為其他函數。由于同一層顯性或隱性神經元之間無連接權重，故具有獨立性，所以概率密度亦滿足獨立性，易得到下式:

(17)

(18)

通過以上的推導和分析得出了RBM的基本構造。

當用一條數據向量來訓練完RBM的顯性神經元層后，受限玻爾茲曼機會根據式(15)計算出相應的隱層神經元被激活的概率：P(hi|x)j=1,2,…,Nh，并且取0-1隨機數μ作為閾值，若概率大于該閾值則神經元將被激活，否則會被抑制，即:

hj=1P(hj|x)<μ

(19)

hj=0P(hj|x)≥μ

(20)

由以上不等式得出隱層的每個神經元是否被激活。

RBM共有五個參數:v、h、b、c、W，其中v是輸入向量，h是輸出向量，b、c、W，是通過學習相應數據得到的偏置值和權重。訓練RBM采用的是K步對比散度算法DC-k(Contrastive Divergence)[5]。先將數據輸入給顯層V1，并使用式(15)計算出每個隱層神經元的激活概率值。然后從計算的概率分布中通過Gibbs抽樣[6]選取一個樣本:

h1～P(h1|V1)

(21)

并用h1重新構造顯層，因為顯層和隱層之間為雙向全連接所以可通過隱層反推出顯層，最后使用式(16)計算出顯層中的每個神經元的激活概率P(V2|h1)。再次在h1的基礎上計算得出新的概率分布并通過Gibbs抽樣選取一個新的樣本:

V2～P(V2|h1)

(22)

利用V2再次計算每個隱層神經元的激活概率，最后得到更新的概率分布P(h2|V2)的權重:

W←W+λ(P(h1|V1)V1-P(h2|V2)V2)

(23)

b←b+λ(V1-V2)

(24)

c←c+λ(h1-h2)

(25)

按照以上步驟經過若干次訓練后，隱層神經元不但能較為精準地表達出顯層神經元的特征，而且還能夠在一定程度還原顯層。

1.2.2網絡的訓練與調優

DBN 在訓練模型的過程中主要分為兩步:

(1) 預訓練：首先對第一個RBM進行完全訓練，并將第一個RBM的偏移量和權值固定；然后將第一個RBM的隱層神經元的學習狀態作為輸入向量輸入到第二個RBM中進行充分訓練，在訓練完第二RBM之后，將第二RBM設置在第一RBM的頂部；最后重復上述訓練步驟任意次數，并需要分別對每一層的RBM網絡進行無監督訓練以確保將特征向量盡可能地映射到多個不同的特征空間，同時保留多個特征信息，若訓練集為被標記的數據，那么在頂層訓練RBM時，除了RBM顯層中的神經元之外，需要加入表示分類標簽的神經元，與Softmax分類器等一起進行訓練。根據學習到的相應標簽數據，分類器中相應的標簽神經元被激活為1，其他神經元被抑制為0。

(2) 微調：在對組成DBN的RBM進行訓練后，每層RBM只能保證自身的權值對該層得到最優的特征向量映射，并不能對整個DBN模型達到最優的特征向量映射，所以還需要計算出預測值和真實值之間的誤差。這就要將DBN的輸出層替換為反向傳播層(BPNN)[7]，反向傳播層會將誤差值從上向下傳播至每一層的RBM，從而達到微調整個DBN網絡的效果。將RBM學習到的特征向量作為其輸入向量，并且對關系分類器進行有監督訓練。上述訓練RBM網絡模型的過程也可以看作是對深層的BP神經網絡[13]權值參數的初始化，避免了DBN像BP神經網絡一樣因隨機初始化權值參數而容易陷入局部最優和訓練時間過長的缺陷[13]。訓練好的模型如圖4所示，其中深色部分為參與訓練最頂層RBM的標簽。

圖4 訓練好的深度置信模型

訓練生成DBN模型后，除了頂層RBM以外，其他層RBM的權重都被分成了向下的生成權重和向上的認知權重，接下來使用醒睡算法CWS(Contrastive Wake-Sleep)[9]對模型調優。該算法主要分為兩個階段，醒階段為學習和認知過程,通過學習外界的特征和向上的認知權重產生每一層的抽象表示的結點狀態，并且使用隨機梯度下降算法[10]修改層間向下的生成權重。睡眠階段為聯想和生成過程，通過醒階段學習和認知到的概念和向下的生成權重來生成底層狀態的同時再修改層與層之間向上的認知權重。

2 實驗效果與對比

以電磁繼電器壽命實驗數據的濾波來測試本算法效果。電磁繼電器是指專門應用于電器控制的繼電器，該類繼電器切換負載功率大，抗沖、抗振性高。電磁繼電器在航空航天等用電系統中擔負著控制、調節和保護等極其重要的任務，其質量的好壞與工作的可靠性直接影響著各種用電設備整體運行的可靠性和安全性。由文獻[18]可知接觸電阻、超程時間和彈跳時間是影響繼電器壽命和可靠性的關鍵參數。執行大眾集團VW80932標準工作模式：通電2 s，斷電3 s。采用壽命試驗臺對德國海拉公司HELLA/JD191型常開式觸點電磁繼電器進行壽命實驗，該樣件動作104 088次失效[11]。圖5-圖7為該樣件三個參數進行斷點和野值[12]的處理后的生命周期中退化趨勢數據。

圖5 接阻電阻隨動作次數的變化規律

圖6 超程時間隨動作次數的變化規律

圖7 彈跳時間隨動作次數的變化規律

先后用新息自適應卡爾曼算法和基于DBN模型改進的卡爾曼算法對參數(接觸電阻、超程時間和彈跳時間)進行濾波，前后效果對比如圖8-圖10所示。可見，采用DBN模型對卡爾曼濾波算法的噪聲協方差矩陣進行調整，改變了濾波增益并在線調整系統模型從而明顯提高對數據中目標狀態的估計精度。

圖8 接阻電阻隨動作次數的變化規律濾波前后對比圖

圖9 超程時間隨動作次數的變化規律濾波前后對比圖

圖10 彈跳時間隨動作次數的變化規律濾波前后對比圖

為了更直觀地描述濾波的性能，使用均方根誤差RMSE[20](root mean square error)進行定量分析，定義如下：

(26)

圖11 超程時間均方根誤差對比圖

圖12 彈跳時間均方根誤差對比圖

圖13 接阻電阻均方根誤差對比圖

從圖11-圖13的三個參數 RMSE曲線可以看出，采用DBN模型改進的卡爾曼濾波算法可以較好地降低RMSE。通過使用RMSE曲線可以較好地分析和比較DBN模型對卡爾曼濾波算法的濾波增益，并且對基于不同神經網絡模型改進的濾波算法提出一種較為理想的比較手段，同時也為后續進行濾波效果評估提供足夠的依據。

3 結 語

實驗使用DBN改進模型進行濾波后對結果進行分析和對比，提取了電磁繼電器中的六個重要參數中具有代表性的三個參數為輸入數據，建立基于DBN的新息卡爾曼濾波模型。濾波結果表明了該模型的精確性和有效性，根據仿真計算和實驗的結果可以看出，基于深度置信網絡改進的新息卡爾曼濾波模型是可行且有效的，可為繼電器壽命預測、故障診斷以及其他相關設備器件的可靠性研究提供新的更高精度的數據處理方法。