基于CNN-LSTM的支撐電容容值軟測量

楊培盛 ，付 宇 ，李鴻飛 ，初開麒 ，王夢謙 ，李政達

(1.濟南軌道交通集團建設投資有限公司，山東 濟南 250014；2.中車青島四方車輛研究所有限公司，山東 青島 266033)

0 引言

近年來，電力電子系統的可靠性越來越引起社會各界的廣泛注意[1-2]。大量的研究及實踐表明，在軌道交通領域，實現軌道列車牽引系統的實時健康狀態監測，做到及時的故障預警和提前維修[3-4]，將大大提高系統的可靠性，節約維修成本。

直流母線支撐電容作為牽引系統的關鍵部件，其健康狀態隨著投入運行年限的增加而變差，直流母線電容失效導致的列車系統停機甚至損毀給社會帶來了巨大的經濟損失[5-6]。因此，支撐電容的狀態監測技術成為了當前研究的熱點[7-8]。支撐電容的容值能夠表征其真實的健康狀態[9]，本文提出了一種大功率變流器直流母線電容容值的在線監測方法，利用數據訓練得到基于卷積神經網絡-長短期記憶網絡(Convolutional Neural Networks-Long Short Term Memory，CNN-LSTM)的神經網絡模型[10]，可以根據列車系統運行過程中采集到的實時運行數據進行支撐電容值的準確軟測量，對于實現支撐電容健康狀態在線監測、提高功率變流器的可靠性具有重要意義。

1 CNN-LSTM 神經網絡模型

CNN(卷積神經網絡)能夠充分挖掘傳感器傳回的大批量電壓、電流數據中與支撐電容容值有關的數據特征，LSTM 長短期記憶模型能夠使得數據特征信息完整化和豐富化[11]。采用CNN 和LSTM 結合的方式對支撐電容相關的電壓電流數據進行數據處理和神經網絡模型搭建，能夠顯著提高電容容值軟測量的準確度。

1.1 CNN 神經網絡模型

CNN 由數據輸入層、卷積層、激活層、池化層、全連接層和輸出層構成[12-13]，如圖1 所示。

圖1 CNN 神經網絡結構

卷積層可進行參數共享、卷積等操作，并通過卷積層濾波器提取輸入數據之間的關系；激活層主要完成卷積層輸出的非線性映射，使得整個網絡有更豐富的表達能力，激活層在結構上屬于卷積層；池化層進行參數降維，減小過擬合；全連接層對特征進行重新擬合，減少特征信息的丟失。

實時采集支撐電容相關的信號數據量大，通過傳統的數理統計方法梳理出傳感器數據和容值的統計規律難度較大。卷積層作為CNN 神經網絡的核心，其參數共享操作能夠很大限度減少運算量，尤其適用于大數據量應用場合;局部感知功能使得每一個卷積核都關注局部的數據信息，最后結合卷積層多核特性，實現多維度數據特征提取，最大化反映數據信息中包含的所有電容相關特征信息。CNN 神經網路模型能夠提取信號特征，基于提取的信號特征進行支撐電容值的軟測量分析。

1.2 LSTM 神經網絡模型

牽引系統支撐電容的運行狀態，不僅與當前時刻主回路狀態參數有關，準確預測電容容值還需要結合歷史數據狀態信息。LSTM 長短期記憶網絡單元能夠對長期依賴信息進行學習，可實現支撐電容時序信息的回歸預測，并且能夠避免傳統的RNN(循環神經網絡)的梯度下降、梯度爆炸等問題[14]。

LSTM的關鍵環節是“電容細胞狀態更新”，細胞更新后的狀態決定了最終的輸出信息。圖2 為LSTM 單元結構圖。從圖中可以看到，LSTM 單元內部通過4 個神經網路層相互交互。

圖2 LSTM 單元結構圖

在圖2中可以看到，LSTM 神經網絡單元的鏈式結構中，電容細胞狀態Ct在整條鏈上貫穿前行，LSTM 通過忘記門、輸入層門和輸出層門，對信號狀態信息進行更新和調控，旨在丟棄無價值的信息，保留并填充有用信息。LSTM的“門”結構由σ(即sigmoid 激活函數)神經網絡層和一個按位乘的操作構成。sigmoid 激活函數層輸出0～1的數值，其中，0 表示信息完全被丟棄，1 表示信息完成保留。

忘記門層通過sigmoid 激活函數決定丟棄何種信息，公式如下：

其中，ft為忘記層門輸出，xt為LSTM 單元在t 時刻的輸入，ht-1為LSTM單元在t-1時刻的輸出，Wf為權值矩陣，bf為偏置參數。

輸入層門通過sigmoid 激活函數選擇何種信息保留在狀態中，tanh 層創建一個新的候選值向量，用于狀態信息的填充，公式如下:

其中，it為輸入層門輸出，tanh 為雙正切激活函數為tanh層創建的候選值向量，Wi、WC為權值矩陣，bi、bC為偏置參數。

經過信息丟棄、填充后，細胞狀態已經更新為新狀態Ct，如下式：

其中，⊙表示哈達馬乘積。更新后的細胞狀態Ct通過tanh 激活函數后和輸出層門的輸出ot相乘決定最終的輸出ht，Wo為權值矩陣，bo為偏置參數，公式如下：

2 模型訓練

在網絡模型中，定義損失函數為MSE(均方誤差)，MSE 主要用于反映估計量與觀測值之間的差異程度，其公式如下[15]：

其中，yi是真實數據是對應模型輸出結果。其值越小表示估計量與觀測值之間的差異越小，越符合人們的期待和優化目標。

在卷積操作中，使用ReLU(Rectified Linear Unit)激活函數，ReLU 函數相較于其他激活函數，能夠有效地防止梯度彌散，引入了稀疏激活性，在同樣的條件下，能夠加快網絡計算，其公式如下[16]：

利用基于隨機梯度下降的優化方法來最優化網絡參數估計，利用反向傳播算法來最小化損失函數。為了防止過擬合，給LSTM 部分加上了Dropout 層。Dropout的實質就是按照一定的概率隨機地刪除部分神將元，然后進行計算、梯度傳播和更新，下一次再選取其他的神經元丟棄的一個過程。訓練過程主要由3 階段組成：前向傳播、后向傳播、梯度更新。

前向傳播的目標是將數據輸入網絡，沿著網絡前進計算，最后得到輸出，比較輸出與觀測值的關系。計算卷積和池化得到最后的輸出。

后向傳播基于前向傳播得到的網絡輸出值，然后計算輸出與觀測值的MSE，通過各層的參數，將誤差從輸出層反向傳遞往輸入層，經歷上采樣，與卷積和的倒置相乘等逆操作。

梯度更新采用隨機梯度下降的方法，計算參數的梯度，更新參數，以使得MSE 最小。學習率是梯度學習的關鍵因子，隨著模型訓練的深入，需要適時改變學習率才能更好地調整模型。學習率過快可能跳過最低點，導致信息丟失；過慢則時間消耗太大，嚴重影響代碼效率。應讓學習率隨著訓練的深入等比例地降低。

3 試驗結果分析

3.1 數據集

針對列車運行過程中牽引系統預充電、牽引加速、恒速運行、減速制動等不同工況下的電壓、電流數據，基于CNN-LSTM 神經網絡模型實現支撐電容容值的軟測量，本次試驗共測得35 組實時運行數據，對應的電容值范圍為9.50 mF～10.0 mF。

其中，每組數據包含7 個運行參數，分別為網壓、網流、電容電壓、電容電流以及逆變橋三相輸出電流。從數據集中隨機選取30 組數據作為訓練集對LSTM 卷積神經網絡模型進行訓練；剩余5 組作為測試集，驗證模型的準確度。

首先對傳感器采集的電壓、電流數據進行預處理，各路電壓電流數據的時域特征不明顯，因此對數據集進行快速傅里葉變換，將時域信號轉化為頻域信號，作為卷積神經網絡的輸入。

3.2 試驗結果

基于CNN-LSTM 神經網絡模型，制作數據集(包括訓練集、驗證集和測試集)。驗證試驗數據集共5 組，采樣頻率為100 kHz，采樣參數同之前相同，均為網壓、網流、電容電壓、電容電流以及三相電流。實驗目標是通過神經網絡軟測量上述5 組驗證數據對應電容值。

定義壽命誤差計算公式為：

其中，ErrorLife為壽命誤差，E 為絕對誤差，Cs為初始電容值(取10.00 mF)，Ce為壽命閾值電容值(取9.50 mF)。

在預先不知道真實電容值的情況下，用神經網絡軟測量，之后對比真實值，結果如表1 所示。

表1 驗證數據集電容值預測結果

對不同運行功率下的試驗數據進行容值軟測量，結果如表2 所示。

表2 不同運行功率下，電容值預測結果

由表1 和表2 可見，CNN-LSTM 模型對于試驗數據的軟測量結果較好，具有較高的精度。

為進一步驗證CNN-LSTM 神經網絡模型的軟測量結果，分別以BP 神經網絡模型、CNN 模型、LSTM 模型和本文應用的CNN-LSTM 模型為對比模型，由相同的數據集進行訓練和測試，隨機選取20 組試驗數據作為數據集，每組數據集由不同隨機種子隨機得到。由于以間隔0.1 mF的試驗數據作為訓練和驗證數據，以間隔0.01 mF的試驗數據作為測試數據，因此設定訓練誤差閾值為0.1 mF的10%，即0.01 mF。

定義ACC(正確率)為：

其中，TPos是在誤差閾值內的樣本個數，N 總樣本個數。ACC 主要用于反映估計值與觀測值相符合的程度。其值越大越好，表示軟測量的準確度越高。

圖3、圖4 為不同神經網絡模型下，正確率ACC 和壽命誤差ErrorLife隨組別的變化曲線。從對比結果中可以看出BP 神經網絡和LSTM的正確率較低，壽命誤差較大，且曲線波動比較嚴重，CNN 和CNN-LSTM 模型ACC和ErrorLife曲線較平穩，正確率較高且壽命誤差較小。

圖3 不同神經網絡模型正確率對比

圖4 不同神經網絡模型壽命誤差對比

表3 為不同神經網絡模型下均方誤差MSE 均值、正確率ACC 均值和平均壽命誤差ErrorLife。由表3 可知，CNN-LSTM 神經網絡模型綜合了CNN 高級數據特征提取能力和LSTM 對時序數據的長期依賴特性，預測精度最高，反映出模型能夠對網絡進行較好的回歸。BP 既無特征提取能力，也無歷史數據信息保存神經層結構，因此預測精度最差。因為LSTM 無數據特征提取能力，所以僅使用LSTM 模型做容值軟測量并不能提升容值測量精度。

表3 不同模型電容值預測準確率比較

4 結論

本文基于列車系統實時監測的數據，充分利用CNNLSTM 在信號特征提取和對時序數據長期依賴的優勢，實現對支撐電容容值的在線軟測量。通過提取不同工況下的支撐電容相關試驗數據作為CNN-LSTM 神經網絡模型的訓練樣本，以均方誤差、正確率和壽命誤差作為容值軟測量精度的評價指標。

利用試驗數據訓練得到的神經網絡模型可以準確軟測量不同試驗數據對應的容值，最后與BP 神經網絡模型、LSTM 神經網絡模型和CNN 神經網絡模型進行對比。實驗結果表明，該方法辨識精度較高，能夠滿足電容測量的工程需求。

電解電容的健康狀態與電容容值高度相關，因此監測電容容值對評測電容的健康水平具有重要意義。本文所提出的基于CNN-LSTM 神經網絡模型的容值軟測量方法能夠大大減輕傳統列車系統電氣部件檢修和測量的工作量，工程應用意義較大。