基于LSTM的電纜負荷溫度預測方法研究

馮虎宗 張宗濤 李翔 陳江 張昆榮

（甘肅電器科學研究院 甘肅省天水市 741000）

隨著我國電網(wǎng)不斷壯大，使得電力電纜鋪設的范圍和密度也同步擴大。電力電纜在長時間內(nèi)以高壓方式供電的過程中會直接引起電纜的發(fā)熱，進而可能導致電網(wǎng)局部的溫度超標，破壞絕緣介質(zhì)，最終影響電網(wǎng)的安全可靠地運行和導致電網(wǎng)火災；同樣，若傳統(tǒng)電纜導體正常運行時的溫度太低，會大大降低對電纜資源的利用率。因此電纜溫度預測具有重要的現(xiàn)實意義。

本文提出了一種基于LSTM神經(jīng)網(wǎng)絡的電纜溫度預測方法，首先用SOM神經(jīng)網(wǎng)絡將電纜溫度序列進行分類并構(gòu)建各類數(shù)據(jù)集，其次將各類數(shù)據(jù)集使用LSTM對其進行訓練，最后使用測試數(shù)據(jù)對訓練好的網(wǎng)絡進行驗證，并將結(jié)果與常見方法對比，證明本文方法的有效性和準確性。

1 神經(jīng)網(wǎng)絡原理

1.1 LSTM基本原理

包含三個循環(huán)結(jié)構(gòu)的LSTM如圖1所示，每個循環(huán)結(jié)構(gòu)有兩個輸出，其中一個即為單元狀態(tài)，LSTM系統(tǒng)由輸入門、遺忘門、輸出門和單元狀態(tài)組成。輸入門決定當前時刻網(wǎng)絡的輸入數(shù)據(jù)有多少需要保存到單元狀態(tài)。遺忘門決定上一時刻的單元狀態(tài)有多少需要保留到當前時刻。輸出門控制當前單元狀態(tài)有多少需要輸出到當前的輸出值。各環(huán)節(jié)用公式相互連接，從數(shù)學角度實現(xiàn)物理抽象概念。

圖1：LSTM內(nèi)部結(jié)構(gòu)圖

公式（1）決定丟棄何種信息，公式（2）、（3）決定更新何種信息，公式（4）示意細胞狀態(tài)的變化，公式（5）、（6）決定信息的輸出。其中σ一般選擇sigmoid函數(shù)，將輸出控制在0和1之間，0代表“全部不允許通過”，1表示“允許全部通過”。W=[Wf, Wi, WC, Wo]表示待訓練的權(quán)重矩陣，B=[bf, bi, bC, bo]表示偏置量，表示不同時間的細胞狀態(tài)。

1.2 SOM基本原理

Som自組織神經(jīng)網(wǎng)絡通過學習輸入空間中的數(shù)據(jù)，從一種降維的角度對數(shù)據(jù)進行無監(jiān)督學習。不同于一般的神經(jīng)網(wǎng)絡使用反向傳遞算法進行訓練，SOM利用競爭學習策略，讓神經(jīng)元之間自發(fā)互相競爭并逐步優(yōu)化網(wǎng)絡。并且使用近鄰關(guān)系函數(shù)來維持輸入空間的拓撲結(jié)構(gòu)，使輸入空間中相鄰或相似的樣本會被映射到靠近的神經(jīng)元中，從而不需要人工介入的同時也可以對數(shù)據(jù)進行聚類，且不同于k-means等聚類算法，并不預先估計聚類結(jié)果，可以最大化的挖掘出數(shù)據(jù)關(guān)系。SOM網(wǎng)絡由輸入層和輸出層構(gòu)成。輸出層又叫競爭層，一般設置為由神經(jīng)元構(gòu)成的二維平面；輸入層與普通BP網(wǎng)絡輸入層類似，其大小由樣本數(shù)據(jù)的特征向量大小決定。

訓練過程如下：

第一步：初始化權(quán)值矩陣，假設一條輸入數(shù)據(jù)有D個維度，為映射到二維神經(jīng)元上，競爭層有n×m個神經(jīng)元。故有n×m個D維矩陣。

第二步：選取一個樣本X=(x1, x2, x3…xD)，遍歷競爭層的每一個神經(jīng)元，計算X與神經(jīng)元之間的相似度，經(jīng)過多種實驗處理，本文最終采用歐氏距離表示X與神經(jīng)元之間的相似度。選取最小距離的神經(jīng)元作為優(yōu)勝神經(jīng)元，又叫BMU(best matching unit)，根據(jù)鄰域半徑確定優(yōu)勝鄰域包括的點，即與BMU距離較近的所有神經(jīng)元。

第三步：更新優(yōu)勝鄰域內(nèi)的節(jié)點權(quán)值矩陣，越靠近BMU的神經(jīng)元更新幅度越大，越遠離BMU的神經(jīng)元更新幅度越小。

1.2.1 黨參總皂苷納米乳處方篩選。室溫下，將黨參總皂苷分別溶于表面活性劑(Cremophor EL40、Tween-80、Span-80)、助表面活性劑(PEG400、1,2-丙二醇)、油(辛酸癸酸甘油三酯、橄欖油)中，渦旋振蕩，直至不再溶解，測定藥物在各溶劑中的溶解情況。

θ(i,j)是一種對更新幅度的約束，與更新神經(jīng)元和BMU之間的距離有關(guān)，本文用可以近似估計為高斯函數(shù)的bubble函數(shù)來表示。

第四步：迭代次數(shù)+1，返回第二步，直到滿足設定的迭代次數(shù)。

2 基于LSTM的電纜負荷溫度預測方法

2.1 預測方法

本文提出基于LSTM的電纜負荷溫度預測方法，具體步驟如下：

（1）數(shù)據(jù)預處理：將不同電纜溫度樣本數(shù)據(jù)進行歸一化處理，消除量綱之間的影響的同時也使數(shù)據(jù)更適應神經(jīng)網(wǎng)絡，并按一定比例劃分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。

（2）SOM聚類：提取各條數(shù)據(jù)之間的差異性，將歸一化的數(shù)據(jù)輸入SOM神經(jīng)網(wǎng)絡，把相同聚類結(jié)果的數(shù)據(jù)歸為一類，為下一步的LSTM神經(jīng)網(wǎng)絡提供不同類別的數(shù)據(jù)集以提高預測精度。

（3）LSTM模型選擇：選取多種LSTM網(wǎng)絡結(jié)構(gòu)，分別輸入訓練數(shù)據(jù)并計算誤差，選擇誤差最小的網(wǎng)絡結(jié)構(gòu)作為本文選取的LSTM網(wǎng)絡模型。并分別使用SOM聚類后的數(shù)據(jù)集訓練LSTM網(wǎng)絡參數(shù)。

（4）預測輸出并驗證：先由SOM神經(jīng)網(wǎng)絡對測試數(shù)據(jù)集進行聚類，然后將測試數(shù)據(jù)輸入到訓練好的該類別LSTM網(wǎng)絡中得到本文預測值，并與真實值、BP神經(jīng)網(wǎng)絡和ARMA方法進行對比。

2.2 LSTM網(wǎng)絡結(jié)構(gòu)選擇

一般來說，LSTM網(wǎng)絡中參數(shù)的多少與網(wǎng)絡的學習能力呈正相關(guān)，與訓練時間和效率呈負相關(guān)。不同的Time_step和cell_size同樣會對預測結(jié)果產(chǎn)生不同的影響。

表1：不同LSTM網(wǎng)絡結(jié)構(gòu)參數(shù)

3 實驗與分析

為驗證本文提出的基于LSTM的電纜負荷溫度預測方法，實驗數(shù)據(jù)選取來自某市1個月的193條電纜負荷溫度，預測時間分辨率為一小時。實驗的軟件框架是TensorFlow，運行Windows10，64位操作系統(tǒng)。硬件方面，服務器是acer，AN515-52-73QL，CPU是i5-8300H，2.30GHz，內(nèi)存是8GB。

3.1 電纜溫度數(shù)據(jù)樣本

相同的數(shù)據(jù)維度之間，最大值與最小值之間可能存在較大差距。在構(gòu)建數(shù)據(jù)集時需要盡可能的消除一切影響，為了消除指標之間的量綱影響，本文采用現(xiàn)有神經(jīng)網(wǎng)絡體系下比較簡單且實用的最大-最小標準化處理方法，將電纜負荷溫度序列的所有數(shù)據(jù)分別歸一化至[0,1]區(qū)間內(nèi)，如公式8所示，該方法可以加快神經(jīng)網(wǎng)絡的訓練速度。

式中，xmax表示序列中最大值，xmin表示序列中最小值，xold是樣本數(shù)據(jù)歸一化前的值，xnew是數(shù)據(jù)歸一化后的值。將歸一化的數(shù)據(jù)經(jīng)過SOM自組織網(wǎng)絡。

為保證實驗的科學性，隨機從每種樣本中選取40個作為訓練樣本，10個作為測試樣本，并使用在預測領(lǐng)域常用的評價指標均方誤差(MSE)、均方根誤差(RMSE)、平均絕對誤差(MAE)來衡量平均實驗結(jié)果。

3.2 仿真結(jié)果分析

使用2.2章節(jié)選取的LSTM神經(jīng)網(wǎng)絡模型對各類樣本數(shù)據(jù)進行仿真，訓練的Batch_size設置為5，學習速率為0.004，采用Dropout方式優(yōu)化全連接層，Dropout參數(shù)設置為0.5。流程如2.1章所示，具體先將SOM網(wǎng)絡分類的數(shù)據(jù)格式調(diào)整為LSTM的輸入形式；然后分別對每種數(shù)據(jù)進行訓練和預測；最后為最大化消除實驗帶來的偶然性，將每種網(wǎng)絡對每種數(shù)據(jù)進行多次實驗，取結(jié)果平均值作為最終預測結(jié)果進行對比。

本文算法在MSE、RMSE、MAE三項指標都有較好表現(xiàn)。從宏觀上看，比如在類別1中，本文算法MSE比第二名的BP神經(jīng)網(wǎng)絡算法低了0.9055，RMSE比第二名的BP神經(jīng)網(wǎng)絡算法低了0.4836，MAE比第二名的BP算法低了0.4912，其它類別也同樣表現(xiàn)最好。微觀上盡管在某寫固定時間不如其它方法接近真實值，但整體上與真實結(jié)果更加擬合。實驗結(jié)果證明本文提出的算法學習能力更強，更能發(fā)掘和領(lǐng)悟到電纜負荷溫度變化趨勢，能夠為后續(xù)研究提供依據(jù)。

表2：不同LSTM網(wǎng)絡訓練誤差

4 結(jié)論

針對電力電纜負荷溫度不易直接測量的問題，本文通過SOM與LSTM神經(jīng)網(wǎng)絡相結(jié)合的方式對電纜負荷溫度進行預測，首先利用SOM神經(jīng)網(wǎng)絡對不同電纜進行聚類并構(gòu)建不同類別的數(shù)據(jù)集，其次從不同結(jié)構(gòu)的LSTM模型中選擇出適應該數(shù)據(jù)集的網(wǎng)絡結(jié)構(gòu)，以時間序列作為輸入變量，建立了電纜溫度預測模型。結(jié)果表明，通過SOM與LSTM網(wǎng)絡相結(jié)合的方式，可以更為精確的對電纜負荷溫度作出預測，能夠為現(xiàn)有的電纜溫度不易直接測量、目前預測精確度不高等問題提出新的解決方案與參考價值。