一種基于深度學習的數據預測方法

文/陳建婷

1 引言

近年來，隨著人工智能的發展，更多的神經網絡方法用于進行數據預測。愈發成熟的算法所預測出的結果也越來越精準。然而，多變量時間序列預測是一項艱巨的任務。以電力負荷預測為例，負載是復雜的并且具有多個季節性水平，給定小時的負載不僅取決于前一小時的負載，而且還取決于前一天同一小時的負載。其次，必須考慮許多重要的外生變量，特別是與天氣有關的變量。

多變量時序預測方法通常分為兩種，一種是基于時間序列模型的傳統方法，自回歸積分滑動平均模型是其中的典型代表。自回歸積分滑動平均模型的原則是探索序列和數據變化之間的規律和特點，而序列即為隨時間變化的隨機數列。該方法的利用了時間序列數據的時序性，但是缺點在于對非線性關系的預測準確度較差。

另外一種是基于人工智能的方法。如使用簡單的神經網絡方法，人工神經網絡最初是受人類大腦處理信息方式啟發的數學工具。人工神經網絡由神經元所構成，不同的輸入信息經由神經元處理，并發出響應。隨著深度學習算法完善和發展，單一的基于神經網絡的方法預測結果不夠精準。

針對傳統方法所存在的缺陷，本文使用了一種基于長短期記憶神經網絡的方法對多變量時序數據進行預測。該方法的優勢在于考慮到了多變量時序數據的時序性和非線性的特點。論文剩余部分將首先介紹循環神經網絡和長短期記憶神經網絡的原理，之后通過數據集的實驗，證明基于LSTM 的電力負荷預測方法精準度高，穩定性強。

2 LSTM神經網絡模型

2.1 循環神經網絡

循環神經網絡(RNN)是人工神經網絡的一種，RNN 的特點在于不同層之間的神經元相互也建立權的連接，當序列繼續推進，之前隱藏層將對之后的隱藏層產生效果。如圖1所示，是一個RNN 的示意圖。

在圖1中，右側是計算時便于理解記憶而展開的結構。簡單說，x 為輸入層，o 為輸出層，s 為隱含層，而t 指第幾次的計算。V，W，U分別為不同層的權重，其中計算第t 次的隱含層狀態時為St=f(U*Xt+W*St-1)，實現當前輸入結果與之前的計算關聯的目的。

RNN 的缺陷是當輸入數據的時間間隔逐漸變長的情況下，RNN 將失去學習較長時間之前數據的功能，此情況即是梯度消失。

2.2 LSTM模型

LSTM 模型是RNN 的一種改進體，最早是由Juergen 提出的。經典的LSTM 模型單元結構如下：

如圖2所示，LSTM 的特征是在RNN 的結構基礎上，將其每一層都增加了閥門節點。 閥門一共有三種類型：遺忘門，輸入門和輸出門。 可以開啟或關閉增加的閥門以確定每一層的輸出處的模型網絡的存儲器狀態的結果是否達到閾值，若超過閾值，將被增至到當前層的計算中。 在圖2中，閥節點以sigmoid 函數計算網絡的狀態為輸入；若超過閾值，閥門輸出和當前層的乘積被視為下一層的輸入；若結果未能超過閾值而選擇忘記輸出。在不同模型的每次反向傳播訓練期間進行不同層的權重更新。而某些修改（例如耦合輸入和遺忘門）簡化了LSTM，不會顯著損害性能。對參數交互的分析表明，可以獨立調整參數。 尤其是使用相當小的網絡首先校準學習速率，這樣做可以節省大量的實驗時間。

3 實驗結果

圖1：RNN 單元結構圖

根據2014年全球能源預測競賽（GEFCom2014）給出的數據集，以2003年3月-2008年11月電力負荷數據作為訓練集，以2008年12月的電力負荷數據作為測試集。

首先，將數據集中的數據進行標準化，先把數據集中的電力負荷值除以1000，再計算數據集的平均值，最后用原值減去平均值。

在本次實驗中，將用均方誤差（MSE）和百分誤差（e）兩個參數來評判該方法的預測數據的準確性。對比預測數據與真實數據的均方誤差，計算公式如下：

其中N 為預測結果總個數，yt為真實值，為預測值。根據實驗結果，最終測試集的MSE 是0.035。

如圖3所示為使用本文方法得到的電力負荷預測結果，預測值為橙色線，真實值為藍色線，可以看出預測值和真實值的差值較小。

比較真實值和預測值，采用百分誤差來衡量，公式如下：

圖3：基于LSTM 的預測結果

圖4：基于LSTM 方法的預測誤差

4 結論

多變量時序數據預測具有時序性和非線性的特點，本文使用的基于長短期記憶神經網絡的預測方法很好的利用了多變量時序數據的特點。從實驗中可以看出，使用本文方法預測出的數據精準度較高，誤差率一直保持在較低的范圍內，說明基于LSTM 的多變量時序預測方法穩定性較強，具有實際意義。

更正

茲有李銳、馬軍、傅寧、張喆、曾令康同志發表在《電子技術與軟件工程》雜志2019年3月上半月刊通信技術欄目第18 頁中《激光鏈路對天地協同通信網絡系統性能影響》一文，此文章為國家電網公司科技項目《支撐全球能源互聯網的天地協同通信技術架構研究》文章，項目編號：526806160036；

文章添加作者簡介：

李銳，大學本科學歷。中級工程師。研究方向為電力通信技術。

馬軍，大學本科學歷。中級工程師。研究方向為電力信息通信、北斗。

傅寧，碩士研究生。高級工程師。研究方向為電力信息通信、北斗。

張喆，碩士研究生。高級工程師。研究方向為電力通信技術。

曾令康，博士研究生。高級工程師。研究方向為電力通信技術。

《電子技術與軟件工程》編輯部

2019年3月