一種混合神經網絡的武陵山片區氣候預測模型

李森林， 唐 波， 鄧小武

（懷化學院1.計算機科學與工程學院；2.武陵山片區生態農業智能控制技術湖南省重點實驗室，湖南懷化418008）

神經網絡模型的時序預測是一個重要的研究分支.隨著移動互聯網普及，不同領域的應用都會產生大量的時間序列數據，探究這些數據背后有價值的信息對人類的生活意義重大.比如時序預測模型在天氣預測中的應用與農業的生產、耕作關系密切.武陵山片區是我國中西部以武陵山及周邊地帶命名的貧困地區，片區以山地為主、氣候變化大，農業生態脆弱，受天氣變化影響較大[1].因此研究探索一種混合神經網絡的武陵山片區氣候預測模型，對武陵山片區農民生產、生活的決策至關重要.

事實上，研究人員已經提出或改進了不同類型的時間序列預測方法.早期人工神經網絡技術的出現和發展，為時序預測提供了技術支持，尤其反饋神經網絡[2]（BP）在預測中的應用非常廣泛.BP模型具有模擬任何非線性函數的能力，但提取數據特征偏弱.深度學習（DL）是一種多層的神經網絡模型，在提取數據特征和模型訓練方面，具有端到端的自學習功能.近年來，研究人員提出了許多DL構建的時序預測模型，如RNN[3]、CNN[4]、LSTM[5]等，這些模型在預測領域表現優異.基于武陵山片區氣候數據特征，我們提出一種混合神經網絡預測模型.該模型由兩個子模型組成，一個子模型訓練文本數據，另一個訓練圖像數據；然后再將兩個子模型合并輸入到多層感知預測模型中.

本文主要有三點貢獻：

（1）獲取武陵山片區氣候數據，并進行清理、規范化等預處理.

（2）深度分析了單變量、多變量、單步長、多步長時序數據在單神經網絡（BP、LSTM、CNN）預測模型中的預測過程.

（3）提出了多類型輸入的混合神經網絡武陵山片區氣候預測模型，并完成了與單神經網絡BP、LSTM、CNN的實驗結果對比.

1 相關概念

1.1 時間序列數據

測量數據是有時間維度的，時間序列數據是指一些隨時間變化的檢測值.這些數據除具有一般數據的特征維度外，還具有時間依賴性、近似性等特點.時間序列數據表現形式如下：

對于變量Xi（i=0，1，2，3，…，t-1，t），有：

Xt-n，…，Xt-3，Xt-2，Xt-1，Xt

Time-------------->

1.2 監督學習數據格式

監督學習是機器學習的一種方式.訓練神經網絡過程是利用一組具有已知標簽的樣本調整神經網絡模型的參數，從而達到性能要求.因此，時間序列數據必須先轉換為監督學習數據格式才能用于神經網絡模型的訓練，即按照時間步長重新構建輸入數據和標簽數據.

1.3 神經網絡

神經網絡是由大量感知器連接而成的計算模型.一般包括輸入層、中間層和輸出層，具有模擬非線性函數的強大能力.單個感知器結構如圖1所示，xi為輸入數據、wi為連接權重，f（·）為激活函數（如sigmoid、tanx、softmax、relu）.在神經網絡搭建過程中，輸入節點和輸出節點感知器數量是固定的，由輸入數據特征數和輸出數據標簽數決定，可通過調整中間層深度和節點數來滿足用戶的要求.

圖1 單個感知器

1.4 評價指標

預測誤差的大小是評價一個模型可行性或性能的重要指標，通常是對一組測試數據通過模型計算出預測值，然后與實際值進行比較從而求得兩者之間的誤差.本文采用常用的平均絕對誤差（MAE）和均方誤差（MSE）來評價各模型，數值越小則效果越好.

2 相關研究

本節將對不同類型的時間序列數據和單神經網絡預測模型進行分析研究，包括數據格式轉換、分割訓練數據集和測試數據集，基本模型分三部分.

2.1 單變量多步長BP神經網絡

基本的時序數據是單變量時序數據，在用于神經網絡預測模型時，需要重新構建為監督學習數據格式.例如，單變量時序數據如表1所示，包括時間和測量數據.針對表1中的數據（假設用變量X表示），在時間步長為3、預測下一個時間點數值的情況下，需要將X數據轉換為以下監督數據格式，如表2所示.

表1 單變量時序數據

一個常用于預測的淺層BP神經網絡模型，一般包括一個輸入層、一個隱藏層和一個輸出層.針對表2數據集構建的BP神經網絡模型結構如圖2所示，其中輸入層節點數為3由輸入數據的特征數量決定；標簽數據的特征數量決定了輸出層節點數1.需要強調的是該模型必須將原始的時序測量數據格式轉換為監督學習數據格式.

圖2 淺層BP神經網絡

表2 監督學習數據格式

2.2 多變量多步長的LSTM預測模型

LSTM是一種遞歸神經網絡的改進模型，能通過神經元門獲得需保留的歷史信息來幫助對未來的預測.LSMT模型的輸入數據的維度為3D，所以需要把二維數據（樣本數、特征數）格式轉換為三維數據（樣本數、步長、特征數）格式.多變量多步長的時間序列格式要求如表3所示.根據步長滑動窗口得到需要的數據樣例，并重構維度，這樣才可以用于模型訓練.

表3 多特征與標簽

從表3中可以看到時序數據處理后轉換為輸入數據集和標簽數據集，設定步長為3，輸入數據特征數量為4，則滑動窗口大小為3*4.窗口從首行開始滑動至行尾（-1行），構建了維度為（4*3*4）的輸入數據樣本，標簽列y1，y2，y3，y4分別與之對應，這種格式是根據模型的輸入要求確定的.

LSTM模型是一種RNN結構，RNN的基本神經元結構如圖3所示，其隱藏層神經元s（t時刻）的輸入即來自t時刻的x輸入單元，又來自上一時間（t-1時刻）的s神經元，設U和W分別表示對應的權重矩陣，即St=f（U*Xt+W*St-1）.對圖3展開后得到如圖4所示的結構，即一個由三層網絡構建在t-1時刻和t時刻的隱藏層連接圖.

圖3 LSTM基本神經元結構

圖4 RNN隱藏層神經元連接結構

LSTM適合于處理和預測時間序列中間隔和延遲較長的事件，對RNN模型中的神經元進行改進增加三個門，分別表示忘記門、輸入門和輸出門.其中輸入門學習來決定何時讓激活傳入存儲單元，而輸出門學習決定何時讓激活傳出存儲單元，遺忘門決定要從上一時刻的細胞狀態中丟棄什么信息，保留哪些信息.

2.3 時序數據的CNN預測模型

CNN卷積網絡模型在圖像識別領域的性能非常顯著[6].1998年紐約大學Yann LeCun提出的CNN，本質上是一個采用局部連接和共享權值的多層感知機.與BP多層感知機層與層之間神經元全連接不同的是，卷積神經網絡層與層之間的神經元節點是局部連接形式，充分利用了層間局部空間相關性，將相鄰每一層的神經元節點只和它相近的上層神經元節點連接；另一個特點是卷積層的每一個卷積濾波器（一般采用多個濾波器）重復作用于整個感受野中，對輸入圖像進行卷積，卷積結果構成了輸入數據的特征.這種局部感知和共享權重的特點是：一方面減少了權值的數量，使得網絡易于優化；另一方面降低了過擬合的風險.常用的最大池化采樣方法的價值體現在兩個方面：（1）它降低了來自上層隱藏層的計算復雜度；（2）這些池化單元具有平移不變性，增強了對位移的魯棒性.CNN卷積模型能有效獲取二維數據的重要特征，這對于多步長和多變量的時間序列數據特征提取非常重要.對于CNN模型在時間序列預測中的應用，假如時間序列數據（有3個特征）構建預測監督學習數據格式和卷積池化過程（如圖5所示），其時間序列數據的特征數量為3、時間步長為2；通過CNN卷積獲取時序數據的特征并池化，之后作為預測模型的輸入數據.該方法用于混合神經網絡的武陵山片區氣候預測模型的子模型之一.

圖5 CNN時序數據卷積和特征池化

CNN模型的訓練算法包括兩個階段：

第一階段，向前傳播階段：

（1）從樣本集中取一個樣本，輸入網絡；

（2）計算相應的實際輸出.在此階段，信息從輸入層經過逐級的變換，傳送到輸出層.這個過程也是網絡在完成訓練后正常執行時的過程.

第二階段，向后傳播階段：

（1）計算實際輸出與相應理想輸出的差；

（2）按極小化誤差的方法調整權矩陣.

3 深度混合神經網絡模型

移動互聯網的快速發展，導致數據量急劇增加，并且淺層神經網絡或單神經網絡模型在時序預測方面的應用明顯能力不足.本文武陵山片區的氣候序列數據提出了一種深度混合神經網絡預測模型[7]（DHNN）.該模型主要由LSTM和CNN子模型組合而成，實現了端到端的學習和訓練，節省了人工成本和人為誤差.DHNN模型的基本結構如圖6所示，LSTM子模型接受氣候時間序列文本數據，CNN子模型接受氣候圖像數據，之后對兩個子模型進行合并輸入到淺層神經網絡預測層[9].

圖6 混合神經網絡

4 實驗和分析

多步長和多特征的時序氣候數據張量表示，能表達數據的結構信息、時序信息和內在特征.構建的DHNN模型中的LSTM子模型和CNN子模型可以有效抽取時序氣候張量數據不同維度的特征.因此對獲取的武陵山片區氣候數據，首先要轉換為具有監督學習的高維張量數據格式，滿足模型的輸入要求.用于深度混合神經預測模型的實驗數據來自武陵山片區天氣預報部門.

4.1 模型評估

為了評估各模型在實驗數據上的性能，本文將混合神經網絡模型與單模型MLP、LSTM和CNN進行了實驗性能對比.實驗采用了回歸代價函數平均絕對誤差（MAE）和均方誤差（MSE）.

（1）MAE是一種用于回歸模型的損失函數，計算目標值和預測值之差的絕對值期望，能更好地反映預測值誤差的實際情況.MAE定義如下式，其中yi為實際值為預測值.

（2）MSE是最常用的回歸損失函數，計算預測值與真實值之差平方和的期望，MSE可以評價數據的變化程度，MSE的值越小，說明預測模型描述實驗數據具有更好的精確度.MSE定義如下式，其中yi為實際值為預測值.

4.2 數據集

武陵山片區是中國中西部以武陵山命名的多山區域，面積達17.18萬平方公里，位于湖南、湖北、重慶和貴州的交界處.該片區因為平地少、多梯田，農業收入受天氣影響較大.獲取跨度2011年至2020年每天的氣候信息，構成了一個三維的（時間*地點*數據）張量數據集[10]，如圖7所示.這里的數據分為文本數據和圖像數據.下面以武陵山片區懷化為例，給出相關部分實驗數據，如圖8為懷化2011年至2020年的溫度變化曲線，可以看出2019年的冬季數據有異常，為此本實驗進行了適當調整.

圖7 張量數據

圖8 懷化2011年至2020年溫度變化

4.3 注意事項

實驗過程中數據和模型結構（深度和節點數）對預測性能影響較大.首先對獲取的時間序列數據需要進行預測處理：（1）空值處理，采取均值填充和刪除策略；（2）字符串序列進行數字化；（3）對數據進行0-1的標準化；（4）分割數據集，訓練集數據占比80%，驗證集數據為10%，檢驗數據集占比10%；（5）時序數據監督化，因為時序數據不能滿足監督學習模型的輸入要求，所以需要將原始數據進行監督學習格式化；（6）時間步長選擇，不同的時間步長決定了樣本數的數量和訓練結果.其次由于神經網絡模型深度和各層神經元數量的不同，預測結果也不同，采取網格搜索方法調整優化各類參數（如深度、各層神經元數等），從而找出理想的參數組合.梯度消失和爆炸是神經網絡模型的先天不足，是反向傳播過程中激活函數求導所致，這是需要注意和解決一個問題.本文使用Relu激活函數和Batchnorm來防止該現象的發生.相反，SLTM模型由于其神經元中設置門操作，不會出現梯度問題.

5 結果與分析

本小節將使用BP、LSTM、CNN和DHNN四種模型完成實驗和數據對比.

5.1 各模型評估數據

圖10 LSTM模型預測

圖11 CNN模型預測

根據模型評估尺度MAE和MSE，表4給出了各模型相關數據.

表4 預測數據集上的評估數據

從表4可以看出，BP模型的性能最差，混合模型的性能最好，這主要是各模型對數據特征的提取能力不同所致.

5.2 各模型預測值和真實值

模型訓練后，測試集上數據的表現能反映模型的泛化能力.如圖9至圖12分別反映BP、LSTM、CNN和DHNN模型的預測能力.可以看出，DHNN模型擬合較好.

圖9 BP模型預測

圖12 HDNN模型預測

6 結束語

時序預測模型是對具有時間維度和依賴性特征的張量數據進行建模.本文根據武陵山片區的數據特征，給出了單個模型和混合模型預測的相關實驗.對時序模型預測的誤差進行了評估和比較，發現數據和模型具有同等重要性.清洗和標準化后的數據能有效提高模型的泛化性能，不同深度或各層節點神經元數，也同樣嚴重影響模型的預測效果.誤差梯度的爆炸和消失一直是神經網絡模型固有的特征，不利于模型的訓練和預測，這方面還需要認真研究和探討.