基于TensorFlow的LSTM模型在太原空氣質量AQI指數預測中的應用

張春露，白艷萍

(中北大學， 太原 030051)

當今社會，隨著人們生產、生活的發展，環境問題逐漸成為人們關注的焦點。山西省太原市是一座擁有2 500年歷史的文化古城。長久以來，山西省作為全國的煤炭大省在為國家發展做貢獻的同時，也不可避免地造成了一定的環境影響。如今環境問題日益嚴重，特別是在冬季供暖時期，山西主要依靠的是燒煤供暖，環境問題十分嚴峻。山西省想要恢復碧水藍天，尤其是作為省會城市的太原，更加需要以新的面貌去迎接未來的挑戰和發展。太原市經過多年的整治，但環境改善并沒有達到預期的效果，為了進一步揭示和治理太原空氣質量的污染情況，必須了解空氣變化趨勢，掌握及時、準確、全面的空氣質量信息，對空氣質量AQI指數進行精準地預測。基于此，本文提出了一種基于TensorFlow的 LSTM(遞歸神經網絡)時間序列模型來預測太原空氣質量的AQI指數。

1 理論介紹

1.1 LSTM簡介[1]

長短期記憶人工神經網絡(long-short term memory，LSTM)是一種改進的時間循環神經網絡(recurrent neural network，RNN)。

LSTM的關鍵是單元狀態[2](cell state)，它像是傳送帶一樣，將信息從上一個單元傳遞到下一個單元，與其他部分只有很少的線性相互作用。LSTM通過“門”(gate)來控制丟棄或增加信息，從而實現遺忘或記憶的功能。“門”是一種使信息選擇性通過的結構，由一個sigmoid函數和一個點乘操作組成。sigmoid函數的輸出值在[0,1]區間，“0”代表完全丟棄，“1”代表完全通過。1個LSTM單元有3個這樣的門，分別是遺忘門(forget gate)、輸入門(input gate)、輸出門(output gate)。

1) 遺忘門：遺忘門是以上一單元的輸出ht-1和本單元的輸入xt為輸入的sigmoid函數，輸出一個0到1之間的數值ft，將其賦值給當前的細胞的狀態CT-1，其中ft計算公式如下：

ft=σ(Wf.[ht-1,xt]+bf)

(1)

it=σ(Wi.[ht-1,xt]+bi)

(3)

3) 輸出門：該層輸出基于細胞的狀態，但也是一個過濾后的版本。首先，運行一個sigmoid層來確定細胞狀態的輸出部分；接著，將細胞狀態通過tanh進行處理(得到介于-1到1之間的值)，并將其與sigmoid門的輸出相乘，最終確定輸出部分。該層計算公式為

ht=Ot.tanh(Ct)

(5)

如圖1中所示，輸出時如果已達到閾值，就將該閥門的輸出與當前層的計算結果相乘，并把得到的結果作為下一層的輸入(此處相乘是在指矩陣中的逐元素相乘)；如果未達到閾值，則遺忘輸出結果。每一層及閥門節點的權重都會在每一次的模型反向傳播訓練過程中得到更新。

圖1 LSTM流程

1.2 TensorFlow簡介

在2015年的9月，谷歌發布了其第2代人工智能系統：TensorFlow，一個開源的機器學習軟件資源庫[3]。TensorFlow既支持深度學習算法[4]，也實現了很多其他算法，例如回歸預測、聚類分析、決策樹、關聯分析等多種算法。TensorFlow的發布也讓人工智能又一次成為大眾關注的焦點。

在TensorFlow中提供了LSTMCell操作來支持LSTM模型的搭建，在TensorFlow的內部封裝了LSTM的隱藏層，其中包含遺忘門、輸入門和輸出門等結構，但是一般隱含層數目需要用戶根據自己的實際情況來設定，本文設置的隱含層數目為10。

在使用TensorFlow搭LSTM建神經網絡的過程中[5]，不再以神經網絡中的節點為單位進行布局，而是以層為基礎來進行考慮和搭建。在TensorFlow中，LSTMCell就好比LSTM模型里面的隱藏層，因此包含多個節點的輸入層和輸出層也都用向量的形式來表示，向量的長度即為該層節點的個數。

在搭建和訓練模型的時候，模型里面的參數初始化是一個十分重要的過程，模型中的訓練參數的初始標準化會對訓練效果產生很大的影響。本文對訓練集標準化的理方式為：normalized_train_data=(data_train-np.mean(data_train,axis=0))/np.std(data_train,axis=0)；對測試集標準化處理為：normalized_test_data=(data_test-mean)/std，并用orthogonal_initializer方法對LSTMCell中的遺忘門、輸入門和輸出門的參數進行初始化。本研究使用批量隨機梯度下降法進行訓練。

2 模型建立

2.1 數據的采集和預處理

數據下載于太原空氣質量網，從2013年11月1日至2017年6月30日總計下載1 433條數據(某些數據存在缺失)。這里只列出前10天的數據，主要格式及污染物形式如表1所示。

2.2 太原空氣AQI指數分析

通過R語言編程對太原2013年11月1日至2017年6月30日的空氣質量AQI指數進行聚合，得到其時間序列分布折線圖如圖2所示。

通過圖2可以看出：太原空氣質量AQI指數的分布有一定的季節性波動，大概在每年的冬季AQI指數均較高，空氣質量較差。主要原因是冬季山西主要依靠燒煤取暖，供暖系統會增加顆粒物污染，并且冬季天氣干燥，不利于形成降水，降雨量少且持續時間較短，風速和風力較小，對空氣中污染物的沖刷效果不明顯，因此冬季的空氣質量相對較差。

表1 太原空氣污染物總表

圖2 AQI指數時間序列分布折線

2.3 AQI指數污染物相關性分析

利用R語言中的相關性分析包PerformanceAnalytics，并運行下列代碼：

Library(PerformanceAnalytics)

chart.Correlation(newdata,histogram=TRUE,pch=5)

得到空氣質量AQI指數和空氣污染物的相關性分析結果，如圖3、4所示。

圖3、4對角線中的是變量自身分布的曲線圖；在下三角形(對角線的左下方)，給出了兩個屬性相關性的散點圖，上三角形(對角線的右上方)，數字表示兩個屬性的相關性值(數字越大兩個屬性的相關性越高)，型號表示顯著程度(星星顏色越深表示越顯著)。分析圖3和圖4各種污染物與AQI指數的相關性如下：

PM10和AQI指數呈正相關，且相關性較大，為0.95；

So2與AQI指數呈正相關，且相關性相對居中，為0.68；

No2與AQI指數呈正相關，且相關性較小，為0.36；

Co與AQI指數呈正相關，且相關性相對較小，為0.45；

O3與AQI指數呈負相關，其負相關程度相對較小，為-0.25。

雖然每種污染物與空氣質量AQI指數相關性存在差異性，但是都與其有著一定的關聯，因此將AQI指數排名、PM2.5、PM10、So2、No2、Co2、O3均作為模型的輸入特征，AQI指數作為測試標簽(lable)。

圖3 質量等級、AQI排名、PM2.5、PM10、AQI相關性分析

圖4 So2、No2、Co、O3、AQI相關性分析

2.4 實驗設計及結果分析

根據太原空氣質量AQI指數預測過程，反復迭代實驗，由于本文是基于TensorFolw的多特征時間序列模型[5]，將通過多變量輸入特征擬合LSTM。

首先設置模型的隱含層數為10，輸入層和輸出層分別為8和1；然后取前1 400條數據為訓練集，后36條數據為測試集，并分別對數據進行標準化處理[6]。將每批次訓練樣本數(batch_size)設置為40，時間步長(time_step)設置為10，學習率(lr)設置為0.000 6，然后定義神經網絡變量，在輸入特征時需要將tensor轉成二維進行計算，計算后的結果作為隱藏層的輸入，最后再將tensor轉成三維作為lstmcell的輸入[7]。

在訓練模型時迭代次數可以改變，次數越大效果越精確，但需要的時間也越長[8]。本文的迭代次數設置為900，最終得到的平均偏差為2.031，均方誤差為5.625，得到的預測值(紅色線)與真實值(藍色線)的對比如圖5所示。

圖5 太原空氣質量AQI指數預測值與真實值對比

得到如表2的太原空氣質量AQI指數在LSTM模型[9]下迭代900次的誤差分析。

表2 太原空氣質量AQI指數誤差分析結果

從圖5(太原空氣質量AQI指數預測值與真實值對比)和表2 (太原空氣質量AQI指數誤差分析結果)可以看出：利用LSTM模型預測太原的空氣質量AQI指數可以得到較精確的結果。

3 結束語

本文通過R語言中的相關分析包PerformanceAnalytics得出與太原空氣質量AQI指數相關聯的影響因素，并將其作為模型的輸入特征，然后利用LSTM循環神經網絡對AQI指數進行預測。由于以往適合多輸入變量的神經網絡模型[10]一直存在著缺陷和不足，大多數古典的線性方法難以適應多變量或多輸入的預測問題，而基于LSTM的循環神經網絡卻幾乎能完美解決這個困擾已久的多輸入時間變量問題。

通過本文實證表明：基于TensorFlow的LSTM時間序列模型預測太原的空氣質量AQI指數具有精度高、預測時間范圍長、自適應高等優點，并且能夠充分逼近非線性映射。該方法具有通用性，能夠適用于其他多變量輸入的時間序列預測問題[11]，在生產和生活中有著廣泛的應用。

不足之處：由于本研究數據量有限，且對空氣質量AQI指數的影響除了大氣污染物還與氣候條件、工作日與休息日車流量、工廠聚集地等多種因素有關，因此要得到更精確的預測效果還需要加入這些影響因子，這也是未來本研究需要努力的方向。