基于GCN-LSTM的空氣質量預測①

祁柏林,郭昆鵬1,,楊 彬,杜毅明,劉 閩,王繼娜

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術研究所,沈陽 110168)

3(遼寧省沈陽生態環境監測中心,沈陽 110000)

4(遼寧省先進裝備制造業基地建設工程中心,沈陽 110001)

1 引言

近年來隨著科學技術的不斷發展,各種傳感器,電子元器件的體積進一步減小,精度進一步提高,而這些傳感器和電子技術的快速發展又進一步推動環境監測從區域化粗粒度監測向更細粒度的區域網格化監測發展.同時網格化監測手段與大數據技術的有機結合,又使得環境監測部門可以獲得更多尺度、更加詳細的空氣污染信息,通過分析這些空氣污染數據不但可以迅速的發現污染源頭,快速治理,還可以對網格化監測區域內未來的空氣污染狀況進行預測,因此挖掘空氣污染數據的潛在信息對于推動我國生態文明建設,改善空氣質量污染狀況,提升人民生活的幸福度具有一定的意義.

長期以來,空氣質量的預測一直是國內外空氣污染監測與治理相關領域的研究熱點之一.按照研究手段分類,空氣質量預測可以分為統計預測、數值預測和以機器學習為代表的人工智能算法預測這3 種方案[1],其中統計預測是指通過分析空氣中污染物的變化規律來進行預測,常用的模型有灰度模型和回歸模型.但是單一的灰度模型或者回歸模型又各自存在一些缺陷,有的學者提出了將基于殘差修正的灰度模型[2]應用到空氣質量預測的工作上面,有效的提高了灰度模型的預測精度.也有學者將多元線性回歸模型應用到空氣質量分析中,都取得了一定的成果[3].

有關于空氣質量的數值預測是指以大氣運動規律為基礎,綜合空氣中污染物之間可能發生的物理和化學變化,利用數學的方法建立起污染物在空氣中擴散模型來預測未來一段時間內污染物濃度的變化,其中主流的模型有CQMA,NAQPMS,CAMs 等.雖然數值預報在空氣質量預測方面有著不可取代的作用,但是由于數值預報本身的不確定性,所以可能會導致單一的數值預報模式的預測精準度存在問題,所以來自浙江理工大學的謝磊提出了一種綜合多種數值預報模式的空氣質量的預測方法,在一定程度上提高了空氣質量的數值預測的精度[4].

近年來隨著人工智能學科的快速發展,已經有越來越多的人將有關于機器學習,神經網絡等方面的相關知識應用到空氣中污染物預測和空氣質量預測方面.有學者將支持向量機的方法與空氣質量的預測相結合,提出了基于改進螢火蟲尋優支持向量機的預測模型(IFA-SVM),該模型改進了以往使用的螢火蟲算法-支持向量機(FA-SVM)在訓練模型時收斂速度慢和參數震蕩等問題[5].有國外學者將ANN 應用到空氣質量預測方面并取得了較高質量的預測效果[6],也有學者將BP 神經網絡應用到空氣中污染物濃度的預測工作方面,并且使用K 近鄰算法(KNN)來優化傳統BP 神經網絡方法不能體現歷史時間窗內的數據對當前預測影響的問題[7].還有學者將能夠高效的提取連續時間特征的長短期記憶神經網絡(Long Short-Term Memory,LSTM)應用到空氣中污染物的濃度預測方面.來自西安電子科技大學的張晗提出了一種基于LSTM的空氣污染物預測模型,可以有效的提取有關空氣污染物濃度的歷史數據之間的時間特征從而獲得一個準確率較高的預測數據[8].還有學者將經濟因素的影響添加到空氣質量的預測中,并取得一定的成果[9].

當前對于空氣中污染物濃度預測的相關研究大多是以可以產生大量,多元監測數據的大中型監測站為研究對象,而以網格化監測中小微型監測站作為研究對象的研究較少.同時,由大中型監測站所產生的空氣質量數據與網格化監測中小,微型監測站所產生的空氣質量數據在數據種類,特征維度方面都有一定的區別,比如說部分網格化監測中的小微型監測站所產生的監測數據并不包括當前時刻的溫度,濕度,風向,氣壓等信息,而且網格化監測中的小微型監測站所產生的監測數據之間除了具備天然的時間關聯,還由于小微型監測站之間的影響關系而具備空間關聯.所以在預測網格化監測中小微型監測站的空氣中污染物濃度相關問題上使用以往常用的線性回歸算法或者LSTM 算法都會使預測結果由于溫濕度等信息的缺失和空間特征的忽略而產生一定的誤差.

因此為了有效的提取網格化監測中小微型監測站之間的空間關聯特征和空氣污染物數據之間天然的時間關聯特征,本文將能夠有效且快速的提取非歐結構中的空間特征的圖卷積神經網絡(Graph Convolutional Network,GCN)與可以有效提取時序數據之間的時間特征的長短期記憶神經網絡(LSTM)相結合,提出了一種可以應用于網格化監測中空氣質量預測的GCNLSTM 模型.然后本文結合了沈陽市渾南區的14 個小微型監測站的PM2.5數據對本文提出的方法進行驗證.

2 基于GCN-LSTM的空氣質量預測模型

空氣質量網格化監測中的各個小微型監測站的空間分布屬于非歐式結構,也就是說網格化監測中的每個小微型監測站周圍的鄰接監測站的個數和監測站之間距離是不確定的,所以對網格化監測所產生的監測數據使用傳統的卷積神經網絡(Convolutional Neural Networks,CNN)并不能有效的提取數據之間的空間信息.因此需要使用GCN 來提取數據之間的空間特征,并且使用LSTM 來處理數據之間的時間特征,最后再使用線性回歸層來綜合時空特征來產生比較準確,有效的預測信息.

2.1 圖卷積神經網絡概述

圖卷積神經網絡(GCN)是一種以圖數據為研究對象的卷積神經網絡,由Bruna 等在2013年首次提出[10].圖卷積神經網絡的出現為一些非歐的圖數據的處理提供了新的思路,比如GCN 可以應用到社交網絡分析,推薦系統,交通流量預測等[11].

GCN的本質目的就是利用圖卷積來提取非歐結構的圖數據的空間特征,根據文獻[12]中提出的理論,對于圖G=(V,E,A),輸入信號X和輸出信號Y,圖卷積神經網絡采取的處理方式f定義為:

其中,V表示圖中的節點個數,V=而E表示的邊的集合,A是圖的鄰接矩陣,A∈RN×N,矩陣A中的元素Aij表示圖G中節點vi和vj之間的連接關系.圖卷積的前向傳播公式為:

2.2 長短期記憶神經網絡概述

LSTM 網絡是循環神經網絡(Recurrent Neural Network,RNN)的一種變種[13],是由Hochreiter和Schmidhuber為解決RNN 中的長期依賴問題在1997年首次提出.由圖1RNN的示意圖及其展開圖可以看出,雖然每個RNN 單元都會將自身提取的信息傳遞給下一個單元,但是當傳遞鏈的長度增加到一定程度的時候會出現信息丟失,也就是上文提到的長期依賴的問題,這也就促使了LSTM的出現與流行.

圖1 RNN 示意圖及展開

通過圖2LSTM的細胞結構示意圖可以看出,LSTM采用了3 種門控機制來解決傳統RNN 中的長期依賴問題.

圖2 LSTM 細胞結構圖

LSTM的3 種門控單元分別為:遺忘門f,輸入門i和輸出門o.其中遺忘門用來控制當前細胞狀態Ct要丟棄哪些信息,遺忘門的狀態更新公式為:

輸入門控制了當前網絡的輸入xt會有多少保留到單元狀態Ct中,輸入門的狀態更新規則為:

輸出門控制了當前細胞狀態能輸出多少信息.輸出門的狀態更新規則為:

式中,σ表示Sigmoid 函數,會根據輸入產生[0,1]之間的向量;C?t表示的是候選細胞信息;Wf,Wi,Wo,Wc表示的是LSTM 細胞狀態更新過程中的權重系數矩陣;bf,bi,bo,bc表示狀態更新過程中的偏置矩陣.

2.3 GCN-LSTM 模型

網格化監測中的小微型監測站的空氣質量預測問題可以描述為:通過小微型監測站時長為s的歷史時刻數據[Xt?s,···,Xt?1]和各個監測站之間的空間關系A來預測下一個時刻t的空氣質量Xt,即:

式中,Xt表示t時刻網格化監測體系中各個小微型監測站的空氣中污染物的預測濃度;A表示不同小微型站之間的空間影響關系即鄰接矩陣;F為處理方式,在本文中F表示GCN-LSTM 模型.

GCN-LSTM 模型由圖卷積神經網絡和長短期記憶單元兩部分組成,如圖3所示.本次研究將長度為s的歷史時間序列數據輸入模型,利用雙層GCN 結構解析網格化監測中小微型監測站的拓撲結構,提取空間特征;然后將具備空間特征的時間序列數據輸入LSTM中學習時間特征,最后通過一個線性回歸層得到預測數據,GCN-LSTM 模型具體的訓練流程如圖4所示.

圖3 GCN-LSTM 模型總覽

圖4 基于GCN-LSTM的PM2.5 預測流程

首先將收集到的原始數據進行數據預處理和數據集劃分,然后將訓練集和驗證集組成的訓練數據輸入到如圖3結構所示的GCN-LSTM 模型中對模型進行訓練;最后將測試數據輸入到訓練完成的模型中觀察模型的預測精度是否達到預期,如果沒有達到預期則調整模型GCN和LSTM 中的隱層節點數然后再次訓練直到得出達到預期精度的模型.

3 實驗結果與分析

3.1 數據說明與預處理

本文使用的數據樣本集為沈陽市渾南區14 個小微型監測站的2020年1月到5月之間的PM2.5濃度值,數據采樣的時間間隔是1 小時,每天可以獲取336 個樣本數據.

部分原始數據如圖5所示,在圖5中橫軸代表的是PM2.5原始數據的組數,縱軸代表的是PM2.5原始數據的濃度值.從圖上可以看出部分原始數據存在缺失和失真的情況.因此在使用此數據集進行模型訓練和驗證之前需要對原始數據進行數據預處理,補充缺失數據和清洗掉異常數據.

圖5 南屏東路PM2.5 原始數據

本文對于數據集中的缺失數據和異常數據采取的是如式(10)所示一元線性插值的方式進行數據補充和清洗,同時采用式(11)對原始數據進行歸一化使原始數據都映射到[0,1]之間.

式中,xa+i為插值產生的補充數據,xa為距離缺失數據最近的之前時刻的數據,xa+j為距離缺失數據最近的之后時刻的缺失數據,j表示缺失數據的個數,i表示第i個需要補充的缺失數據.

式中,xi為原始PM2.5數據;為歸一化后的PM2.5數據;xmax為原始數據中的最大值;xmin為原始數據中的最小值.

3.2 實驗環境

實驗所用的硬件配置為:Intel(R)Core(TM)i5-5200U CPU@2.20 GHz,8 GB 內存;實驗所用的軟件環境為:Windows10 (64 位)操作系統,Python3.7,PyTorch1.5.0.

3.3 評價指標

本次研究的目的是預測網格化監測中的小微型監測站的空氣質量和空氣中污染物濃度的變化趨勢,所以為了能夠更好的衡量預測的效果,本文采用了2 個評價指標:絕對平均誤差(Mean Absolute Error,MAE),均方根誤差(Root Mean Squared Error,RMSE),來分析預測結果和真實測量值之間的偏差.一般來說當預測值與真實值之間的偏差越小MAE和RMSE的值也就越小,也就是說MAE和RMSE的值越小,模型的預測效果越好.

式中,yi為真實的PM2.5濃度的測量值;為PM2.5濃度的預測值.

3.4 預測結果分析

本次研究將數據集以7:1:2的比例劃分訓練集,驗證集和測試集,并且使用長短期記憶神經網絡作為對比模型,模型的訓練過程如算法1 所示.

算法1.模型搭建與訓練A∈RN×N C∈RN×M輸入:時間序列長度,小微型監測站所構成的圖的鄰接矩陣,PM2.5的濃度表示,模型選擇標志flag輸出:訓練好的模型s 1.對鄰接矩陣A 添加自連接,并對自連接后的鄰接矩陣進行對稱歸一化處理.2.對PM2.5的濃度數據C 進行歸一化并且構建數據集D.m

15.搭建如圖3所示的GCN-LSTM 模型.16.end if 17.repeat 18.從train 中隨機選取batch為64的數據輸入模型進行訓練.19.以MSE 作為loss,使用Adam 算法以1e-4為學習率更新權重.20.until 滿足停止條件.21.返回訓練完成的模型.?

實驗中分別采用LSTM和GCN-LSTM 兩種模型使用14 個小微型監測站過去12 個小時的PM2.5數據來預測未來1 小時的PM2.5濃度,預測結果對比如表1所示.

表1 不同模型的預測效果對比

從表1中兩種模型的對比可以看出,本文所提出的GCN-LSTM 模型在大多數小微型監測站中MAE和RMSE這兩種評價指標的數值都要比使用LSTM模型的值要小.而且這兩種評價指標都是越小就代表模型的預測值與實際的測量值之間的偏差越小,也就是說在網格化監測中小微型監測站的PM2.5的預測問題上,本文提出的模型的預測效果要優于以往研究中所使用的LSTM 模型.

圖6和圖7分別為實驗中預測效果最好的監測站點全運路監測點和預測效果最差的南屏東路監測點的部分預測結果.圖6和圖7中的橫軸代表第幾組測試數據,縱軸代表PM2.5的濃度值,pre 代表有GCN-LSTM模型產生的PM2.5濃度的預測值,real 代表當前監測站的實際的PM2.5的監測值.從圖上的預測曲線與實際測量值的曲線的擬合程度來看,無論是全運路監測點還是南屏東路監測點,預測曲線的變化趨勢都大致與實際的測量值的曲線的變化趨勢相同.這都說明了GCNLSTM 模型可以有效的預測網格化監測中的小微型監測站的PM2.5的變化趨勢,為我國環境監測和治理提供一定的參考.

圖6 全運路監測點預測結果

圖7 南屏東路監測點預測結果

4 結論與展望

針對時空關聯性高的網格化監測中的小微型監測站的空氣質量預測問題,本文提出了一種基于GCNLSTM的空氣質量預測方法.嘗試通過使用GCN 算法從監測站的拓撲圖中提取有效的空間特征,并采用LSTM 來學習以往空氣中污染物濃度數據中的時間特征,最后采用一個線性回歸層來整合特征并產生預測結果,進而提高網格化監測中小微型監測站空氣質量預測的精度.實驗結果表明本文的GCN-LSTM 算法在網格化監測中的小微型監測站空氣質量的預測問題上要比LSTM 算法表現更優.未來,將對GCN-LSTM 模型結構進一步優化,研究更有效的缺失數據和異常數據的處理方法,從而提高模型的整體預測效果和精度.