基于頻率域信息與BiLSTM的PM2.5濃度預測模型

唐雪明,吳 楠

(1.南寧師范大學 物理與電子學院,廣西 南寧 530199;2.南寧師范大學 計算機與信息工程學院,廣西 南寧 530199)

0 引言

人類生活離不開干凈的空氣,但隨著社會快速發展,空氣污染嚴重威脅健康。顆粒物(Particulate Matter,PM)是影響人類健康的主要因素,特別是PM10和PM2.5,能夠滲透到呼吸系統中[1]。其中,PM2.5能穿透肺部氣體交換區,可能影響其他器官[2]。因此,準確及時的PM2.5濃度預測不僅可以幫助城市管理制定預防措施,還能優化人們日常安排。

現有的PM2.5濃度預測的研究工作中,深度學習及其相關方法是一種比較新穎的預測方法,尤其以長短期記憶(Long Short-Term Memory,LSTM)神經網絡為代表的反饋神經網絡,已被廣泛運用于PM2.5濃度的預測[3-5]。此外,LSTM還可作為非線性單元,融入更為復雜的混合模型中。蔣洪迅等人[6]建立了一個基于經驗模態分解(Empirical Modal Decomposition,EMD)和LSTM的EMD-LSTM模型,通過EMD分解原始PM2.5時間序列,以捕捉不同時間尺度上的周期性變化。實驗證明該方法預測PM2.5濃度準確且具有泛化能力。劉晴晴等人[7]提出了一種基于賦權K近鄰算法的LSTM神經網絡模型來預測PM2.5濃度,相對于傳統模型,預測效果有所提升。此外,Zhu等人[8]嘗試整合目標站點與周邊監測站的數據,發現這種數據融合能顯著提高預測性能。Teng等人[9]構建了一種新型混合預測模型,將EMD方法、樣本熵(Sample Entropy,SE)指標和雙向長短期記憶(Bidirectional Long Short-Term Memory,BiLSTM)神經網絡相結合。實驗證明,相比其他單一深度學習模型,該新型模型至少提高了50%的短期PM2.5濃度預測準確性。

時間序列中蘊含豐富頻率域信息,充分利用這些信息可提高預測效果。Zhou等人[10]在Transformer結構中提出了傅立葉增強塊和小波增強塊,實現頻域映射,有力捕捉時間序列重要結構。實驗證實這種模型在6個基準數據集上取得了最佳預測性能。Jiang等人[11]提出了一種新穎的頻率增強型信道注意力(Frequency Enhanced Channel Attention Mechanism,FECAM),它基于離散余弦變換(Discrete Cosine Transform,DCT)自適應地模擬信道之間的頻率相互依存關系。廣泛實驗表明,FECAM 作為一種通用方法,在6個真實世界數據集上始終以相當大的優勢提升了4種主流Transformer和基于Non-transformer的方法,并實現了最先進的性能。

基于以上分析,提出了一種基于頻率域信息與BiLSTM(Frequency-Domain Information BiLSTM,FD-BiLSTM)的PM2.5濃度預測模型。通過DCT將時間序列轉換到頻率域,捕獲信號的頻率特征,保留適量低頻DCT系數以捕捉周期性和趨勢;利用BiLSTM全面提取空氣污染物特征,實現PM2.5濃度預測。最后,通過北京市12個站點數據集測試模型并評估性能,對比單變量LSTM模型、BiLSTM模型、BiLSTM-attention模型和卷積神經網絡BiLSTM(Convolutional Neural Network BiLSTM,CNN-BiLSTM)模型,驗證所提單變量FD-BiLSTM模型的有效性;同時比較4種不同輸入變量的多變量FD-BiLSTM模型預測結果,實驗結果顯示選擇本站點和11個鄰域站點的PM2.5濃度作為輸入變量的多變量FD-BiLSTM模型預測效果最佳。

1 離散余弦變換

時間序列包含時間域信息和頻率域信息。時間域信息反映不同時間點上的觀測數據,用于分析趨勢、季節性和周期性等特征。頻率域信息是指將時間序列表示為不同頻率成分的總和。這可以通過進行傅里葉變換或其他頻譜分析方法來實現。頻率域分析可以揭示時間序列中不同頻率成分(例如周期性或振蕩)的存在,并幫助識別周期性模式、季節性變化等。

傅立葉變換可能因其周期性而引入高頻成分,導致邊界信息誤差,即吉布斯現象[11]。吉布斯現象會導致逼近過程中的誤差,尤其是在突變點附近。在頻譜分析中,吉布斯現象可能會導致信號頻譜的泄漏,即頻譜中的能量分布到頻譜圖上不正確的位置,這會影響頻域分析的準確性。此外,逆運算需要復雜的操作,進而需要額外的計算。

時間序列的頻率信息蘊含著更多深層次的信息,然而在時域中往往難以完整揭示。當信號受到噪聲干擾時,其時域波形可能變得復雜難以辨認,或難以將信號與噪聲分離[12]。而在頻域中,這種情況則可以清晰地區分。與傅立葉變換不同,通過離散余弦變換引入頻率信息,能夠從本質上避免吉布斯現象。

利用DCT預測時間序列的核心操作如下:

① 分解

將原始的長度為N的時間序列信號x(n)分成一系列相等長度的子序列,并將這些子序列稱為塊。這些塊可以是連續的、重疊的或非重疊的。

② 離散余弦變換

利用離散余弦變換將每個塊表示為一組余弦函數分量,每個分量代表不同頻率的變化。這樣,每個塊都被轉換為在頻率域中表示的系數X(k)。對x(n)的DCT如式(1)所示:

(1)

式中:k=0,1,…,N-1。

③ 選擇分量

只保留較低頻的DCT系數,因為這一部分包含了信號的主要能量[13]。

④ 逆離散余弦變換

將保留的DCT系數進行逆離散余弦變換,將它們轉換回時間域。這將產生一個近似的預測結果。DCT逆變換如式(2)所示:

(2)

式中:n=0,1,…,N-1。

⑤ 重建

將連續的預測結果連接起來,得到整個時間序列的預測。

2 FD-BiLSTM PM2.5濃度預測模型設計

2.1 FD-BiLSTM模型

FD-BiLSTM模型的示意圖如圖1所示,圖中L表示時間序列的長度,N表示變量個數,v={v0,v1,…,vn-1}(n=N)代表時間序列的子序列,即塊,DCT={DCT0,DCT1,…,DCTn-1}(n=N)表示每個塊的余弦函數分量,F={F0,F1,…,Fn-1}(n=N)表示每個塊在頻率域中的系數。首先利用DCT將數據轉換為頻率域數據,捕獲信號的頻率特征以及數據的周期性和趨勢;然后利用BiLSTM網絡提取數據間的長期和短期依賴,并預測結果;最后通過全連接層得到最終的預測結果。

圖1 FD-BiLSTM模型示意圖Fig.1 Diagram of the FD-BiLSTM model

2.2 模型預測步驟

基于FD-BiLSTM模型進行PM2.5濃度預測的步驟描述如下:

步驟1數據預處理。首先,刪除原始數據集中的異常值,并用隨機森林插值算法[14]填充相應的缺失數據;然后,使用歸一化算法將數據縮小到0～1,這樣可以加快數據的收斂速度。

步驟2劃分數據集。將數據集劃分為訓練集和測試集,其中80%為訓練集,20%為測試集。

步驟3構建模型,利用DCT將數據轉換為頻率域信息,并使用適當的參數訓練BiLSTM模型。

步驟4使用訓練好的模型,對測試集進行PM2.5濃度預測。

步驟5對輸出的數據進行反歸一化。反歸一化方法如式(3)所示:

x=x′(max+min)+min,

(3)

式中:x′為歸一化后的數據,max和min分別為原始數據的最大值和最小值。

步驟6計算誤差。

2.3 數據預處理

本文的空氣質量數據集來源于Zhang等人[15]提供的數據集,該數據集可以從加州大學歐文分校機器學習資源庫頁面下載。該數據集包含北京及其周邊地區的12個不同的國控監測點2013—2017年的空氣質量數據。這12個監測點分別是:奧體中心、昌平、定陵、東四、沽源、古城、懷柔、農講所、順義、天壇、萬柳和萬壽宮。為了方便描述,將上述提到的站點進行編號,奧體中心記為S1、昌平記為S2、定陵記為S3,以此類推。

各個站點是原始的傳感器數據以每小時的時間步長收集的,跨越1 461天,共有35 064個數據樣本。每個站點的數據集中都包含12個特征,如PM2.5、PM10、CO、NO2等。

為了消除特征之間的不同維度,加快數據收斂,將數據集歸一化并縮放到[0,1],以加快收斂速度,提高模型精度。其中,歸一化方法如式(4)所示:

(4)

2.4 特征選擇

本文采用皮爾遜相關系數[16]來表示S1站點的污染物因素、氣象因素和其他11個站點的PM2.5濃度之間的關系。皮爾遜相關系數的計算如式(5)所示:

(5)

式中:x和y表示輸入的特征,n為序列中的樣本數。

圖2展示了S1站點的PM2.5濃度與5個污染物因素以及4個氣象因素之間的相關性熱圖。橫縱坐標對應了這10個特征,每個小格子表示對應兩個特征之間的皮爾遜相關系數。圖3展示了S1站點的PM2.5濃度與北京市其他11個站點的PM2.5濃度之間的相關性熱圖,橫縱坐標代表了這11個特征。圖中,“TEMP”為氣溫、“PRES”為氣壓、“DEWP”為濕度、“WSPM”為風速,“S2”“S3”“S4”等分別表示不同站點的PM2.5濃度。

圖2 S1站點的污染物因素與氣象因素之間的相關性熱圖Fig.2 Heat map of correlation between pollutant factors and meteorological factors at site S1

圖3 S1站點的PM2.5濃度與其他站點的PM2.5濃度之間的相關性熱圖Fig.3 Heat map of correlation between PM2.5 concentration at site S1 and PM2.5 concentration at other sites

從圖2中可以看出,S1站點的PM2.5濃度與5個污染物因素和4個氣象因素的相關性差別很大,它與本站點的PM10濃度相關性最大,與本站點的風速相關性最小,從整體上看,PM2.5濃度與4個氣象因素之間的相關性都很弱。與之相反的是,從圖3可以看出,12個站點的PM2.5的濃度之間都是強相關的(ρ>0.7)。強相關性意味著各站點之間對PM2.5存在高度的空間依賴性。

3 實驗與性能分析

3.1 環境配置與評價指標

實驗所使用的計算機配置為:Intel(R) Core(TM) i5-7200U CPU @ 2.50 GHz 2.71 GHz,內存為16 GB,Windows 10(64位)操作系統,軟件開發環境為Python 3.8.1。

在實驗中,設置FD-BiLSTM的模型參數為:預測窗口長度為7,隱藏層神經元個數為11,batch_size為16,迭代次數epoch為20,學習率為0.000 1。此外,優化函數設置為“Adam”。

為了評估模型預測的準確性,選擇平均絕對誤差(Mean Absolute Error,MAE)、均方根誤差(Root Mean Square Error,RMSE)、平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)和決定系數(R2)作為模型評價指標。這4個評價指標的計算方法如式(6)～式(9)所示:

(6)

(7)

(8)

(9)

較低的MAE、RMSE、MAPE值反映了較低的誤差水平,意味著預測更準確。同時,R2的值越接近于1,模型的擬合效果越好。

3.2 單變量FD-BiLSTM模型PM2.5濃度預測與分析

單變量FD-BiLSTM模型在S1站點上的預測值與真實值的對比如圖4所示,可以看出,該單變量模型整體具有較好的擬合效果,在預測PM2.5濃度方面具有一定的實用性。

圖4 單變量FD-BiLSTM模型在S1站點上的預測值與真實值的對比圖Fig.4 Plot of predicted versus true values of the univariate FD-BiLSTM model on site S1

為了進一步說明本文提出的模型的有效性,以S1站點為例,將單變量FD-BiLSTM模型與單變量LSTM[17]模型、BiLSTM[17]模型、BiLSTM-attention[18]模型、CNN-BiLSTM[17]模型預測效果進行對比。對比模型在相同參數上選用本文提出的模型參數的設定值,各個單變量模型的預測性能比較如表1所示。從表1中可以看出,單變量FD-BiLSTM模型的RMSE和MAPE值都是最小的,并且R2值是最大的,這說明單變量FD-BiLSTM模型的預測效果要優于表中的其他幾個單變量模型。

表1 不同單變量模型的預測性能比較Tab.1 Comparison of predictive performance of different univariate models

3.3 不同變量組合的多變量FD-BiLSTM模型PM2.5濃度預測與分析

單變量PM2.5濃度預測模型是指只使用PM2.5濃度這一單一特征作為輸入進行預測,該模型可以簡單且直接地預測特定空氣質量參數的變化趨勢,但無法充分利用其他可能與空氣質量相關的信息。多變量PM2.5濃度預測模型是指基于多個不同的輸入特征來預測PM2.5濃度。這些特征除了PM2.5濃度外包括但不限于PM10、SO2、NO2、CO、O3、溫度、濕度、風速、氣壓等。通過結合多種影響空氣質量的因素,多變量模型能夠更全面地分析、預測PM2.5濃度的變化。

影響PM2.5濃度的因素有很多,包括氣象因素、人為排放因素、地理因素和季節性變化等[19]。PM2.5與其他空氣質量參數(PM10、SO2、NO2、CO、O3)之間存在相關性。PM10中的大部分顆粒物包含在PM2.5中,即高PM10濃度通常與高PM2.5濃度相關,而SO2、NO2、CO、O3是大氣中的主要污染物,它們的存在和濃度會影響大氣的化學組成和反應過程,進而影響PM2.5的濃度。此外,Wardana等人[17]將北京市某一站點的PM2.5濃度和北京市其余11個站點的PM2.5濃度作為輸入變量的多變量模型的預測效果要優于將某一站點的污染物因素和氣象因素作為輸入特征變量的多變量模型的預測效果。

為了探究不同變量組合對多變量模型的預測效果的影響,選擇4組變量組合分別作為多變量FD-BiLSTM模型的輸入變量,并將4組變量組合依次命名為M1、M2、M3和M4。M1包含S1站點的PM2.5濃度和5個污染物因素(PM10、SO2、NO2、CO、O3),M2包含S1站點的PM2.5濃度、S1站點的5個污染物因素和S1站點的4個氣象因素(氣溫、氣壓、濕度、風速),M3包含S1站點的PM2.5濃度和其余11個站點的PM2.5濃度,M4包含S1站點的PM2.5濃度、S1站點的5個污染物因素、S1站點的4個氣象因素和其余11個站點的PM2.5濃度。

不同變量組合的多變量FD-BiLSTM模型預測性能比較如表2所示,可以看出,M3作為多變量模型的輸入變量預測效果最好,M4次之,這說明選擇相鄰站點的PM2.5濃度作為模型的輸入變量,能夠提高模型的預測效果。同時,結合上一節的特征選擇的內容來看,只選擇強相關的因素作為輸入變量的模型預測效果要優于選擇不同相關程度的因素作為輸入變量的模型預測效果。

表2 不同變量組合的多變量FD-BiLSTM模型預測性能比較Tab.2 Comparison of prediction performance of multivariate FD-BiLSTM models with different combinations of variables

結合單變量預測模型,對比不同的特征輸入,得出結果為增加輸入特征的個數不一定會直接導致多變量模型的預測效果更好。多變量模型的預測效果受多方面因素影響,包括特征的選擇、特征之間的相關性、模型的復雜度等。因此,精心選擇少量的重要特征比使用大量特征更有效。

此外,將表1和表2的結果進行對比可以看出,多變量模型的預測效果要明顯優于單變量模型的預測效果。這說明多變量模型能夠更準確地捕捉影響空氣質量的復雜關系,從而提高預測準確度。

以S1站點的PM2.5濃度和其余11個站點的PM2.5濃度作為變量的多變量FD-BiLSTM模型的預測值與真實值的對比如圖5(a)所示,可以看出,多變量模型整體具有很好的擬合效果,多變量模型的擬合效果要優于單變量模型的擬合效果。選擇本站點的PM2.5濃度和其他11個站點的PM2.5濃度作為多變量FD-BiLSTM模型的輸入變量,12個站點的預測效果如表3和圖5所示。圖5(a)～圖5(l)分別對應站點S1～S12的多變量FD-BiLSTM模型的預測值與真實值的對比。

表3 S1～S12站點的多變量FD-BiLSTM模型預測效果Tab.3 Predictive effectiveness of multivariate FD-BiLSTM models for sites S1～S12

(a) S1站點的預測值與真實值的對比

(b) S2站點的預測值與真實值的對比

(c) S3站點的預測值與真實值的對比

(d) S4站點的預測值與真實值的對比

(e) S5站點的預測值與真實值的對比

(f) S6站點的預測值與真實值的對比

(g) S7站點的預測值與真實值的對比

(h) S8站點的預測值與真實值的對比

(i) S9站點的預測值與真實值的對比

(j) S10站點的預測值與真實值的對比

(k) S11站點的預測值與真實值的對比

(l) S12站點的預測值與真實值的對比圖5 多變量FD-BiLSTM模型在S1～S12站點上的預測值與真實值的對比Fig.5 Plot of predicted versus true values of the multivariate FD-BiLSTM model on site S1～S12

從表3和圖5中可以看出,多變量FD-BiLSTM模型對北京市的12個站點PM2.5濃度預測都有較好的預測效果,R2均達到了0.934以上,RMSE、MAE、MAPE分別在22.225、12.511、0.382以下,且通過計算可以得到RMSE、MAE、MAPE、R2的均值分別為19.032、10.509、0.296、0.946。這說明本文所提出的多變量FD-BiLSTM模型能夠很好地捕捉12個站點間的共同影響因素,從而在多個站點上都有良好的預測效果。

4 結束語

本文研究了PM2.5濃度預測問題,提出了一種基于頻率域信息與BiLSTM的PM2.5濃度預測模型——FD-BiLSTM,以期提升PM2.5濃度預測的精度,幫助城市管理者制定科學有效的預防措施。首先,利用離散余弦變換將時間序列轉換到頻率域,捕獲信號的頻率特征;接著,使用BiLSTM可以更全面的提取出空氣污染物的特征,并預測結果;最后,利用北京市12個站點的數據集進行模型測試和性能評估。實驗結果表明,本文提出的單變量FD-BiLSTM模型的預測效果要優于單變量LSTM模型、BiLSTM模型、BiLSTM-attention模型、CNN-BiLSTM模型的預測效果。此外,本文提出的多變量FD-BiLSTM模型在北京市的12個站點的空氣質量預測中都有較好的表現。雖然本文提出的模型在北京市的預測效果良好,但仍需要持續改進,需要在多個地區的數據上進行測試,以確保其在不同環境條件下的適應性。