基于注意力機制神經(jīng)網(wǎng)絡(luò)的荒漠區(qū)蒸散量模擬

齊建東，買晶晶

（1.北京林業(yè)大學信息學院，北京100083；2.國家林業(yè)草原林業(yè)智能信息處理工程技術(shù)研究中心，北京100083）

0 引 言

蒸散量（Evapotranspiration，ET），即蒸發(fā)散，指土壤水分蒸發(fā)和植物蒸騰作用的總和，即水分從地球表面移向大氣的過程，廣泛用于測量陸地和大氣之間植物蒸騰、冠層蒸發(fā)和土壤蒸發(fā)過程的總水分損失量[1]。中國人口眾多，農(nóng)業(yè)用水占水資源消耗的比例較大，農(nóng)業(yè)消耗水由ET、滲透水和灌溉棄水組成，其中ET為作物耗水量，不能再利用，ET消耗的水量為農(nóng)業(yè)用水中真實消耗的水量[2]，因此準確預測ET不僅可以為區(qū)域水資源管理和農(nóng)田作物培養(yǎng)提供信息及決策支持，還可以貫徹落實農(nóng)業(yè)節(jié)約用水措施[3]。

ET的觀測和分析所使用的數(shù)據(jù)來源之一是基于渦流協(xié)方差技術(shù)的全球通量塔[4]，測量值較為精確，但它只能測定當前時間的蒸散量，無法估算出未來時間段的蒸散量。由于氣候環(huán)境變化和人類活動逐漸地改變陸地生態(tài)系統(tǒng)的結(jié)構(gòu)和功能，估算并預測ET仍然是一個巨大的挑戰(zhàn)[5-6]。常用的ET估算方法主要有2種：基于衛(wèi)星的遙感估算法和數(shù)值模擬法。基于衛(wèi)星的遙感估算方法的估算精度受植被生理生態(tài)特征、氣候及水分等因素影響，且獲得關(guān)鍵植物參數(shù)較難從而增加了模型復雜度[7-9]。數(shù)值模擬法可以有效捕捉 ET與環(huán)境因子之間的非線性關(guān)系，由于其效率高、泛化性強等優(yōu)點，近年來被廣泛應用于ET的模擬估算中，如Antonopoulos等[10]使用人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）對希臘北部韋戈里特湖的日蒸散量進行了估算，得到了較好的結(jié)果。Yao等[11]引入支持向量機（Support Vector Machine，SVM）來預測ET，結(jié)果表明使用SVM預測ET是可靠的。Ki?i[12]使用Levenberg-Marquardt（LM）和共軛梯度2種前饋神經(jīng)網(wǎng)絡(luò)來預測參考作物蒸散量（Reference evapotranspiration，ET0），結(jié)果表明 2種算法可以成功地模擬ET0。陳宣全等[13]使用多元自適應回歸樣條算法來模擬川中丘陵區(qū)的ET，并說明了該算法在ET模擬領(lǐng)域的可行性。2015年，Abdullah等[14]將極限學習機（Extreme Learning Machine，ELM）應用于ET模擬中，該算法被強烈推薦應用于地理和氣象條件類似于伊拉克干旱和半干旱地區(qū)的地域。之后，魏俊等[15]在氣象條件缺失的情況下使用ELM對中國西北旱區(qū)的ET0進行模擬，得出選取溫度和風速作為輸入的模型可以作為西北旱區(qū)的 ET0模擬模型。

綜上，基于傳統(tǒng)機器學習方法如SVM、ELM、ANN等進行ET模型模擬已經(jīng)做了大量研究工作。而深度學習作為機器學習的最新研究成果，在針對多維數(shù)據(jù)的特征表示與提取方面，較傳統(tǒng)機器學習方法具有較大的優(yōu)勢。邢立文等[16]指出 ET0在時間上具有動態(tài)特性，可以用時間序列模型進行描述，建立了基于長短期記憶（Long Short-Term Memory，LSTM）的 ET0預測模型，結(jié)果表明LSTM可以作為華北地區(qū)逐月ET0預測的推薦模型。Saggi等[17]建立深度學習多層感知機（Deep learning multilayer perceptrons，DL）的ET0模擬模型，并與廣義線性模型、隨機森林模型（Random Forest，RF）、梯度提升機模型對比，得出DL模型具有更高的魯棒性，模擬效果更準確。Ferreira等[18]利用逐小時氣象數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)模型估計逐日ET0，與RF、ANN和極端梯度提升模型相比得到了很好的模擬性能。Chen等[19-20]使用時序卷積網(wǎng)絡(luò)建立了東北平原和膜下滴灌玉米的ET模擬模型，取得了很好的效果。深度學習目前在ET模型模擬領(lǐng)域有很大的應用與推廣空間。深度學習通過深層次架構(gòu)學習模型特征，在數(shù)據(jù)特征和模型挖掘上有顯著優(yōu)勢，ET作為典型的時間序列數(shù)據(jù)，深度學習模型尤其適合。

本文選取寧夏鹽池縣作為研究站點，并使用基于注意力機制的 LSTM 模型（AT-LSTM）來模擬 ET，鹽池縣屬于干旱半干旱地區(qū)，水資源匱乏，在干旱半干旱地區(qū)降水以蒸散形式返回到大氣中的水分達到 80%以上，鹽池縣作為寧夏回族自治區(qū)首個脫貧摘帽的地區(qū)，擁有自己的特色農(nóng)業(yè)項目，準確估算并預測鹽池縣ET變化對該地區(qū)農(nóng)業(yè)水資源管理及區(qū)域氣候調(diào)節(jié)具有重要意義[21]。注意力機制的引用可以進一步提升時間序列模型的分析效果，且目前AT-LSTM模型在ET值模擬方面的應用尚為空白。本文的目標如下：1）驗證AT-LSTM模型模擬ET的可行性和有效性；2）使用AT-LSTM模型建立16種不同環(huán)境因子輸入組合，對鹽池縣的ET進行模擬，并將其與LSTM、SVM、ELM主流模型對比，以期為鹽池縣農(nóng)業(yè)用水管理提供科學支持。

1 材料與方法

1.1 研究區(qū)概況

研究站點位于寧夏回族自治區(qū)東部的鹽池荒漠生態(tài)系統(tǒng)定位研究站（鹽池站），地理坐標107.20°～107.26°E，37.68°～37.73°N，北臨毛烏素沙地，南接黃土高原，是黃土丘陵向鄂爾多斯緩坡丘陵過渡，半干旱區(qū)向干旱區(qū)過渡，草原向荒漠草原過渡，農(nóng)區(qū)向牧區(qū)過渡的區(qū)域，平均海拔1 600 m，總面積8 661 km2，屬于溫帶大陸季風氣候，四季少雨多風，氣候干燥。鹽池縣多年平均降水量311 mm，降水自東南向西北遞減。鹽池縣地表降水占總水資源的 62%，降水有限且分布不均。該縣農(nóng)業(yè)大力發(fā)展灘羊、牧草、黃花菜、小雜糧、中藥材等，農(nóng)業(yè)生產(chǎn)灌溉大多依靠黃河引水。

1.2 數(shù)據(jù)源

Wagle等[22]的研究指出，對于較長期的水通量總和，30 min尺度更為可靠，因此，本研究選取鹽池縣2012年1月1日—2017年12月31日的每30 min環(huán)境因子數(shù)據(jù)。根據(jù)文獻[1, 23-24]選取ET主要影響因子：空氣溫度（Ta）、凈輻射（Rn）、相對濕度（Relative Humidity，RH）、土壤溫度（Ts）、土壤含水率（Soil Water Content，SWC）。ET由公式（1）計算得到。

式中λ為汽化熱，即蒸發(fā) 1個單位質(zhì)量水的能量，為2.454×105J/kg；LE為潛熱通量，W/m2，采用渦流協(xié)方差技術(shù)的通量塔測得[23,25-26]。試驗數(shù)據(jù)共有105 216條，其中87 696條數(shù)據(jù)作為訓練集，17 520條數(shù)據(jù)作為測試集。

1.3 數(shù)據(jù)處理

1）缺失值處理：采用均值填補法[27]，對缺失的時間點的數(shù)據(jù)選取前后10 d的數(shù)據(jù)，取平均值。

2）為了消除指標之間的量綱對預測效果的影響，將數(shù)據(jù)進行歸一化處理。

3）各年份逐日ET由逐小時ET值累加得出，同理，逐月ET由逐日ET累加得到。

1.4 研究方法

輸入環(huán)境因子的數(shù)量越多，所需的測量成本越高，為了獲得較高的ET模擬精度并減少成本，分析不同環(huán)境因子輸入下的模型模擬精度，采用不同環(huán)境因子組合作為模型輸入?yún)?shù)（表1）。

表1 不同環(huán)境因子組合的輸入?yún)?shù)Table 1 Input parameters of different environmental factor combinations

本文使用編碼器-解碼器框架建立AT-LSTM模型[28]，并使用在干旱半干旱地區(qū)常用的ELM模型[29]、處理長時間序列的 LSTM 模型[16]以及基本機器學習模型 SVM[30]來構(gòu)建鹽池縣ET模擬模型，4種模型均使用python語言來編寫。

AT-LSTM模型參數(shù)設(shè)置：學習率設(shè)為0.000 1，編碼器和解碼器中 LSTM 的隱藏層大小設(shè)為 64，批量大小（batch size）設(shè)為32，序列窗口大小設(shè)為10。LSTM模型參數(shù)設(shè)置：學習率為0.001，隱藏層節(jié)點為10，batch size為128，樣本訓練次數(shù)為100。ELM模型設(shè)定隱藏層神經(jīng)元數(shù)目為 100，選擇隱藏層神經(jīng)元激活函數(shù)“sigma”。SVM模型選取徑向基函數(shù)為核函數(shù)，設(shè)置懲罰系數(shù)為10，gamma參數(shù)為1。

1.5 模型驗證因子

采用均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）、相關(guān)系數(shù)（R）作為模型的驗證因子，并將其統(tǒng)一到整體評價指標（Global Performance Indicator，GPI）評價模型模擬精度。GPI計算公式如下：

式中GPIi是模型i的 GPI值；zik為模型i的驗證因子k的值；zk是因子k的中位數(shù)；當k為MAE和RMSE時，αk=-1，k為R時，αk= 1，GPI越大，模型的模擬精度越高，文中GPI按照排名表示，排名靠前GPI越大。

2 結(jié)果與分析

2.1 不同環(huán)境因子輸入下模型模擬精度對比

由于驗證集與測試集得到的ET模擬精度相差不大，因此使用測試集結(jié)果說明模型的模擬精度。表2為4個模型在不同參數(shù)因子組合下測試集10次模擬精度的平均值。從表2可知，不同輸入?yún)?shù)下AT-LSTM模型的模擬效果較為穩(wěn)定，RMSE在0.013～0.016 mm/30 min之間，MAE在0.006～0.008 mm/30 min之間，R在0.859～0.905之間。但SVM、ELM、SVM模型模擬精度變化較大。

當輸入全部5個環(huán)境因子時，所有模型的GPI均為1。其中 AT-LSTM1模型的精度最高，RMSE為0.013 mm/30 min，MAE為0.006 mm/30 min，R值為0.905；當輸入4和3個環(huán)境因子時，不同模型對輸入數(shù)據(jù)的響應存在差異。AT-LSTM4和ELM4模型（輸入Ta、Rn、RH）的模擬精度優(yōu)于AT-LSTM5和ELM5（輸入Rn、Ts、SWC），而SVM4和ELM4模型的模擬精度低于SVM5和ELM5；當輸入2個不同的環(huán)境因子時，AT-LSTM模型的模擬精度明顯比其他模型高，仍然能夠得到較優(yōu)的ET值。不同模型輸入Rn、Ts時模擬精度均較高，為輸入2個環(huán)境因子中的最優(yōu)模型。

只有1個環(huán)境因子作為輸入時，AT-LSTM模型模擬效果非常穩(wěn)定，模擬精度均較高，然而其他 3種模型模擬效果因輸入環(huán)境因子的不同差距很大。僅輸入Rn時4種模型表現(xiàn)最好，其中AT-LSTM14模型模擬效果最好，RMSE和 MAE分別為 0.014、0.007 mm/30 min，R為0.892，模擬效果甚至優(yōu)于LSTM、ELM和SVM模型輸入全部環(huán)境因子時。4種模型僅輸入SWC時GPI均為16，SVM16、ELM16、LSTM16的模擬效果最差。當4種模型增加Rn作為輸入時（4種模型的模型16與模型10、15與11、6與5），模擬精度明顯提升，這說明Rn對ET的模擬起到了積極的作用。

綜上，環(huán)境因子組合產(chǎn)生的模擬效果與選用的模型有關(guān)。AT-LSTM模型對ET的模擬具有可行性，且輸入環(huán)境因子的不同并沒有顯著影響AT-LSTM模型的模擬效果，這是AT-LSTM模型與SVM、ELM、LSTM模型在ET模擬中最大的區(qū)別，這說明注意力機制可以更好地捕捉環(huán)境因子與ET之間復雜的非線性關(guān)系。從模擬結(jié)果來看，Rn對模型的模擬效果起到積極作用。僅有Rn輸入的AT-LSTM14模型在獲得較高的ET模擬精度的同時，減少了測量環(huán)境因子所需的成本，可以選用AT-LSTM14作為鹽池縣環(huán)境因子缺失情況下的模擬模型。

表2 4種模型不同環(huán)境因子輸入下測試集的模擬精度對比Table 2 Comparison of simulation accuracy of test set with input of different environmental factors of four models

2.2 模型穩(wěn)定性對比

圖2為全部環(huán)境因子輸入的 AT-LSTM1、SVM1、LSTM1、ELM1和只輸入Rn的AT-LSTM14模型分別執(zhí)行10次的RMSE值對比。從圖中可以看出，SVM1模型的 RMSE值穩(wěn)定不變，為 0.165，穩(wěn)定性最好。其次為AT-LSTM1和AT-LSTM14模型，AT-LSTM模型具有很好的穩(wěn)定性。

圖2 模型穩(wěn)定性對比Fig.2 Comparisons of model stability

2.3 不同模型模擬日蒸散量的精度對比

表3為4種模型對逐日蒸散量的模擬效果，模型的模擬精度與30 min蒸散量的模擬精度排名相同，AT-LSTM模型的模擬精度最高，輸入Rn、Ts的 AT-LSTM11模型GPI為2，僅輸入Rn的AT-LSTM14模型GPI為3，其次為LSTM模型，ELM模擬精度略低于LSTM模型，SVM模擬精度最低。僅有Rn輸入的AT-LSTM14模型在小時尺度及日尺度上的模擬精度均高于全部環(huán)境因子輸入的LSTM1、SVM1、ELM1模型，故選取AT-LSTM14、LSTM1、SVM1、ELM1模型對日蒸散的模擬值與真實值進行對比（圖3），其他幾年的蒸散量變化及模擬趨勢與2013年相似。從圖3中可以看出，4種模型均很好地模擬出ET值在冬季較低，夏季較高的單峰趨勢，但是模擬效果存在一定差異。SVM1模型模擬的ET值在1—3月和11—12月浮動較大，而真實值較為平緩。LSTM1和ELM1模型在1 —3月和11—12月對ET值的模擬效果較好，而在6—8月當 ET值較大時，模擬結(jié)果與真實值差距較大。而AT-LSTM14模型模擬的 ET值從整體來看更加貼合真實值，在 6—8月的模擬值與其他幾種模型相比效果更好，這是因為注意力機制可以通過不斷迭代更新，從序列中學習到每一個環(huán)境因子的重要程度。

表3 不同環(huán)境因子輸入下逐日蒸散量的測試集模擬精度對比Table 3 Comparison of simulation accuracy of daily evapotranspiration of test set between with input of different environmental factors

2.4 不同模型模擬4個季節(jié)逐小時蒸散量的精度對比

圖4為AT-LSTM14（僅輸入Rn）、LSTM1、SVM1、ELM1在4個季節(jié)的一天中ET模擬情況對比。春、夏、秋、冬季分別選擇2013年前一周沒有降水的4月10日、8月18日、10月10日、1月12日。從圖中可以看出，ET值在一天中的分布曲線呈拋物線狀。一天中ET的最高值出現(xiàn)在12:00—14:00之間，春、夏、秋、冬ET值在一天中的最高值分別為0.077、0.221、0.076、0.021 mm。冬季晝短夜長，氣溫回升慢，ET值開始上升的時間晚于春、夏、秋季，ET值降為0的時間早于春、夏、秋季。4種模型都很好的模擬出了ET值先增大后減小的變化趨勢，但是模型的模擬效果存在差異。

圖3 2013年日蒸散量模擬值與真實值對比Fig.3 Comparison of simulated and real values of daily evapotranspiration in 2013

從圖4中可以明顯地看出，春、秋、冬季SVM1模型模擬效果明顯劣于其他模型，而夏季 8:00—14:00之間SVM1模型的模擬效果較好，與ELM1相當。在ET值較小的時間段（00:00—6:00、19:00—24:00）AT-LSTM14模型、LSTM1模型、ELM1模型、SVM1模型的相對誤差分別為-1.23%～3.21%、5.25%～10.78%、7.64%～14.31%、40.23%～60.98%。在其他時間段 AT-LSTM14模型、LSTM1模型、ELM1模型、SVM1模型的相對誤差分別為0.15%～0.35%、0.20%～2.58%、0.33%～2.35%、0.42%～10.07%。從整體來看，僅輸入Rn的AT-LSTM14模型精度最高，SVM1模型的模擬效果最差。ELM1模型和LSTM1模型因季節(jié)不同模擬效果不同，春季、冬季以及ET值較小的時間段，LSTM1模型模擬精度優(yōu)于ELM1模型。

圖4 2013年不同季節(jié)一天中模型模擬蒸散量對比Fig.4 Comparison of simulated ET of models in a day of different seasons in 2013

2.5 不同模型模擬月蒸散量的精度對比

圖5為2012—2017年月平均蒸散量模型模擬和平均降水量的對比圖。選取僅有Rn輸入的AT-LSTM14和全部環(huán)境因子輸入的SVM1、ELM1、LSTM1模型。從圖5中可以看出，鹽池縣的月ET值呈先增大后減少的單峰趨勢，4種模型都能很好地模擬出這種趨勢。7月溫度升高，降水量增多為73.750 mm，植物快速生長期到來，ET值達到最大為68.140 mm，12月到達最小值1.75 mm，1月、2月、12月降水量為0。其中7月AT-LSTM14模型、SVM1模型、LSTM1模型、ELM1模型的模擬值分別為60.050、54.070、39.640、48.380 mm，12月AT-LSTM14模型、SVM1模型、LSTM1模型、ELM1模型的模擬值分別為2.320、-4.810、2.760、3.370 mm。春季（3—5月）降水量少，氣溫回升快，ET值變大，出現(xiàn)春旱的現(xiàn)象，此時生態(tài)系統(tǒng) ET的來源主要為灌溉和地下水。當 ET值較小時（1 月—4月、11月—12月）ELM1模型、AT-LSTM14模型、LSTM1模型的模擬值都非常接近，模擬效果很好，而SVM1模型的模擬值與真實值差距較大，模擬效果較差。植物生長季（5—10月）可以明顯看出AT-LSTM14模型比其他3種模型的模擬值更加接近真實值，LSTM1模擬效果最差。其中5月—7月可以看出SVM1模型的模擬效果變好，優(yōu)于ELM1模型和LSTM1模型。以上表明在月尺度上，AT-LSTM 模型對蒸散量的模擬效果最好，ELM1模型次之。

圖5 2012—2017年月蒸散量模擬值與真實值對比Fig.5 Comparison of simulated and real values of monthly evapotranspiration from 2012 to 2017

3 討 論

生態(tài)系統(tǒng)蒸散過程是一個較為復雜的綜合性過程，受到各個環(huán)境因素和生物因素的制約，而它們之間又相互影響[31]，氣候變化和人類活動也會影響蒸散量。

AT-LSTM模型、ELM模型、LSTM模型、SVM模型都可以很好地描述鹽池縣蒸散量變化趨勢，這是因為它們都可以描述ET與環(huán)境因子之間復雜的非線性關(guān)系。相比于ELM、SVM、LSTM 模型，AT-LSTM 模型的顯著優(yōu)勢表現(xiàn)在當輸入因子變化時，模型模擬精度變化很小且模擬效果較好，例如僅輸入SWC的ELM16、SVM16、LSTM16模擬效果很差，而AT-LSTM16模型仍可以得到較好的模擬結(jié)果。這是因為ELM模型和SVM模型架構(gòu)簡單，對特征捕捉的能力有限，LSTM可以對歷史數(shù)據(jù)樣本進行深度學習并解決了長期依賴問題，而AT-LSTM模型在LSTM模型的基礎(chǔ)上不斷計算并更新解碼器隱藏狀態(tài)的權(quán)重，相對于傳統(tǒng)機器學習模型可以更好地捕捉時間序列特征，挖掘更深尺度信息。

由表2的結(jié)果可以看出，氣象因子（Ta、RH、Rn）比土壤因子（Ts、SWC）對ET的影響更大，當輸入環(huán)境因子中增加Rn時，4種模型效果均得到大幅度改善，說明Rn對鹽池縣的ET影響較大，這是因為凈輻射是能量的來源，且Rn與日照時數(shù)和太陽總輻射有關(guān)，而太陽總輻射是引起溫差的原因，溫度和日照時長也在Rn中得到了表現(xiàn)[32]，這與曹雯等[33]得出的結(jié)論一致。在 5個環(huán)境因子中，SWC對ET的影響最小，降雨是土壤含水量的主要來源，通常來說只有10%～20%的降水最終可以轉(zhuǎn)化為土壤水分[34]，而土壤水分蒸發(fā)主要受到氣象因素與土壤溫度的影響，這也是Rn、Ts輸入的模型模擬精度高的原因。總體來說氣象因素（Ta、Rn、RH）對鹽池縣蒸散量的影響大于土壤因素（Ts、SWC）。但Chen等[23]研究指出在北美地區(qū)常綠針葉林的ET主導因素依次為Ta、大氣二氧化碳濃度、Ts、SWC、Rn，這說明針對不同的研究區(qū)域，ET對環(huán)境因子的響應也存在差異。

4 結(jié) 論

1）AT-LSTM 模型模擬精度高，模型穩(wěn)定性強，可以應用于鹽池縣蒸散量的模擬預測問題，且在小時尺度、日尺度、月尺度、季節(jié)尺度上均取得了很好的模擬效果。

2）總體上，AT-LSTM模型模擬效果最好，LSTM模型優(yōu)于ELM模型，SVM模型模擬效果最差。但SVM模型在溫度較高的時段 5月—9月以及夏季的 10:00—14:00，模擬效果與ELM模型相當。

3）在缺少環(huán)境因子輸入的情況下，AT-LSTM 模型模擬精度變化很小，模擬精度仍較高，凈輻射（Rn）對鹽池縣蒸散量的模擬貢獻程度最大，土壤含水量最小。僅輸入Rn情況下AT-LSTM模型也能取得較好的精度，可以作為缺失環(huán)境因子輸入情況下的模擬模型。