基于iTransformer與LSTM模型融合的農場氣溫多步預測

關鍵詞：iTransformer;LSTM；模型融合；多特征；農場氣溫；多步預測

中圖分類號：TP183 文獻標識碼：A

文章編號：0439-8114（2025）05-0134-07

DOI：10.14088/j.cnki.issn0439-8114.2025.05.021 開放科學（資源服務）標識碼（OSID）：

Multi-step temperature prediction for farms based on iTransformer and LSTM model fusion

XIE Qi， ZHANG Tai-hong，LIU Hai-peng

（Colegefftteala of Intelligent Agriculture，MinistryofEducation，Xinjiang Agricultural University，Urumqi830o52，China）

Abstract：Toadressthenonlinearandomplexcharacteristicsoffarmtemperaturedata，basedonmeteorologicalstationdatafrom HuaxingFarminChangji City，XinjiangUygurAutonomous Region，sevenfeaturesincludingtemperature，groundinfraredtemperature，dewpointtemperaturerelativehumidityaporpressure，stationpressure，andsea-levelpressurewereselectedasmodelinput features throughSpearancorelationanalysis，andomparativeanalsisascoductedamongtheiransformer-LSTodelras former model，LSTMmodel，iTransformermodel，andTransformer-LSTMmodel.TheresultsshowedthattheiTransformer-TM modelachievedthebestperformance.Comparedwiththeoptimal baselinemodeliTransformer，thismodelreducedtherootmean square error（RMSE）by 13.72% ，mean absolute error （ MAE ）by 14.12% ，and mean absolute percentage error （ MAPE ）by 13.61% TheiTransformer-LSTMmodelcouldefectivelyextracttime-series featurerepresentations，capturelong-termdependencies，and characterize globalaturesandcontextualinformation，makingitsuitableforulti-featureulti-steptimeseries temperatureprediction tasks.

Key Words：iTransformer;LSTM;model fusion；multi-feature; farm temperature；multi-step prediction

氣候變化可能引發極端天氣事件，如干旱、洪澇、低溫和霜凍，這些現象對農業生產造成嚴重風險。農業是受氣候變化影響較顯著的領域，農業氣象災害約占全部農業自然災害的 70%^[1] 。農業氣象災害的頻率和強度不斷增加，給中國農業帶來了嚴重的經濟損失，促使各地氣象部門高度重視并積極開展相關研究。

農作物的生長和發育受到多個因素的影響，包括溫度、光照、降水量和二氧化碳濃度等，因此，氣候變化將直接影響其產量和品質[2]。其中，溫度變化對農作物的生長周期有明顯的影響。當平均氣溫每上升 1^°C 時，全國水稻、冬小麥和玉米的生育期縮短7＼～17d，氮肥中能被植物直接吸收利用的速效氮釋放量增加約 4% ，釋放期縮短 3.6d^[3] 。因此，預測溫度對中國農業生產至關重要。王怡等4構建CNN-BiLSTM-Attention融合神經網絡模型來預測大氣溫度，預測精度和準確性較單一神經網絡有了進一步提升。王強等5提出了SA-PSO-XGBoost預測模型。陳嵐等提出基于GRA-Conv-BiLSTM的氣溫預測方法，該方法能夠有效適應動態非線性變化。

Vaswani等提出Transformer模型，該模型通過自注意力機制捕捉序列數據中的長距離依賴關系。由于其靈活的架構、自注意力機制的優勢以及出色的穩定性，Transformer不僅在自然語言處理、計算機視覺和語音處理等領域表現突出[8]，還在時間序列預測任務中得到廣泛應用。錯誤地使用自注意力機制會導致時間信息的丟失，使得Transformer的表現甚至不及線性模型[9]。Transformer的現有結構可能并不適合多特征時序分析，因此需對Transformer結構進行改進。InvertedTransformer是Liu等[]提出的一種Transformer變體，簡稱為iTransformer。此變體簡化了Transformer結構，并將每個特征映射為token，而不是同一時間點上多特征的數據映射為to-ken。iTransformer在多個時序分析中表現最佳，模型效果遠優于Transformer。Hochreiter等[1]提出長短期記憶網絡（Long short-termmemeory，LSTM），該網絡廣泛應用于時序預測模型的構建。然而，LSTM不適用于捕捉多特征數據，且計算量較大，數據處理不充分可能會顯著增加模型整體計算資源和時間。

Transformer和LSTM的融合模型適合捕捉長期依賴關系。Cao等[1]提出LSTM-Transformer混合預測模型，該模型結合在線學習和知識蒸餾技術，專門用于多任務實時預測。Shi等[3]提出LSTM-Trans-former時序預測模型，用于預測非線性、不穩定的礦井涌水量。Han等4提出LSTM-Transformer模型對交通流和風險駕駛行為進行實時碰撞風險評估。Ma等[15]提出基于Transformer的CNN-LSTM模型，解決多變量時間序列預測任務。然而現有的Trans-former和LSTM組合模型在處理多特征數據時表現不佳，難以有效捕捉多特征之間的復雜關系，甚至可能導致偏差累積或放大。因此，本研究提出基于iTransformer和LSTM融合的多特征多步氣溫預測模型（iTransformer-LSTM），旨在解決現有組合模型在長期依賴關系和多特征關系捕捉上的缺陷。

數據來源與方法

1.1 數據來源

研究區位于新疆維吾爾自治區昌吉市華興農場0 87^°17^′24^′′E 44^°13^′12^′′N ），數據來源于農場的農業氣象站，該氣象站位于農田區域內分布均勻且地勢開闊的位置，能夠較好地反映該農田的整體氣候特征。

氣象站配備傳感器，可監測溫度、濕度、風速、風向、氣壓、降雨量、日照、光合有效輻射、總輻射等，數據采樣頻率為 5min1 次。采集時間為2024年1月15日16：00至9月1日16：00。溫度傳感器位于距離地面 1.5m 高處的百葉箱內。

1.2 數據處理

由于每 5min 的氣溫變化較小，故對原始數據進行平均值重采樣，重采樣時間間隔設定為每小時1條，最終數據量為5520條。選取的時間滑動窗口長度為240，預測序列長度為240，即根據前10d的數據，預測第11＼～20天的數據。數據集劃分為訓練集（ 70% ）驗證集（ 10% 和測試集（ 20% ）。

因原始數據的特征數較多，對特征進行斯皮爾曼相關性分析。斯皮爾曼相關性分析可以在不滿足線性關系或正態分布的數據中，提供準確且魯棒的評估結果；斯皮爾曼相關性分析適合小樣本和非參數統計方法，且對異常值具有一定的魯棒性。選取斯皮爾曼相關系數 （r） 絕對值大于0.7的特征，剔除相關系數較低的特征，最終保留7個特征作為模型的輸人。特征信息如表1所示。

斯皮爾曼相關性分析（圖1）表明，氣溫與地面紅外溫度、水汽壓、露點溫度均呈顯著正相關，相關系數分別為 0.95，0.80，0.77 ；氣溫與海平面氣壓、本站氣壓、相對濕度均呈顯著負相關，相關系數分別為-0.82，-0.80，-0.71 。

多個多特征時序數據集上實現了性能的顯著提升，特別適合處理特征數量多且相互關聯的時序數據[10]。iTransformer模型能夠有效提取豐富的全局特征表達和上下文信息，但在捕捉長距離依賴關系方面表現相對不足。相比之下，LSTM模型能有效處理時序中的動態變化并保持長期記憶，但在高維度的多特征時序數列中，難以有效捕捉特征之間的關系。將二者結合有助于網絡對特征表達和時間依賴性的綜合理解，從而增強對多特征長時序數據的預測性能。因此本研究提出iTransformer-LSTM模型，用于多特征多步時序預測任務，模型的結構如圖2所示。

相較于傳統的Transformer模型和LSTM模型，iTransformer-LSTM模型在以下方面進行了優化和改進。

1）iTransformer-LSTM模型首先用轉置嵌入層將每條特征序列映射為token，將時間序列中的離散數據映射到低維度的稠密向量空間中，從而減少模型的復雜度和參數量，提取出有效的時序特征，接著傳人LSTM模型，最后傳人iTransformer模型余下的部分。iTransformer-LSTM模型的結構更加合理、更有創新性，充分融合了2個基礎模型的優點。

2）該模型采用單向架構（Encoder-Only架構），取代原有的序列到序列架構（Encoder-Decoder架構）。單向架構更適合多特征序列的特征學習和自適應關聯。單向架構能夠減少近 50% 的模型參數，節省計算資源并降低學習成本，同時有效避免過擬合等問題[16]

3）該模型取消了對Transformer模型的具體要求，通過選擇不同類型的注意力機制，該模型能適應不同的任務和數據特征，有助于提升模型處理長距離依賴的能力，進一步提升模型性能。

4）該模型使用GELU（Gaussianerror linearunit）激活函數，取代Sigmoid激活函數。采用GELU激活函數，能夠幫助神經網絡學習復雜的非線性關系。在時序預測任務中，數據通常具有復雜的時序特性和非線性趨勢，因此使用非線性激活函數能夠更好地捕捉這些特征。GELU激活函數的平滑性有助于優化算法更快地收斂，計算效率比Sigmoid函數更高；同時，GELU激活函數允許神經網絡在多種激活狀態下輸出更廣泛的值域，有助于提升模型的表達能力。GELU激活函數的計算式如下。

式中， x 表示神經網絡中某個神經元的輸入。

2.1 iTransformer模型

iTransformer將每條特征序列映射為token，嵌入后的特征token不僅聚合了各特征的全局信息，還通過注意力機制有效挖掘以特征token為單位的跨特征關聯性。iTransformer模型采用單項架構，包含嵌人層（Embedding） ?ⁿ 個可堆疊的Transformer模型和映射層（Projector）。

1）嵌入層。通過多層感知機（MLP）將離散數據映射為連續的實數向量并以學習特征的序列表達。嵌人層的參數在網絡反向傳播過程中不斷優化。時間點順序已經隱含在神經元的排列順序中，因此不需要在嵌入層引入位置編碼。

2）Transformer模型由注意力層、前饋神經網絡和層歸一化組件3部分組成。

選取多頭注意力機制，應用于經過嵌入處理的特征token，這種方法不僅增強模型的可解釋性，還揭示多特征之間的相關性。多頭注意力的輸出矩陣（A_i，j） 如式（2）所示。

式中， q_i?k_j 分別表示任意2個以特征為主體的查詢向量和鍵向量， d_k 表示注意力頭的維度； Q 表示輸入的查詢矩陣； K 表示輸入的鍵矩陣；T表示矩陣的轉置操作。

前饋神經網絡利用密集的非線性連接，對未來序列的表征進行解碼。前饋神經網絡對每個變量的token應用相同的編碼。根據通用近似定理，前饋神經網絡具備提取復雜特征的能力，因此能夠有效描述時間序列。

層歸一化組件將所有特征token歸一化為高斯分布，從而減少變量之間的差異，提高深度網絡的收斂性和訓練穩定性。在傳統的Transformer結構中，對不同時間步的token進行歸一化，會導致時間序列過于平滑。層歸一化的計算式如下。

式中， LayerNorm（H） 表示輸入張量經過層歸一化處理后的輸出； h_n 表示歸一化維度上的元素；Mean表示輸入張量在歸一化維度上的平均值； Var 表示輸人張量在歸一化維度上的方差； n 表示輸人張量在歸一化維度上的元素個數。

3）映射層。通過多層感知機（MLP）將特征token映射到多層感知機隱藏層的特征空間中，提取非線性特征，并將輸入維度映射為預測序列長度。

2.2 LSTM模型

LSTM（Longshort termmemory）是一種用于捕捉長期依賴關系的循環神經網絡。LSTM模型采用遺忘門、輸入門和輸出門的結構，通過門控機制對信息流進行調節，能夠有效應對訓練過程中的梯度消失和梯度爆炸問題[1]。這3個門的引入使LSTM模型能夠維持內存狀態，并選擇性地存儲或丟棄信息，從而在傳播過程中去除不相關的信息[17]。因此，LSTM模型憑借其獨特的門控機制，能夠在長時間跨度內保持信息的持久性，并有效利用歷史信息進行預測。

式中， Φ_t 表示當前時間 ;f 表示遺忘門； i 表示輸人門； Σ_o 表示輸出門； c 表示記憶單元； h 表示短期記憶；σ_σσσ 表示Sigmoid函數； ? 表示逐元素相乘； W 表示權重，其下標表示相應連接的起點和終點； x 表示輸人值。輸入門的作用是篩選當前輸入信息，并將其有選擇地整合到細胞狀態中，從而有效避免無關信息的干擾。遺忘門決定了細胞狀態中的哪些信息會被遺忘，有助于網絡“忘記\"不重要的信息，從而使網絡更關注當前的輸人。輸出門的作用是篩選細胞狀態中的信息，從而生成當前時刻的輸出結果。

2.3 模型優化方法

將預處理后的氣象數據劃分為訓練集、驗證集和測試集。利用訓練集的數據對iTransformer-LSTM模型進行訓練。在訓練過程中，選擇均方誤差（MSE）作為損失函數，以在驗證集上損失函數最小的模型作為最優模型，并調整超參數，計算式如下。

式中， 表示時間點 Φ_t 的預測值， y_t 表示時間點 Φ_t 的觀測值； n 表示樣本數量。

優化方法采用 AdamW ，其在Adam的基礎上引入了L2正則化和權重衰減機制，從而提高模型的泛化能力[18]

2.4模型評估方法

通過訓練集評估模型性能，選擇均方根誤差（RMSE）、平均絕對誤差（ （MAE） 、平均絕對百分比誤差（MAPE）作為評估模型精度的指標，指標值越小，表示模型的擬合效果越好，計算式如下。

式中， 表示時間點 Φ_t 的預測值; y_t 表示時間點 Φ_t 的觀測值； n 表示樣本數量。

3 結果與分析

每個模型的迭代周期（Epochs）為10，采用早停法防止過擬合，耐心值（Patience）為3。將驗證集上損失函數最小的模型保存為最優模型，iTransformer模型的參數如下：注意力頭（heads）為8，模型維數（dim）為256，前饋網絡隱藏層的維度（d_ff為256，塊數 η（n） 為3，dropout為0.1。LSTM的參數如下：隱藏狀態的維度（hidden_size）為256，層數（num_layers）為2，dropout為0.5。各模型預測結果的評估指標如表2所示。相較于iTransformer模型，iTransformer-LSTM模型的RMSE下降了 13.72% ，MAE 下降了 14.12% ，MAPE下降了 13.61% 。

根據滑動窗口長度對測試數據進行劃分，共有865組數據，選擇第 0，120，240，360，480，720 組數據進行分析。由圖3可知，Transformer模型、LSTM模型和Transformer-LSTM模型在多組數據中與觀測值均存在較大偏差，iTransformer模型和iTransformer-LSTM模型與觀測值的偏差較小。Transformer模型無法有效處理時序數據中的波動和震蕩，因此Transformer模型預測值存在短期劇烈波動；LSTM模型在前幾個時間戳的預測值偏低，但隨著時間推移，其逐步修正了初始誤差。

Transformer-LSTM模型的表現略優于LSTM模型，但仍存在系統性偏差，證明Transformer-LSTM模型不能有效綜合2個基準模型的優點；iTransformer-LSTM模型更貼近氣溫變化的規律。當氣溫在短時間內變化劇烈時，各模型都表現出一定偏差，無法準確反映短期內的氣溫變化。

由圖4可知，Transformer模型、LSTM模型和Transformer-LSTM模型在多組測試數據上的殘差較大，模型的預測值普遍低于觀測值；iTransformer模型和iTransformer-LSTM模型的殘差基本以 0% 為中心呈對稱分布，但是在b組和e組數據中，大部分殘差分布在 0°C 的一側，表示模型在預測中可能存在系統性偏差。

這種系統性偏差可能與較短的時間滑動窗口和較長的預測序列長度有關；通過適當增加時間滑動窗口的長度，有望降低模型的預測誤差。此外，系統性偏差還可能與模型對天氣事件的敏感度有關，由于氣溫變化受到多種因素的影響，例如冷鋒、暖鋒等氣象系統的移動與交互，模型可能無法充分捕捉到這些復雜因素的交互影響，引入其他特征并調整模型參數，能夠進一步減少模型的誤差。

4小結

本研究提出基于iTransformer和LSTM模型融合的多特征多步的氣溫預測模型（iTransformer-LSTM）。該模型利用新疆維吾爾自治區昌吉市華興農場氣象站采集的數據作為數據集，其中 70% 的數據用于模型訓練， 10% 的數據用于模型驗證， 20% 的數據用于模型測試。根據各特征的斯皮爾曼相關性分析，選取氣溫、地面紅外溫度、露點溫度、相對濕度、水汽壓、本站氣壓、海平面氣壓7個特征作為模型輸入特征。模型的時間滑動窗口長度為240，預測序列長度為240，即根據前 10d 的數據，預測第11～20天的數據。采用 RMSE，MAE，MAPE3 個指標評估模型，相較于模型iTransformer模型，iTransformer-LSTM模型的RMSE下降了 13.72% ，MAE下降了 14.12% ，MAPE下降了 13.61% 。iTransformer-LSTM模型適用于多特征多步時序預測任務，通過優化基礎模型的結構能夠有效提取時序特征、捕捉長期依賴關系、表征全局特征及上下文信息。本研究為農戶提供合理的決策支持，幫助其根據未來幾天的氣溫變化，合理安排農作物的種植時間、灌溉方案、施肥方案，促進農業生產的可持續發展。

參考文獻：

[1]王春乙，張繼權，霍治國，等.農業氣象災害風險評估研究進展與展望[J].氣象學報，2015，73（1）：1-19.

[2]李勇，童紹玉.氣候變化對我國農業的影響及其適應研究[J].安徽農學通報，2023，29（5）：151-157，175.

[3］肖風勁，張海東，王春乙，等.氣候變化對我國農業的可能影響及適應性對策[J].自然災害學報，2006（S1）：327-331.

[4］王怡，普運偉.基于CNN-BiLSTM-Attention融合神經網絡的大氣溫度預測[J].中國水運（下半月），2023，23（1）：25-27.

[5]王強，秦華旺，齊春帥，等.基于自適應SA-PSO改進的XG-Boost氣溫預測方法[J].電子測量技術，2023，46（7）：67-72.

[6]陳嵐，文斌，賀南，等.基于融合模型動態權值的氣溫預測[J].電子測量技術，2022，45（15）：68-74.

[7]VASWANIA，SHAZEERN，PARMARN，etal.Attentionisallyou need[J]. Advances in neural information processing systems，2017，30：5998-6008.

[8]LINT，WANGY，LIU X，et al.A survey of transformers[EB/OL].（2021-6-15）.https：//doi.org/10.48550/arXiv.2106.04554.

[9]ZENG A，CHEN M，ZHANG L，et al. Are transformers effectivefortime series forecasting[J]Proceedings of the AAAI conferenceonartificial intelligence，2023，37（9）：11121-11128.

[10]LIU Y，HU TG，ZHANG HR，et al. iTransformer： Inverted trans-formers are effective for time series forecasting[EB/OL].（2024-03-14）.https：//arxiv.org/abs/2310.06625.

[11]HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].Neural computation，1997，9（8），1735-1780.

[12]CAO K，ZHANG T，HUANG J. Advanced hybrid LSTM-trans-former architecture for real-time multi-task prediction in engineer-ing systems[J].Scientific reports，2024，14（1）：4890.

[13] SHI J，WANG S，QU P，et al. Time series prediction model usingLSTM-Transformer neural network for mine waterinflow[J].Sci-entific reports，2024，14（1）：18284.

[14]HAN L，ABDEL-ATY M，YUR，et al.LSTM + Transformer re-al-time crash risk evaluation using traffic flow and risky drivingbehavior data［J]. IEEE transactions on intelligent transportationsystems，2024，25（11）：1-13.

[15]MA S，ZHANG T，ZHAO Y，et al. TCLN：A Transformer-basedCONV-LSTMnetwork formultivariate time series forecasting[J].Applied intelligence，2023，53（23）：28401-28417.

[16]CAIPX，FANYC，LEUFY.Compare encoder-decoder，encod-er-only，and decoder-only architectures for text generation onlow-resource datasets[A].Advances on broad-band wireless com-puting，communication and applications：Proceedings of the 16thinternational conference on broad-band wireless computing [C].Communication and applications，2021.216-225.

[17]張馳，郭媛，黎明.人工神經網絡模型發展及應用綜述[J].計算機工程與應用，2021，57（11）：57-69.

[18]常禧龍，梁琨，李文濤.深度學習優化器進展綜述[J].計算機工程與應用，2024，60（7）：1-12.

（責任編輯 雷霄飛）