基于小波變換增強位置編碼Transformer的空域流量預(yù)測

摘" 要： 隨著全球化進程的加快和航空技術(shù)的發(fā)展，對空中交通流量預(yù)測的精度要求也越來越高。為提高空中交通流量預(yù)測精度，減輕空中交通管制員的壓力，提出一種增強位置編碼的Transformer模型。利用小波變換對原始空域流量數(shù)據(jù)進行分析，通過信噪比選出性能最優(yōu)的小波基函數(shù)，再進一步計算出小波系數(shù)并將其融入位置編碼，以增強模型對時間序列數(shù)據(jù)的理解能力。實驗結(jié)果表明，所提模型能夠準確捕捉空中交通流量數(shù)據(jù)中的非平穩(wěn)性和突變特征，其RMSE和MAPE評估指標較原始Transformer模型分別降低了29.9與2.9%，較LSTM模型分別降低了34.5與3.4%。該模型不僅提升了空域流量預(yù)測的準確性，也證實了小波變換在增強模型時間序列數(shù)據(jù)理解中的有效性，且為交通流量管理提供了一種新的技術(shù)方案。

關(guān)鍵詞： 空域流量預(yù)測； 增強位置編碼； Transformer模型； 小波變換； LSTM模型； 小波基函數(shù)

中圖分類號： TN919.3?34" " " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）08?0127?06

Airspace traffic prediction based on wavelet transform enhanced

position coding Transformer

TANG Weizhen， LIU Bo， HUANG Zhousheng， TIAN Qiqi

（Civil Aviation Flight University of China， Deyang 618307， China）

Abstract： With the acceleration of globalization and the development of aviation technology， the accuracy requirements for air traffic flow prediction are also increasing. In order to improve the accuracy of air traffic flow prediction and reduce the pressure of air traffic controllers， a Transformer model with enhanced position coding is proposed. It uses wavelet transform to analyze the original airspace flow data， selects the wavelet basis function with the best performance by means of the signal?to?noise ratio， and further calculates the wavelet coefficient and integrates it into the position coding， so as to enhance the model's understanding ability of time series data. The experimental results show that the proposed model can accurately capture the non?stationary and abrupt characteristics of air traffic flow data. Its RMSE and MAPE evaluation indicators are decreased by 29.9 and 2.9% respectively compared with the original Transformer model， and by 34.5 and 3.4% compared with the long short?term memory （LSTM） model， respectively. This model not only improves the accuracy of airspace flow prediction， but also confirms the effectiveness of wavelet transform in enhancing the understanding of model time series data， and provides a new technical scheme for traffic flow management.

Keywords： airspace flow prediction; enhanced location encoding; Transformer model; wavelet transform; LSTM model; wavelet basis function

0" 引" 言

隨著全球化進程的加速和航空技術(shù)的不斷進步，航空運輸需求持續(xù)增長，空中交通流量管理與預(yù)測的重要性日益凸顯。有效的流量預(yù)測在保障空中交通安全、提高航班運營效率、優(yōu)化航空管理策略等方面起著至關(guān)重要的作用。使用傳統(tǒng)預(yù)測技術(shù)，如差分整合移動平均自回歸模型[1]、季節(jié)性指數(shù)平滑法[2]以及基于支持向量機[3]的機器學(xué)習(xí)方法可對空中交通流量進行預(yù)測，這些方法通過分析歷史數(shù)據(jù)中時間序列的特性，或通過建立原始數(shù)據(jù)與目標變量之間的數(shù)學(xué)關(guān)系來進行預(yù)測。但這些傳統(tǒng)方法難以處理高維度、非線性的數(shù)據(jù)，因此預(yù)測此類數(shù)據(jù)時精度會受到限制。此外，盡管機器學(xué)習(xí)技術(shù)，如隨機森林[4]和K近鄰算法[5]在處理大規(guī)模數(shù)據(jù)集和識別復(fù)雜模式方面展現(xiàn)了較好的性能，但它們對于時間序列數(shù)據(jù)的長期依賴性處理不足，且在實際應(yīng)用中需要大量的計算資源和參數(shù)進行調(diào)優(yōu)。

對于深度學(xué)習(xí)技術(shù)，特別是循環(huán)神經(jīng)網(wǎng)絡(luò)[6]和長短期記憶（LSTM）[7]網(wǎng)絡(luò)已被證明具有顯著的適用性。在數(shù)據(jù)缺失的情形下，LSTM利用其先進的數(shù)據(jù)處理能力，可以實現(xiàn)比傳統(tǒng)方法更為準確的預(yù)測結(jié)果。隨著深度學(xué)習(xí)的發(fā)展，引入了基于注意力機制的Seq2Seq模型[8]，能夠在交通流量預(yù)測任務(wù)中實現(xiàn)長期且高精度的預(yù)測。文獻[9]開發(fā)的基于Transformer的輕量級模型能夠準確預(yù)測接下來時間段內(nèi)任意區(qū)域的交通流量。雖然現(xiàn)有機器學(xué)習(xí)以及深度學(xué)習(xí)的方法得到諸多改進，但是對非平穩(wěn)變化的數(shù)據(jù)還是不能做到較為精準的預(yù)測。

為進一步提升預(yù)測精度，使用小波變換[10]的高級信號處理方法在提取時間序列數(shù)據(jù)的非線性特征和復(fù)雜模式方面顯示出了優(yōu)異的潛力。文獻[11]采用經(jīng)驗?zāi)B(tài)分解（EMD）方法對交通流量數(shù)據(jù)進行分解，有效提取了數(shù)據(jù)中的趨勢和周期性成分，為后續(xù)的流量預(yù)測提供了更準確的依據(jù)，也為周期性成分不夠顯著的數(shù)據(jù)提供了一種處理方法。這證明了在處理弱周期性和具有非線性特性的流量數(shù)據(jù)時，傳統(tǒng)的線性方法和機器學(xué)習(xí)技術(shù)可能不足以準確預(yù)測，從而需要更高級的數(shù)據(jù)處理和特征提取技術(shù)進行流量預(yù)測。但是，如何良好地處理一些存在突變的數(shù)據(jù)，使模型可以學(xué)習(xí)到數(shù)據(jù)中的突變特征，從而做到更為精準的預(yù)測，還有待進一步研究。

現(xiàn)有對空域流量的預(yù)測方法雖能起到較好的效果，但是空域流量除了具有周期性特征，還會存在突變等隨機誤差，這就需要大量數(shù)據(jù)和高級的信號處理方法進行補充，以提取更復(fù)雜的時間序列特征。

在此基礎(chǔ)上，本文提出一種使用小波變化增強位置編碼的Transformer模型來預(yù)測空域流量。利用小波變換作為數(shù)據(jù)處理工具，提取時間序列數(shù)據(jù)特征以增強位置編碼，進一步提升模型對時間序列數(shù)據(jù)中時間位置信息的感知能力。通過使用改進模型能夠捕獲時間序列數(shù)據(jù)中突變等復(fù)雜模式，而且還能夠充分理解各時間點之間的相對位置關(guān)系，更精準地預(yù)測空域流量。

1" 預(yù)測方法

1.1" 小波變換

小波變換是一種基于時間和頻率分析的信號處理技術(shù)，能夠?qū)⑿盘柗纸獬刹煌叨鹊念l率成分，從而提供多分辨率的分析方法[12]?？紤]到空中交通流量涉及到天氣、軍方活動等各種不定期因素的影響，空域流量數(shù)據(jù)通常具有高度的非平穩(wěn)性和復(fù)雜性[13]，因此引入小波變換來分析原始數(shù)據(jù)，將數(shù)據(jù)中的數(shù)值變化看作信號的頻率變化，從而更為有效地捕捉數(shù)據(jù)中的局部特征和突變點。

小波變換的核心思想是利用一組小波基函數(shù)對信號進行分解，得到信號在不同頻率和時間尺度上的表示，本文利用小波變換的本質(zhì)就是抑制原始數(shù)據(jù)中無用信息的占比，增大有用信息占比。通過小波變換降低無用信息的干擾，保留真實的流量變化趨勢，找到最佳小波系數(shù)。小波變換的過程如下。

1） 選擇適當?shù)男〔ɑ瘮?shù)并確定合適的分解層數(shù)。小波變換中常用的小波基函數(shù)有dB、sym、bior[14]，運用不同的小波基函數(shù)對原始流量數(shù)據(jù)進行分解時，都會表現(xiàn)出不同程度的隨機性和趨勢性。選擇合適的小波基函數(shù)和分解層數(shù)可以更好地匹配數(shù)據(jù)變化的特性，從而提高信噪比，獲得質(zhì)量更高的細節(jié)分量和近似分量。在經(jīng)過選定的分解層數(shù)分解之后，每個分解層都會產(chǎn)生相應(yīng)的高頻和低頻信號，分別表示為細節(jié)分量和近似分量。

綜合考慮流量數(shù)據(jù)的特征和預(yù)測的需求，通過對比信噪比以選擇最合適的小波基函數(shù)和分解層數(shù)，原始流量時間序列[f（t）]可分解為：

式中：[ψj，k]表示細節(jié)分量，代表原始流量時間序列的高頻部分；[?j，k]表示近似分量，代表原始流量時間序列的低頻部分；[cj，k]和[dj，k]表示近似分量與細節(jié)分量的對應(yīng)系數(shù)。

2） 確立適合的閾值，初步得到小波系數(shù)后通過閾值篩選小波系數(shù)?；谡`差能量的閾值法是一種常用的方法[15]，它通過分析信號和噪聲的能量分布情況來確定閾值大小。本文使用斯坦的無偏風(fēng)險估計（SURE） 方法[16]來估計最優(yōu)閾值，其計算公式為：

式中：[n′]為信號長度；[wi]為未處理前小波系數(shù)，即式（1）中[cj，k]和[dj，k]的總稱；[σ2]是原始流量數(shù)據(jù)中噪聲的方差，通過魯棒中值定理[17]計算得到。得到閾值[λSURE]后，利用軟閾值方法來處理原有的小波系數(shù)，公式為：

式中：[w′i]為處理后的小波系數(shù)；[sgn（wi）]是原始系數(shù)的符號函數(shù)；[maxwi-λ，0]確保絕對值大于閾值的系數(shù)被保留，否則設(shè)為0。

1.2" 增強位置編碼

在深度學(xué)習(xí)領(lǐng)域，位置編碼[18]的引入有效地解決了模型對序列數(shù)據(jù)中元素位置信息的識別問題。尤其是在處理時間序列數(shù)據(jù)時，能否準確捕捉時間信息對預(yù)測準確性影響較大。

通過引入小波系數(shù)來增強位置編碼，從而提升模型對時間序列數(shù)據(jù)的理解能力，使其通過小波變換的引入，可以更好地捕捉時間序列中的短期和長期依賴性，以及頻率相關(guān)的特征，從而提高模型在各種時間序列分析任務(wù)中的性能。

傳統(tǒng)的位置編碼方法依賴正弦和余弦函數(shù)來為序列中的每個位置生成一個唯一的編碼，其表達式如下：

式中：[pos]為序列中的位置；i為維度的索引；[dmodel]為模型的維度。

傳統(tǒng)的位置編碼方法能夠使模型學(xué)習(xí)到序列中元素的位置信息，但對于復(fù)雜的時間序列特征，其捕捉能力有限。為了克服此方法的局限性，引入小波變換，將小波系數(shù)加入到每個位置生成的傳統(tǒng)位置編碼中，利用其優(yōu)良的時頻局部化特性來增強位置編碼。通過小波變換在不同尺度上分析信號，捕捉時間序列中的細微特征，以提高模型的預(yù)測性能。

式中：[PEenhanced]表示運用小波系數(shù)增強后的位置編碼；i表示當前維度索引；[modlen（w'i）]表示小波系數(shù)[w'i]模的長度；[w′iimodlen（w'i）]保證了每個小波系數(shù)都能均勻地加入到位置編碼中。

1.3" 增強位置編碼的Transformer預(yù)測模型

本文提出的增強位置編碼的Transformer模型如圖1所示。

首先，利用小波變換對空中交通流量數(shù)據(jù)進行小波分解，生成不同頻率的噪聲項與趨勢項，分析特定的趨勢和周期性，尤其對于突降突增等非平穩(wěn)性的復(fù)雜時間序列變化進行捕捉；其次計算小波系數(shù)后，融入位置編碼，提高Transformer模型對數(shù)據(jù)位置信息的捕捉能力。

2" 數(shù)值仿真與分析

2.1" 數(shù)據(jù)預(yù)處理

本文選取以某機場為中心，半徑300 km內(nèi)，實時監(jiān)控共28日每隔15 min的ADS?B數(shù)據(jù)。由于地面基站覆蓋范圍的限制、數(shù)據(jù)更新的頻率、不同飛機與基站的設(shè)備和維護情況不同等，會引起數(shù)據(jù)缺失及更新不及時等問題，因此在使用ADS?B數(shù)據(jù)之前，需要對其進行處理。

圖2為處理前后的流量數(shù)據(jù)對比情況。由此得知：首先需要對流量數(shù)據(jù)中可能的異常值等錯誤數(shù)據(jù)進行去除；其次，需要對數(shù)據(jù)中的缺失部分進行處理，以確保數(shù)據(jù)的連貫性。本文運用線性插值法[19]進行補缺，以15 min為間隔，將缺失部分補充完整。

2.2" 增強模型構(gòu)建

為構(gòu)建精度更高的預(yù)測模型，需要對數(shù)據(jù)進行更精準的位置編碼，且確定增強位置編碼中的小波系數(shù)，可顯著增強模型預(yù)測精度，同時需對不同小波基函數(shù)的信噪比進行對比。本文選用sym4、bior2.2、dB4這三種小波基函數(shù)進行實驗對比。首先對流量數(shù)據(jù)應(yīng)用上述三種小波基函數(shù)進行小波分解，每種小波基函數(shù)分別在3層、4層和5層分解下進行嘗試，旨在探究分解層數(shù)對預(yù)測精度的影響。采用小波分解后的數(shù)據(jù)來構(gòu)建預(yù)測模型，進而評估各種配置的效果。不同分解層數(shù)信噪比結(jié)果對比如表1所示。

bior2.2小波基函數(shù)表現(xiàn)出較高的信噪比，特別是在分解層數(shù)為3層時，其信噪比達到315.455 1，這是所有組合中的最高值。隨著分解層數(shù)的增加，雖然信噪比有所下降，但bior2.2在5層分解時的信噪比仍然保持在312.410 4，顯示出較強的穩(wěn)定性和較低的噪聲敏感性。

利用bior2.2小波基函數(shù)和3層分解的參數(shù)配置，通過繪制小波分解圖像來直觀展示流量數(shù)據(jù)的近似序列以及細節(jié)序列，結(jié)果如圖3所示。

通過圖3可以清楚地觀察到，原始的流量時間序列被分解成了近似分量和細節(jié)分量兩部分。近似分量反映了流量數(shù)據(jù)的整體趨勢和低頻成分，而細節(jié)分量則捕捉到了流量數(shù)據(jù)中的高頻波動和突變特征。從近似分量可以看出，流量數(shù)據(jù)整體呈現(xiàn)出一定的周期性和趨勢性，但也存在一些不規(guī)則的波動。細節(jié)分量則清晰地展現(xiàn)了流量數(shù)據(jù)中的瞬時變化，這些都是傳統(tǒng)預(yù)測模型難以捕捉的復(fù)雜特征。

3" 實驗與結(jié)果分析

3.1" 評價指標

為精確評測模型的預(yù)測性能，本文使用均方根誤差（RMSE）[20]和平均絕對百分比誤差（MAPE）[21]來測試模型的效果，計算公式如下：

式中：n表示空域流量數(shù)據(jù)的序列長度；[yi]是ADS?B數(shù)據(jù)值；[yi]是空域流量預(yù)測值。RMSE的值越小，代表模型預(yù)測結(jié)果與真實值之間的差異越小，性能越好。MAPE的值越小，表示模型的預(yù)測誤差越小，性能越好。

當上述兩個指標為0時，即模型預(yù)測的飛行流量與原始飛行流量完全吻合，則表示模型無缺陷，完全符合實際情況。

3.2" 流量預(yù)測

模型注意力多頭數(shù)目為8，使用Adam優(yōu)化器進行優(yōu)化，每次訓(xùn)練的樣本數(shù)量為32，學(xué)習(xí)率為0.001。訓(xùn)練次數(shù)為100次。利用第1～27天的數(shù)據(jù)來構(gòu)建增強位置編碼的Transformer模型，使用第28天（2018?06?28）的空域流量數(shù)據(jù)驗證預(yù)測精度。空域流量真實值與預(yù)測值的對比結(jié)果如圖4所示。

由圖4可知，對于飛行流量分布不均且伴有突降突增等劇烈變化的空域而言，本文模型可以較好地描述空域飛行流量的流動趨勢，尤其是圖中的一些突變點也能夠較為準確地反映突降突增。

為驗證本文提出的模型在一定空域內(nèi)進行飛行流量預(yù)測的準確性與優(yōu)越性，使用增強位置編碼的Transformer模型、LSTM模型和Transformer模型來分別預(yù)測第28天空域內(nèi)的飛行流量情況，對上述模型進行對比分析，且每個模型皆找到最佳訓(xùn)練次數(shù)。三種模型的評價指標對比結(jié)果如表2所示。

從表2中的RMSE與MAPE可以看出，增強位置編碼的Transformer模型是上述模型中預(yù)測效果是最好的，與LSTM模型相比，RMSE降低了34.5，MAPE降低了3.4%，與原始的Transformer模型相比，RMSE降低了29.9，MAPE降低了2.9%。雖然上述模型都可較為精準地預(yù)測一定空域內(nèi)的飛行流量情況，但是對于有非平穩(wěn)性尤其是異常變化的預(yù)測，本文模型的RMSE與MAPE均最低，預(yù)測效果更好。

綜上所述，本文提出的增強位置編碼的Transformer模型能夠更精確地預(yù)測未來一天在特定空域內(nèi)定期時間變化的飛行流量情況。

4" 結(jié)" 論

本文建立的增強位置編碼的Transformer模型，實現(xiàn)了對特定空域內(nèi)未來一天每隔15 min的流量預(yù)測，得到的結(jié)論如下。

1） 本文運用ADS?B數(shù)據(jù)來作為進行空域流量預(yù)測模型的數(shù)據(jù)集。實驗結(jié)果表明，增強位置編碼后的Transformer模型與原始的Transformer模型以及LSTM模型相比，對特定空域內(nèi)非平穩(wěn)性尤其是突降突增等變化的捕捉是較為準確的，說明引入小波系數(shù)以增強模型對時間序列數(shù)據(jù)的理解能力是有效的。

2） 本文模型可用于為相關(guān)部門解決空域內(nèi)飛行流量問題提供更可靠的依據(jù)，為空中交通管理提供參考。實際空域內(nèi)的飛行流量變化受多種復(fù)雜因素影響，因此未來的研究可進一步引入天氣條件等相關(guān)因素，以提高預(yù)測精度。

參考文獻

[1] 閆少華，謝曉璇，張兆寧.基于小波優(yōu)化GRU?ARMA模型的空中交通流量短時預(yù)測方法[J].交通信息與安全，2022，40（4）：177?184.

[2] AL?SULTAN A T， AL?RUBKHI A， ALSABER A， et al. Forecasting air passenger traffic volume ： evaluating time series models in long?term forecasting of Kuwait air passenger data [J]. Advances and applications in statistics， 2021， 70（1）： 69?89.

[3] 耿睿，崔德光，徐冰.應(yīng)用支持向量機的空中交通流量組合預(yù)測模型[J].清華大學(xué)學(xué)報（自然科學(xué)版），2008（7）：1205?1208.

[4] 徐秀娟，白玉林，徐璐，等.惡劣天氣情況下基于隨機森林算法的交通流量預(yù)測[J].陜西師范大學(xué)學(xué)報（自然科學(xué)版），2020，48（2）：25?31.

[5] 祁朵，毛政元.基于自適應(yīng)時序剖分與KNN的短時交通流量預(yù)測[J].地球信息科學(xué)學(xué)報，2022，24（2）：339?351.

[6] SHA S， LI J， ZHANG K， et al. RNN?based subway passenger flow rolling prediction [J]. IEEE access， 2020， 8： 15232?15240.

[7] LIU H， LIN Y， CHEN Z， et al. Research on the air traffic flow prediction using a deep learning approach [J]. IEEE access， 2019， 7： 148019?148030.

[8] XIAO H， ZHAO Y， ZHANG H. Predict vessel traffic with weather conditions based on multimodal deep learning [J]. Journal of marine science and engineering， 2022， 11（1）： 39.

[9] LI G， ZHONG S， DENG X， et al. A lightweight and accurate spatial?temporal transformer for traffic forecasting [EB/OL]. [2024?04?14]. https：//ieeexplore.ieee.org/abstract/document/10004027/.

[10] 楊肖，肖蓉.文檔級關(guān)系抽取中的小波變換特征增強方法[J].中文信息學(xué)報，2024，38（2）：109?120.

[11] 龔循強，邱萬錦，呂開云，等.變分模態(tài)分解與自適應(yīng)圖卷積門控循環(huán)網(wǎng)絡(luò)的交通流量組合預(yù)測模型[J].武漢大學(xué)學(xué)報（信息科學(xué)版），2024，49（12）：2329?2341.

[12] 馮帥，曹茹茹，馬愈昭，等.改進CEEMDAN結(jié)合新型小波變換的激光雷達去噪算法[J].系統(tǒng)工程與電子技術(shù)，2024，46（12）：4054?4061.

[13] 曲騰，張祺，徐梓喬，等.基于ADS?B樣機接收的天津空域航空數(shù)據(jù)流量分析及未來流量預(yù)測[J].科技創(chuàng)新與應(yīng)用，2023，13（25）：78?83.

[14] 付泰，陳艾帥，胡磊，等.基于小波變換的全息圖壓縮編碼比較研究[J].應(yīng)用光學(xué)，2024，45（1）：99?106.

[15] 劉長明，曹紅燕，范焱，等.結(jié)合OSTU閾值法的自適應(yīng)DCP圖像優(yōu)化算法[J].火力與指揮控制，2022，47（6）：162?170.

[16] 高雨欣，郭睿，王輝，等.基于SURE準則的參數(shù)自適應(yīng)InSAR相位非局部濾波[J].上海航天（中英文），2022，39（3）：46?53.

[17] 荊蕾，孫煒瑋，潘新龍，等.測量噪聲方差未知的多傳感器組合導(dǎo)航集中融合算法[J].電子測量與儀器學(xué)報，2023，37（10）：164?171.

[18] 張安勤，秦添.基于多通道時空編碼器的交通流量預(yù)測模型[J].計算機應(yīng)用研究，2024，41（1）：83?87.

[19] 何德峰，黃原馳，穆建彬.線性變參數(shù)系統(tǒng)事件觸發(fā)插值預(yù)測控制[J].系統(tǒng)科學(xué)與數(shù)學(xué)，2024，44（3）：610?621.

[20] 韓博，林師卓，王立婕.機場能見度臨近預(yù)測方法[J].安全與環(huán)境學(xué)報，2024，24（4）：1434?1441.

[21] 宋巍，姜浩，杜艷玲，等.基于物理關(guān)聯(lián)深度學(xué)習(xí)的海浪浪高預(yù)測方法[J].海洋通報，2024，43（3）：371?381.

作者簡介：唐衛(wèi)貞（1977—），男，山東泰安人，碩士研究生，教授，研究方向為空中交通管理。

劉" 波（2001—），男，山東臨沂人，碩士研究生，研究方向為空中交通管理。

黃洲升（1998—），男，廣西南寧人，碩士研究生，研究實習(xí)員，研究方向為空中交通管理。

田齊齊（1999—），女，山東濟南人，碩士研究生，研究方向為空中交通管理。

收稿日期：2024?05?01" " " " " "修回日期：2024?07?04