基于注意力Seq2Seq模型的終端區航空器航跡預測

盧婷婷, 劉博*, 李純柱

(1.中國民航大學空中交通管理學院, 天津 300300; 2.中國民用航空華北地區空中交通管理局天津分局, 天津 300300)

國際民航組織以全球空中交通管理運行概念為遠景,提出了“航空系統組塊升級”計劃,2019年國際民航組織(International Civil Aviation Organization,ICAO)發布了第6版《全球空中航行計劃》,明確表示基于航跡(trajectory based operation, TBO)將作為“航空系統組塊升級”中各類引線的總集成和最終實現目標,計劃在2031年后在全球推廣應用。中國、歐洲和美國相繼提出了基于航跡的運行理念,其中,航空器4D航跡預測是關鍵與核心。與此同時,未來空中交通管制由“基于指令運行”(clearance based operation, CBO)向“基于航跡運行”轉變,也對航空器4D航跡預測功能與性能帶來新的挑戰。

對于大多數進場航空器,從航路點到進近入口飛行時間約為15 min,考慮到實際應用場景,將進、離場航空器預測尺度分為短期航跡預測和中長期預測,短期預測一般在5 min以內,主要為管制員提供沖突探測與解脫服務,中長期預測為5～10 min或者更長時間,主要應用于進場智能排序、航空器的異常行為檢測、空域流程管理等方面。

近年來,針對航跡預測問題,國內外學術界有大量的相關研究。預測的方法較多,大體可以歸納為4類:粒子運動模型、狀態估計模型、空氣動力學模型和基于數據驅動的模型。

粒子運動模型:作為傳統的預測方法,將航空器抽象為質點,對其進行受力分析,并結合航空器性能參數模型建立動力學和運動學模型,實現航空器四維軌跡預測。王超等[1]根據航跡特征點的飛行狀態信息擬合生成完整的航跡,所提方法可以快速、準確預測飛機到達各航跡特征點的時間,但預測精度有待進一步提升。

狀態估計模型:根據預測過程中對航空器單一飛行模式還是多模式的不同假設,將狀態估計模型劃分為單模型估計和多模型估計。單模估計包括改進卡爾曼濾波算法[2]和改進的基于當前統計模型的自適應濾波算法[3]。因為飛機不僅要考慮飛行過程中的外部運動,還要考慮自身的狀態,即水平和垂直的三維狀態。因此,在復雜的航空環境下,單模估計會受到很多限制,為此湯新民等[4]提出了交互式多模型算法估計。整體而言,此類型模型預測時間較長,無法部署在實時預測的應用場景之中。

空氣動力學模型:該方法可以看作是一種物理模型,它基于飛機上的受力情況,以預測飛機的連續點未來軌跡。Schuster等[5]提出了基于航空器的狀態和意圖信息,對航空器航路階段4D航跡進行建模并進行預測,數據包括三層:基本數據(初始飛機狀態、風、飛機性能數據)、飛行器動力學系統數據和飛行管理系統數據。但是,上升和下降航段預測準確性較低。Baklacioglu等[6]提出了一種新的航空器推進力航跡預測模型(aero-propulsive trajectory prediction model),該模型重復考慮臨界馬赫數以上可壓縮阻力、壓縮性以及翼剖面彎度對航跡預測的影響。Zhang等[7]提出了基于戰術層面上在線4D軌跡預測方法,考慮飛機意圖、飛行計劃和適應數據(管制空域、航路、標準儀表離場程序、標準儀表進場程序)。該類模型在建模過程中使用較多的動態參數,而動態參數在飛行過程中經常發生不斷變化,因此導致參數估計困難,預測精度不好。

基于數據驅動的模型:近年來隨著AI技術和大數據的快速發展,機器學習、深度學習等基于數據驅動的模型逐漸應用于航跡預測問題上,性能上也超越了粒子運動模型、狀態估計模型、氣動力學等傳統方法。航跡預測是典型的回歸問題,常用的建模方法包括傳統機器學習領域的模型,例如支持向量機[8]、遺傳算法[9];隨著深度學習領域快速崛起,BP神經網絡、卷積神經網絡(convolutional neural networks, CNN)、長短期記憶神經網絡(long short-term memory, LSTM)等模型應用于航空器航跡建模。石慶研等[10]采用LSTM-ARIMA組合模型,對航空器的短期航跡進行建模,提高了航跡預測的準確性。石慶研等[11]采用基于在線更新長短期記憶(LSTM)網絡的短期4D航跡預測算法,高度、經度和緯度的單步預測精度和模型的泛化性都得到了一定程度的提升。Ma等[12]首先采用CNN挖掘航空器航跡的空間特征,然后采用LSTM提取航空器的時間依賴性,對航路階段的單條航跡進行航跡預測,取得了不錯的效果。Wu等[13]采用BP算法,基于ADS-B數據,對青島—北京航路階段的航跡進行建模。劉龍庚等[14]采用ConvLSTM網絡,在一定程度上提高了航空器航跡的預測精確。Shafienya等[15]使用聯合的深度學習模型CNN-GRU和3D-CNN提取航跡的時空特征,得出聯合模型比單獨使用其中一個模塊,航跡預測的精度更高。趙元棣等[16]針對航空器的爬升和下降階段,使用RNN和LSTM進行建模,模型魯棒性較好。還有學者將圖卷積引入了到航跡預測領域,Xu等[17]基于社會時空圖卷積神經網絡,對終端區不同飛行模式的航空器進行單獨建模,預測的精度和魯棒性有一定程度的提升。Zeng等[18]基于Seq2seq深度模型框架,對廣州終端區的進離場航跡進行建模,在一定程度上提高了多步長預測的精度。隨著深度學習的進一步發展,將注意力機制和生成對抗網絡引入航跡預測[19],實現了航跡的短期精準預測。Guo等[20]采用Binary Encoding Represented Flight Trajectory prediction (FlightBERT)方法進行航跡的預測,模型的性能有了很大程度的提升。Wu等[21]基于生成對抗網絡(generative adversarial networks, GAN)進行航跡預測建模,得出Conv1D-GAN網絡最適合進行航跡的長期預測。Wu等[22]采用聚類算法對航跡進行聚類,基于CNN-BiLSTM-Attention的方法,引入注意力機制,對不同類別內的航跡數據提取其空間和時間特征,提高了預測模型的泛化性。韓萍等[23]首先采用聚類方法將相似航跡進行聚類,然后基于循環神經網絡GRU對不同簇的航跡分別建立不同的航跡預測模型,在一定程度上提高了航跡預測的精度。

基于數據驅動的方法進行航跡預測,現有研究主要實現了單步預測,如果要進行多步預測需要基于前期預測結果進行滾動,累積誤差較大,精度有待進一步提升;預測時長大多數都是短期預測,關于中長期預測的深入探討較少。隨著預測時長的增加,如何有效捕捉航跡之間的時間依賴性也是非常具有挑戰的任務。

基于此,現創新性地將序列到序列框架(Seq2Seq)和注意力機制(attention mechanism)應用到機場終端區航跡預測問題,期望解決中長期、多步長航跡預測精度不穩定的問題;引入Teacher Forcing機制,緩解模型訓練階段收斂較慢的問題,并且在模型的泛化性方面期望有一定程度的提升;與基準模型橫向對比,驗證所提出的方法的有效性。

1 模型理論

1.1 Seq2seq

基于循環神經網絡的序列到序列模型[24](sequence to sequence model, Seq2Seq)廣泛應用于機器翻譯、語音識別、推薦系統等問題中,并且取得了良好的效果。Seq2Seq模型是序列到序列生成任務,即輸入一個序列,生成另外一個序列,通過編碼器(encoder)和解碼器(decoder)實現。給編碼器輸入時間序列X=(x1,x2,…,xTx),循環神經網絡將輸入序列X編碼為語義向量c。

ht=f(xt,ht-1)

(1)

c=q({h1,h2,…,hTx})

(2)

式中:ht∈Rn,為t時刻循環神經網絡隱藏層;f()和q()為非線性函數,f()可以基于循環神經網絡RNN、GRU、LSTM等結構。如果f()采用RNN、 GRU、LSTM等循環神經網絡,背景變量c可以等于最后時刻的隱藏層狀態,如式(2)所示。

q({h1,h2,…,hTx})=hT

(3)

如果編碼器中f()采用雙向RNN、GRU、LSTM等循環神經網絡,ht應該為循環神經網絡正向和反向隱藏層的拼接,即

(4)

(5)

(6)

式中:hf為循環神經正向最后一個時刻隱藏層;hb為循環神經反向第一個時刻隱藏層;ht為上述正向和反向隱藏層的向量拼接。

編碼器基于背景變量c和編碼器之前預測的結果{y1,y2,…,yt′-1}對下一個時刻yt′進行預測。

(7)

式(7)中:y=(y1,y2,…,yTy),當解碼器中的循環神經網絡為RNN、 GRU、 LSTM等結構時,有

p(yt|{y1,y2,…,yt-1},c)=g(yt-1,st,c)

(8)

式(8)中:g為非線性的前饋神經網絡;st為循環神經網絡的隱藏層;c為背景變量;通過函數g得到輸入值yt。

基于循環神經網絡的序列到序列模型的缺點是背景變量c的容量問題,輸入序列的信息很難全部保存在一個固定維度的向量中,當序列很長的時候,由于循環神經網絡的長依賴問題,容易丟失輸入序列的關鍵信息。

1.2 Attention機制

為了獲取更豐富的輸入序列信息,可以在每一步通過注意力機制[25](attention mechanism)來從輸入序列中篩選有用的信息,并且進行重點關注。

通過引入注意力機制,條件概率為

p(yi|y1,y2,…,yi-1,X)=g(yi-1,si,ci)

(9)

si為解碼器中循環神經網絡在i時刻的隱藏層狀態,通過式(10)進行計算。

si=(si-1,yi-1,ci)

(10)

注意力機制要求解碼器每一次輸出之前,通過引入注意力權重aij來重新計算每一步的背景向量ci,注意力權重通過訓練最終確定。

(11)

(12)

eij=a(si-1,hj)=Vtanh(Wst-1+Uhj)

(13)

式中:V、W、U均為待學習參數。

采用Bahdanau注意力機制,Bahdanau注意力機制的權重是通過一個可學習的神經網絡模型計算得出的,而不是簡單地使用內積或其他計算方式,這使得Bahdanau注意力機制能夠更好地捕捉輸入序列中位置之間的關系。

Seq2Seq和注意力機制結構如圖1所示,當歷史航跡時間序列長度為n,未來航跡時間序列長度為m。考慮到航跡具有連續性的特征,在初始化解碼器的時候,直接使用編碼器中最后一個時刻的輸入值進行初始化。

圖1 Seq2Seq和注意力機制結構圖Fig.1 Seq2Seq and attention mechanism structure diagram

1.3 Teacher Forcing

Teacher Forcing是一種快速有效地訓練循環神經網絡模型的方法,廣泛應用于機器翻譯、文本摘要和圖像字幕等許多深度學習語言模型訓練過程,可以加速模型收斂,提高模型的泛化性。

圖2 Teacher Forcing機制Fig.2 Teacher Forcing mechanism

常用的衰減方式[26]分為:Constant, Linear Decay, Exponential Decay, Inverse Sigmoid Decay等4種方式。Constant指對所有的訓練集mini-batch使用固定的概率P,linear指概率P線性衰減方式,exponential表示概率P指數衰減方式,Inverse sigmoid表示概率P反向Sigmoid衰減。

2 模型構建

2.1 問題描述

航跡預測本質上屬于回歸問題,利用歷史的航跡信息(高度、經度、緯度)預測未來一定時間的連續航跡信息(高度、經度、緯度)。為了保證預測的精度,高度、經度、緯度分別單獨建模,模型可以抽象為多變量輸入、單變量和多步長輸出問題。當歷史航跡時間序列長度為n,未來航跡時間序列長度為m,輸入和輸出向量X、Y可以構造如下。

X=(X1,X2,…,XN)

(14)

Y=(Y1,Y2,…,YN)

(15)

Xi=[x1+n(i-1),x2+n(i-1),…,xn+m(i-1)]

(16)

Yi=[xn+m(i-1),xn+1+m(i-1),…,xn+m(i-1)]

(17)

式中:N為樣本容量;Xi和Yi分別為第i個樣本的輸入和輸出(i=1,2,…,N)。Seq2Seq模型本質上屬于監督學習范疇,學習的是輸入向量X到輸出向量Y的映射f。

(18)

2.2 研究框架介紹

研究的主要內容包括4個階段。第一階段,數據準備;第二階段,數據預處理;第三階段,模型建立;第四階段,實驗及討論。具體內容如圖3所示。

圖3 本研究框架圖Fig.3 Framework diagram of this study

3 實驗設計與結果分析

為了驗證提出方法的有效性,設計了包括超參數尋優、Seq2Seq框架中不同循環神經網絡性能分析、不同預測窗口下的模型橫向對比分析、Teacher Forcing機制不同采樣方法的討論、消融實驗、不同訓練集大小對模型性能影響和進離場航跡單獨建模結果分析等7個種類的實驗。

3.1 實驗平臺介紹

硬件環境為12th Gen Intel(R) Core(TM) i7-12700KF 3.61GHz, 64.0GB內存及NVIDIA GeForce RTX 3080 Ti(12GB顯存)的64位計算機。

軟件平臺為Windows10專業版操作系統,Python 3.8.2(64位)及PyTorch 1.5深度學習框架。在訓練深度學習模型時使用PyTorch的GPU版本,利用GPU進行硬件加速。

3.2 實驗數據預處理

3.2.1 數據來源

航空器航跡數據采用ADS-B數據形式,ADS-B數據集來源于VariFlight技術公司的數據(https://flightadsb.variflight.com/track-data)。為了能夠更加精準捕捉復雜情形下航跡演變規律,驗證所提出方法的有效性,選取天津終端區作為研究對象,構造航跡數據集,具體如表1所示。

表1 天津機場終端區移交點及航班選取結果Table 1 Tianjin airport terminal area transfer points and flight selection results

如表1所示,天津終端區共有離港點3個,進港點7個,為了使得模型更加充分地學習到從不同進、離港點進出天津終端區的航跡演變規律,同時考慮到數據的平衡性,基于一天實際運行數據,選擇從不同進、離港點進出天津終端區的代表性航班共計28架次,其中進場14架次,離場14架次。重復上述過程,連續采集90 d的上述航班航跡數據,最終構建完成數據集的日期為2021年6月1日—8月29日。將數據集劃分為訓練集和驗證集,其中72 d為訓練集,18 d為驗證集。為了保證實驗的公平性,所有實驗數據集的劃分都采用上述方法。

每項數據包含特征為航班號、時間、高度、經度、緯度。只考慮終端區航跡數據,選取高度范圍為:600 m≤高度≤6 000 m的航跡點,其余數據點直接丟棄。

3.2.2 數據預處理及標準化

由于原始ADS-B航跡數據存在間斷點等情況,導致航跡點出現時間維度非等間隔問題。采用線性插值的方法實現航跡數據的時間等間隔化,將原始航跡數據插值10 s等間隔時間序列數據。插值后的航跡數據點共計352 600個。表2為線性插值后航班部分航跡信息。如圖4所示,選擇進港航班CXA8276航班和離港航班CCA2821航班,繪制3D圖,可以看出,通過線性插值后的航跡數據較為平滑,可以逼近真實航空器的飛行軌跡。

表2 CXA8276航班10 s線性插值后部分航跡點數據Table 2 Several trajectory points data after 10 s linear interpolation of CXA8276

圖4 原始航跡與線性插值航跡三維展示Fig.4 3D display of original trajectory and linear interpolation trajectory

同時,為了促進神經網絡反向傳播過程中快速收斂,對數據項的高度、經度和緯度采用線性函數歸一化(min-max scaling)方法,將特征項映射到0～1區間,線性函數歸一化公式為

(19)

式(19)中:Xnorm為歸一化后的數據;X為原始數據;Xmax、Xmin分別為原始數據集的最大值和最小值。預測時采用反歸一化,將數據映射到實際量綱區間。

3.2.3 模型評價指標

航跡預測本質屬于機器學習領域的回歸問題,因此采用回歸問題中常用平均絕對誤差(mean squared error,MAE)和均方根誤差(Root mean squared error,RMSE)作為模型性能評價指標。MAE評價指標可以度量預測值和真實值的真實誤差,MAE等同于L1損失;而RMSE是對誤差先進行平方操作后執行開方運算,放大了較大誤差之間的差距,因此對預測出的異常值更加敏感。

(20)

(21)

3.3 實驗超參數設置

序列到序列模型的超參數一般可分為2種類別,包括神經網絡結構參數和神經網絡內部參數。

從表3可以看出,神經網絡結構參數:編碼器長度(歷史軌跡數據長度),解碼器長度(預測軌跡長度),編碼器與解碼器內部循環神經網絡的層數,內部循環神經網絡是否雙向,內部循環神經網絡隱藏層的大小等。神經網絡內部參數包括批次大小、學習率、優化器和訓練的輪數等。

表3 超參數類型及范圍Table 3 Type and range of hyperparameter

由于窮盡所有參數組合對算力和時間成本要求非常高,結合本問題實際情況,在指定的參數的范圍內,如表4所示,采用分步驟方式進行超參數的尋優。

表4 分步驟超參數尋優Table 4 Step by step hyperparameter optimization

3.4 實驗結果與分析

3.4.1 超參數討論

超參數尋優對于神經網絡的性能的發揮起著非常重要的作用。實驗按照表4中3個步驟對主要影響模型性能的超參數進行討論。

步驟1討論解碼器不同長度對模型性能的影響。從圖5整體可以看出,當編碼器encoder長度固定為5 min時,隨著預測時間的增加——解碼器encoder長度從1 min增加到10 min,高度、經度和緯度3個隨機變量在驗證集上的損失值MAE都呈現逐漸遞增趨勢,表明隨著預測長度增加,模型的整體性能在緩慢下降。進一步分析3個隨機變量,高度的預測性能最好,經度的預測性能最低。以損失函數值0.05為閾值,3個隨機變量的Loss值在5 min預測窗口都不超過0.05,因此接下來步驟選取歷史航跡長度和預測航跡長度為5 min進行討論。

圖5 不同預測窗口損失值曲線圖Fig.5 Curve plots of loss values for different prediction windows

步驟2討論編碼器和解碼器中循環神經網絡的層數、批次(batch size)大小、隱藏層尺寸(hidden size)對模型性能的影響。實驗過程,編碼器和解碼器循環神經網絡的層數、隱藏層尺寸設置相同的值,從表5可以看出,高度變量在循環神經網絡網絡層數、隱藏層尺寸、批次大小為1、128、256,在驗證集上的損失達到最小值0.033 1;經度變量在循環神經網絡網絡層數、隱藏層尺寸、批次大小為3、64、128,在驗證集上的損失達到最小值0.045 0;緯度變量在循環神經網絡網絡層數、隱藏層尺寸、批次大小為1、 32、256,在驗證集上的損失達到最小值0.047 8。

表5 循環神經網絡層數、隱藏層大小及批次大小實驗結果Table 5 Experimental results on the number of layers, hidden layer size, and batch size of recurrent neural networks

步驟3討論學習率對模型性能的影響。學習率太大,容易導致梯度爆炸,損失函數的振幅較大,模型難以收斂;學習率太小,容易導致過擬合,也容易陷入“局部最優”點,因此選擇合適學習率,對于模型性提升有一定的幫助。

選擇4種學習率:CosineAnnealingLR, ExponentialLR, MultiStepLR, ReduceLROnPlateau。初始學習率設置為0.01,訓練的輪數Epoch設置為500輪,其余參數選擇默認值。為了能夠更加明顯的區分不同學習率在驗證集上的損失函數差異,損失函數曲線采用局部加權回歸(LOESS)進行平滑,窗口比例設置為0.2。經過平滑處理后不同學習率下的驗證集上的損失函數的曲線如圖6所示。整體分析,高度、經度和緯度采ReduceLROnPlateau學習率,模型的性能表現最好,損失函數的誤差最低;相反,采用CosineAnnealingLR學習率,損失函數波動性很大,很難收斂到一個比較穩定的數值。

圖6 四種類型學習率下的模型性能對比Fig.6 Comparison of model performance under four types of learning rate

從收斂的Epoch來看,如表6所示,雖然ReduceLROnPlateau學習率收斂到了一個比較低的損失值,但是收斂的速度相對于其他學習率較慢,ReduceLROnPlateau方法下,驗證集高度指標60輪開始收斂,經度指標100輪開始收斂,緯度指標70輪開始收斂,相較于收斂速度最快的ExponentialLR方法,收斂輪數分別增加了50%、150%和75%。 如果實際建模過程中,對于收斂的速度要求比較高,可以采取ExponentialLR學習率,如果以誤差率最小作為目標,應該選擇ReduceLROnPlateau方法訓練模型。

表6 不同學習率下模型收斂輪數Table 6 Model convergence under different learning rates

3.4.2 Seq2Seq模型中不同循環神經網絡的性能對比分析

Seq2Seq框架中編碼器和解碼器可以設置不同的循環神經網絡,例如RNN, LSTM, GRU等網絡,RNN容易產生梯度消失現象,從而導致長期依賴性建模效果較差;LSTM在一定程度上解決梯度消失的問題,對長期依賴建模有一定程度的改善;GRU相較于LSTM參數量減少,從而可以有效減少過擬合的風險。實驗保持編碼器和解碼器中循環神經網絡種類相同,分別討論RNN、 LSTM和GRU三種循環神經網絡對模型性能的影響。

從表7和圖7中可以看出,當模型評價標準選擇MAE和RMSE時候,損失函數在驗證集上的收斂趨勢保持一致。以評價指標MAE分析為例,高度指標在Seq2Seq框架中編碼器和解碼器選擇LSTM時,模型整體的性能優于其他兩個循環神經網絡,在10 min預測時候,損失值為0.031,比GRU和RNN分別低0.004和0.014;經度指標在Seq2Seq框架中編碼器和解碼器選擇GRU時候,模型整體的性能優于其他兩個循環神經網絡,在10 min預測時候,損失值為0.054,比LSTM和RNN分別低0.007和0.008;緯度指標在Seq2Seq框架中編碼器和解碼器選擇LSTM時候,模型整體的性能優于其他兩個循環神經網絡,在10 min預測時候,損失值為0.052,比GRU和RNN分別低0.005和0.007。RNN對高度、經度和緯度整體較差,預測性能低于其他兩種循環神經網絡。綜上所述,Seq2Seq框架中編碼器和解碼器設置如下:高度配置LSTM網絡,經度配置GRU網絡,緯度配置LSTM網絡。

表7 Seq2Seq模型中不同循環神經網絡的性能對比分析Table 7 Comparative analysis of performance of different recurrent neural networks in Seq2Seq model

圖7 Seq2Seq模型中不同循環神經網絡的性能對比分析Fig.7 Comparative analysis of performance of different recurrent neural networks in Seq2Seq model

3.4.3 SAE方法與基線模型性能對比分析

為了更加客觀地評估所提出模型性能的有效性,分別選取長短期記憶循環神經網絡LSTM、門控循環神經網絡GRU、全連接神經網絡FC,和傳統機器學習支持向量回歸模型 (support vector regression, SVR)對航跡單獨建模,進行模型的橫向對比分析。

圖8顯示不同模型預測性能對比情況。在MAE和RMSA指標下,支持向量回歸模型(SVR)性能表現最差,傳統機器學習對于長航跡的時間依賴性建模效果不佳。神經網絡類模型整體表現都優于SVR,其中全連接網絡(FC)在神經網絡類模型表現最差,因為全連接網絡通過堆疊多層全連接層,對于時間依賴性的捕捉能力不強,循環神經網絡LSTM和GRU性能有所提升,總之,所提出的模型繼承了循環神經網絡的優點,同時引入了注意力機制,提高了模型對長航跡的時間依賴性建模效果,隨著預測長度的提高,模型性能的穩定性也最好。

圖8 不同模型預測性能對比分析Fig.8 Comparative analysis of prediction performance of different models

3.4.4 Teacher Forcing機制討論

Teacher Forcing機制是一種用于機器學習和自然語言處理的方法,應用于模型的訓練階段,可以加快Seq2Seq網絡的收斂速度,并且在一定程度上可以提高模型的泛化性。Teacher Forcing機制在訓練階段,基于限定的采樣方式來決定每個時間步長使用真實值或者是上一步的預測值作為Seq2Seq網絡中解碼器decoder的循環神經網絡的輸入。一般情況下,在模型訓練的初始階段,盡可能使用當前步長的真實值(標簽)作為輸入,這樣可以加快模型的收斂,隨著模型的訓練,在訓練的后期階段,盡可能使用上一步的預測值作為輸入,從而使得模型在后期訓練階段更加貼近于推理模式,從而可以提高模型的泛化性。

實驗主要參數設置如下:選擇60 d的數據,48 d為訓練集,12 d為驗證集,歷史窗口5 min,預測時長為10 min,訓練輪數epoch為500。從表8可以看出,Exponential Decay采樣方式下,模型在驗證集上的MAE和RMSE評估指標,在高度、經度和緯度都取得了最小值,如果在訓練階段全部采用當前的真實值作為輸入,模型的性能表現最差,這是由于測試階段和推理階段差異性太大以及累計誤差造成的;使用Scheduled Sampling Approach方法與不使用模型性能提升效果較為明顯,同時,Scheduled Sampling Approach方法內部差異性不是非常顯著,其中Exponential Decay的表現最為優秀。

表8 不同Teacher Forcing方式下模型性能對比Table 8 Comparison of model performance under different teacher forcing methods

表9顯示,使用了Exponential Decay采樣方法,驗證集收斂的Epoch輪數在3種不同學習率方式下,都有一定程度的提升。以ReduceLROnPlateau方法為例,與不采用Teacher Forcing方式對比,收斂輪數在高度、經度、緯度指標下分別減少了8%、20%和14%。

表9 使用Teacher Forcing和不使用Teacher Forcing下驗證集收斂輪數對比Table 9 Comparison of validation dataset convergence with and without Teacher Forcing

3.4.5 消融實驗

為了探索注意力機制和Teacher Forcing模塊對于模型性能的影響,Seq2Seq, Seq2Seq+Teacher Forcing, Seq2Seq+Attention, Seq2Seq+Attention+Teacher Forcing分別在相同的數據集上進行建模。

如圖9所示,Seq2Seq模型在解碼器階段采用Teacher Forcing機制,效果要好于不采用此機制的模型,Teacher Forcing在訓練過程中的每個時刻,以概率P使用上一時刻的輸出作為輸入,在一定程度上提高了模型的泛化性。隨著預測時長的增加,Teacher Forcing與不采用此機制模型提升效果有一定程度的降低,但是,仍然要好于不采用此機制的模型。Seq2Seq模型引入注意力和Teacher Forcing機制,整體表現最優,隨著預測時間的增加,注意力機制可以對歷史軌跡數據關鍵信息進行重點關注,提高模型預測性能,Seq2Seq+Attention+Teacher Forcing模型損失值相比于其他模型比較穩定,高度指標預測1 min到10 min損失值從0.021增加到0.031,幅度為0.010,經度指標預測1 min到10 min 損失值從0.031增加到0.054,幅度為0.023,緯度指標預測1 min到10 min損失值從0.021增加到0.052,幅度為0.031。

圖9 消融實驗對比分析Fig.9 Comparative analysis of ablation experiments

高度、經度和緯度誤差棒顯示(圖10),整體而言,高度指標的均值和方差曲線位置最靠下,預測性能最好,經度指標的均值和方差曲線位置最靠上,預測性能最差。結合預測長度1、3、5和10 min預測結果均值和方差來看,Seq2Seq+Attention+Teacher Forcing模型在高度、經度和緯度3個指標下性能最好,高度指標下的預測結果均值為0.025 5,方差為0.004 8,經度指標下的預測結果均值為0.041 5,方差為0.009 68,緯度指標下的預測結果均值為0.035 25,方差為0.014 31。

(1)～(4)分別代表4種模型:Seq2Seq、Seq2Seq+Teacher Forcing、Seq2Seq+注意力機制、Seq2Seq+注意力機制+Teacher Forcing圖10 高度、經度和緯度誤差棒圖Fig.10 Altitude, longitude and latitude error bar chart

3.4.6 不同訓練集規模下的SAE方法性能析

討論了不同大小數據集對于模型性能的影響。分別構建15 d數據集(12 d為訓練集,3 d為測試集),30 d(24 d為訓練集,6 d為測試集),45 d(36 d為訓練集,9 d為測試集),60 d(48 d為訓練集,12 d為測試集),90 d(72 d為訓練集,18 d為測試集)5種不同規模數據集。

將不同數據規模下,模型預測不同時長(1、3、5、10 min)的損失值用箱線圖進行表示,從圖11可以看出,MAE和RMSE評價指標下,隨著數據集規模的不斷增加,測試集上的損失值在不斷下降,表明擴大數據規模,可以有效提高模型的性能。從箱線圖的長度可以清晰地看出,高度指標在不同數據規模下都是最短,說明高度指標的預測性能優于經度和緯度,當預測高度不同時長時候,loss的數值比較集中。對比觀察60 d和90 d的數據集,箱線圖中箱體的位置比較類似,考慮到增加數據集,會提高訓練時間的成本,所以采用60 d的數據集也可以很好地對航跡數據進行建模,并進行預測。

圖11 不同訓練集規模下模型性能對比Fig.11 Comparison of model performance under different training set scales

3.4.7 進離場航跡模型預測性能對比分析

在機場終端區,航空器進離場管制復雜度有一定的差異性,一般而言,進場航空器涉及進場排序,復雜度要大于離場航空器,如果終端區實現進離場分離,離場航跡大多沿著標準儀表離場程序飛行,因此進離場航空器數據集存在分布差異性。本部分實驗將數據集分為離場航空器和進場航空器2個數據集,選擇60 d的時間周期,模型參數設置在兩個數據集上保持一致。如表10所示,實驗結果表明,模型在離場階段比進場階段整體預測性能表現要好,這也是由于離場階段航跡的復雜度要低于進場,航跡的規律性較好導致的。

表10 進離場航跡模型預測性能對比Table 10 Comparison of prediction performance of arrival and departure trajectory models

4 結論

創新性地將序列到序列框架(Seq2Seq)和注意力機制(Attention Mechanism)應用到機場終端區航跡預測問題,用來解決中長期、多步長航跡預測精度不穩定的問題。提出了一種基于序列到序列框架的機場終端區航跡預測模型(Seq2Seq + Attention Mechanism + Exponential Decay, SAE)。

實驗以天津終端區為研究對象,選取從不同進、離港點進出天津終端區的代表性航班共計28架次,其中進場14架次,離場14架次,合計90 d航班構建原始數據集,使用MAE和RMSE作為模型性能評價指標。

(1) 采用三步驟調整參數方法,對解碼器和編碼器的長度、循環神經網絡層數、隱藏層尺寸、批次大小以及學習率進行參數尋優,找出模型最好性能下的參數組合。

(2) 針對Seq2Seq框架中的循環神經網絡的不同類型進行討論,實驗結果表明高度、經度和緯度分別采用LSTM網絡、GRU網絡和LSTM網絡可以獲得最好預測性能。

(3) 選取LSTM、GRU、FC、SVR等模型與提出方法橫向對比,結果顯示,由于提出的方法中融合了注意力機制,提高了模型對長航跡的時間依賴性建模效果,隨著預測長度的提高,模型性能的穩定性也表現最好。

(4) 采用Teacher Forcing機制中指數衰減(Exponential Decay)采樣方法,加快了模型訓練階段的收斂速度,以ReduceLROnPlateau方法為例,與不采用Teacher Forcing方式對比,收斂輪數在高度、經度、緯度指標下分別減少了8%、20%和14%,并且在一定程度上提升了模型的泛化性。

(5) 通過消融實驗、訓練集不同大小對模型性能的影響以及單獨對進場和離場航空器進行建模、討論,上述實驗結果綜合表明,所提出SAE模型在60 d的訓練數據集上可以達到最好性能,并且模型單獨對離場和進場建模的情況下,離場航跡預測性能要優于進場航空器。

未來研究中,嘗試采用基于并行計算的Transformer模型對航跡進行建模,在提高模型的預測精度和預測時長的同時,提高模型的訓練效率;同時,考慮到不同終端區進、離場程序在某些方面表現相似性的特性,基于“預訓練+遷移學習”范式,研究構建更加通用、輕型的航跡預測模型,從而在一定程度上擴大模型的適用范圍。