基于自注意力機制和CNN-LSTM的空戰目標機動軌跡預測

李戰武,張 帥,喬英峰,王 強,姜 勇,張 飛

(1.空軍工程大學 航空工程學院, 西安 710038;2.93066部隊, 黑龍江 牡丹江 157000)

0 引言

空戰中,機載傳感器、指揮平臺、數據鏈等實時傳輸目標狀態信息,如能預測目標機動軌跡,將對我方提前形成優勢占位、創造開火條件產生重要影響。軌跡預測廣泛應用于民航交通管理(ATM)[1-2]、船舶軌跡預測[3]、導彈軌跡預測[4]、行人軌跡預測[5],航路規劃[6]。空戰中,如果能對目標下一時刻或下一時間段的軌跡進行預測,將有利于我方飛行員進行實時態勢感知和對敵作戰意圖進行分析。

目標機動軌跡預測的一種方法是應用濾波算法、線性擬合等方法結合飛機運動學模型進行預測,王超等[7]按照不同飛行階段特點構造三維剖面,擬合生成完整的4D軌跡。文獻[8]采用隨機非線性混合系統對飛機進行動力學建模,為解決模型的非高斯性質采用了粒子濾波的方法,為貝葉斯網絡提供數值解。Zhao等[9]針對模型預測帶來的線性化誤差,提出了一種基于配置法的非線性預測模型,既滿足了誤差要求又確保了實時性要求。喬少杰等[10]提出了一種基于動態卡爾曼濾波的動態估計預測方法,較傳統的軌跡預測方法提高了精度。謝麗等[11]提出了交互式多模型的濾波算法,并且在文章中證明了改進算法的有效性。黃景帥等[12]為了適應目標靈活多樣的機動模式,基于正交性原理和無跡卡爾曼濾波算法實現了模型中機動頻率參數的自適應。Wang等[13]將動態測量與灰色系統理論相結合,該方法誤差是卡爾曼濾波法的1/5。Zhang等[14]建立了目標的動力學模型,而后用貝葉斯推理和蒙特卡洛方法實現了對彈道的預測。上述目標機動軌跡預測方法在運動特性相對簡單、相對平穩目標上能起到較好的效果,但是空戰過程中,目標的機動較大,且存在很多的不確定性,無法建立完備的、與運動特點相適應的運動學模型,導致模型的適用性差、預測誤差大。

另一種目標機動軌跡預測方法是利用智能算法進行相應的優化。李戰武等[15]利用改進的蝙蝠算法優化Volterra泛函級數軌跡進行預測,并且針對不同的預測問題得出最佳的截斷階數。謝磊等[16]利用自適應增強的粒子群優化LSTM的算法來預測無人機機動軌跡。王新等[17]在Elman神經網絡的目標函數中引入時間收益因子,對三維坐標分別進行預測。張宏鵬等[18]基于卷積神經網絡對無人作戰飛機飛行軌跡進行預測,解決了原始動力學模型不能正確仿真滾轉角有偏差的筋斗機動的弊端。Qiao等[19]通過分析隱馬爾可夫模型的缺點,提出了一種自適應參數選擇算法HMTP*,可以獲取預測所需參數,提高了預測效率。上述方法達到了預期的效果,但是在應用的過程中對數據的類型要求相對比較嚴格,沒有考慮目標多維狀態信息對目標軌跡預測的影響,也未發掘出反映目標狀態的時序信息之間的內在關系。

卷積神經網絡(convolutional neural network,CNN)、長短期記憶網絡(long short-term memory,LSTM)等深度學習模型廣泛應用于自然語言處理[20]、時間序列處理[21]領域。針對目標軌跡預測過程中建立運動學模型困難和容易忽略目標狀態信息的問題,本文中提出了自注意力機制(self-attention,ATT)和CNN-LSTM結合的深度學習模型,既能充分利用目標的速度、高度、方位、距離等多維狀態信息,也能挖掘出目標時序狀態信息之間隱含的內在聯系。首先,利用卷積神經網絡對目標狀態信息進行特征提取,將得到的結果轉型后輸入對長時間序列處理能力更強的長短期記憶神經網絡中,挖掘數據的時序特征;在輸出層前接入自注意力模塊,突出全局時序數據的特征,反映出目標在進行不同機動動作時數據特征的重要情況,從而達到目標在做不同機動時對目標軌跡的預測能力。最后,通過輸出層將預測結果輸出。本文采用了文獻[17]中的整體法進行預測,同時本文還驗證了模型對目標多步軌跡預測的結果。

1 空戰數據分析與預處理

1.1 空戰數據分析

空戰中,機載傳感器、指揮平臺、數據鏈傳輸了大量的目標信息,包括目標的敵我屬性、方位、速度、高度、距離等靜態數據、動態數據、指令數據,屬多層次時間序列[22]。

1.2 數據集構建

輸入數據需包含樣本和標簽,為保證和采集數據頻率一致,時間步長設置為50,單步預測數據集構建如圖1所示。

圖1中,利用T-49到T時刻的多維的特征數據來預測T+1時刻的標簽數據,采取滑動窗口的方式,以保證在時間上的連續。

1.3 數據歸一化與反歸一化

為避免各特征數據量綱的不同對預測數據產生影響、加快模型的訓練和收斂速度、防止出現過擬合,對數據進行了歸一化處理,歸一化方法如式(1)所示。

式中:x′為歸一化后的數據;xmin、xmax為特征數據的最小值、最大值。

反歸一化方法,如式(2)所示。

y'=y(ymax-ymin)+ymin

(2)

2 模型構建

2.1 卷積神經網絡(CNN)

卷積神經網絡(convolutional neural network,CNN)主要由卷積層、池化層、全連接層組成,各層的數量可以根據模型需要進行調整。單通道的CNN(Conv2D)網絡結構如圖2所示。

圖2 CNN網絡結構

卷積層:用來提取時間序列的特征。卷積層在局部感知、權值共享、空間不變性上有很大的優點。

池化層:卷積運算后數據維數較大,為防止過擬合,包括最大池化(max pool)和平均池化(mean pool)。

全連接層:將得到的特征進行映射,傳遞給具體的分類器進行分類或回歸處理。

2.2 長短期記憶網絡(LSTM)

長短期記憶網絡(long short-term memory,LSTM)[23]通過門控解決了在處理長時間序列時易出現梯度爆炸和梯度消失[24]的問題,可以對有價值的信息進行長期記憶,減小了網絡的學習難度。

LSTM通過遺忘門、輸入門、輸出門控制神經元狀態。神經元結構如圖3所示。

圖3 LSTM神經元結構

遺忘門:對T-1時刻狀態選擇性“忘記”。fT如式(3)所示。

fT=σ(Wf·[hT-1,XT]+bf)

(3)

式中:σ為激活函數;Wf為權重;bf為偏置量。

iT=σ(Wi·[hT-1,XT]+bi)

(4)

式中:Wi、WC為權重;bi、bC為偏置量;tanh為激活函數。

輸出門:輸出當前時刻確定輸出的信息。oT、hT表達式如式(7)、(8)所示。

oT=σ(Wo·[ht-1,XT]+bo)

(7)

hT=oT*tanh(CT)

(8)

式中:Wo為權重;bo為偏置量。

2.3 自注意力機制(self-attention)

自注意力機制(self-attention)[25]是Transformer模型中重要組成部分。文獻[26]介紹了其與RNN的關系,不僅可以并行運算,在計算過程中還充分考慮了不同輸入之間存在的內部關系,可以提高預測的準確率。

自注意力機制利用數據特征內部固有的信息進行注意力的交互,通過Input與Input計算查詢向量Q(Query)、鍵向量K(Key)和值向量V(Value),計算過程如式(9)所示。自注意力機制結構如圖4所示。

圖4 自注意力機制結構

式中:dk為K的維度,目的是對Q與K點乘后數值進行放縮。

2.4 CNN-LSTM-ATT軌跡預測模型

空戰中,目標軌跡預測受多種因素影響,時間序列間存在相互關聯成分。引入CNN模型,對輸入的多維序列數據進行特征提取,挖掘各維度數據相互關系,將經特征提取的時間序列作為LSTM輸入,構建CNN-LSTM預測模型。自注意力機制(ATT)能很好的解決CNN-LSTM網絡只能單一的從T到T+1時刻的順序式的訓練過程,通過挖掘全部時間序列中每一時刻信息的重要度,保證全部時間序列中各個特征維度內部特征的關聯,保證了目標在不同時刻、做不同機動特別是進行較大機動時的強預測能力。構建的CNN-LSTM-ATT模型結構如圖5所示。

圖5 CNN-LSTM-ATT模型結構

3 仿真試驗

3.1 數據集劃分

數據集采樣頻率50 Hz,共19 000條數據,按6∶2∶2比例劃分為訓練集、驗證集、測試集,數據集的目標機動軌跡劃分如圖6所示。

圖6 目標機動軌跡劃分

3.2 模型參數設置

在仿真中運用Python語言,專業版Pycharm,TF2.1深度學習框架。模型訓練超參數設置如表1所示。

表1 模型超參數

3.3 目標軌跡預測步驟

劃分好的訓練數據,輸入深度學習模型,利用實時可視化工具Tensorboard觀察訓練集Loss值和測試集Loss值,判斷模型擬合并滿足精度后保存模型,而后進行預測,輸出結果。軌跡預測流程如圖7所示。

圖7 軌跡預測流程

3.4 目標機動軌跡預測

3.4.1目標機動軌跡單步預測

仿真中,首先進行目標軌跡的單步預測,即只進行目標下一時刻軌跡的預測,模型收斂情況如圖8所示。

圖8 模型收斂情況

圖8中,觀察Loss值,訓練集在第8輪已經收斂,同時驗證集在14輪也能夠收斂,構建的模型已經擬合。

在對目標機動軌跡進行預測時,與CNN-LSTM、LSTM模型進行了對比分析。X、Y、Z軸以及三維軌跡對比結果如圖9—圖12所示。

圖10 預測軌跡Y軸對比

從圖9—圖12可以看出,3種模型對目標的預測軌跡與實際軌跡保持了相同的趨勢,但是本文中構建的模型對目標軌跡單步預測精度更高,并且隨著預測時刻的增加也表現出了良好的性能。圖9—圖11中的子圖可以看出,目標在做機動時(X、Y、Z數值變化劇烈),模型也能夠保持較小的誤差,并且優于LSTM和CNN-LSTM模型,體現了自注意力機制在不同時刻的特征提取能力從而提高預測性能。

圖11 預測軌跡Z軸對比

圖12 預測軌跡三維對比

3.4.2目標機動軌跡5步預測

空戰態勢瞬息萬變且傳輸數據存在誤差,對目標的單步預測可能滿足不了作戰需要,所以本文對目標軌跡進行了5步預測,結果如圖13所示。

圖13 目標機動軌跡5步預測

圖13中,在對目標進行5步預測時,3種預測模型會隨著時間點的積累而出現累計誤差,本文中的模型不僅保證了較小的累積誤差,還保證了在目標進行機動時較小的誤差,在多步預測的結果上明顯優于CNN-LSTM和LSTM模型。

3.5 模型的評價指標

3.5.1評價指標選取

深度模型預測中經常采用均方根誤差(RMSE)、平均絕對誤差(MAE)、平均絕對百分比誤差(MAPE)評價指標來評價模型的預測能力和模型的穩定性。計算方法如式(10)—式(12)所示。

式中:Pi表示i時刻預測的值;Ri表示與Pi相對應的真實值;n表示預測的時序點個數。

3.5.2模型評價指標計算

在進行模型評價指標計算時是對X、Y、Z軸分別進行計算。表2、表3計算出了單步預測和5步預測各模型的評價指標。

表2 單步預測各模型評價指標數值

表3 5步預測各模型評價指標數值

從仿真圖9—圖13和模型評價指標表2、表3可以看出,模型在進行目標機動軌跡的單步預測和5步預測的過程中,評價指標均優于CNN-LSTM和LSTM模型,特別是在進行目標多步預測時,模型仍能保持較優的評價指標,體現出了模型對長時間序列的預測能力和穩定性。

4 結論

1) CNN-LSTM-ATT模型進行目標軌跡預測時,訓練集Loss和驗證集Loss均能夠可靠、快速收斂,滿足模型使用需求。

2) 從模型評估中可以看出,評價指標數值上均優于CNN-LSTM和LSTM模型。

3) 在對目標軌跡進行預測,特別是做機動動作時自注意力機制能夠發揮其遠距離學習、提高局部注意力的能力,從而保證機動時目標軌跡預測的精度。

4) 在進行目標的多步預測上,本文的模型誤差隨著步數的增加增長很小,不會出現誤差快速積累的情況。