長短時記憶神經網絡在衛星軌道預報中的研究

朱俊鵬, 趙洪利，杜 鑫，蔣 勇

(1.裝備學院 a.研究生管理大隊; b.訓練部， 北京101416； 2.中國人民解放軍駐二院中心軍事代表室， 北京 100854； 3. 95801部隊， 北京 100076)

【信息科學與控制工程】

長短時記憶神經網絡在衛星軌道預報中的研究

朱俊鵬1a, 趙洪利1b，杜 鑫2，蔣 勇3

(1.裝備學院 a.研究生管理大隊; b.訓練部， 北京101416； 2.中國人民解放軍駐二院中心軍事代表室， 北京 100854； 3. 95801部隊， 北京 100076)

目前的衛星軌道預報主要依靠動力學模型。由于模型與實際衛星所在空間環境變化存在差異，故通過動力學模型預報的軌道與實際軌道的偏差較大；尤其低軌衛星，由于空間環境復雜多變，預報誤差更大；利用深度學習的神經網絡作為軌道預報的工具，通過對衛星軌道數據的訓練學習，掌握數據之間隱含的關系預測未來數據；將深度學習的長短時記憶神經網絡模型優化，并將預報數據與實際數據進行對比分析，將預報20 d的誤差由之前最大值的300 km降低到5 km以下，提高了神經網絡預報衛星軌道的精度。

軌道預報；低軌衛星；深度學習；長短時記憶神經網絡

在衛星追蹤和測控應用方面，要根據對衛星預報的狀態量分析衛星所在區域以及所過境地區，以此指揮設備對衛星所在區域進行追蹤和測控[1]。目前，受限于我國衛星地面測控站的地理分布現狀，對衛星無法做到全天候的測控，為了掌握衛星運行情況，需要提前對衛星軌道進行預報。這在衛星過境、衛星測控等方面有著重要的意義。

1 研究現狀與趨勢

1.1 衛星軌道預報現狀

當前的衛星軌道預報方法主要是基于物理模型的軌道預報，主要分為數值軌道模型和解析軌道模型兩大類[2]。

數值軌道法模型是軌道預報的經典方法，采用數值積分算法對軌道力學模型進行積分解算。Adams-Cowell類型的積分方法是目前精密定軌常用方法。隨著航天器測量、定軌精度的提升，軌道力學模型中的攝動力在不斷完善，數值解的精度也有了一定提高，而由于算法的逐步積分解算，長時間預報需要逐步遞進計算造成計算效果緩慢，且無法看到軌道根數隨時間變化的規律。

解析軌道模型是將軌道根數隨時間的變化規律用解析函數表述。知道初始時刻的軌道根數，用常數變易法求解微分方程，得到模型的解析表達式。解析法優點在于解的形式可以明顯表達根數隨時間變化的規律，有助于了解各種攝動對根數的影響，并且計算效率高。由于推導分析解的過程比較繁瑣，并且高階解難以推導出來，解的精度比數值解低。

在航天應用領域，解析軌道模型運用比較廣泛。通過北美防空司令部(NORAD)提供的兩條軌道根數(TLE)進行軌道預測。TLE采用特定方法去掉了周期擾動項的平均軌道根數[3]。

為了得到高精度的預報結果，預報模型必須以同樣的方法重建這些擾動，因此TLE必須使用特定的軌道預報模型預報空間目標某一時刻的狀態，該模型為SGP4/SDP4模型[4]。由于美國并未公布TLE算法，且給出的都是TLE的瞬時值，導致軌道預測的計算精度有待提高，預報精度不高。目前在解決此問題上，主要有擴展卡爾曼濾波、無跡卡爾曼濾波、容積卡爾曼濾波等幾種方法，其核心思想都是將SGP4模型當作黑箱處理，將觀測數據相當于該模型的輸出，將問題轉化為已知輸出求輸入的問題[5]。濾波的軌道精度隨著時間的延長發生的偏移就大，最大能達到10 km以上，就需要不斷對TLE進行修正，降低了模型的計算效率。

1.2 軌道預報趨勢

由1.1節可見，在改進軌道預報精度上，常用方法就是通過衛星的物理原理、所在空間外在其他因素攝動力影響來建立動力學模型。然而從攝動力模型的研究可以看出，各個攝動力系統的狀態方程、數學模型目前是不明確的。此方案設計周期長，模型建立難度大，無法同時兼顧計算的精度和速度。

隨著深度神經網絡學習近幾年的發展，神經網絡在處理非線性、高維性的問題時不需知道其輸入和輸出函數之間的結構關系和相關參數，只要通過神經網絡的訓練學習掌握其輸入輸出函數的內在聯系。在輸入訓練集以外的數據時，神經網絡可以獲得正確的映射關系。近年來，神經網絡在圖像及視頻識別、股票分析等方面作用巨大，深度神經網絡在模式識別等方面的成功應用也表明了其在數學模型不明確系統中的有效性。本文將深度長短時記憶神經網絡模型引入到對衛星軌道預報的研究中，擺脫動力學模型，由神經網絡學習獲取數據中隱含的規律進行預報，改善動力學預報模型的不足。

2 長短時記憶神經網絡

2.1 基本結構原理

長短期記憶神經網絡(Long Short-Term Memory Neural Network,LSTM)由循環神經網絡(Recurrent Neural Networks,RNNs)改造而來。循環神經網絡具有時序概念，也被稱作深度網絡，其深度主要表現在時序邏輯的輸入和輸出之間，且每一個時序可理解為單獨的一層[6]。RNNs神經網絡具有前向傳播和反向傳播特征[7]。前向傳播即按照時序逐一進行計算，后向傳播主要將最后一個時序積累的計算殘差傳遞回來并修正前面輸出層的權值。通過反向傳播能夠進行端到端的訓練，當第一條時序數據輸入后，通過隱含層的反饋能影響第二層，第二條時序數據輸入后會影響第三層，以此類推；最后一層時序數據輸入后，隱含層輸出反饋依次往前對每一層的輸出進行權值微調，從而提高輸出層的精確度。

這種微調主要是通過輸出數據與原始數據的誤差函數，通過對多元自變量進行偏微分運算，降低誤差函數的誤差值[8]。偏微分從最后一層開始，依次往前計算，前一層的權值微調依賴于后一層的反饋。由于偏微分從最后一層依次開始，對于時序序列較長的數據集，偏微分的結果在最后趨向于零，造成梯度消失，使得剩下的層數無法微調，造成訓練數據無法收斂，由于前面的層數并未得到修正，誤差依然存在。使用RNNs神經網絡對衛星軌道數據進行預測時，會使得前期的數據存在較大偏差。

2.2 LSTM模型構造

LSTM由輸入層、隱含層、輸出層組成，與傳統神經網絡不同的是，隱含層包括一個可將信息存儲較久的存儲模塊。存儲模塊中的存儲單元具有自連接、自適應和邏輯門控制信息流能力[9]。在輸入和輸出層有兩個邏輯門分別控制輸入和輸出對存儲模塊的激活和調用。存儲單元的核心是內部狀態的自連接，被稱為自連接記憶單元(Constant Error Carousel,CEC)。自連接記憶單元的激活代表存儲狀態的激活。由于自連接記憶單元的存在，邏輯門通過學習可以實現自主的開啟和關閉，因此RNNs神經網絡中的梯度消失問題得到了解決。具體網絡結構如圖1所示。

圖1 LSTM神經網絡結構

在衛星軌道數據預測中，將歷史數據(地心慣性系下X,Y,Z軸方向的值)作為輸入。LSTM神經網絡的主要目的是在先驗信息的條件下對下一個時間序列數據進行預測，不是通過多少個步驟進行數據的預測。為了實現這個目標，輸入的時序數據將通過下面的公式迭代計算[10]：

it=σ(Wixxt+Wimmt-1+Wicct-1+bi)

ft=σ(Wfxxt+Wfmmt-1+Wfcct-1+bf)

ot=σ(Woxxt+Wommt-1+Wocct-1+bo)

ct=ft⊙ct-1+it⊙g(Wcxxt+Wcmmt-1+bc)

mt=ot⊙h(ct)

(1)

在LSTM中，首先構建了3個門用來控制信息的流通量，it，ft，ot，分別為輸入門、遺忘門和輸出門，不同的門對信息流的控制有不同的作用，具體如下：

1) 輸入門it：主要控制流入存儲單元(memory cell)的信息量。

2) 遺忘門ft：主要控制前一時刻的存儲單元(memory cell)累積到當前時刻存儲單元(memory cell)的量。

3) 輸出門ot:主要控制某一時刻存儲單元(memory cell)中的信息流可以流入當前隱藏狀態mt中。

ct是存儲單元激活函數，xt代表輸入特征向量，mt代表隱藏的輸出向量。式(1)表達了LSTM網絡結構中歷史信息積累，主要通過存儲單元(memory cell)自連接積累。在累積過程中，通過忘記門限制上一時刻的存儲單元信息，并靠輸入門限制新信息。這也反映了存儲單元的自連接是線性累積。

式(1)表達了當前的隱藏狀態mt是由ct計算而來，由于ct是以線性的方式自我更新的，故先將其加入帶有非線性功能的h(·)中，接著靠輸出門ot的過濾得到當前隱藏狀態mt。

W為權值矩陣，b為誤差向量，主要用來在輸入層、輸出層和存儲模塊中建立連接，對預測信息流中的數據進行修正。

式(1)中⊙代表由兩個矢量生成標量的過程，σ(·)為標準的邏輯函數，定義如式(2)所示[10]：

(2)

g(·)和h(·)都為邏輯函數，且取值范圍分別為[-2,2]和[-1,1]，如式(3),式(4)所示[11]：

(3)

(4)

在一個存儲單元內部分別有著3個不同的邏輯門，分別是輸入門、輸出門和遺忘門。當輸入的信息流過期后，遺忘門能夠重置存儲模塊中的信息，同時也對CEC的參數進行修正；當遺忘門打開時，存儲單元將輸入門的數據寫入；當遺忘門關閉時，存儲單元會清除之前的內容。輸出門打開時，神經網絡的其他部分將數據讀入存儲單元；而當輸入門打開時，神經網絡的其他部分將讀取存儲單元中的數據。

3 LSTM分析與優化

3.1 LSTM分析

雖然LSTM神經網絡為RNNs的反饋誤差提供了更加有效的學習過程，使得在出現梯度下降的情況下，反饋權值不會很快消失；但是，從理論上來說，LSTM神經網絡依然無法完全擺脫梯度消失的可能性。隨著數據量的增大，訓練層數的增多，時間步長的不可調整，一方面會降低LSTM神經網絡學習的效率，一方面影響數據預測的精度，雖然加多訓練層數能彌補訓練精度的不足，但降低了訓練效率，且訓練結果的精度在訓練層數達到某一值后，訓練精度將無法再提升，出現過擬合的情況，一般的訓練層數為2層最好。

為了驗證LSTM在衛星軌道預報的性能，結合實際對衛星地心慣性坐標系X,Y,Z的數據分別進行LSTM神經網絡預測。實驗對象為TacSat 2美國科學成像衛星，于2006年12月發射，軌道高度為413 km×424 km的近圓軌道，實驗中以UTC時間2007年7月1日12：00：00至2017年10月8日12：00：00共100 d數據作為學習樣本。由STK的高精度軌道預報器(HPOP)計算出100 d的衛星軌道X,Y,Z的值，訓練樣本以1 min間隔采樣，進行未來20 d的預測，選擇X、Y、Z軸進行軌道數據預測，X軸預測結果的局部如圖2所示，其誤差分析主要根據訓練次數，記錄最大絕對誤差以及訓練時間。如表1所示。

表1 LSTM訓練性能分析

圖2 LSTM預測數據對比

由圖2可知，預報數據整體預報趨勢隨真實數據周期性變化，這說明LSTM神經網絡通過學習能夠掌握原始數據周期性變化的內在關聯，學習能力比較突出。圓形的預報數據與菱形的真實數據擬合的效果較差，由于Y軸刻度較大，故可以分析出預報數據的精度對于衛星軌道預報還遠遠不夠。由表1分析可知其訓練誤差在100次時好于20次、50次。當其訓練層數超過100次后，在150次、200次時訓練結果精度出現反彈，造成訓練誤差回升，層數的增加也使得訓練時長隨之增加。不論是時效性還是精確性都無法滿足衛星軌道預報的需求。

3.2 LSTM優化

結合上述分析缺點，本文提出一種新的LSTM神經模型構建方案，從LSTM神經網絡的結構分析可知，每一個時刻之間時間步長T是一個賦值變量，在訓練前由人為設定。由于輸入數據之間關系的不可預知性，其下一時刻數據與前某些時刻數據的相關性也非一成不變，造成訓練精度存在誤差，所以這樣的時間步長在訓練過程中不夠靈活。

要提高訓練精度就要使得步長T能根據數據的變化規律賦予相應的變化權值。因此需要在前一時刻的輸出層和本時刻的隱含層之間對步長T進行更新。將數據的變化規律引入到步長T的變化中，讓T的變化率與數據的變化率保持一致，就能保證T能準確的確立與前面相關數據的關聯性。設前一層輸出層輸出的結果向量為f(x)，對其進行一階求導，表示出數據之間變化率。根據數據的變化率確定T的取值，如下式所示：

(5)

相比較之前的模型，不會出現局部最優解，模型的收斂也會更加準確。具體模型結構如圖3所示。

在每一層LSTM神經網絡中，可將數據分為N段，每段數據的值作為步長T的初值，在時刻t輸入一段數據，放入隱含層中進行訓練。隱含層中為LSTM邏輯門，隨著t時刻進行，進入網絡中的數據增加。根據式(5)可知，步長T的值也在增加，且隱含層的數據不斷累加，因此步長T能最大限度保持與前面數據的關聯性，再由LSTM結合數據前后關系進行學習，就能不斷掌握數據變化規律，直到全部數據學習結束。

圖3 改進的LSTM模型結構

4 實驗過程

本節主要講預報數據與真實數據的比較分析。由3.1節可知在衛星軌道預報中，樣本數據和比較數據均來自STK中的高精度軌道預報器(HPOP)。在以往的低軌衛星研究中，多以HPOP為生成標準軌道，作為驗證各種軌道預報方法精度的標準數據。故在實驗中，采用HPOP的數據作為實驗的數據來源，一來作為樣本數據在模型精度上比SGP4動力學模型高，二來作為比較數據，更加貼合實際軌道數據。

實驗過程中，實驗對象、實驗數據與3.1節相同，對未來5 d、10 d、20 dX,Y,Z軸數據進行預報，并將預報值與真實值進行誤差對比分析。

圖4為對衛星X軸的5 d、10 d、20 d誤差分析圖，隨著預報時長增加，預報誤差也增加，但增加的幅度較小。相比改進前的網絡，X軸的最大誤差已經控制在5 km以下，這說明預測數據與真實數據有著較好的擬合度。

圖4 X軸預報誤差分析圖

圖5為對衛星Y軸的5 d、10 d、20 d誤差分析圖，在對Y軸的長期預報中，最大誤差也控制在5 km以下。隨著預測的時長增加，改進的網絡沒有出現明顯的發散，穩定性較好。

圖5 Y軸預報誤差分析圖

圖6為對衛星Z軸的5 d、10 d、20 d誤差分析圖，對Z軸的誤差分析中，其最大誤差也控制在5 km以下，且Z軸誤差變化平穩，這是因為Z軸數據本身的特性比較有規律，在Z軸的長期預測中沒有出現發散，表明改進的神經網絡具有較好的收斂性。

圖6 Z軸預報誤差分析圖

在衛星軌道預報中，評價預報誤差的標準主要有均值、均方值以及最大值。均值指在某一時間段里，預報誤差絕對值的平均值。均方值指在一定時間段里誤差平方的平均值。最大值為預報時間段內誤差的最大值，即最壞情況。由于均方值通常用來表征誤差分布情況，具有較好的說服力，故在對衛星軌道預報誤差的分析中采用誤差的均方值分析，計算公式如下：

(6)

誤差評定標準的引入，是對衛星預報分析的重要指標之一。根據衛星預報數據誤差隨時間的變化情況，不僅能分析出預測值相比于真實值的變化情況，還能直觀的與改進前的LSTM神經網絡算法進行預測精度的對比。

本實驗針對衛星軌道數據X,Y,Z分別進行了5 d、10 d、20 d不同時長的預測分析。為分析改進的LSTM神經網絡預測誤差隨時間的變化情況，對預測不同時長的X,Y,Z的數據分別進行計算，計算出誤差的均方值。其計算結果如表2所示。

表2 預報數據均方誤差 km

由表2可以看出：X,Y,Z軸的均方誤差隨著預測時間的增長，也在緩慢增長，在衛星預報軌道數據中，其預測的精度也會隨著預報時長的增加而下降；但從數值上分析可知，X,Y,Z軸長期預報的均方誤差與短期預報誤差的差分別為2.28 km、3.67 km和2.36 km。數據的變化量很小，這說明在實驗時長內，軌道預報數據的收斂性比較好，并未隨著預測時間的成倍增長而快速發散。改進的LSTM神經網絡有著較好的收斂性，且100次的學習訓練時間僅為5 min，相比改進前的15 min有了很大的提高。

將基于SGP4的動力學模型進行了仿真，對其誤差進行了對比。在實驗中采用HPOP模型的數據作為比較數據，計算了SGP4模型預報5 d、10 d、20 d的總位置預報誤差，以每15 min為采樣間隔，仿真結果如圖7所示。

比較分析可得，動力學模型SGP4計算結果是發散的，主要是因為其誤差隨著時間的累積不斷增大。在短期的預報中，動力學模型的預報精度在2 km以下，神經網絡的最大預報誤差在3 km以上，故動力學模型精度要好于神經網絡的預報精度。在中期預報中，動力學模型的最大誤差在4 km左右，而神經網絡預報誤差也在4 km左右，二者效果相當。在長期預報中，動力學模型的誤差隨著積累，達到了6 km以上，而神經網絡預報并沒有出現嚴重的發散情況，最大誤差控制在5 km之內，相比動力學模型來說有著較好的預報精度。

圖7 動力學模型誤差分析

5 結論

本文給出了利用長短時記憶神經網絡進行軌道預報的思路和改進的模型，將衛星軌道數據的某一段較長的歷史軌道數據作為訓練的樣本，對后期軌道數據進行預報，其預報精度基本達到人們對于衛星過境、測控的使用精度，在應用上有著一定的指導意義，由于預報擺脫了動力學模型，使得衛星在精密定軌，交會對接上，其誤差還存在較大的偏差，這在下一步的研究中還需對神經網絡模型、訓練參數、樣本數據等各方面影響訓練精度的因素進一步研究。

[1] 曹磊.基于深度神經網絡補償模型的軌道預報技術[D].南京:南京航空航天大學,2014.

[2] 張守建,趙磊.基于Kalman濾波的低軌衛星運動學精密定軌快速算法[J].大地測量與地球動力學,2016,36(5):408-410.

[3] DOORNBOS E,KLINKRAD H,VISSER P.Use of Two-Line Element Data for Thermosphere Neutral Density Model Calibration[J].Advances in Space Research,2008,41(7):1115-1122.

[4] 劉 衛,繆元興.SGP4/SDP4模型預報可靠性分析[J].天文研究與技術,2011,8(2):128-131.

[5] 管洪杰,姚志成,劉巖,等.基于容積卡爾曼濾波(CKF)算法的衛星軌道實時預報方法[J].科學技術與工程,2013,13(32):9622-9625.

[6] 陳巧紅,孫超紅,余仕敏,等.基于遞歸神經網絡的廣告點擊率預估研究[J].浙江理工大學學報(自然科學版),2016,35(6):880-885.

[7] MA X,TAO Z,WANG Y,et al.Long Short-term Memory Neural Network for Traffic Speed Prediction using Remote Microwave Sensor Data[J].Transportation Research Part C,2015,54(9):187-197.

[8] LIPTON Z C,BERKOWITZ J,ELKAN C.A Critical Review of Recurrent Neural Networks for Sequence Learning[J].Computer Science,2015(10):51-54.

[9] LIPTON Z C,KALE D C,ELKAN C,et al.Learning to Diagnose with LSTM Recurrent Neural Networks[J].Computer Science,2015(2):101-104.

[10] SAK H,SENIOR A W.Processing Acoustic Sequences using Long Short-term Memory (LSTM) Neural Networks that Include Recurrent Projection Layers:,US 9620108 B2[P].2017.

[11] SAK H,SENIOR A,BEAUFAYS F.Long Short-term Memory Recurrent Neural Network Architectures for Large Scale Acoustic Modeling[J].Computer Science,2014(9):338-342.

ApplicationofLongShort-TermMemoryNeuralNetworktoOrbitPredictionofSatellite

ZHU Junpeng1a， ZHAO Hongli1b， DU Xing2, JIANG Yong3

(1.a.Department of Graduate Management; b.Training Department, Academy of Equipment of PLA, Beijing 101416, China; 2.The Military Representative Office of PLA in the Second Research Institute of CASIC, Beijing 100854, China; 3.The No. 95801stTroops of PLA， Beijing 100076， China)

The current satellite orbit prediction mainly depends on the dynamic model. Because of the difference between the model and the actual spatial environment, the dynamic model predicted the track, and the actual track has a greater deviation. Especially LEO, and due to the complexity of the space environment, the prediction error is bigger. Using the neural network of deep learning as a tool for orbit prediction, it can predict the future data by training the satellite orbit data and grasp the implicit relationship between the data. The prediction of the long short-term memory neural network model is carried out. By comparing the prediction data and the actual data, the prediction error is reduced from 300 km to 5 km, which greatly improves the accuracy of the prediction.

orbit prediction; LEO; deep learning; long short-term memory neural network

2017-07-05；

2017-08-11

朱俊鵬(1993—)，男，碩士研究生，主要從事信息網絡安全研究。

10.11809/scbgxb2017.10.026

本文引用格式：朱俊鵬,趙洪利，杜鑫，等.長短時記憶神經網絡在衛星軌道預報中的研究[J].兵器裝備工程學報，2017(10):127-132.

formatZHU Junpeng， ZHAO Hongli， DU Xing, et al.Application of Long Short-Term Memory Neural Network to Orbit Prediction of Satellite[J].Journal of Ordnance Equipment Engineering,2017(10):127-132.

TJ417

A

2096-2304(2017)10-0127-06

(責任編輯楊繼森)