基于計算博弈的脈沖作用下航天器追逃策略

顧天妍，張永合，蔣 峻，李超勇

（1.浙江大學 電氣工程學院，浙江 杭州 310027；2.中科院上海微小衛星工程中心，上海 201203）

0 引言

近年來，隨著航天器控制技術和軌道規劃技術的不斷發展，航天器空間交會技術逐漸成熟，同時能兼容的目標形式也逐漸增加［1］。當航天器雙方都有自主機動能力時，傳統的單邊最優控制策略不再適用，航天器的交會問題可視為雙邊控制問題，即航天器追逃博弈問題。相較于經典控制策略，航天器追逃博弈控制同時考慮了雙方的控制信息，更適用于非合作機動目標，受到國內外學者的廣泛關注。

針對航天器追逃博弈問題，目前大多數學者都采用了微分對策的方法進行研究。ISAACS［2］提出微分對策論，將控制論中的部分概念和原理與博弈論結合，并應用于二人追逃問題中，初步形成了微分對策論。在此基礎上，STUPIK 等［3］利 用Clohessy-Wiltshire（CW）方程將航天器追逃博弈問題轉化為非線性兩點邊值問題，并通過克里金法求解了航天器的追逃策略。針對微分對策理論方程求解困難的問題，吳其昌等［4］分別采用了遺傳算法、差分進化算法和蟻群算法來求解牛頓迭代初值，從而避免復雜微分方程的求解，但這類方法的計算時間較長。此外，PONTANI 等［5］利用半直接配點方法求解異面情況下航天器追逃問題，并通過仿真驗證了該方法的魯棒性。

隨著人工智能和大數據處理技術的發展，利用人工智能方法進行在線決策和規劃成為可能，近年來在航天器追逃問題中的應用也逐漸受到重視。許旭升等［6］提出了一種基于多智能體深度強化學習的集群衛星空間軌道追逃博弈方法，通過多智能體深度決定性策略梯度法（Multi-agent Deep Deterministic Policy Gradient，MADDPG）訓練數據，最終得到各衛星的策略。劉冰雁等［7］在傳統強化學習的基礎上，建立了模糊推理模型，利用分支深度強化學習有效解決了行為數量與映射規則的組合增長問題，縮短了仿真時間，提高了仿真效率。吳其昌等［8］將深度神經網絡應用到航天器追逃博弈中，搭建了4 層神經網絡，并通過Adam 優化算法對網絡進行了訓練，同時驗證了最終生成策略與真實策略相近，實現了在線決策。

值得注意的是，上述文獻都是針對航天器在連續時間下的連續推力模型展開，且目前大部分研究工作均在連續機動的基礎上進行，針對脈沖作用下的軌道追逃博弈的研究較少，同時模型的相關研究和結論并不成熟。針對這一問題，VENIGALLA 等［9-10］提出了可達集的概念，并證明了逃逸航天器在知道追蹤航天器的可達集的前提下能成功完成逃逸，給出了在共面時逃逸航天器的最優逃逸方向。LIU 等［11］研究了三人博弈問題，僅在一次脈沖機動的前提下，利用粒子群算法和牛頓插值法解決了異面最優軌跡求解問題。于大騰［12］基于序列二次優化算法建立了追蹤器多脈沖最優交會模型，采用遺傳算法進行了機動優化，提升了飛行器的空間生存能力。

上述方法都有效解決了航天器軌道追逃問題，但其中航天器的動力學模型由簡化的CW 方程進行描述，多數沒有考慮攝動力因素的影響［13］。同時，非圓軌道和較大的相對距離也是CW 方程誤差的主要來源。然而航天器的實際軌跡會受到各種不可避免的攝動影響，特別是當航天器在低軌道和中軌道運行時，攝動作用力會對線性模型下的博弈結果產生不可忽略的負面影響。因此，本文旨在解決地球高階引力模型下，基于脈沖控制的航天器軌道追逃問題，并通過計算博弈進行求解。

在計算博弈問題中，快速搜索（Action-Reaction Search，ARS）算法能夠高效求解納什均衡點。針對多組動態武器目標分配（Multi-team Dynamic Weapon Target Assignment，MDWTA）生成矩陣規模較大的問題，GALATI［14］提出利用ARS 算法沿最優方向搜索，有效利用內存，提高計算可行性。剪枝算法常用于減少算法搜索時間和提高計算效率，REED［15］提出利用剪枝算法應用于神經網絡中以減少不必要的搜索路徑，至今剪枝已經分化出多種類別，包括結構化剪枝和非結構化剪枝等，應用于計算機［16］、電氣［17］、航空航天［18］等領域。

本文提出了一種基于計算博弈的控制策略，通過優化航天器的速度增量大小和方向，實現了追逃雙方的性能指標最優化。本文的主要工作：1）完成了航天器軌道追逃博弈問題的數學定義，其中性能指標函數考慮博弈雙方的距離和燃料消耗，并以速度增量大小和方向構建容許控制集；2）創新性地引入ARS 算法，并將一種數據剪枝策略嵌入，從而保證了納什均衡解的準確性以及求解速度。本文證明了在逃逸航天器沒有機動的情況下，該算法可以成功地將軌道追逃博弈問題轉換為最基本的航天器軌道交會問題。仿真結果驗證了本文方法的有效性和可行性。

1 問題描述與數學建模

假設在航天器軌道追逃任務場景中，追擊航天器預先通過Hohmann 轉移攔截目標航天器，但在通過第一次機動之后，目標航天器可通過施加一個微小偏移脈沖規避追擊航天器的攔截。此時，雙方各自有一次施加脈沖機動的機會，且在同一時刻機動。追擊航天器需要在燃料消耗盡可能小的情況下攔截逃逸航天器，而逃逸航天器則需在燃料消耗盡可能小的情況下規避攔截。

1.1 航天器動力學建模

在航天器追逃博弈問題中，為了便于計算和分析，采用J2000 下的地球慣性坐標系。考慮到攝動力等因素，航天器的動力學模型為［19］

式中：r為航天器的位置矢量；v為航天器的速度矢量；U為地球的引力勢函數。

當地球為旋轉橢球體，且只考慮J1至J6攝動項時，令地球赤道半徑為Re，則地球引力勢函數可以簡化為

式中：μ為地球引力常數；J2=1.082 6×10-3，J3=-2.536×10-6，J4=-1.618 6×10-6，J5=-0.226×10-6，J6=0.539×10-6；P2～P6為勒讓德多項式，表達式如下：

在施加脈沖作用的時刻，航天器的狀態變化為

式中：上標“-”和“+”分別為脈沖作用前后的狀態。

在J2000 坐標系下，式（4）可以擴展為

式中：φ為脈沖推力偏角；γ為脈沖推力仰角。

1.2 博弈問題構建

自20 世紀以來，航天器的交會對接技術在工程應用及理論研究中具有重要意義，有許多突出成果，其中Hohmann 轉移［20］和Lambert 追擊［21］是最為經典的方法。Hohmann 轉移方法給出了共面下軌道轉移的最小能量消耗，奠定了之后大多數理論的基礎，但是存在調相時間過長，耗費時間巨大的問題；Lambert 追擊方法計算了固定時間下兩點之間軌道轉移所需脈沖。上述理論均要求目標航天器被動飛行且沒有自主機動，不適用于目標存在自主機動的航天器追逃博弈問題。在航天器追逃博弈問題中，追擊航天器和逃逸航天器通過控制自身的脈沖機動，使得雙方的性能指標函數達到最優，即：

式中：下標P、E 分別為追擊航天器和逃逸航天器。

航天器的追逃博弈問題包含3 個要素：博弈參與者{P，E}；雙方各自的性能指標函數J；以及參與者的行為策略(uP，uE)。

追擊航天器的行為策略uP定義為

上式中各項滿足如下約束條件：

針對上述航天器追逃博弈問題，SCHEERES等［9］基于可達集的概念推導了逃逸航天器的最優逃逸方向，耿遠卓等［22］利用終端誘導強化學習對航天器追逃博弈問題進行了求解，通過在獎勵函數中考慮終端誤差從而提高追擊成功率。然而，這些航天器通常采用二體模型或CW 方程進行求解，沒有考慮地球攝動因素影響，且對軌道形狀有所限制，所得結果精度不足。為了滿足實際情況，提升求解模型的精度，本文采用計算博弈的方法來解決航天器追逃博弈問題。

與傳統的以解析形式求解博弈雙方納什均衡點的方法不同，計算博弈通過對雙方的策略進行數值搜索，得到雙方各自的最優解。此外，追逃航天器的性能指標函數J包含兩部分，分別由追逃雙方的距離以及各自消耗的燃料定義。雙方博弈的目的是通過給出自己的脈沖控制策略，使得相應的性能指標函數最大化。具體來說，對于追擊方而言，其期望在盡量減少燃料消耗的情況下減少追逃雙方距離；對于逃逸方而言，則期望自己在盡量減少燃料消耗的情況下增加追逃雙方距離。因此，性能指標JP和JE定義如下：

權重系數應滿足以下條件：

追逃航天器雙方的距離L定義如下：

當逃逸航天器中途沒有脈沖機動，則追逃問題就會轉化為普通的軌道交會問題。此時，雙方的性能指標函數也相應變化。對于追擊方而言，性能指標如下：

對于逃逸方而言，性能指標JE如下：

本文所定義的追逃博弈問題就是尋找追擊航天器者和逃逸航天器的納什均衡點問題，使其指標函數大于任意其余策略的指標函數，納什均衡點的定義如下：

式中：UP、UE分別為追擊航天器和逃逸航天器的所有策略。

對于追逃航天器雙方而言，可供選擇的策略是有限的，由納什均衡的存在性定理［23］可知，每一個有限的策略式博弈至少存在一個由式（14）描述的納什均衡解。那么最終求得的納什均衡解所對應的速度增量大小和方向就是當前問題的一個可行解。

通過計算式（16）中的矩陣解可以求得納什均衡點。決策矩陣式（16）存在維數大、計算時間長和搜索效率低的問題，為了解決這一問題，本文采用ARS 算法來求解博弈矩陣。

2 基于計算博弈的快速優化策略

為了求解追逃雙方的納什均衡點，使得雙方的性能指標函數處于最優，本文采用ARS 算法［24］來進行快速求解，具體算法流程如下。

2.1 算法1：Action-Reaction Search

2.2 算法2：數據剪枝方法

與窮舉法相比，ARS 算法無需對整個矩陣進行遍歷，能夠有效地減少計算維度，具有計算效率高、時間快的優點。對于航天器追逃博弈這一問題而言，實時性和快速性尤為關鍵，也為ARS 算法的使用提供了有力依據。

博弈決策矩陣式（16）中會存在不滿足實際約束的策略對，ARS 算法同樣也對這些策略進行了搜索，增加了計算時間，使搜索效率降低。因此，本文提出了一種剪枝方法，在矩陣生成和搜索過程中，對無需計算的元素進行標記剪枝，剪枝流程如下：

輸入：追逃博弈雙方的策略集合UP=[ΔvP，φP，γP]，UE=[ΔvE，φE，γE]，收益維度M、N；

輸出：無需計算的矩陣元素標記集合Apruned；

算法2 通過對冗余不必要的數據進行剪枝，減少了不必要的搜索過程，提高了搜索速度和運算效率。

本文通過使用ARS 算法準確尋找納什均衡點，ARS 算法通過對單獨的行列尋找來避免搜索整個矩陣，極大地提高了運行效率。本文采用剪枝技巧來提升尋找納什均衡點的計算速度，通過對冗余數據的剪枝達到縮小矩陣規模的目的，從而加快數值搜索進度。

為了更直接地說明基于剪枝的快速搜索方法的優越性，將其與窮舉法、α-β剪枝［25］進行對比。在進行不同維度的矩陣計算時，雙方求解納什均衡點的時間如圖1 所示。

圖1 決策時間對比Fig.1 Comparison of decision time

由圖1 可知，相比于其他方法，本文所采用的快速求解算法能有效提高計算效率，節省計算時間。當矩陣維度擴大時，其余方法的仿真時間以指數形式增長，而本文方法增幅不大，仍能快速尋找到納什均衡解。

3 仿真分析

3.1 軌道交會算例分析

當逃逸航天器不施加機動時，追逃問題演變為軌道交會問題。本文采用硬件平臺為3.60 GHz AMD Ryzen 5 3500X 處理器，軟件平臺為 Matlab R2022b 進行仿真。為了便于比較，將追擊航天器的初始機動時間與Hohmann 轉移的時間一致。兩航天器初始軌道六根數見表1。

表1 交會場景下航天器的初始六根數Tab.1 Initial six parameters of the spacecrafts in the rendezvous scenario

兩航天器飛行軌跡如圖2 所示。

圖2 交會場景下航天器三維空間飛行軌跡Fig.2 Trajectories of the spacecraft in the rendezvous scenario

為進一步驗證本文方法的有效性，分別與Hohmann 轉移和Lambert 追擊進行對比，三者都在同一時刻進行第一次脈沖機動，且都施加兩次機動，一致采用地球高階引力模型。追擊航天器與逃逸航天器相對距離如圖3 所示。

圖3 交會場景下航天器相對距離Fig.3 Relative distance of the spacecraft in the rendezvous scenario

3 種方法的最終計算結果見表2。其中，追擊航天器均在T1=3 172.590 5 s 時施加第1 次脈沖機動，第1 次速度增量大小為Δv1，第2 次機動時刻為T2，第2 次速度增量大小為Δv2。

表2 交會場景下航天器仿真結果Tab.2 Simulation results of the spacecraft in the rendezvous scenario

由表2 可知，與Hohmann 轉移相比，本文方法的脫靶量明顯較小，但稍遜于Lambert 追擊。本文方法在保證脫靶量的情況下，使用速度增量明顯小于Lambert 追擊，有效減少了燃料消耗。此外，在進行計算時，本文方法無需選定初值，避免了采用其他2 種方法在初值選定不正確時可能存在的不收斂和脫靶量大的問題。

3.2 追逃算例分析

當逃逸航天器施加機動時，兩者是典型的追逃問題。在追擊航天器采用Hohmann 轉移施加第一次機動后，雙方都還有一次脈沖機動機會，逃逸航天器施加脈沖推力逃離追擊航天器，雙方在這一時刻通過矩陣搜索都使彼此性能指標函數達到最優。

根據Hohmann 轉移計算易得，追擊航天器第一次機動時刻T1=3 172.590 5 s，施加速度增量大小Δv1=0.031 1 km/s。此后，逃逸航天器施加控制量試圖遠離追擊航天器，雙方展開追逃博弈。設置追擊航天器最大可使用速度增 量=0.061 0 km/s，逃逸航天器最大可使用速度增量=0.008 0 km/s。兩航天器飛行軌跡如圖4 所示。

圖4 追逃航天器三維空間飛行軌跡Fig.4 Three-dimensional space flight trajectory of the spacecraft in the pursuit-evasion game

兩航天器使用燃料情況和脫靶量見表3。通過仿真可知，追擊航天器使用了全部速度增量ΔvP=0.061 0 km/s，偏 角φP=199.998 4°，仰 角γP=-5.998 4°。逃逸航天器也使用了全部速度增 量ΔvE=0.008 0 km/s，偏 角φE=270°，仰 角γE=-5.998 4°。兩航天器距離從最開始的364.95 km 縮短到最終脫靶量4.32 km。當采用這種策略時，雙方的性能指標函數都達到最優。

表3 航天器追逃博弈的仿真結果Tab.3 Simulation results of the spacecraft in the pursuitevasion game

4 結束語

本文提出了一種基于計算博弈的航天器追逃博弈策略，采用了ARS 算法求解納什均衡點，同時利用剪枝策略縮小了決策矩陣維度，減少了不必要的搜索過程，提高了搜索效率。通過實驗仿真，得到如下結論：

1）針對基于脈沖的航天器追逃問題，本文提出的方法能夠較好地求得雙方最優策略，且求解時間迅速。相對于傳統方法，本文模型精度較高，考慮了地球攝動等非線性因素，且對軌道形狀和初始距離沒有限制，與實際偏差較小，可行性高，具有較強的魯棒性。

2）針對基于脈沖的軌道交會問題，相對于Lambert 追擊和Hohmann 轉移，本文提出的方法在保證脫靶量精度較高的情況下，消耗燃料較少，無需考慮初值問題。