非對稱博弈下多UUV 基地防衛協同對抗策略

王宏健，于丹，徐欣，張宏翰，陳濤

（1.哈爾濱工程大學 智能科學與工程學院，黑龍江 哈爾濱 150001;2.浙江大華技術股份有限公司，浙江 杭州 310053）

無人水下航行器[1]（unmanned underwater vehicles,UUV）是小體量、強自主性、高隱蔽性的水下機器人之一。現階段正在研究的UUV[2]可集成具有打擊能力的任務載荷，不僅能夠執行探測任務，還可以執行攻擊任務。在探測信息共享[3-5]的前提下，在一定范圍內通過水聲通信能夠實現多UUV 的水下協同對抗，可以克服單UUV 的能力局限，提高完成對抗任務效能[6]。近期無人機在美軍中的不斷使用也表明：無人平臺在軍事領域內的應用以及利用無人平臺配合完成作戰任務將成為未來對抗形態的發展趨勢[7]。美國捕食者無人機[8]是一種最為典型的察打一體無人機，可長時間對重要地面目標和低速低空目標進行偵察、識別和監視。LDUUV 項目[9]是美國于2011 年開始研制測試的一款可搭載具有打擊能力的任務載荷的大直徑重型無人潛航器。

關于多UUV 對抗的研究現階段較少，開放的文獻不多，關于對抗的研究主要集中于多UUV 圍捕問題。在追逃問題研究中文獻[10]在“圖清理”方法的基礎上，應用精英遺傳算法于圍捕問題中。文獻[11]提出了一種分散的圍捕策略，可以在有限時間內捕獲入侵智能體。文獻[12] 基于apolonius 圓提出了動態圍捕入侵智能體的方法。文獻[13]利用生物激勵神經網絡解決多機器人圍捕問題，通過計算并選擇相鄰細胞神經網絡的最大活動值，得到參與圍捕的機器人的圍捕路徑，實現有效圍捕。文獻[14]設計了對足球機器人團隊角色和任務進行分工的模糊推理系統，主要研究足球機器人角色和行為切換機制。文獻[15]提出一種基于獅群算法多AUV 圍捕方法，實現在圍捕中最佳圍捕者的選擇和圍捕任務中的角色分配。

無人系統協同對抗要求“參與者”協調行動，以獲得最大利益為核心目標，根據環境信息、敵方信息以及我方對抗態勢不斷選擇策略[16]。現階段對于無人系統協同對抗的研究對象多為機器人、無人機[17]和地面無人車，主要研究集中于對抗中的任務分配、作戰方式、干擾手段。自然進化計算[18]、社會進化計算[19]、生物智能計算[20]、群集智能計算[21]等智能算法也被大量運用于武器分配、協同搜索、追逃圍捕等問題的研究中來。文獻[22]應用空間鏈路調度算法研究多機器人任務協調分配問題。文獻[23]提出近似規劃方法研究一對一空戰，解決無人機空戰對抗飛行控制問題。文獻[24]討論無人機對地空戰問題，不僅給出協同策略，還考慮了武器、無人機數量以及地面防御系統設置等問題。文獻[25]研究多無人機對抗，設計多無人機對抗實驗案例，對不同角色的無人機設計了行為集，無人機根據對抗過程中的態勢，從行為集里選擇最優行為完成對抗過程。文獻[26]研究了有人機和無人機協同作戰，主要聚焦于對抗期間的飛行路徑規劃。

由于水下對抗環境復雜、通信受限、探測能力受限，關于水下對抗的研究現階段還較少。文獻[27]主要研究水下對抗過程中的傳感器探測組網問題，比較了不同度量條件下的探測性能。文獻[6]驗證粒子群優化對水下多AUV 協同對抗的動態博弈模型求解的有效性。文獻[28] 研究多UUV 對抗過程，并給出對抗過程中態勢評估及策略選擇方案。隨著無人系統的不斷發展，水下對抗問題正引起國內外諸多學者的廣泛關注。

從上述研究中可以看出，在諸多已有的研究中，對抗問題主要存在以下問題：1）單個UUV 策略選擇研究多，多UUV 協同決策研究少，單方面策略優化選擇研究多，雙方策略對抗博弈研究少；2）研究對抗雙方無能力差異的情況多，研究“多對一”、“弱對強”的少。本文從無人對抗的角度考慮水下多UUV 對抗存在的通信、自主決策等問題，設計多UUV 對抗過程。針對對抗中的策略選擇與角色分配問題，以多UUV 基地防衛作為對抗任務背景，提出一種基于角色分配的多UUV 協同對抗策略選擇方法，完成多對一攻防對抗任務仿真。

1 基地防衛任務想定與研究約束條件

基地防衛任務想定：如圖1 所示，紅色小旗為紅方被保護區域，藍方UUV（圖中以黃色UUV 示意）在本次攻防任務中為攻擊方，其任務為破壞紅方基地，當藍方UUV 成功對紅方被保護基地造成破壞，認定紅方本次攻防任務失敗。紅方多UUV 通過攻擊、防守、圍捕等手段保護基地不被摧毀，則認定紅方本次攻防任務成功。

圖1 對抗情形Fig.1 Confrontation situation

本文主要研究在對抗中雙方的策略選擇問題，因此不考慮紅方水聲通信時延，多UUV 間的通信定義為雙工實時通信，紅方UUV 能夠通過預置的水下監聽裝置探測到藍方UUV 的位姿信息，藍方則通過被動聲吶探測一定范圍內的紅方UUV 位姿信息。在對抗過程中，雙方的攻擊方式均為發射任務模塊，雙方的策略對對方不可知的，所有參與對抗的UUV 僅能通過聲吶探測到武器。為方便理論研究和設計仿真實驗，對參與對抗的UUV 的尺寸和機動能力以及武器參數等比例地縮小，表1 所示為UUV 的參數配置。

表1 紅藍UUV 配置參數Table1 Configuration parameters of red and blue UUVs

2 設計UUV 運動控制器

由于本文所研究的多UUV 對抗過程中的機動行為不包括升潛運動，所以本文利用增量式PID 根據UUV 的控制需求，設計UUV 三自由度運動控制器。將控制UUV 水平面運動的增量式PID 運動控制器分為兩部分：速度控制器和艏向控制器。由于本文所研究的UUV 是欠驅動的，無法控制UUV 的橫向速度，因此，UUV 的速度控制主要是通過控制UUV 的縱向推力來控制UUV的縱向速度，使得UUV 的實際縱向速度達到期望速度。艏向控制器是通過控制UUV 的轉艏力矩來控制UUV 的艏向，使其實際艏向達到期望艏向。基于增量式PID 設計的UUV 水平面運動控制器如圖2 所示。

圖2 基于增量式PID 的UUV 運動控制框圖Fig.2 UUV motion controller based on incremental PID

3 UUV 基本行為定義

根據參與對抗的UUV 所執行的任務和分配到的角色將UUV 的基本行為劃分成以下5 種：

1)逃逸

這一基本行為是指當UUV 受到任務模塊威脅時，通過艏向控制，選擇最快遠離威脅的方向進行逃逸。如圖3 所示，設 ψtor為任務模塊的艏向角，ψR為UUV 艏向角，任務模塊的航向向量為T，UUV 的航向向量為H。此時，若任務模塊位于UUV左舷，則UUV 逃逸方向即此時的期望艏向為

圖3 針對任務模塊的逃逸方向Fig.3 Escape direction for mission modules

式中：

UUV 在針對來襲UUV 的逃逸方向選擇上借鑒人工勢場[29]的思想如圖4 所示。

圖4 針對來襲UUV 的逃逸方向Fig.4 Escape direction for incoming UUV

來襲UUV 相當于給己方UUV 生成一個斥力，力的大小與來襲UUV 與己方UUV 的距離成反比，若出現多個來襲目標對UUV，則疊加這些目標產生的斥力，得到的合力方向即為UUV 的逃逸方向。斥力計算公式為

式中：η為斥力比例系數；di為來襲UUVi與己方UUV 的距離；dtr為己方UUV 的威脅警示范圍；n為正整數；(x0,y0)為己方UUV 的坐標；(xi,yi)為來襲UUV 的坐標；與分別為x與y軸的單位向量，斥力合力的計算公式為

式中：j為來襲UUV 的個數。最后，可得到UUV的逃逸方向為

如果UUV 在被任務模塊威脅的同時探測到有來襲UUV，則不得不同時考慮兩種威脅來選擇逃逸方向，則同時計算式(3)、(4)確定逃逸方向。

2)UUV 向定點運動

這一基本行為是UUV 最基本的運動行為，如圖5所示，定點的坐標(Mx,My)，UUV 坐標(x,y)，則期望艏向角計算公式為

圖5 UUV 朝某點運動Fig.5 UUV moving towards a point

3）基本攻擊行為

這一基本行為指處于可攻狀態的UUV 計算得到任務模塊命中點，并發射任務模塊的過程。

4）避碰

這一基本行為區別于敵我雙方避障，主要針對合作關系的紅方UUV 需要時刻避免發生位置沖突。

5）追蹤

這一基本行為是指使追蹤UUV 的艏向始終跟隨目標UUV 的位置，也就是使目標UUV 始終位于追蹤UUV 的0°舷角位置[30]，如圖6 所示。設追蹤UUV 坐標為(x,y)，目標UUV 當前坐標為(xe,ye)。

圖6 UUV 追蹤行為Fig.6 UUV Tracking Behavior

4 基于任務-角色-行為分層的紅方多UUV 協同對抗方法設計

紅方策略是一種UUV 群體的策略，本文提出一種基于總任務分解的任務-角色-行為分層的多UUV 協同對抗方法。算法設計的群體策略生成機制如圖7 所示，根據威脅評估結果將UUV 任務分為，即驅逐、緊急返回、攻擊-防衛3 種；根據不同的任務將UUV 分為4 種不同的角色分別為，即追蹤UUV、返航UUV、核心攻擊UUV 和輔助攻擊UUV。策略適用情況與策略制定理由如表2。

表2 紅方多UUV 任務選擇及相應參數表Table2 Red side multi UUV task selection and corresponding parameter table

圖7 紅方多UUV 任務及角色行為示意圖Fig.7 Red UUVs task and role behavior diagram

4.1 考慮目標航向偏角的多UUV 協同防衛方法設計

確定UUV 角色后根據角色和藍方UUV 態勢從而確定紅方多UUV 的協同防衛策略是紅方多UUV 基地防衛任務的重點。藍方UUV 航向偏角從一定程度上能夠反映威脅意圖，航向偏角越小，威脅意圖越強，本文提出基于目標偏航角的協同防衛方法。如圖8 所示，目標航向偏角為UUV 的航向同它與紅方基地的連線的夾角β(t)為目標航向偏角。

圖8 目標航向偏角與目標距離Fig.8 Target heading angle and target distance

由于藍方機動性能強于紅方，因此，若是將本文的多對一對抗過程簡化為一對一，當藍方UUV受到單一威脅，藍方機動逃逸成功率高，使得紅方UUV 整體作戰效能差[31]。如圖9 所示，UUVR2的任務模塊本身并不是有效的，若是UUVB 保持之前航線運動，UUVR1發射的任務模塊將有效，若是UUVB對UUVR1發射的任務模塊進行避碰，UUVR2的任務模塊將變成有效的。所以采取基于目標航向角的聯合打擊方式對藍方UUV 進行打擊。

圖9 UUV 攻擊方式Fig.9 UUV attack mode

4.1.1 藍方UUV 大航向偏角多UUV 聯合防衛方法

藍方UUV 的航向偏角如圖中β(t)>90°時，設計如圖10 所示的聯合防衛方式。根據上文設計的角色分配原則，UUVR2為核心攻擊UUV，承擔攻擊任務，將UUV 完成任務需要到達的目標點命名為策略點，核心攻擊UUV 發射任務模塊的陣位點就是其策略點，任務模塊命中點為P2。UUVR1和UUVR3為輔助攻擊UUV，其策略點為P1、P3也是發射任務模塊的陣位點。此時，任務優先級設置為輔助攻擊UUV>核心攻擊UUV，若輔助攻擊UUV 在向策略點運動過程中出現沖突，那么與藍方UUV 距離近的UUV 擁有更高的優先級。

圖10 藍方UUV 大航向偏角紅方多UUV 聯合防衛方法Fig.10 Blue UUV large heading angle red UUVs joint defense method

在確定核心攻擊UUV 后，可以得到在核心攻擊UUV 發射任務模塊的任務模塊命中點P2(P2x,P2y)，則P1(P1x,P1y)、P3(P3x,P3y)策略點的計算方式為

式中：β=arctan(Vm/VB)，其中Vm為紅方UUV 任務模塊速度；VB為藍方UUV 速度；ψB為藍方UUV 艏向角。L為紅方UUV 的任務模塊射距。

4.1.2 藍方UUV 中小航向偏角時多UUV 聯合防衛方法

藍方UUV 的航向偏角為0≤β(t)<90°時，采用如圖11 所示的聯合防衛。此時承擔攻擊任務的核心攻擊UUV 為UUVR3，P3是命中點。UUVR1、UUVR2作為輔助攻擊UUV，其策略點仍然是陣位點為圖中的P1、P2或、。此時，任務優先級定義為核心攻擊UUV＞輔助攻擊UUV，若輔助攻擊UUV 在向策略點運動過程中出現沖突，那么同樣的與藍方UUV 距離近的紅方UUV 擁有更高的優先級。

圖11 藍方UUV 中小航向偏角紅方多UUV 聯合防衛方法Fig.11 Blue side UUV small heading angle red side UUVs joint defense method

確定核心攻擊UUV 后，可以得到在核心攻擊UUV 發射任務模塊的時刻藍方UUV 的位置U2(U2x,U2y)以及該UUV 的陣位點位置U1(U1x,U1y)與任務模塊命中點P3(P3x,P3y)，又已知紅方區域的坐標為(Mx,My)，定義P1(P1x,P1y)為陣位點關于藍方UUV 航向的對稱點，則P1(P1x,P1y)、P2(P2x,P2y)、策略點的計算公式為

式中：β=arctan(Vm/VB)，其中Vm為紅方UUV 任務模塊速度，VB為藍方UUV 速度。r為紅方UUV 的任務模塊極限射距。

上述聯合攻擊策略具有兩個優點：1)能夠使得紅方UUV 發射的任務模塊有效威脅藍方UUV，提高紅方多UUV 整體對抗效能；2)在紅方某個UUV 受到藍方UUV 或其發射的任務模塊威脅時，其他UUV 仍然具有對藍方UUV 產生威脅的能力。

4.2 基于任務優先級的多UUV 協同角色分配方法

針對從任務層向角色層的角色分配和切換問題，本文設計基于對抗任務的松散耦合的多UUV體系，提出一種多UUV 協同方法?基于任務優先級的多UUV 協同角色分配算法。

本文研究的多UUV 對抗過程環境態勢實時變化，因此在紅方多UUV 角色分配時，UUV 的角色也應當是根據實時變化的對抗環境不斷變換的。因此需要根據環境和敵我雙方態勢變化，設計可以動態調整角色任務的多UUV 協同角色分配算法，使之能夠適應對抗性環境和對抗任務。算法流程如圖12 所示。

圖12 分層決策算法流程圖Fig.12 Role assignment algorithm

分層決策算法的步驟如下：

1)紅方多UUV 對當前自身態勢進行評估和分析，得到當前態勢等級分為：低、中、高；

2)根據上文中提出的多UUV 分層決策算法，進行多UUV 任務分配，確定當前策略；

3) 根據不同UUV 的任務，確定UUV 角色；

4)按照角色各個UUV 選擇基本行為，展開紅藍雙方對抗的底層行為；

5)當前任務是否發生核心攻擊UUV 失效或紅方對抗任務變化？若是，則說明完成一次聯合防衛，重新評估威脅等級，轉至1)若對抗結束(藍方或紅方對抗總任務失敗)，結束。

從圖12 中可以看出，在追蹤和返航策略下UUV 角色是確定的，而在攻擊防衛下就需要對UUV角色進行分配。本文基于貪心算法和市場法提出一種角色分配方法，在UUV 策略點選擇有沖突時基于貪心算法，對有相同策略點的UUV 計算其與策略點的距離，根據距離最短原則確定核心攻擊UUV，其余輔助攻擊UUV 的策略點分配也依照這種原則。當策略點沒有沖突時，多UUV的策略點分配則如圖13 所示，按照“時間均衡原則”。核心攻擊UUVj，UUVj的當前位置與其任務點的距離為d。那么輔助攻擊UUVi位置(xi,yi)與其策略點(xem,yem)之間的距離可以表示為

圖13 “時間均衡原則”匹配策略點Fig.13 Time balance principle

則方差可表示為

令F=min{S1,S2,···,Sm}策略點匹配方案即為所求。

5 藍方策略制定

由于參與對抗的藍方UUV 只有一個，因此藍方只考慮自身利益選擇策略，單個UUV 的行為就是藍方參與對抗時所選擇的策略。藍方UUV策略選擇表如表3 所示。

表3 藍方UUV 策略選擇表Table3 Blue UUV strategy table

6 仿真分析

6.1 多UUV 協同攻防算法有效性分析

仿真實驗是在Windows10，QT5.6 下進行的。設計實驗參數：紅方被保護區域的坐標為（30,50），仿真水域大小為1 050 m×1 050 m，表4 所示為紅、藍雙方UUV 的初始設置。

表4 紅方UUV 與藍方UUV 初始速度與位姿Table4 Initial velocity and pose of red and blue UUVs

從圖14 中的紅方UUV 威脅評估等級變化曲線可以看出，紅方UUV 威脅等級始終處于低或中，說明紅方在對抗過程中策略選擇適當，紅方始終未陷入危險。

分別分析表5 中紅方UUV 對藍方UUV 發起的3 次有效攻擊過程。藍色部分為第1 次有效攻擊；橙色部分時第2 次有效攻擊，白色部分為最后1 次有效攻擊。紅方多UUV 從任務（策略）-角色-行為-運動特性的角度分析，藍方從態勢-策略-行為-運動特性邏輯流分析：

1）紅方多UUV：在t4到t5過程中紅方UUV1和UUV2已經逐漸逼近藍方UUV，此時縱向速度減小，到達攻擊陣位點時，縱向速度最小。作為第一次進攻的核心攻擊UUV?紅方UUV2首先到達陣位點，并發射任務模塊，UUV1隨后到達發射任務模塊，對藍方UUV 產生威脅。藍方UUV：t5時刻藍方UUV 陷入危險，此時根據表5 可知，藍方UUV 采取逃逸策略；同時，在圖14、15 中可以分別看出t5時刻藍方UUV 推力增大，縱向速度增大，艏向發生改變執行逃逸動作。可以看出對抗過程中的第一次正面交鋒雙方策略選擇合理，多UUV 角色分配合理，雙方運動特性符合所選策略下的基本行為。

圖14 紅藍UUV 縱向速度與艏向角變化及威脅評估等級Fig.14 Longitudinal velocity and heading angle of red and blue UUV and threat assessment level

表5 攻防過程紅藍UUV 行為與態勢Table5 Behavior and situation of red and blue UUVs in attack and defense process

2）紅方多UUV：由于經歷上一次攻擊后，紅方UUVs 都在藍方UUV 附近，只需要通過調整艏向即可到達陣位點。UUV1和UUV3在第二次有效攻擊過程中分別承擔核心攻擊UUV，從圖13中可以看出UUV1和UUV3調整艏向到達陣位點。從圖14 可以看出UUV2作為輔助攻擊UUV通過推力控制使得其運動始終平穩，承擔追蹤和輔助攻擊角色。藍方UUV：從表5 可以看出紅方UUV 在此過程中兩次向藍方UUV 發射任務模塊，導致在t9、t13時刻藍方UUV 調整艏向逃逸。可以看出紅方多UUV 策略選擇成功，對藍方產生威脅，但藍方憑借優于紅方的機動能力逃脫。

3）紅方UUV：紅方UUV 采取追蹤策略，調整艏向，追蹤藍方。由于UUV3進入藍方探測范圍，被藍方攻擊，在t14時刻UUV3推力增大，縱向速度增加，執行逃逸行為。藍方UUV：由于任務模塊耗盡，態勢評估自動評估為高，為保存實力撤退，導致任務失敗。

6.2 多UUV 協同攻防算法優越性分析

本文的重點和創新點在于多UUV 分層決策算法，該算法的核心是多UUV 分布式合作，根據整體的威脅態勢切換策略，根據策略要求，按照各自角色選擇行為。針對多UUV 的行為選擇，為了避免沖突，設計基于任務優先級的行為選擇算法。如圖16 所示為未設計優先級的多UUV 攻防對抗仿真，由于紅方多UUVs 在事先未設計優先級，如左圖UUV2和UUV3同時選擇同一個策略點前進，導致距離過近來不及躲避，使得執行任務時產生沖突，最終導致任務失敗。

圖15 紅藍方UUV 推力Fig.15 UUV thrust

圖16 多UUV 對抗沖突Fig.16 UUV conflict behavior

7 結束語

本文主要研究水下多UUV 協同對抗策略選擇問題，設計以保護基地為背景的水下UUV“多對一”攻防對抗仿真實驗。本研究與以往多UUV 對抗問題研究的不同點在于，不是僅研究UUV 的機動圍捕問題，而是研究集成具有打擊能力任務載荷的UUV 的對抗問題；與以往研究具有打擊能力無人平臺對抗的不同在于，設計了對抗雙方機動能力和打擊能力的差異性。不同于以往的基于編隊的多智能體協同，而是根據對抗環境提出藍方對抗策略和紅方多UUV 動態角色分配方法，利用角色分工與任務優先級法對紅方UUV 群體進行協調。在研究中，考慮實際對抗情形，基于藍方UUV 航向偏角的大小提出紅方多UUV 聯合對抗策略，提高紅方UUV 作戰效能。通過設計仿真實驗驗證了本文所提角色分配方法和紅藍雙方策略設計的合理性，完成“以弱勝強，以多敵寡”的多UUV 水下攻防對抗過程。