固定翼無人機編隊構型與通信拓撲優化

徐星光, 王曉峰, 姚 璐, 任 章

(1. 北京機電工程研究所, 北京 100074; 2. 北京航空航天大學自動化科學與電氣工程學院, 北京 100191;3. 復雜系統控制與智能協同技術重點實驗室, 北京 100074)

0 引 言

編隊構型設計體現固定翼無人機任務需求多樣性,通信拓撲優化是平衡協同控制、網絡通信性能、集群隱蔽性的信息交互基礎。基于現代優化理論和智能算法,需要分析影響集群綜合作戰效能的隊形與網絡通信設計關鍵指標,建立優化模型。特別地,在飛行速度日益加快、飛行任務不斷豐富的需求背景下,優化模型對關鍵指標的覆蓋程度、計算實時性、部署實用性問題愈加重要。為適應復雜高強度對抗環境,攻防雙方集群編隊規模均可能呈幾何增長,這將給飛行器隊形與網絡連通性在線設計帶來成倍計算復雜度,而飛行器計算資源與通信帶寬有限,因而如何在確保優化準確度基礎上提升規模編隊下計算速度是編隊構型與拓撲優化問題中面臨的一個難點。所以,如何建立編隊構型與通信拓撲指標體系,如何設計考慮攻防對抗態勢與最小信息流要求的優化模型,并保證計算精度與實時性均衡,是首先要解決的關鍵問題。

多飛行器編隊構型與通信拓撲優化問題是指在滿足各種規范和某些特定要求的前提下,使編隊在空間域物理構型、信息域通信拓撲的某種廣義性能指標最佳,在所有可用的協同方案中找出飛行器在編隊中的最優站位,同時減少總的通信代價。編隊構型與通信拓撲設計具有重要應用價值,為多飛行器聯合執行任務提供了關鍵理論支撐。據美國海軍官網報道,2021年6月,美國在伊利諾伊州成功完成“黃貂魚”MQ-25A無人機技術驗證機向F/A-18“超級大黃蜂”有人機的空中加油測試,這種空中云臺的實現很大程度上源于針對加油任務優化出了多飛行器隊形及成員飛行器在編隊中的站位。解決編隊構型與通信拓撲優化設計問題的關鍵是建立全面準確的數學模型,優化設計研究方向涵蓋設計變量選擇、約束條件分析、目標函數設計和優化算法計算。下面從多飛行器編隊構型、通信拓撲設計優化方面對現有文獻加以概述。

編隊構型設計變量分為拓撲、形狀與尺寸變量。按照工程實際應用的項目階段劃分,概念設計階段可進行拓撲優化,由編隊規模建立優化的框架與層級;基本設計階段可進行形狀優化,明確編隊的基本隊形組成的數量、形態;詳細設計階段開展尺寸優化,調整預先確定的隊形形狀長度、角度特征。有關學者針對不同設計變量優化方式取得了一系列成果。文獻[2,4]針對大規模固定翼飛行器提出了多層規劃模型的拓撲優化框架,將整體隊形優化問題轉化為分層節點排布對比分析問題,通過改進粒子群優化(particle swarm optimization, PSO)算法及遺傳算法求解出最優隊形,并給出了相對整體隊形優化的計算實時性優勢。文獻[5-6]借鑒雁群編隊飛行行為機制,將“V”形編隊構型引入到無人機群協同飛行中,設計縱向、橫向距離參數增升減阻,經仿真算例證明了減少燃油消耗量的效果。文獻[7]設計了直線、菱形、半菱形、“V”形隊形,通過不同編隊規模下的流體力學仿真給出了適用一類翼身融合飛行器的減阻陣列選型建議。文獻[8]針對有翼飛行器給出了編隊合圍跟蹤隊形,為攻擊、偵查、誘餌功能提供集成框架。

在設計編隊構型時,有必要考慮隊形的基本約束問題。隊形約束主要包括但不限于兩方面原因:一是隊形參數在實際通信環境中存在取值上下限;二是隊形合理性要有效銜接編隊控制的可實現性。文獻[9]在構建飛行器編隊協同作戰效能指標時引入飛行器間最大通信距離、最小安全距離、最大搜索半徑、最大搜索角、最大機動半徑等參數約束,并采用PSO算法優化出合適隊形。文獻[10]結合一般線性系統動力學特性給出了分段連續可微編隊向量形式和編隊可行域擴展算法,之后在切換拓撲下提出了基于一致性方法的時變編隊控制器,為無人機系統實際應用奠定理論基礎。

為了實現飛行器編隊綜合效能最大化,國內外學者在設計編隊構型時充分考慮戰場態勢信息和飛行器編隊狀態以構造綜合目標函數。文獻[13-14]基于敵我對抗態勢建立了敵我戰損比目標函數,采用遺傳算法優化隊形設計,并對空中作戰平臺對抗過程中的隊形適應性進行了驗證。文獻[1]利用彈目間的戰術幾何關系,建立了涵蓋任務載荷配置、捕獲概率、角度優勢、速度優勢、距離優勢的綜合優勢函數,采用禁忌搜索與離散PSO算法對多彈協同打擊目標群的作戰構型尋優。

優化算法選擇是編隊構型優化設計的另一個重要問題,方法選擇的主要依據包括計算準確性與時間復雜度,重點是針對特定模型探索工程適用性強的手段。文獻[15]采用基于均值漂移的差分演化算法設計了飛行器編隊協同突防-攻擊一體化隊形,該隊形兼顧了協同突防和協同攻擊需求。文獻[16]針對大規模直升機空戰編隊問題,采用遺傳算法進行優化。文獻[17]在隨機散布建筑物威脅的數字地圖下,采用改進PSO算法獲得收斂速度與優化質量滿足要求的無人機站位。

飛行器在編隊飛行過程中只需部分通信鏈路即可實現隊形控制,該部分通信鏈路為隊形保持情況下的通信拓撲,屬整個通信網絡子集,這就為給定編隊構型前提下減少通信路由代價提供了理論支撐。目前針對通信拓撲構成形式方面已有一定成果,以編隊控制方法為依據,通信拓撲具體包括:面向領導者-跟隨者編隊控制策略,采用通信網絡中一顆有向生成樹;面向行為或虛擬結構編隊控制策略,采用通信網絡中一個雙向環;面向基于一致性的編隊控制策略,采用的通信拓撲至少一個子集隸屬通信網絡的一顆有界生成樹。

在通信拓撲約束條件分析方面的研究成果集中在3個方面:一是編隊控制方法約束;二是領導者飛行器約束;三是通信鏈路故障約束。文獻[11]分析了四旋翼無人機通信拓撲構建條件,考慮基于一致性的編隊控制策略,提出如切換通信拓撲每個子集存在一條從領導者到跟隨者的生成樹,則可以實現穩定的編隊跟蹤隊形,并給出了具有1個領導者和3個跟隨者的四旋翼無人機飛行實驗。文獻[18]分析了不同領導者無人機站位約束下的編隊通信拓撲構建問題,提出了編隊領導者節點等效交換算法。文獻[21]研究了編隊跟蹤隊形下的通信質量與考慮領導者未知運動約束的協同控制律之間的關系,從中可以看出對領導者飛行器的機動位置估計偏差,會產生生成樹丟失風險。

通信拓撲的優化目標是在保證任務成功率基礎上降低編隊通信代價。文獻[22]將通信鏈路數量作為通信拓撲生成目標,但沒有考慮不同無人機之間通信鏈路對應通信代價的不同。文獻[23]考慮了通信路由賦權問題,提出最優持久編隊。文獻[24]提出了一種通信能耗均衡的三維最佳持久通信拓撲生成算法,將優化目標函數設計為從網絡拓撲中選擇合適的子集,使得各智能體中通信剩余能量持續時間最大化,之后引入離線優化算法進行迭代估計,通過理論分析與仿真算例驗證了計算復雜度與求解質量。

優化與決策理論在通信拓撲最優求解方面應用廣泛。文獻[25-26]采用Dijkstra最短路徑算法優化領導者-跟隨者編隊飛行框架下的通信拓撲。文獻[27]采用兩種不同的Nesterov加速算法,提出分布式加速最快梯度下降理論,下降收斂速率優于集中式方法,滿足通信網絡高度動態變化的航空適用需求。文獻[28]在大規模異構無人機集群通信網絡多邊穩定匹配問題上,提出了雙層穩定匹配分布式優化算法,通過與差分進化算法的對比仿真證明了所提方法在求解速度與質量方面的優越性。此外，研究人員將粒子群算法、蟻群算法、螢火蟲算法應用到無人機動態組網路由優化配置中。

本文研究了考慮攻防對抗態勢與最小信息流要求的編隊構型與拓撲優化問題,主要貢獻如下:針對高動態任務背景下多固定翼無人機在空間域、信息域快速優化問題給出了優化算法;針對編隊構型優化提出了基于態勢場的分層編隊構型結構優化方法;針對通信拓撲優化提出了基于Q學習的網絡連通性控制方法,解決了考慮攻防對抗態勢與最小信息流要求的編隊構型與拓撲優化問題,實現了兼具快速性與全局最優性的大規模編隊構型及拓撲優化效果。

1 模型建立

1.1 編隊構型建模

考慮架固定翼無人機通過通信拓撲連接而成的一個多無人機集群系統,按照編隊構型()進行時變編隊協同飛行。通信拓撲中的邊意味著無人機和無人機之間能夠進行相互通信。結合固定翼無人機作戰任務,建立編隊構型效能指標體系,用以定量、準確評估編隊構型參數對無人機集群系統協同編隊任務的影響。

本節的主要目的是綜合考慮戰場態勢信息與無人機自身特性,面向圖1所示的編隊構型效能最大化,設計滿足計算精度與實時性要求的多無人機編隊構型優化模型,并有針對性地開展選型定參工作。考慮集群作戰網絡規模大,提出了分層編隊構型結構模型,將無人機集群編隊進行分層,集群分層的每個節點均可表示一種基本編隊構型,最終得到整個無人機集群的設計隊形。

圖1 編隊構型效能指標體系Fig.1 Formation configuration efficiency index system

根據編隊構型的任務需求與工程實現,將三維編隊構型分解為水平和垂直兩個平面上的二維隊形,通過基本隊形組合形成立體協同編隊態勢。基本隊形共設計8種,采用二進制編碼對編隊進行編碼,具體如表1所示。

表1 基本隊形及其編碼表Table 1 Basic formation and its coding table

集群系統中固定翼無人機數量眾多,一般由多種基本編隊構型組成,編隊規模較大,為便于解析化描述,引入分層編碼解碼機制。針對網絡規模為的無人機集群系統,對編隊自頂向下進行共計(>1)層的分層劃分,直至不同分層獲得基本編隊構型,在第層得到最小編隊單元,在編隊結構體系構建過程中按照每層構建次序得出編碼序列。反過來,由編碼表對特定編碼序列進行依次解碼,反演獲得分層編隊構型。在編解碼過程中,根據各層節點中隊形在其上層節點隊形中的排布方式,按照從上到下、從左向右順序進行編碼和解碼,如圖2所示。

圖2 分層編隊構型編解碼過程Fig.2 Hierarchical formation coding and decoding process

選取編隊整體位置的幾何中心作為領導者無人機,上述位置無實體無人機時稱為虛擬領導者無人機。以上述幾何中心作參考點,描述不同基本隊形的具體設計參數,記為

(1)

固定翼無人機態勢場模型主要考慮無人機探測能力、生存能力、通信能力、攻擊能力等4方面因素,第架無人機態勢模型為

=(,,,,,)=(++)

(2)

式中:(,,)表示地面坐標系下無人機的位置坐標;(,,)表示地面坐標系下對抗目標的位置;表示無人機的探測能力;表示無人機的攻擊能力;表示無人機的生存能力;表示無人機的通信能力;、、分別表示攻擊能力、生存能力、通信能力的權重值,采用三角模糊數指標權重求解方法確定。

(1) 探測能力

固定翼無人機根據任務需求配裝不同功能的任務載荷,針對對抗目標的探測設備主要包括雷達和紅外搜索跟蹤裝置,探測能力模型如下:

=ln(1+)

(3)

式中:表示無人機的探測能力參數,具體表達式為

(4)

式中:表示末制導設備最大作用距離;?表示末制導設備最大搜索方位角;為對抗目標捕獲概率;為末制導體制衡量系數;為末制導可同時跟蹤的對抗目標數量。

(2) 攻擊能力

攻擊能力模型為

=ln(1+)

(5)

式中:表示無人機的攻擊能力參數,具體表達式為

(6)

式中:為制導方式修正系數,半主動雷達末制導=1,主動雷達末制導=15;為無人機單發命中概率;為無人機攻擊范圍角;為無人機最大可用過載;為無人機最大跟蹤角速度;為無人機距計算點的距離;為無人機最大射程;為無人機最小攻擊距離。

(3) 生存能力

無人機生存能力模型建立如下:

=ln(1+)

(7)

式中:表示生存能力參數,具體表達式為

(8)

式中:為無人機長度;為無人機翼展;為雷達發射面積;為易損系數,0<<1;表示戰場環境控制區域最大距離。

(4) 通信能力

無人機協同編隊通過編隊支撐網絡實現信息交換和共享,通信能力實現載體為數據鏈設備。數據鏈通信品質與無人機間距離相關,建立通信能力模型如下:

(9)

式中:為數據鏈設備的可靠性;為數據鏈最大通信距離;為與第架無人機的距離。

(5) 交換比

為表征編隊規模對綜合效能的影響,引入交換比概念,表征無人機集群系統在完成特定任務時收益與資源投入比較。設己方一架無人機作戰成本為cos (),則可定義交換比為

(10)

則在整個戰場環境下,己方無人機集群編隊系統產生的態勢場由不同節點成員在空間中的態勢疊加而成,具體表達式為

(11)

節點平均態勢為

(12)

在無人機集群編隊對抗目標過程中,攔截方考慮部署個節點,按照上述公式同理可計算攔截方態勢場如下:

(13)

戰場空間中攔截方部署情況包括離散的先驗已知威脅和僅獲取概略情報的非合作概率威脅,故在選取適應度函數表征無人機編隊效能時,應將戰場環境內概率威脅進行建模,基于態勢場的無人機隊形適應度函數為

(14)

式中:Area(->0)表示己方態勢場大于敵方態勢場的戰場環境局部面積;Area(Bat)表示戰場環境整體面積;表示攔截力量部署的概率分布區域。

1.2 通信拓撲建模

固定翼無人機主要通過數據鏈實現信息交互,按照有無信息中繼平臺,通信鏈路可以劃分為無人機-星-無人機、無人機間兩種形式。涉及無人機間協同組網通信的研究成果,主要從控制與通信兩方面分立開展,對于協同制導控制框架下對通信拓撲的反向設計研究結果較少。

本節從協同控制的最小需求出發,從適用編隊控制協議一般性的角度,給出通信拓撲需要滿足的最小條件。

在固定翼無人機執行協同編隊任務過程中,各成員通過無人機間信息交互形成的通信拓撲最小條件是,包含一條生成樹的有向圖,且根節點為虛擬領導者無人機。

為定量準確評估通信網絡建立路由過程對無人機集群系統協同編隊任務的影響,建立通信網絡拓撲參數效能指標體系,如圖3所示。

圖3 通信網絡拓撲參數效能指標體系Fig.3 Performance index system of communication network topology parameters

本節的主要目的是提出自主、智能的網絡連通性控制算法,對節點間連通情況進行優化設計,使得無人機集群系統在編隊協同控制基礎上,實現路由低開銷,在提升通信強度和降低被敵方發現概率間優化,得到最佳匹配。

針對固定翼無人機集群系統成員向成員構建通信鏈路的過程,建立無人機通信網絡路由模型,主要涉及通信強度、通信鏈路成本、端機功耗和被敵探測概率等四方面因素,具體如下:

(15)

式中:Com1表示通信強度;Com2表示通信鏈路成本;Com3表示端機功耗;Com4表示被敵探測概率;1,、2,、3,、4,分別表示通信強度、通信鏈路成本、端機功耗、被敵探測概率的權重值,權重由三角模糊數指標權重方法解算。

(1) 通信強度

集群系統編隊協同的首要基礎之一是建立較強的通信能力、信息感知能力,以實現高效的數據傳輸與信息共享。通信強度模型為

(16)

式中:為成員與成員間距離;為無人機間數據鏈最大作用距離。

(2) 通信鏈路成本

(17)

(3) 端機功耗

數據鏈端機作為通信網絡在無人機端側部署的載體,在高動態工作條件下需無人機提供大量能源,功耗與數據鏈作用距離和通信帶寬有關。端機功耗模型如下:

Com3=ln(1+Wt)

(18)

式中:Wt表示無人機的端機工作功率,具體表達式為

(19)

式中:代表通信帶寬;為標準狀態下通信帶寬;表示標稱狀態下端機功耗。

(4) 被敵探測概率

在無人機數據通信中產生的電磁信號會作為敵偵查探測的目標電子特征信息,與通信強度、端機功耗、工作頻段相關,建立被敵探測概率模型:

(20)

式中:fr為頻段系數,0

2 編隊構型與通信拓撲優化算法

2.1 編隊構型優化算法

下面基于PSO算法,給出網絡規模為的固定翼無人機集群系統編隊構型參數設計方法。

算法1 固定翼無人機集群系統編隊構型參數設計方法 步驟1 在首層分別進行8種基本隊形的節點平均態勢場計算,采用PSO算法優化編隊構型參數,計算每種基本隊形下適應度最大的隊形參數,對比分析后擇優選取。步驟2 計算最優基本隊形各實體單元坐標,作為下一層節點最優隊形站位的中心位置。在下一層采用PSO算法開展隊形選型定參工作,確定本層采取的基本隊形與隊形參數。步驟3 重復步驟2,直至隊形分解的無人機數量達到N。步驟4 整合各層級隊形優化結果,得到全局隊形優化方案。

2.2 通信拓撲優化算法

隨著編隊網絡規模的增加,通信網絡可建路由數量龐大,如采用基于規則的路由設計方法對式(15)進行優化,將給專家系統和計算實時性帶來較大負擔。本節在網絡路由過程中引入強化學習技術。

接下來需要給出網絡連通性控制方法,通過多輪迭代的Q學習策略尋找各網絡節點的最優行動值,即選取相應的最優路由方向。

本節旨在建立固定翼無人機集群系統的網絡通信關系,路由過程遍歷各編隊成員,選擇狀態量對應編隊規模,記狀態空間={1,2,…,}。每個成員無人機周邊的鄰居節點作為行動空間的變量。(,)為初值為任意值的二維空間。每個成員無人機,需要找到最佳的路由方向,使得通信網絡拓撲參數效能最優。

根據假設1,路由的最終目標是建立從領導者無人機到當前節點的有向路徑。節點與領導者無人機可建立直接通信鏈路時,需要獲得最大獎勵,故回報函數設為;節點可與周邊鄰居建立多跳關聯時,需要獲得最佳網絡通信路由,故回報函數設為Com。策略選擇機制方面,采用貪婪策略來探索新的動作序列。

算法2 基于Q學習的網絡拓撲優化方法 步驟1 根據固定翼無人機集群系統不同節點間距離,結合數據鏈建立鏈路的距離限制,建立無人機可建最大通信拓撲,計算初始狀態的累計回報Q矩陣:Qij=0,rij≤Rdl-1,rij>Rdl{步驟2 針對整個無人機編隊中某一節點i,將其狀態初始化為si,將其預處理成與Q網絡的輸入結構相同。步驟3 回報函數的計算fR(s,a)=Fmax,(v0,vj);j=1,2,…,NFmaxComij,(vi,vj);j=1,2,…,N;i≠0ì?í????式中:建立領導者向某節點通信鏈路時,表示為(v0,vj),回報函數取Fmax。建立其他通信鏈路時,表示為(vi,vj),回報函數取Fmax/Comij。步驟4 動作設置與優化根據無人機可建路由行動空間,將臨近節點作為建立鏈路的可選動作,選擇Q值最大的動作,獲得即時獎勵fR(s,a),并進而完成Q值的更新:Q(st+1,at+1)=(1-α)Q(st,at)+α[fR(st,at)+γmaxQ′(st+1,at+1)]步驟5 重復執行步驟2～步驟4,直至Q網絡收斂。步驟6 選擇距離領導者無人機最遠的節點,根據Q矩陣推理獲得最優動作,建立通信主鏈路。步驟7 如通信主鏈路涵蓋所有成員,計算結束;如存在通信主鏈路外成員,則此無人機選擇最短路徑與通信主鏈路建立路由,形成整體網絡通信拓撲。

3 仿真實驗分析

在本節中,將對編隊規模為8的察打一體固定翼無人機集群系統,遂行30 km×30 km戰場環境范圍內的目標群對抗任務,進行編隊構型與通信拓撲優化。戰場環境在地面坐標系平面內柵格化成300×300區域網格,各固定翼無人機性能指標見表2。存在規模=5的攔截編隊,其位置部署在3 km×2 km的概率分布區域內,如圖4所示。虛擬領導者無人機處于編隊集群中心位置,仿真初始時刻位置=-1 200 m,=12 250 m,=-500 m,航跡傾斜角=0°,航跡偏轉角=0°,初始速度為250 m/s。虛擬領導者無人機朝向動態集結點飛行,集結點初始位置為戰場原點,速度=50 m/s,=0,=50 m/s。要求虛擬領導者無人機在飛行末段實現帶有攻擊角度約束的入射,期望角度設計為=0°、=45°,跟隨者無人機以虛擬領導者無人機為中心建立期望的編隊構型與通信拓撲。

表2 固定翼無人機性能指標Table 2 Fixed-wing UAVs performance indicators

圖4 戰場環境部署Fig.4 Battlefield environment deployment

3.1 編隊構型優化仿真

針對虛擬領導者無人機運動軌跡,亦即固定翼無人機集群系統整體運動參考軌跡,在地面坐標系下、平面內采用魯棒自適應制導律求解。設定虛擬領導者無人機到達集結點的條件為偏移量小于1 m。仿真結果如圖5所示,虛擬領導者無人機最終以距離集結點0.045 m的偏移量實現帶有攻擊角度約束的入射。虛擬領導者無人機運動設計過程不是本文研究重點,這里僅給出設計結果。

圖5 虛擬領導者無人機運動曲線Fig.5 Virtual leader unmanned aerial vehicle motion curve

針對跟隨者無人機站位設計,在飛行不同時刻均以虛擬領導者無人機為中心構建編隊構型。取=5.35 s開展基于態勢場的分層編隊構型設計與優化,來驗證本文算法的實際效果,此時虛擬領導者無人機位于圖4所示戰場區域原點。對于第1層,建立8種基本隊形的態勢場模型,假設編隊成員距離在1～6.5 km范圍內,應用PSO算法優化編隊構型,使用規模20的粒子群迭代30次。圖6繪制出了編隊規模為2的010基本隊形、編隊規模為3的100基本隊形的參數優化過程,其余基本隊形演化曲線與這兩種隊形相似。從圖6可以看出,本算法能在20次迭代范圍內搜索到模型的最優解,有效解決編隊構型快速優化問題。從圖7可以看出,針對基本隊形100,隨優化迭代進程,零勢線不斷向對抗目標區域壓縮,編隊構型對戰場態勢的控制效益不斷提升,態勢場由最初的0.767逐步增長為0.796。

圖6 編隊構型優化過程Fig.6 Formation configuration optimization process

圖7 基本隊形100下態勢場演化過程Fig.7 Evolution process of situation field under basic formation 100

編隊構型優化過程見表3和圖8。可以看出,在第1層,從8種隊形中選出最優基本隊形100,隊形參數經迭代優化設置為2.5時,可獲得對戰場空間0.796的控制比例。繼續運用基于態勢場分層編隊構型優化算法完成第2層、第3層計算,得到的編隊構型最終結果見表4和圖9,其中“—”表示上一層級已在本節點分層結束,本層級不作分層。

表3 第1層不同基本隊形迭代優化過程Table 3 The 1st iteration optimal process of different basic formations

圖8 第1層不同基本隊形的適應度直方圖Fig.8 The 1st fitness histogram of different basic formations

表4 優化隊形參數Table 4 Optimization of formation parameters

圖9 編隊構型優化結果Fig.9 Optimized result of formation configuration

為證明本策略兼顧隊形全局優化和計算實時性的優勢,對于同一種仿真場景,采用整體隊形優化的方法對固定翼無人機集群編隊構型進行優化,最終得到與圖9基本一致的最優隊形。采用整體法時的PSO算法的適應度曲線如圖10所示,可以看到適應度收斂到一個最大值,說明整體法能得到最優解,而由分層編隊構型算法計算的隊形與整體法相似,檢驗了分層算法計算精度的有效性。但是,因集群整體隊形復雜,迭代1次耗時5 ms,適應度計算時間約為6.325 s,遠大于分層算法1.935 s的計算時間,證明了本文算法在時間復雜度方面的優勢。

圖10 整體優化與本文算法對比Fig.10 Comparison of global optimization and the proposed algorithm

3.2 通信拓撲優化仿真

在不同網絡連通性配置下,本節基于網絡通信路由模型對所提理論、其他路由策略的通信性能進行仿真對比,對所提算法優越性進行驗證。針對仿真場景中編隊規模=8的固定翼無人機集群編隊,采用算法2生成最小信息流網絡拓撲連接。圖11描述了網絡可建路由分支為17的設定下無人機通信網絡訓練空間,節點1～8表示各跟隨者無人機,節點9代表虛擬領導者無人機。以4號無人機為例,其優化前可分別與3號、6號、8號無人機建立通信路由,通過Q學習策略對最優路由策略尋優的訓練過程如圖12所示。可以看出,在前70個訓練周期中,4號無人機與其余無人機的路由效果存在持續波動現象,這是由于在這個階段,值網絡輸出以探索各種可能的策略為主。經過前70個訓練周期后,值網絡對整個樣本空間進行了相對全面的采樣。基于采樣數據,通過訓練不斷對值進行泛化,直至趨近于常數。與3號(藍色曲線)、6號(黑色曲線)、8號(紅色曲線)無人機建立路由的穩態值分別為0.67、0.58、0.32。4號無人機據此建立與3號無人機的有向通信鏈路。其余路由優化過程與4號無人機類似。

圖11 可建立路由的無人機編隊設定Fig.11 Unmanned aerial vehicle formation available for routing settings

圖12 4號無人機Q值網絡訓練過程及效果Fig.12 Q value network training process and effect of No.4 unmanned aerial vehicle

經優化設計,無人機2、3分別經6、3跳后與虛擬領導者無人機9建立路由,形成通信拓撲主鏈路,存在一條以虛擬領導者無人機9為根節點的生成樹,通信拓撲最終設計結果如圖13所示。

圖13 通信拓撲優化結果Fig.13 Communication topology optimization results

除了Q學習外,進一步引入擴展場景,和其他兩個路由策略進行對比:

(1) 隨機路由策略:每個固定翼無人機在數據鏈建立通信范圍內隨機選擇與其他成員建立信息鏈路;

(2) 就近路由策略:每個固定翼無人機與離自己最近的其他成員建立信息鏈路。

圖14對比了不同路由策略,給定不同的網絡可建路由分支,每個策略所能實現的最優效果。橫坐標為網絡可建路由分支,縱坐標為整個網絡的通信性能。

圖14 不同路由策略在不同設定下的最優表現Fig.14 Optimal performance of different routing strategies under different settings

仿真實驗結果表明:

(1) 基于Q學習的網絡連通控制方法在4種編隊規模中(編隊規模依次為5、8、12、16)均比其他策略具備顯著優勢,就近路由策略表現次之,隨機路由策略表現最差。

(2) 在網絡連通性較低的配置下,由于優化動作空間有限,各個策略在路由選擇方面的差距不是很明顯,當整個編隊空間分布較為聚集時,由于可建路由分支增加,Q學習一直保持明顯優勢。

進一步考察Q學習的路由策略,從圖14可以看出,在可建路由分支滿足數據鏈建網標準的情況下,對任何一種網絡分布情況,Q學習均能自動學習出路由分配策略,即綜合考慮通信強度與突防性能建立最小信息流網絡拓撲,避開通信代價較高的節點鏈路。算法分析與仿真算例表明,在路由分配問題上,Q學習不僅求解效果優于其他策略,且具備優良的可解釋性。

4 結 論

本文研究了固定翼無人機時變編隊構型設計及拓撲優化問題,考慮了空間分布與通信拓撲兩種優化對象。將無人機劃分為領導者、跟隨者兩類,跟隨者無人機以領導者無人機運動軌跡為中心建立編隊構型與通信拓撲。在大規模集群編隊系統高動態任務需求背景下,提出分層編隊構型設計模型,設計隊形編解碼方法和態勢場模型,采用PSO算法進行隊形參數優化。針對集群系統通信拓撲構建問題,建立了通信網絡路由模型,提出了基于Q學習網絡連通性控制算法,解決了協同一致性與網絡路由代價的平衡優化。仿真算例驗證了本文設計的時變編隊構型及通訊拓撲設計優化算法的有效性。