聯合火力打擊戰法策略的智能進化方法研究

邢 巖，劉 昊，李保碩

(1.沈陽航空航天大學 電子信息工程學院， 沈陽 110000；2.國防大學 聯合作戰學院， 石家莊 050000； 3. 31696部隊參謀部， 遼寧 錦州 121000)

1 引言

在未來智能化條件下的諸軍兵種火力突防作戰，呈現出智能化、精確化、多彈種、實時動態可控的新型作戰特點，如何將聯合作戰指揮員的戰法策略實時高效地轉化為計算機能接收、理解并高效執行的指令數據流，并通過計算機的大規模運算生成符合指揮員決策意圖的智能優化結果，是智能化算法研究的核心和難點問題。隨著人工智能逐步融合軍隊裝備建設實際，戰法策略的人機結合以及聯合火力打擊任務規劃的智能優化成為可能，國內外專家聚焦于在現有博弈對抗算法基礎上實現對戰法策略的智能優化和輔助控制，以期提升火力打擊效率和勝率。

在國內外的人工智能領域相關研究中，文獻[1-5]利用多智能體序列的交叉變異實現戰術級兵棋對抗推演的智能決策，實現了智能體搭配組合下的決策優化；文獻[6-10]則聚焦桌面棋類游戲的對抗博弈研究，利用基于決策樹算法的改進博弈樹實現了智能體棋力對抗提升；文獻[11-15]聚焦五子棋算法等博弈棋類算法研究，利用剪枝算法和窗口搜索實現了智能系統棋藝提升；文獻[16-20]針對棋類博弈計算的復雜性劇增特點，通過神經元網絡訓練智能體內部結構，并使用威脅空間搜索實現算法的迭代加深，取得了較好的博弈效果。通過對同類研究分析，相關算法多聚焦于智能優化算法研究，通過神經網絡或強化學習方法達成系統結構對解決方案的適應性調整，而較少涉及智能體的結構以及多智能體之間協作性研究[21-25]。本文中從聯合火力打擊戰法策略研究切入，利用指揮員的主觀決策拆解為聯合火力打擊的實時任務規劃，進而轉譯為計算機可調用并優化的智能體結構，并通過眾多目的不同、性能表現各異的智能體之間的搭配組合實現群體行為的控制，進而使用反饋調節智能體構造，以求建立能夠學習優化的種群進化模型，為聯合火力打擊的智能優化提供算法平臺支撐。

2 聯合火力打擊概述

聯合火力打擊是諸軍兵種聯合作戰的重要打擊樣式，也是決戰決勝火力突防作戰中的主要作戰行動，由于聯合火力打擊中較少涉及諸軍兵種部隊的兵力機動轉移，而將主要作戰行動集中于頻繁的火力機動調度，因此相較于常規兵棋推演系統在一定程度上簡化了智能優化和動態火力分配的計算難度，為智能算法的應用提供了量化計算平臺。在聯合火力打擊中，通常依據指揮員定下作戰決心、細化戰法策略、諸軍兵種擬制任務規劃、執行火力打擊行動的流程執行，本文中主要關注指揮員戰法策略、火力打擊任務規劃和智能體構造3個環節之間的作用關系。

2.1 聯合火力打擊戰法策略

聯合火力打擊戰法策略是指揮員依據上級定下的作戰決心，結合諸軍兵種火力打擊部隊的作戰特點，以及敵方的防御重點定下的有傾向性的火力打擊行動準則。根據指揮員的主觀經驗，戰法策略可以是具有指向性的重點打擊目標類別策略，也可以是針對某種特定目標的硬性指標策略，戰法策略中包含決策傾向的目的性要求、部隊彈種的限制性要求、目標毀傷程度的技術性要求，表1為聯合火力打擊戰法策略示例。

表1 聯合火力打擊戰法策略

表1中的No.2戰法策略中，指揮員的目的性要求為體系破擊，因此對高體系價值目標的毀傷程度通常定為殲滅毀傷60%以上(判定敵方目標在達成60%以上毀傷即可視為殲滅)，同時對參戰火力打擊部隊彈種的使用亦有相應約束，如對DF21D導彈部隊的使用應做以限制，以保持對敵航母威脅等。

2.2 聯合火力打擊任務規劃

在指揮員主觀戰法策略基礎上，參謀機構應以此為準則要求，細化擬制諸軍兵種火力打擊部隊的聯合火力打擊任務規劃，任務規劃中明確參與打擊部隊彈種的編號名稱、火力打擊發起時刻、打擊目標的編號性質及坐標位置。聯合火力打擊任務規劃與戰法策略之間是多對一的對應關系，即在同一戰法策略的指導下，不同的參謀人員可依據自身特點擬制多種多樣的任務規劃，并能保證符合戰法策略的硬約束條件，而各任務規劃之間的執行差異度和最終執行效果是衡量參謀人員綜合素養的關鍵指標，一般只有經過實戰或兵棋推演實現量化評估。

3 智能體構造方法

聯合火力打擊的智能體結構可視作是聯合火力打擊任務規劃的計算機轉譯矩陣，目標是為智能優化的概率性變異操作提供合適的執行單元，就如同基因代碼，能夠隨著不斷自我復制產生微小變異，以進化出適應性后代。智能體構造可以依托聯合火力打擊任務規劃，但必須滿足如下條件：一是智能體能夠包含所有的戰法策略表述；二是智能體結構應是矩陣行列表達式；三是智能體結構能夠變異和轉譯，轉譯即能夠一對一的與聯合火力打擊任務規劃建立對應關系。通過約束條件可知，智能體有且僅能轉譯為一個聯合火力打擊任務規劃，而考慮到智能體的系統變異復雜性，有必要為智能體保留一定的冗余變異空間，因此聯合火力打擊任務規劃能夠轉譯為多個智能體，聯合火力打擊戰法策略、任務規劃、智能體之間的對應關系如圖1所示。

圖1 戰法策略、任務規劃、智能體對應關系框圖Fig.1 Tactics，mission planning，agent corresponding relationship

聯合火力打擊任務規劃擬制流程：

1) 確定限制條件。包括客觀限制條件如地形、天候、射程、空域、彈種目標匹配、毀傷程度等；以及主觀限制條件如指揮員主觀命令部隊彈種待命導致的火力打擊策略改變等，以此建立部隊彈種與特定目標的匹配限制表。

2) 選擇部隊彈種。通過遍歷所有任務部隊，確定當前處于空閑待命狀態的任務部隊，同時根據彈藥剩余儲備選擇執行火力打擊任務的彈種。

3) 選擇打擊目標。通過遍歷所有打擊目標，確定當前優先打擊的目標編號，同時根據匹配限制表查詢是否符合火力打擊條件。

4)建立火力打擊指令。在指令中輸入部隊彈種編號、目標編號，并根據當前任務條件確定火力打擊發起時刻，在系統中錄入火力打擊指令。

5) 重復步驟2)～步驟4)，直至達成退出條件：參戰部隊均無法執行火力打擊任務，或者所有目標均已達成規定毀傷指標。

6) 輸出任務規劃。將上述步驟中錄入的所有指令輸出為聯合火力打擊任務規劃，必要時利用計算機仿真計算任務規劃的預期執行效果評分。

智能體構造過程本質上是再現聯合火力打擊任務規劃的擬制過程，因此可將智能體構造過程劃分為部隊彈種選擇、打擊目標選擇、冗余數據設計3部分。

3.1 具備深度學習能力的部隊彈種排序

考慮智能體必須在變異過程中貼合聯合火力打擊任務規劃，因而有必要引入部隊彈種的排序表結構代替任務規劃擬制中的選擇部隊彈種步驟，排序表優點在于具備動態適應性，不會因為智能體變異而產生無法合法表述為任務規劃的情況。并引入轉譯的規則約束：如當前選中的部隊彈種無法執行火力打擊任務，則按照排序表依次選中后序部隊彈種。在排序表結構中，變異操作借鑒了旅行商NP問題中的遍歷節點算法，只需對調其中兩個節點即可完成變異操作。智能體在優化選擇過程中，必然需要保留一定的冗余度，以防止算法陷入局部最優而失效，因此設計冗余結構：在每個部隊彈種的打擊排序表中引入一定的-1編號，當部隊彈種觸發該位置，則執行待命操作，以保證隨時保留一定的彈藥余量打擊重點目標。

智能體結構包括：1) 部隊彈種序號，2) 壽命，3) 綜合評分，4) 目標排序表。

智能體示例：D131115旅發射1營，壽命為24，綜合評分為2 152.38，目標排序為30、29、13-1、8、16、2、4。

3.2 多智能體搭配組合方法

每個智能體代表唯一對應的部隊彈種，則多個智能體的搭配組合即可轉譯為聯合火力打擊任務規劃，因此建立由多個智能體組成的種群結構：種群中包含對應不同部隊彈種的多個智能體，種群內智能體通過反饋評分調節達成內部目標排序表的適應性進化。為了計算反饋評分，引入敵我雙種群模式，敵我雙方的智能體隨機搭配組合，形成多種多樣的任務規劃，并通過敵我雙方的任務規劃實現聯合火力打擊的兵棋對抗推演，利用對抗結果反饋到智能體綜合評分，進而實現智能體的優勝劣汰。由于不同部隊彈種的智能體之間的搭配組合隨機實現，鑒于種群規模龐大，因而能夠產生智能體搭配組合中的涌現效應，即產生復雜系統中的群體進化現象，利用種群中智能體搭配組合的復雜性對抗多種多樣的敵方任務規劃類型，并通過多代進化實現智能體智力水平的提升。敵我雙種群示意如圖2所示。

3.3 多智能體協作進化算法

智能體攜帶了某個部隊彈種的特定打擊目標排序表，隸屬于同一部隊彈種的智能體之間可視為同一物種，存在競爭關系，即智能體間依靠激勵函數的反饋評分確定淘汰和繁殖對象，并在多代進化后實現算法對敵我對抗推演過程的深度學習；隸屬于不同部隊彈種的智能體之間如同不同物種，存在協作關系，即多個隸屬于不同部隊彈種的智能體搭配組合實現唯一對應的聯合火力打擊任務規劃，搭配組合方式的復雜性決定了任務規劃具備復雜多樣性，智能體結構的改變使群體涌現產生的任務規劃發生群體性的改變，達成以復雜對抗復雜的效果；算法流程為：

步驟1建立紅藍雙種群。種群內為每個部隊彈種分配4個初始化智能體，通過隨機分配打擊目標排序實現智能體的初始化，每個智能體的初始評分設置為0。

步驟2建立任務規劃。隨機抽取同一部隊彈種中的智能體，按照部隊彈種順序從每個選中智能體對應的目標排序表中抽取擬打擊目標編號，如選中冗余項-1則命令該部隊待命3 min，根據部隊打擊能力表計算該部隊的執行規劃時刻、火力打擊時刻以及彈藥消耗量，為了防止規劃執行中有目標已被消滅導致的彈藥剩余情況，應根據目標排序表多分配一定的任務規劃項。在生成所有部隊彈種對應的任務規劃項后，應對所有任務規劃項按照火力打擊時刻由小至大排序以貼合任務規劃的對抗推演操作。

步驟3計算紅藍對抗結果。利用兵棋推演平臺實現紅藍任務規劃的對抗推演，嚴格依據任務規劃實現聯合火力打擊并統計最終紅藍雙方的兵力損失和彈藥消耗，以此計算紅藍雙方的輸贏結果以及各自評分。設紅方的最終體系價值評分為pH，藍方最終體系價值評分為pL，則反饋評分Δf的計算公式為

(1)

步驟4更新參與搭配組合的智能體分值。對于勝利方的智能體獎勵反饋評分；對于失敗方的智能體扣除反饋評分；以此更新各智能體的分值并記錄壽命+1，并執行淘汰繁殖操作：所有壽命上限達到1 000的智能體執行變異操作，即替換目標排序表中隨機兩個目標序號的位置，并置壽命和綜合評分為0；對同部隊彈種的最高分智能體執行變異操作，并用新生智能體替換同部隊彈種中的最低分智能體。

步驟5重復步驟2～步驟4，直至達成退出條件：進化代數達到上限。輸出紅藍雙方最高分智能體對應的任務規劃。

3.4 任務規劃對抗推演方法

敵我種群產生的任務規劃實現對抗推演的方法流程較為復雜，主要包括：按照火力打擊時刻混合排列敵我雙方的任務規劃；計算各任務規劃項中對打擊目標的毀傷程度，并更新參與打擊部隊的彈藥儲備量；如是航空部隊打擊，單獨計算敵方防空反擊造成的部隊毀傷程度，并更新敵方防空部隊的彈藥儲備量；判斷所有任務規劃是否執行完畢，如任務規劃項因彈藥耗盡或目標達成毀傷上限無法執行則跳過；根據敵我雙方終止狀態時的各目標毀傷程度和部隊關聯關系計算敵我雙方的網絡體系價值[26-31]。

4 實驗分析

實驗目的在于檢驗智能體結構能否完全覆蓋指揮員主觀戰法策略和參謀機構擬制的聯合火力打擊任務規劃，進而在此前提下檢驗任務規劃實現了智力提升。基于此，首先引入不同的智能體結構并分析其轉譯為任務規劃的對比情況；而后對變異可能導致的任務規劃變化情況進行量化分析，以檢驗智能體的變異穩定性；最后通過橫向對比多種智能優化算法，檢驗多智能體協同進化方法的有效性。

4.1 智能體結構覆蓋范圍分析

考慮聯合火力打擊任務規劃的作用范圍和變化幅度寬廣，而智能體結構變異如不能有效覆蓋任務規劃則會造成全局尋優能力下降甚至失效，因此有必要進行智能體結構變異與任務規劃范圍之間的覆蓋率分析。實驗選取任務規劃的蒙特卡洛隨機產生不同的后代結果，而后使用智能體轉譯算法將任務規劃轉化為智能體結構，并存儲為 10 000個對照種群作為對照單元；采用協同進化的方法產生多代智能體，每一代智能體與對照種群做以比對，如匹配對照單元內的智能體結構則記錄匹配度+1，進行 1 000代進化而后統計匹配度的變化情況，為了規避隨機不確定性帶來的覆蓋率影響，進行3組實驗并統計結果；各代匹配度變化如圖3所示。

圖3 各代匹配度變化情況Fig.3 The change of matching degree in different generations

通過對比分析可知，隨著進化次數的提升，智能體能夠覆蓋的匹配度逐步提升，進而使對照單元的覆蓋率同步升高，但隨著優化結果的逐步收斂，覆蓋率的提升幅度逐步縮窄，3次實驗的最終覆蓋率均未超過60%，實驗表明協同進化達成了進化的效果，同時也簡化了搜索范圍，對于初期效果不理想的智能體后代未進行后續帶入。但從800代后的覆蓋率分析，數值提升依然持續，只是速度相對降低，證明算法依然在尋找全局最優。

4.2 智能體變異效果分析

智能體的變異操作借鑒了旅行商問題求解中的替換節點操作，包含2種變異：一是通過同部隊彈種的最高分智能體變異以替換最低分智能體；二是對到達壽命上限的智能體變異以提升智能體多樣性，防止產生局部收斂的超高分智能體。為了檢驗變異效果，分別以變異操作中對調2次和對調3次的智能體變異情況作為參照對象，結果如圖4所示。

圖4 變異效果曲線Fig.4 Comparison and analysis of variation effect

通過對比分析可知，變異操作對新生任務規劃能夠產生影響，隨著變異次數的增多，紅藍對抗的勝率逐步趨向穩定，導致對應最優任務規劃的對抗能力難以有效提升；相比較而言，圖4(c)中的對調1次變異表現最為優越，隨著同一智能體中變異次數的增多，與測試樣本對抗勝率則持續下降。原因在于頻率過高的變異使高分智能體的對抗經驗沒有及時傳遞給種群內其他智能體，導致對抗經驗的流失，以至于出現圖4(c)中的波動效果。從最佳進化代數上分析，考慮算法各代智能體均以敵方最優智能體為博弈對象，環境處于動態變化狀態，因此屬于無限博弈，智能體隨著進化代數的增加而積累博弈經驗，改造自身結構，因此最佳進化代數應取決于計算機的性能和紅藍對抗結果的分叉程度，如圖4(a)中55代之后藍方勝率明顯高于紅方，此刻應停止進化并取藍方智能體作為最佳智能體。

4.3 智能體對抗效果分析

為了驗證算法的有效性，選取遺傳算法[32]作為對比算法，利用任務規劃的交叉變異操作產生新個體，同時通過紅藍對抗進化實現任務規劃的優化。2種算法結果如圖5所示。

圖5 算法效果對比分析Fig.5 Comparison and analysis of algorithm effect

通過對比分析可知，對抗進化算法和本方法在各代紅藍勝率上基本持平，紅藍對抗結果均為糾纏狀態，但在與測試樣本對抗的勝率統計上，智能對抗進化算法表現明顯不如本方法，勝利次數呈現波動狀態，難以恒定收斂。原因主要在于：智能對抗進化算法利用了遺傳算法在對抗環境中實現了敵我對抗進化，雖然在對抗中積累了經驗，但由于智能體之間不存在協作關系而只保留競爭關系，導致智能體進化過程中只專注于局部勝率，而忽視了對不同任務規劃的兼顧，也不存在多智能體之間產生的涌現效應，因此效果不如本方法；相比較而言，多智能體協作進化方法兼顧了智能體之間的競爭和協作關系，并通過涌現效應實現了任務規劃的復雜演變，因此總體效果高于對比算法。

5 結論

1) 在遺傳算法和旅行商問題求解算法的基礎上，充分借鑒多智能體協同進化的生物學原理，在敵我雙種群中引入多智能體搭配組合，進而實現了以智能體搭配組合復雜性對抗任務規劃復雜性，并通過多代進化達成了智能體的對抗能力提升。

2) 利用智能體和種群的構造和對抗推演中的反饋評分實現了智能體的智力提升，其算法內核能夠遷移到諸多研究領域，具備一定的應用性和擴展性。

3) 在后續研究中，將重點研究非對稱博弈狀態中的敵我智能體進化問題，以實現算法的更廣闊應用。