基于課程強化學習的聯合海空博弈決策模型訓練方法*

林澤陽，賴 俊，陳希亮，王 軍

（陸軍工程大學指揮控制工程學院，南京 210007）

0 引言

近年來，戰爭中的智能性逐漸凸顯，尤其以數字化和無人系統為主要代表，軍事決策的靈活性和機動性效能迫切需要得到提升［1］。指揮員面臨海量的作戰態勢數據，難以充分根據專家經驗進行科學決策，容易導致戰場信息過載和指揮控制失靈。

現代戰爭的復雜態勢需要指揮員能夠對于各種戰場資源進行協調支配以完成作戰行動，其中核心過程就是進行博弈決策模型的挑選［2］。博弈決策模型本質上就是在一定約束條件下進行作戰目標的優化實現，主要目標是將有限的作戰資源合理配置給作戰實體并執行適當的作戰行動。

智能博弈決策模型的評估和解決方法，如采用陸戰貝葉斯網絡模型（bayesian network model，BNM）［3］、基于證據網絡的威脅估計方法（threat estimation method based on evidence network，TEM-EN）［4］、人工勢場模型（artificial potential field model，APFM）［5］、非參量法模型（nonparametric model，NM）［6］等，大多需要借助專家經驗和貝葉斯網絡進行思維推理，并建立大型數據庫，缺點包括：1）對輸入信息的要求比較高，需要事先知道事件的先驗概率和條件概率等先決條件；2）設計過程復雜，且隨著戰場中作戰實體數量增加，其設計結構的復雜程度呈幾何倍數增長；3）在設計過程中對于人類經驗的依賴性較強，需要人為對環境進行建模，主觀判斷的準確性直接影響模型的實際效果。

其中的根本原因在于，現代戰場充滿了“戰爭迷霧”［7］：戰場環境具有不確定性、局面狀態具有高復雜性、對抗目標呈現非零和性、行動進程具有強動態性、行為規則具有不確定性。……