基于仿真博弈系統的指揮控制智能化發展設想*

金 欣，劉松毅

（1.信息系統工程重點實驗室，南京電子工程研究所，南京210007；2.中國衛星發射測控系統部，北京100011）

0 引言

在2016年之前，指揮控制工程領域對發展智能化還保持著相對謹慎的態度，這多半是與早些年專家系統等傳統AI技術的興衰有關。2016年是見證AI邁上新臺階的一年，繼AlphaGo戰勝人類圍棋手之后，Alpha AI再次戰勝人類飛行員，讓人們看到了指揮控制智能化的曙光［1-2］。AI改變指揮控制是未來的發展趨勢。

然而戰爭并不像圍棋那么簡單，現代化戰爭也絕不僅僅是空中格斗那么單一。美軍目前還主要是把智能化定位在無人機之類的戰術平臺上，指揮控制智能化要走的路還很長。首先遇到的問題就是缺乏指揮訓練數據，這為機器學習帶來了難題。機器學習需要大規模、高質量的樣本數據作為基礎。數據不夠自然無法發展AI，這是一個“巧婦難為無米之炊”的問題。

本文從AlphaGo和美軍“深綠”、“阿爾法”中得到啟示，提出通過打造逼真的“模擬戰爭游戲”，積累訓練數據，用于機器學習的思路，它對提升指揮控制智能化水平，研究指揮控制技術具有一定的指導意義。

1 深綠、AlphaGo和Alpha AI的簡要分析

美軍“深綠”計劃［3-7］于2007年啟動，2011年因經費、領導更換等原因被終止。最初主要是用于陸軍領域，受“深藍”計算機戰勝人類棋王的影響，故稱“深綠”。其主要目的是動態預測戰場的變化趨勢，幫助指揮員提前進行思考，判斷是否需要調整計劃，并協助指揮員生成新的替代方案。“深綠”的可貴之處，在于采用的是一種基于仿真環境的實踐思維，比任何理論模型更有說服力。遺憾的是，由于當時AI的技術發展水平限制，“深綠”中并沒有用到機器學習技術，導致實踐積累的經驗沒能轉換成知識。

2016年，AlphaGo戰勝李世石，被認為是“認知智能”進步的里程碑。對弈知識通過深度學習自己掌握，具有全局綜合和局部優化的平衡能力，甚至發現人類沒有的圍棋著法，比人更接近“圍棋之神”。2017年，AlphaGo Zero再度刷新紀錄，憑借強化學習的方法，以100∶0完勝李世石版AlphaGo。AlphaGo的制勝之道，在于采用的是一種基于游戲環境的機器學習思維，在人工智能發展到當下的水平，終于學有所成。但問題是，AlphaGo采用的方法可能無法照搬到軍事領域，畢竟千差萬別，其挑戰星際爭霸也還未獲捷報。

美國辛辛那提大學很早就開始研發AI空戰模擬訓練系統。2016年6月，一款名為“阿爾法”的AI軟件，在眾多AI軟件中勝出，并對戰人類頂尖飛行員，獲得了100%的勝利?！鞍柗ā泵鎸Φ膯栴}比AlphaGo簡單，屬于“動作及簡單戰術行為”智能，但通過對傳統人工智能方法的有機結合，也取得了優異的成績。“阿爾法”采用的是一種基于仿真訓練數據學習的思維，是仿真實踐和機器學習兩種思維的結合，頗具參考價值。

2 指揮控制+機器學習遇到的難題

眾所周知，機器學習是從大量數據中挖掘隱藏的規律和模式，對樣本數據的規模和質量有著較高的要求。首先，樣本數據的數量規模要大，尤其是深度學習，需要極其龐大的數據量支撐，數據量小會嚴重影響學習的效果，導致模型欠擬合。其次，樣本數據的質量要高，因為噪聲也會嚴重影響學習的效果。最后，樣本數據的覆蓋性要好，對各種類型的樣本都要能夠覆蓋，且數量相對均衡，否則容易造成過擬合。

指揮控制樣本數據只能從作戰實踐中積累，而和平時期作戰實踐以軍事演習訓練為主。然而，小規模作戰演習較多，大規模軍事演習一年也就數次。采集的數據大多未經清洗、加工、標注、整理，質量較低。受安全性、成本等限制，演習訓練的對抗激烈程度、戰術靈活程度、裝備使用程度較低。演習數據主要圍繞訓練需求產生，無法根據機器學習任務訂制，往往會出現樣例類型較為單一、樣本分布不均衡等問題。因此，指揮控制領域目前能夠產生的樣本數據難以滿足機器學習所需，成為智能化面臨的一大難題。

3 戰爭游戲+機器學習的思路

分析AlphaGo和美軍的“深綠”、“阿爾法”，發現它們有一個共同點：都是從基于仿真的實踐出發，從中汲取經驗或訓練機器學習模型。相比實兵演習訓練，仿真戰爭游戲具有安全、經濟、高效、可定制等顯著優點，是培育智能指揮控制的理想環境。使用這套環境可以在短時間內積累大量的對抗樣本數據，基于這些數據可以開展多種機器學習研究。

圖1 螺旋式上升的學習之路

從目標感知數據、游戲指令數據、結果統計數據3類最常見的數據出發，可以學習到以下3類模型：一是實體單元的行動決策模型，即根據實體單元每次執行的行動和收效反饋不斷學習優化，知道什么情況下采取什么行動能收到好的結果。二是指揮決策模型，即根據游戲玩家制定的整體行動決策，和一波行動執行完后取得的階段性成效反饋不斷學習優化，知道對什么樣的任務目標，制定什么樣的作戰方案，能夠取得好的結果。三是交戰裁決模型，即根據玩家的指令和最終結果統計數據，可以學到在什么樣的戰場環境下，執行什么樣的行動，能夠產生什么樣的結果。

建議從戰術級開始打造戰爭游戲，逐步向戰役級、戰略級延伸。一方面，下層的模型比較容易構建，越往上層越難。另一方面，上層的模型有可能從下層游戲數據中學習建立。戰術級游戲中，指揮對象主要是飛機、坦克、艦船之類的平臺，可控行為主要是機動、射擊、躲避攻擊之類的戰術動作。這些行為的能力、狀態主要受武器裝備性能、地理環境、通信及探測保障等物理模型制約，比較容易建模。行動規則比較明確，例如受到攻擊時是否躲避、發現目標時是否主動開火等，也比較容易建模。平臺間的探測發現、打擊命中概率等行為的效果，主要受物理模型制約，目前已經積累了不少。戰役級游戲中，指揮對象主要是戰術部隊，可控行為主要是戰術任務，如偵查某個基地、打擊某個部隊等。這個級別的行為能力、狀態，以及指揮決策、效果裁決等模型都較為復雜，難以直接構建。但有了大量戰術級游戲樣本數據之后，就可以嘗試用機器學習的方法建模。到了戰略級游戲中，指揮對象為戰役級部隊，可控行為也是更高層次的任務類型。模型更加復雜，但同樣可以通過戰役級游戲的數據學習得到。只是這種學習過程更加漫長，需要積累的案例數據更多。

我們看到，隨著游戲層級的提高，指揮對象粒度越粗，行為層次越高，模型越復雜。但低一級的游戲數據積累到一定程度，高一級的模型就能夠學習得到，指揮對象就能夠智能化地執行任務，高層級的玩家就不用執行太多的“微操作”，從而加快學習的速度?？偨Y歸納出來就是，通過低層級的游戲學習積累低層級的智能，用于打造高層級的游戲，再去學習積累高層級的智能，最終實現智能水平的螺旋式上升。

4 系統架構

系統架構設計如圖2所示，主要由用戶功能系統、游戲引擎、模型庫及相關軟件構成。

最底層是模型庫及相關軟件。游戲中的仿真模型主要包括環境模型、實體模型、決策模型、裁決模型4類。環境模型模擬的是各種戰場環境及其動態變化過程。實體模型模擬的是主戰平臺、部隊等各種指揮對象的狀態、能力和行動過程。決策模型模擬的是各級平臺操控人員、部隊指揮人員的決策規則。裁決模型模擬的是實體行為在實際環境下產生的作用效果。模型的逼真度是游戲獲得良好用戶體現的關鍵。因此，必須預留模型的開發接口和學習工具，支持開發者對模型的持續改進，和基于數據的模型學習優化。

圖2 系統架構設計

中間層是游戲引擎。引擎的基本功能是導調控制，依據劇情想定和用戶操作的驅動，按照時間片輪番調度各個仿真模型運行。模型之間是有交互的，引擎要負責管理模型之間的數據通信。不同模型運行的時間步長會有所不同，引擎要負責相互間的時間同步。模型仿真的結果最終要顯示到用戶界面上，引擎負責畫面的渲染。為了支持游戲過后的分析評估，引擎還應當支持游戲中各類數據的采集和游戲過程的回放。

最上層是用戶功能系統。首先為游戲設計人員提供功能軟件，用于編輯各種游戲想定，包括場景、兵力、事件等。其次為玩家提供戰場態勢、我方行動計劃及協同指揮信息的顯示，以及下達指揮命令的操作功能。再次為導演人員提供對游戲過程及后臺模型的干預調整，和對游戲過程及結果數據的各類分析評估功能。

5 關鍵技術

5.1 游戲AI建模技術

上述很多仿真模型在傳統游戲中已較為成熟，只是逼真度進一步提高的問題，例如環境模型、實體被調度行為模型、裁決模型等。還有些模型在傳統游戲中沒有或較弱，例如決策模型，也就是常說的游戲AI模型。這些模型現在都做得較為簡單，主要是為了訓練玩家快速上手而設計的。AI模型太過簡單會導致對手看起來很“笨”，很容易被欺騙或誘導。為了提升游戲的體驗，吸引玩家的興趣，如何提升游戲AI也是當下游戲行業中的一個熱點方向。要打造戰爭游戲，AI模型則更加重要。實際作戰中飛行員、坦克手以及編隊指揮官的決策模型要復雜得多。如何逼真地表達模擬他們的判斷和決策方法，是有待深入研究的。

5.2 多功能游戲引擎技術

提到游戲引擎，討論較多的往往是畫面的渲染效果。對于戰爭游戲而言，更重要的是引擎對于訓練玩家指揮員或戰法實驗分析等應用的支持。從訓練玩家指揮員的角度，引擎應當支持人在回路和人不在回路兩種模式。人不在回路模式就是完全依靠AI模型驅動指揮對象的行為，玩家只看不操作。人在回路模式一是指玩家負責指揮各個對象的行為，二是指玩家可以實時在線修改實體的決策模型，使之在后續游戲過程中作出不同于之前的自主行為決策。從戰法實驗分析的角度，引擎應當支持類似軟件調試運行模式。把一場游戲完整地玩完是需要耗費時間的。為了實驗戰法戰術，往往會挑選一個游戲過程片段，反復嘗試用不同的行動過程玩出不同的結果進行對比。還有可能設計一些實驗因子，以批處理的方式自動完成大樣本推演實驗。如此等等，隨著實驗分析功能的增加，會對引擎提出各種新的要求。

5.3 數據采集及分析評估技術

傳統的游戲通常會提供一些簡單的統計分析功能，比如基本的戰果、戰損和完成任務的時間、消耗資源和金錢的數量等，以及簡單的回放分析功能。這些功能對于評價一個玩家的水平和總結經驗教訓是夠了，但對于戰法實驗分析和機器學習還遠遠不夠。從戰法實驗角度，要對多次實驗結果的對比分析、聚類分析、單項/多項指標關聯統計分析等。戰法實驗分析的一個主要方法就是發現問題，為此游戲應當支持溯因分析。回放是一種基本的溯因分析手段，但只能看到一些表面現象。為了分析本質原因，玩家可能會增加一個可視窗口，觀察關鍵狀態參數隨著不同游戲過程變化的差異。為了找出收效最佳的戰法戰術運用方式，需要提供根據大樣本實驗結果統計和挖掘的尋優分析。此外，還有一個關鍵功能是敏感性分析，即通過設計實驗因子得到多次實驗結果，用來分析不同因子變化對結果影響的敏感性。

5.4 模型學習優化技術

當采集積累了大量游戲數據之后，模型的學習優化就成為可能，主要是針對AI模型。從機器學習的角度，第1步是樣本數據的構造。針對每一個學習任務，如何從眾多數據中抽取相應的輸入-輸出對作為合適的樣本，如何保證樣本的典型性和覆蓋性，如何劃分訓練集和測試集，選取哪些特征參數作為輸入，對輸出的結果如何打上標簽，當輸入特征參數太多以致特征向量維度過高時如何降維等，都是樣本數據構造中需要考慮的問題。機器學習的第2步是訓練模型的選取和設計。機器學習訓練模型有很多種，包括決策樹、神經網絡、支持向量機、貝葉斯分類器、概率圖、關聯規則等，具體又可以細分出數十種。按照天下沒有免費午餐的定律，沒有一種模型能夠適用于任何樣本集。在某一類樣本集上取得較好性能的模型，必然在另一類樣本集上性能較差。因此，針對一個樣本集，選擇哪種模型，以及模型的細節部分如何設計，都需要結合實驗不斷分析調整。機器學習的第3步是模型的訓練過程。在模型的訓練過程中，需要不斷地人工調整模型參數，以便讓模型更好地去適應要學習的問題。因此，模型參數調整也是需要結合具體問題具體研究的。

6 結論

軍事作戰指揮控制不同于簡單的棋類游戲，除了復雜性以外，樣本數據難以達到機器學習所需的規模和質量也是一個關鍵問題。相比實兵演習訓練，本文提出了一種更加安全、經濟、高效、可靈活訂制的樣本數據積累方法，即打造逼真的模擬戰爭游戲，從戰術級開始向戰役、戰略級延伸，通過采集指揮人員游戲過程中的指令和態勢數據，學習訓練戰場態勢認知、指揮決策制定等高層次模型，從而使得指揮控制智能化水平螺旋式上升。圍繞該思路，設計了戰爭游戲的系統架構，梳理了戰爭游戲中的關鍵技術。下一步研究將圍繞該思路，選取典型作戰應用場景，開展具體的游戲設計工作，構建游戲引擎，開展AI模型研究，數據采集分析和模型學習優化實驗，驗證上述思路的可行性。