知識牽引與數據驅動的兵棋AI設計及關鍵技術

程 愷, 陳 剛, 余曉晗, 劉 滿, 邵天浩

(陸軍工程大學指揮控制工程學院, 江蘇 南京 210007)

0 引 言

兵棋是一種研究戰爭內在規律和訓練指揮員指揮決策能力的工具,分為手工兵棋和計算機兵棋。隨著信息技術的飛速發展,計算機兵棋逐漸成為當前兵棋推演的主要方式。特別是近年來人工智能(artifical intelligence, AI)技術在AlphaGo、德州撲克以及星際爭霸等游戲領域取得突破[1-7],從簡單環境下的完全信息博弈,到不完全信息博弈,再到復雜環境下的不完全信息博弈,這些游戲AI在與人的博弈中均展現出了高水平的智能性。由于兵棋推演也是一種復雜環境下的不完全信息博弈過程,因此如何將相關AI技術應用到兵棋推演中[8-9],設計實現兵棋AI輔助指揮員進行感知、判斷、決策和行動(observe orient decide act,OODA),已成為當前兵棋推演研究的熱點問題。

國外兵棋系統發展較早,美軍通過聯合戰區級兵棋系統(joint theater level simulation,JTLS) 和聯合沖突戰術兵棋系統(joint conflict and tactical simulation,JCATS)[10]等對作戰方案進行分析與評估。2020年美國蘭德公司發布了《思維機器時代的威懾》報告,討論的核心問題是兵棋推演中AI和自主技術如何隨著事件的發展影響局勢升級和威懾方式[11]。美國國防高級研究計劃局(defense advanced research projects agency,DARPA)最近也啟動了“兵棋突破者”項目,旨在研究開發兵棋AI幫助人類指揮官在真實戰斗中擊敗對手[12]。國內兵棋系統起步較晚,通過借鑒國外成熟的兵棋技術并與實際相結合,在兵棋系統研發與運用方面也取得了較快的發展。研制了戰略戰役級兵棋系統,并分析了AI特別是深度學習運用在兵棋系統上需要解決的問題[8]。自2017年首次推出“CASIA-先知1.0”兵棋推演人機對抗AI以來,陸續推出了分隊級AI “AI-alphawar V1.0”以及群隊級AI “紫冬智劍V1.0”,一直在探索如何將人工智能技術應用于復雜場景下不完全信息博弈的兵棋推演領域[13-14]。近期上線的“廟算·智勝”即時策略人機對抗平臺更是為相關科研人員研究兵棋AI提供了良好的平臺環境[15]。此外,2019年由指控學會和華戍防務共同推出的專業級兵棋《智戎·未來指揮官》,作為《“墨子”聯合作戰推演系統》的民用版本,在第三、四屆全國兵棋推演大賽中成為官方指定平臺。2020年由中央軍委裝備發展部舉辦的聯合作戰智能博弈挑戰賽,采用了陸海空一體的聯合戰役級兵棋系統。這些比賽都極大促進了智能博弈技術在兵棋推演中應用,取得了良好的效果。

分析梳理現有的兵棋AI研究,可以看出主要是利用強化學習、遷移學習、深度神經網絡、行為樹、有限狀態機、啟發式搜索、博弈優化等技術提升兵棋AI在態勢感知與判斷、指揮決策、行動執行等方面的智能性[16-19]。當前,各種智能博弈技術相互交織,迫切需要從整體架構上對兵棋AI的設計進行研究[20-21],充分發揮各類技術的優勢并避免其不足,從而提升兵棋AI的整體智能性。因此,本文在分析知識型兵棋AI與學習型兵棋AI優缺點的基礎上,提出了知識加學習的混合型AI設計思路,進一步在知識牽引與數據驅動背景下設計了兵棋AI開發框架,并針對框架中涉及的關鍵技術進行了深入探討,最后分析了該框架的可擴展性問題。

1 兩類兵棋AI優缺點分析

知識推理型和數據學習型兵棋AI是目前兵棋推演中主要使用的兩類決策模型,它們各自具有一定的優勢及不足。

1.1 知識推理型兵棋AI

知識推理型兵棋AI是通過人工抽取作戰規則、條令條例、指揮員經驗等非結構化信息形成領域知識,并以此為基礎進行推理決策的模型。

1.1.1 知識推理型兵棋AI的優點

(1) 無需訓練,可解決智能體的冷啟動問題

通過人工編輯將軍事知識轉化成計算機可以識別的結構化數據庫,作為兵棋AI進行推理決策的依據,一旦知識庫建立完成,不需要經過長時間的訓練,知識推理型兵棋AI即可運行。

(2) 具備高層戰法智能性,取決于領域知識的完善程度

人工抽取的知識大都是指揮員多年累積的經驗規則,例如體現指揮藝術的戰法策略,因此知識推理型兵棋AI能夠體現符合軍事常識的策略層面決策,其高層智能性水平取決于領域知識的完善程度。

1.1.2 知識推理型兵棋AI的缺點

(1) 人工建模領域知識,效率低下

知識和經驗大都來自領域專家,通常領域專家并不是計算機專家,需要計算機專家理解領域專家的知識后,再建立結構化數據庫讓計算機可讀,這個過程非常艱難,需要高度的協同且成本昂貴,費時費力。

(2) 確定性規則,智能化水平有上限

通常知識推理型兵棋AI都是基于確定性的規則進行推理決策,其上限是領域專家的個人經驗,難以突破產生超越人類智慧的水平,且展現出來的行為動作比較固定,很容易被對手發現缺陷。

1.2 數據學習型兵棋AI

數據學習型兵棋AI是基于大量數據及與環境的交互,通過深度學習、強化學習等方式不斷學習訓練得到的決策模型。

1.2.1 數據學習型兵棋AI的優點

(1) 通過算法自動從數據中學習知識,自動化程度高

不需要人工提煉領域知識,依靠算法和強大的算力,可以處理大量數據,從數據中獲取經驗知識,通過不斷優化學習展示出一定的智能性。

(2) 探索未知套路,靈活性高

由于是從數據獲取知識而不是人工編碼知識,數據學習型兵棋AI可能從自我博弈的數據中發現未知的行動套路,基于態勢輸出動作,展示出較高的靈活性。

1.2.2 數據學習型兵棋AI的缺點

(1) 狀態空間大,獎勵延遲長,學習訓練代價高昂

對于較為復雜的決策場景,模型學習訓練的搜索空間極其巨大,并且對于持續的序慣決策而言,隨著序慣長度的增加,模型的獎勵延遲加長,造成學習訓練的計算代價高昂。

(2) 模型解釋能力較差,泛化能力較弱

通常訓練得到深度神經網絡模型,知識隱藏在結點與結點的連接及其權重上,人類對這些形式的知識難以理解和解釋。如果模型訓練的場景與實際應用時的場景差別較大,效果通常較差。

(3) 高層戰法策略學習困難

基于數據進行訓練,得到的大多是底層動作級模型,即狀態-動作響應輸出模型,很難從數據中學習得到較高層面的戰法策略型知識,而往往這些戰法策略型知識更能體現出高水平的智能性。

1.3 兩類兵棋AI優缺點比較

從上述對知識推理型兵棋AI與數據學習型兵棋AI的優缺點分析可以看出,知識推理型兵棋AI具有無需訓練、高層智能的優勢,而數據學習型兵棋AI具有自動學習、靈活性高的優勢,因此考慮將這兩者的優勢有機結合起來,形成優勢互補的知識與數據混合的兵棋AI,如圖1所示。

圖1 優勢互補的知識數據混合型AIFig.1 Hybrid AI of knowledge and data withcomplementary advantages

2 知識牽引與數據驅動的兵棋AI設計

在知識與數據混合的思想指導下,以知識牽引AI的整體策略,以數據驅動AI的具體動作,設計基于知識牽引與數據驅動的兵棋AI框架。該框架分為宏觀和微觀兩個層面,宏觀層面AI為知識推理型,實現高層策略設計,主要通過作戰任務規劃技術產生作戰行動序列,微觀層面AI為數據學習型,實現底層態勢-動作執行,接收宏觀AI輸出的作戰行動序列,主要基于深度強化學習技術,產生算子最終執行的動作行為,如圖2所示。

圖2 基于知識與數據的兵棋AI設計框架Fig.2 Wargame AI design framework based on knowledge and data

知識主要包括戰法藝術類、行動規則類、對抗經驗類等,為宏觀AI提供推理決策依據。其中戰法藝術類知識主要指高層的作戰策略,體現指揮員的指揮藝術,例如聲東擊西、兩路夾擊等策略,用于指導基于聯盟博弈的空間域任務分解。行動規則類知識主要指將復雜的任務分解為若干行動的分解規則,例如對于火力打擊任務,可分解為機動、火力輸出等行動,用于指導基于層次任務網的時間域任務分解。對抗經驗類知識主要指局部的選擇規則,體現指揮員實戰經驗,例如如何選擇最佳的射擊點、如何選擇最佳的安全點等,用于指導基于遺傳模糊系統的關鍵點推理。時間域和空間域的任務分解都會產生需要完成的任務或行動,而對于動態變化的戰場態勢,初始規劃的行動序列可能會部分無法執行,從而無法達到作戰目標,因此需要對行動序列進行計劃修復或者重規劃,通過不斷調整行動序列應對各種不確定因素,保證預期作戰目標的達成。

數據主要包括約束規則數據、自博弈數據、復盤數據等,為微觀AI提供學習訓練基礎。其中約束規則類數據主要指基本的約束條件,例如武器在冷卻時間內不能再次射擊、高程差過大的路段車輛無法通行等,為基于深度強化學習的算子動作生成提供約束條件,避免產生明顯不符合規則的行動。自博弈類數據主要指智能體自己和自己對抗產生的數據,為基于深度強化學習的算子動作策略不斷優化提供數據基礎。復盤數據主要指人類選手的對抗數據,通過對其分析挖掘,對敵方位置和行動等進行預測,進而將不完全信息的戰場態勢變得更加透明,即基于數據補全的戰場態勢感知。

宏觀AI完成的作戰任務規劃,其本質就是形成任務執行主體,行動的先后順序,執行任務的地點,需要執行的任務。空間域的任務分解主要解決從頂層目標任務到分隊任務的分解,對算子進行分組形成不同分隊,并為其分配相應的分隊任務。通過引入博弈論中的聯盟博弈方法,期望實現分隊與分隊之間最大收益的協同作戰。時間域的任務分解主要解決從分隊任務到行動序列的分解,需要根據分隊任務明確分隊內每個算子的行動,并指定這些行動之間的先后順序。通過基于層次任務網的規劃技術,實現滿足作戰規則的行動序列生成。無論是分隊任務還是單個算子行動,都需要明確執行任務的地點,通過引入遺傳模糊系統實現關鍵點的推理,為任務和行動的執行提供最佳位置。微觀AI則主要解決“如何做”的問題,針對上層輸入的行動,采用深度強化學習技術得到態勢動作輸出模型,通過一系列的動作執行完成上層輸入的行動。

上下分層的設計框架,能夠充分發揮知識推理型和數據學習型AI各自優勢,并且避免其不足。宏觀AI具備一定戰法智能,在全局場景下針對目標任務,充分發揮已有知識的牽引作用,通過任務規劃設計戰爭。微觀AI具備一定的動作智能,在局部場景下針對特定行動,充分發揮算法學習與計算的能力,通過態勢-動作響應模型來生成動作完成行動。如此一來,既實現了宏觀層面指揮員的戰法藝術,又實現了微觀層面靈活快速的動作輸出。

3 知識牽引與數據驅動的兵棋AI關鍵技術

下面按照OODA的順序對知識牽引與數據驅動的兵棋AI框架中所涉及的關鍵技術進行闡述。

3.1 基于數據補全的戰場態勢感知

早期不完全信息博弈的代表是德州撲克等牌類游戲,主要通過概率統計和對對手建模減弱不完全信息的影響,像星際爭霸等即時策略(real-time strategy,RTS)游戲,其不完全信息受觀察范圍和屏幕大小的約束,主要的處理方式為利用長短記憶(long short-term memory,LSTM)網絡進行處理。

在戰爭對抗領域,優秀的指揮員必然能很好的透過戰爭迷霧,準確地分析敵方態勢和意圖。兵棋不完全信息主要是因為觀察距離限制或者地形遮擋而導致的敵方棋子信息不可觀察。一方面,對于從未觀察到的敵方棋子,其信息具有很強的隨機性,與對方指揮員的指揮風格相關性較大;另一方面,對于曾經觀察到的敵方棋子,當前時刻無法觀察,其隨機性相對較低,對其預測是一種條件概率預測。

在圖像處理領域,數據補全技術可以根據部分圖像生成其余的全部圖像[22-23]。兵棋態勢信息可以看作一張或多張圖片,因此考慮將圖像領域中的數據補全技術遷移到兵棋態勢感知領域中,根據部分態勢補全完整的態勢信息,揭開戰爭迷霧,基本思路如圖3所示。其中,條件變分自動編碼機(conditional variational auto encoder,CVAE)能夠根據特定的前提條件,隨機生成特定類型的圖像。神經高斯過程(neural processes,NP)是對CVAE框架的發展,其將圖片的已知信息作為概率預測的條件,對圖像未知的部分進行多樣性預測。模型訓練時基于大量的歷史復盤數據,得到態勢補全與預測的生成模型。算法輸入數據具有高度靈活性,既能夠根據當前時刻的已知態勢補全未知態勢,又能夠對未來下一時刻或者一段時間內的態勢進行預測生成,較好地滿足了不同戰場態勢感知的需求。

圖3 基于數據補全的戰場態勢感知Fig.3 Battlefield situation awareness based on data completion

該技術主要針對OODA中的觀察環節,將圖像處理領域中的數據補全技術遷移到兵棋的態勢感知中來,解決態勢中的部分可觀察問題。

3.2 基于遺傳模糊系統的關鍵地點推理

遺傳模糊系統是遺傳算法與模糊系統結合的一類模型。該模型既可以依托模糊系統建模專家知識,又可以借助遺傳算法挖掘經驗數據中的可靠信息,是一種能夠同步應用知識和數據的方法。在應對少量數據學習的問題時,該方法能夠盡可能地利用人類專家知識,從而實現更好的訓練效果[24-25]。

在本文框架中,遺傳模糊系統被用于作戰任務規劃中關鍵地點的推理,如圖4所示。通過建模專家知識,構造出初步的關鍵地點推理模糊系統,這是顯性知識的學習。之后,通過對對抗經驗的學習,對初步模糊系統中的規則和參數進行調優,實現隱性知識的學習。

圖4 基于遺傳模糊系統的作戰任務規劃關鍵地點推理Fig.4 Reasoning of key points in operational mission planning based on genetic fuzzy system

經過訓練的遺傳模糊系統可以在各類作戰任務規劃中推理出作戰任務的關鍵地點。例如為進攻任務推理“進攻點”,為防守任務推理“防守點”,為偵察任務推理“偵察點”等。自動推理作戰任務的關鍵地點是實現自主任務規劃的關鍵,可以提高作戰任務規劃的泛化能力。

該技術主要針對OODA中的判斷環節,將遺傳算法與模糊系統相結合,解決任務規劃中關鍵地點的自動推理問題。

3.3 基于層次任務網的規劃技術

從決策任務的復雜程度來看,國際象棋的決策空間是10123,圍棋是10360,王者榮耀(1V1)是1018 000,騰訊實驗室用了600 000個CPU以及1 064個GPU(Tesla P40+V100)訓練70 h能夠達到專業水平的AI智能體。

對于兵棋推演等決策空間更加巨大的作戰問題,如果通過單純的訓練想得到較高水平的指揮決策AI智能體,其所需的計算資源將更加龐大。

為此,可以采用多層次任務分解的思想,將決策空間劃分為策略層、分隊層和個體層3個層次分別求解。針對復雜問題,對其進行不同層次的劃分,降低了在每個層次上問題求解的決策空間,如圖5所示。

圖5 多層次決策空間的分解Fig.5 Decomposition of multi-level decision space

層次任務規劃與作戰過程中指揮員的思維方式很類似,都是將一個大的復雜任務不斷的分解細化,最終產生行動的過程[26-28]。因此在宏觀AI層面,采用層次任務規劃的方法,逐層分解產生行動序列，如圖6所示。

圖6 引入博弈的時空域層次任務規劃Fig.6 Hierarchical task planning in time and space domain with game theory

對于總體作戰任務,可以先劃分階段任務,這部分通常比較固定,可分為機動部署階段、偵查打擊階段、火力奪控階段、守點防御階段等。然后針對每個階段的任務,分解產生在本階段不同分隊的任務,例如偵查任務、打擊任務、保障任務等。最后針對每個分隊任務,再分解產生每個算子的作戰行動序列。從階段任務到分隊任務的分解、從分隊任務到作戰行動序列的分解都涉及到分解方法的選擇問題,傳統的層次任務網在選擇分解方法時通常只考慮己方的情況,為此將博弈論引入,通過聯盟博弈和動態博弈選擇合適的分解方法,既考慮己方之間的協同,又考慮到對手策略的影響,使產生的分隊任務和行動序列能夠獲取最大的收益。

該技術主要針對OODA中的決策環節,在層次任務網的基礎上引入博弈論,解決任務規劃中的協同和對抗問題。

3.4 反應與預測相結合的重規劃技術

由于作戰過程是一個高度動態的過程,初始規劃的行動序列由于戰場的種種不確定因素變得不可執行。任務規劃中處理不確定因素有兩種方式：反應式與預測式。反應式方法在計劃執行中動態調整,靈活多變但需要準確感知化;預測式方法在計劃執行中無需介入調整,魯棒性高但計劃制定復雜。單純的反應式或預測方法雖各有優勢,但也都存在一定缺陷。

因此,可以將二者結合,設計一套反應與預測相結合的混合式行動序列監視與執行方法,解決在合適的時機選擇合適的重規劃算法對初始行動序列進行調整的問題[29-30],如圖7所示。

圖7 應對不確定因素的重規劃方法Fig.7 Replanning method to deal with uncertain factors

狀態監測主要是確定重規劃介入的時機,包括兩個方面。一是從前向后的基于效果期望的差異監測,針對不確定因素對已經完成行動效果的影響問題,比較已完成行動的累積效果與實際效果,監視是否存在執行效果無效而導致的差異,從而判斷是否需要進行重規劃。二是從后向前的基于任務期望的差異監測,針對不確定因素未執行行動前提條件的影響問題,比較所有未執行行動的前提條件是否滿足從最終效果期望倒推而來小約束,從而判斷是否需要進行重規劃。

差異映射主要是根據差異的大小選擇不同的重規劃算法。其中計劃修復通過建立修復規則,針對個別行動進行局部調整,無需調用規劃器,局部重規劃針對還未完成或未執行的分隊任務進行局部調整,需要調用規劃器重新分解分隊任務,全局重規劃針對總體目標任務或者階段任務進行全局調整,需要調用規劃器對高層任務進行全面的調整。

最終通過狀態監測和差異映射確定在恰當的時機選擇合適的重規劃算法,提升任務規劃與執行過程中應對戰場不確定因素的能力。

該技術主要針對OODA中的決策環節,將反應式與預測式規劃相結合,解決計劃執行中受到不確定因素影響的問題。

3.5 基于深度強化學習的算子動作策略優化

基于深度強化學習的算子動作策略優化主要解決底層最佳動作的輸出問題[31-32],如圖8所示。

圖8 算子動作策略優化方法Fig.8 Operator action strategy optimization method

作為微觀AI的動作輸出模型,強化學習器的網絡結構包括狀態的編碼與策略的強化學習,從而最終預測輸出動作。模型的輸入數據包括基于數據補全生成的態勢數據、基于層次任務規劃產生的行動序列數據、從兵棋系統獲取的算子狀態數據等,這些數據通過由卷積層或全連接層組成的預處理網絡進行編碼。策略的強化學習采用近端策略優化方法(proximal policy optimization,PPO),PPO是一種基于策略梯度優化的深度強化學習算法,通過區分采樣策略和學習策略,可以在多個訓練步驟實現小批量的更新,并且適合于分布式的離線學習。在兵棋系統中,不同類型的算子通過一個策略網絡進行學習是比較困難的,因此可以通過對目標函數的解耦合,達到對不同類型算子解耦合的目的。根據解耦合后的目標函數利用PPO算法分別學習每類算子的動作輸出網絡,例如產生坦克算子動作輸出網絡,步兵算子動作輸出網絡等。最終由算子動作輸出網絡輸出當前態勢下最佳的動作,例如機動、射擊、奪控等。

預處理網絡與態勢復雜程度相關,在兩個算子與兩個算子對抗條件下,態勢、行動、算子狀態都相對簡單,此時的預處理網絡較為簡單。而隨著算子數量的增多,從兩個到多個,從分隊到群隊,輸入的數據將變得十分復雜,此時的預處理網絡也將變得較為復雜。然而,各類算子動作輸出網絡與輸入的數據無關,其只與預處理網絡的輸出結果有關,這就將算子的動作輸出與態勢的復雜度分離了。算子動作輸出網絡可以單獨訓練,訓練完成后可以進行模塊化組合,從而使整個網絡模型能夠快速適應新的情況。

該技術主要針對OODA中的執行環節,在深度強化學習的基礎上引入解耦合的思想,解決訓練大規模兵棋算子動作輸出的問題。

4 知識牽引與數據驅動的兵棋AI可拓展性

基于知識牽引與數據驅動的兵棋AI設計具備良好的可擴展性,能夠根據不同的應用場景加載不同的模塊,動態適應分隊級AI、群隊級AI以及人機混合AI的應用需求。

(1) 分隊級AI設計與技術架構

針對分隊級AI,只需要在宏觀AI中去掉基于聯盟博弈的空間域任務分解模塊,給定分隊任務,調用基于層次任務網的時間域任務分解模塊即可,其他模塊無需改變。

(2) 群隊級AI設計與技術架構

針對群隊級AI,需要完整的宏觀AI和微觀AI,通過基于聯盟博弈的空間域任務分解模型實現將目標任務分解為各個分隊任務,即上述基于知識牽引與數據驅動的兵棋AI框架,不再贅述。

(3) 人機混合AI設計與技術架構

針對人機混合智能,在宏觀層面以指揮員為主進行任務規劃,其根據作戰意圖進行任務的逐層分解,并為各個分隊分配任務。與此同時,宏觀AI將指揮員的作戰意圖映射為目標任務,自動的對目標任務進行分解與分配,并生成行動序列,為指揮員的任務規劃提供輔助決策。這樣,在宏觀層面以指揮員為主、宏觀AI為輔進行任務規劃,而微觀AI自動地完成行動序列到動作的輸出,形成宏觀層面以人為主的人機混合以及宏微觀之間人機混合的技術架構。

5 結 論

隨著人工智能技術在星際爭霸、DOTA、王者榮耀等游戲領域取得的突破,智能博弈對抗技術已成為目前國內外人工智能領域研究的熱點。兵棋推演作為一種復雜環境下的不完全信息博弈過程,同樣受到越來越多的關注。本文著眼于智能兵棋推演的需求,首先分析了知識型兵棋AI與學習型兵棋AI的優勢與不足,提出了一種知識加數據的兵棋AI設計思路。其次,進一步提出了基于知識牽引與數據驅動的兵棋AI設計框架。然后,針對框架中涉及的態勢感知、關鍵點推理、任務規劃與重規劃、動作策略優化等關鍵技術進行了深入分析。最后,討論了該框架的可擴展性問題。在該框架以及相關關鍵技術的支撐下,設計并實現了分隊級、群隊級的兵棋AI,在多個作戰想定背景下,與多個AI團隊以及人類兵棋選手的比賽中均取得了優異的成績,說明本文所提框架具有較強的適應性,不僅能夠滿足不同場景下兵棋推演應用需求,而且能夠適用于解決一般的博弈對抗問題。

總之,人工智能尤其是強化學習、深度神經網絡等技術的發展給智能博弈對抗問題的解決帶來了契機。如何將新興的基于數據驅動的模型與傳統的基于知識規則的模型進行有機融合,是有效解決復雜環境下不完全信息博弈問題的關鍵所在。因此,未來的工作就是在此框架下,結合領域問題,科學合理地建立起這些異構模型之間的高效協作機制,進一步推進智能博弈對抗理論、技術與應用的深入發展。