基于深度強化學習的陸軍分隊戰(zhàn)術(shù)決策問題研究

李闊 方晨昕 王哲

摘 要：陸軍作為一個歷史悠久的兵種，同樣也是我國人民解放軍的主力部隊之一，其作戰(zhàn)策略極為重要。鑒于此，本文對深度強化學習的重要性進行闡述，通過強化學習的特點作用進行分析，又對深度強化學習下的陸軍分隊戰(zhàn)術(shù)的模式進行分析，并且提出了幾點的建議，此次研究的主要目的是為了強化學習方式，相應建立神經(jīng)網(wǎng)路結(jié)構(gòu)，促進其擁有更加正確科學的預測，便利深入的對陸軍分隊戰(zhàn)術(shù)決策進行研究。

關(guān)鍵詞：深度強化學習；陸軍分隊戰(zhàn)術(shù)；戰(zhàn)術(shù)決策研究

前言：隨著時代的發(fā)展以及科技的普及運用，軍事方面也越來越重視信息技術(shù)的使用，陸軍分隊戰(zhàn)術(shù)決策問題一直是非常關(guān)鍵的難題，需要考慮如何準確科學的規(guī)劃行動方案，如何在多種策略中進行高效率的篩選，最終選擇出能符合當時作戰(zhàn)環(huán)境的行為方案，并且能夠?qū)崿F(xiàn)總體回報利益最大值。目前，強化學習的應用幫助指揮人員作出智能的判斷，準確反映現(xiàn)場狀態(tài)與情形，并快速準確提供決策方案，極大的節(jié)省了時間以及人力。

一、深度強化學習的必要性

強化學習在信息科學領(lǐng)域又稱評價學習，是一項機器學習方法，一般應用于智能機器人的計算分析問題等領(lǐng)域，強化學習也是一種計算機反映從周圍狀態(tài)到做出反應行動的學習過程現(xiàn)象，以利于尋求最佳行為策略，從而獲得最大利益回報指數(shù)，強化學習是并不是直接呈現(xiàn)正確的行為，而是根據(jù)狀態(tài)反映出的信號去智能計算對應的動作，且對動作有一定的評價體系。在陸軍分隊戰(zhàn)術(shù)決策中，深度強化學習是非常有必要的，因其產(chǎn)生自心理學的動作理論，其神經(jīng)網(wǎng)絡反映大腦在作反饋的運行系統(tǒng)，根據(jù)現(xiàn)場狀態(tài)環(huán)境實時的更新其深度網(wǎng)絡，有利于指揮員積累經(jīng)驗，正確有效的指導陸軍分隊作出連續(xù)的動作，為陸軍分隊戰(zhàn)術(shù)問題提供決策參考。

二、深度強化學習下的陸軍分隊戰(zhàn)術(shù)模式分析

（一）基于馬爾可夫決策下的陸軍分隊戰(zhàn)術(shù)

陸軍分隊戰(zhàn)術(shù)在決策事務上通過深度學習方式，可以達到分散武裝空間與持續(xù)性狀態(tài)時段共同得到深度強化的學習過程，馬爾可夫決策的簡稱是MDP，其決策過程是通過馬爾可夫原理理論的任意變換動態(tài)的模式的一種最佳決策過程，一般根據(jù)某一時段的情況，在多種可行方案里選擇最優(yōu)的進行，具有隨機性和時效性，是決策領(lǐng)域中最為主要依靠的方法，也可稱為馬爾可夫任意動態(tài)計劃。基于馬爾可夫決策下的在陸軍分隊戰(zhàn)術(shù)決策中可分為四種模式A、S、P、R，既states（現(xiàn)狀式）；action（動作反應）；P是在某狀態(tài)下采取某種行動后，又會回到原來狀態(tài)的幾率；R是某種狀態(tài)下采取一定的行動之后得到的總體回報，還有一種表示某種狀態(tài)下采取一定的行動之后得到的即使回報是r，

馬爾可夫決策就是實現(xiàn)陸軍分隊作戰(zhàn)的利益回報最大化，陸軍作戰(zhàn)行動演練中，現(xiàn)場環(huán)境與隊伍移動的交互狀態(tài)，每過一段時間陸軍可以根據(jù)周圍環(huán)境表現(xiàn)出一個狀態(tài)S，再作出相應的行動A，接著演練會得到下一個A1、S1以及相應的回報r，這樣便會尋求到最好的方法，指的就是隊伍演練中的到最大的總體回報，通過馬爾可夫決策能夠達到深度強化學習的目標，從而找到最佳的解決策略。

（二）逆向強化學習下的陸軍分隊戰(zhàn)術(shù)

強化學習是指在要求總體回報指數(shù)最大化時的一種最優(yōu)方法，在求解過程中立即回報是人為給定的，但立即回報很難指定無法得到回報函數(shù)。而逆向強化學習就是將以往的學習經(jīng)驗知識，在重新進行利用創(chuàng)新，可以通過逆向強化幫助設計回報函數(shù)等情況。通過陸軍分隊作戰(zhàn)實際過程當中可以得出，分散武裝空間與持續(xù)性狀態(tài)時段會因其取值發(fā)生變化，進而不斷的呈現(xiàn)向上增長趨勢，但在眾多任務中，尤其是復雜的任務中，面對范圍廣錯綜復雜的情況想要找到最佳解決策略是非常困難的，就算是采用大面積搜索對于普通的計算機也是很大的挑戰(zhàn)。因此，通常情況下陸軍戰(zhàn)術(shù)決策相關(guān)人員不會簡單直接的去計算機查找，大多都會根據(jù)個人的陸軍作戰(zhàn)演練經(jīng)驗，將以往的各種戰(zhàn)術(shù)策略進行優(yōu)化總結(jié)，像這樣重新利用過去的信息資源，就是回報函數(shù)問題，陸軍分隊作戰(zhàn)策略會產(chǎn)生大量的作戰(zhàn)數(shù)據(jù)信息，其中涉及到非常多珍貴的高質(zhì)的從狀態(tài)到做出反應動作一系列的典范數(shù)據(jù)，這些都體現(xiàn)了陸軍分隊決策人員的優(yōu)秀智慧。在逆向強化學習中，陸軍分隊作戰(zhàn)時的狀態(tài)s和相應反映行為a都是給定的，分隊在根據(jù)給定的策略進行實施時，就會出現(xiàn)一個策略軌跡，為作戰(zhàn)指揮員提供一個計算機智能化下的決策作為參考，相當于在一定的回報函數(shù)中找到最大利益回報點，該最大回報的策略軌跡和典范軌跡相同。

（三）陸軍分隊戰(zhàn)術(shù)基于DQN及仿真下的決策推演

基于DQN下的陸軍分隊作戰(zhàn)基本原理就是，通過建立深度網(wǎng)絡，指導分隊作戰(zhàn)策略環(huán)境中的決策函數(shù)，基于回報函數(shù)不停的求解最佳的函數(shù)，最終取得高質(zhì)量高回報的策略軌跡數(shù)據(jù)，深度強化學習的基礎(chǔ)就是陸軍分隊作戰(zhàn)的模擬真實的場景，也稱為仿真演練，其應當包括的內(nèi)容有，一是二D或者三D的地貌形態(tài)，二是作戰(zhàn)分隊必備的設定其中有射擊距離、射擊命中率、切換槍彈時間以及槍械噪音后坐力等，三是作戰(zhàn)人員可見程度、傷害模型以及槍械射擊的聲音傳播程度等。在仿真演練過程當中可以改變原有腳本，增加新的突發(fā)事故，比如可以將一方隊伍人數(shù)增多，另一方隊伍人數(shù)損傷，還可以在交通要塞制造堵塞等，以此來鍛煉陸軍的應急能力和作戰(zhàn)技能。將特殊作戰(zhàn)分隊決策作為研究問題的對象，其策略問題可以看成是通過一系列的射擊動作下蹲進行選擇，最后完成清除任務到達目的地的過程，也是強化學習目的的一種方式。

結(jié)論：在此次研究中，主要闡述了深度強化學習的必要性，并對深度強化學習下的陸軍分隊戰(zhàn)術(shù)模式分析，主要包括：基于馬爾可夫決策下的陸軍分隊戰(zhàn)術(shù)：、逆向強化學習下的陸軍分隊戰(zhàn)術(shù)、陸軍分隊戰(zhàn)術(shù)基于DQN及仿真下的決策推演。通過MDP決策過程分析，加強強化學習與逆向強化學習的應用，完善強化學習的系統(tǒng)以及體制，最終保證陸軍作戰(zhàn)的指揮策略的準確性以及科學性，望此次研究的內(nèi)容能為實際提供幫助。

參考文獻：

[1]茅潔，谷倩.深度學習優(yōu)化作戰(zhàn)戰(zhàn)術(shù)算法的叢林項目技戰(zhàn)術(shù)決策研究[J].運動，2016，10（18）：5-6.

[2]李洪興.美國陸軍提高戰(zhàn)術(shù)分隊的賽博能力[J].現(xiàn)代軍事，2016，6（4）：25-25.

[3]唐凱，柏彥奇.陸軍戰(zhàn)術(shù)級裝備保障系統(tǒng)仿真概念模型六視圖體系結(jié)構(gòu)研究[J].軍械工程學院學報，2015，4（5）：1-6.

[4]張偉，何天鵬.陸軍合成分隊中偵察無人機的機動仿真研究[J].兵器裝備工程學報，2015，36（9）：5-9.

[5]陳希亮，張永亮.基于高度強化學習的陸軍分隊戰(zhàn)術(shù)決策問題研究[J].軍事運籌與系統(tǒng)工程，2017，7（3）.