基于深度強(qiáng)化學(xué)習(xí)的多域聯(lián)合干擾規(guī)避

潘筱茜 張 姣 劉 琰 王 杉 陳海濤 趙海濤 魏急波

（1.國(guó)防科技大學(xué)電子科學(xué)學(xué)院，湖南長(zhǎng)沙 410073；2.中國(guó)人民解放軍91428部隊(duì)，浙江寧波 315456）

1 引言

隨著信息化戰(zhàn)爭(zhēng)時(shí)代的到來(lái)，敵我雙方圍繞通信干擾與抗干擾的電子戰(zhàn)已經(jīng)成為信息化戰(zhàn)爭(zhēng)的重要組成部分。為應(yīng)對(duì)敵方惡意生成的電磁干擾，當(dāng)前通信抗干擾主要目的是依據(jù)通信任務(wù)的需求與戰(zhàn)場(chǎng)干擾環(huán)境動(dòng)態(tài)變化，在電磁和網(wǎng)絡(luò)空間形成電磁頻譜安全非對(duì)稱制衡能力。未來(lái)信息化戰(zhàn)場(chǎng)的主要特征就是網(wǎng)絡(luò)中心化、智能化以及多樣化。通信干擾設(shè)備不斷發(fā)展進(jìn)步，其具備的感知、分析、學(xué)習(xí)能力，使其可以輕易干擾正在進(jìn)行的通信傳輸。面對(duì)智能化通信干擾時(shí)，傳統(tǒng)的抗干擾通信體制已經(jīng)很難取得理想的效果。

針對(duì)無(wú)線通信系統(tǒng)中存在的電磁干擾問題，現(xiàn)有工作分別基于時(shí)、頻、空、功率等通信資源構(gòu)建抗干擾優(yōu)化模型，并提出優(yōu)化算法求解最優(yōu)抗干擾策略。文獻(xiàn)［1-3］采用了博弈論方法建模，很好地模擬了合法用戶與干擾者之間的交互，通過求解納什均衡獲得最優(yōu)通信策略。啟發(fā)式優(yōu)化算法［4］也廣泛用于多域參數(shù)的決策，文獻(xiàn)［5］研究了人工蜂群算法（ABC，Artificial Bee Colony Algorithm）在認(rèn)知抗干擾系統(tǒng)中智能決策中的應(yīng)用。上述優(yōu)化算法依賴于數(shù)學(xué)模型，然而環(huán)境的動(dòng)態(tài)特性往往會(huì)造成實(shí)際系統(tǒng)與理論模型的不匹配，無(wú)線通信需求的增長(zhǎng)也使各種優(yōu)化算法開銷增大。

近年來(lái)，人工智能和機(jī)器學(xué)習(xí)研究取得重大進(jìn)展，尤……