基于強化學習的衛星通信智能抗干擾決策探討

孔景娜

摘 要：隨著科技的進步，通信方式越來越發達。衛星能夠將衛星作為中轉站，在其電波覆蓋范圍以內，可以直接完成通信傳輸，而且通信過程中并不會受到各類地質災害的影響。文章通過對衛星通信進行分析，并結合實際對基于強化學習的衛星通信智能抗干擾決策提出個人觀點，希望為關注衛星通信智能抗干擾的人群帶來參考。

關鍵詞：強化學習;衛星通信;智能抗干擾技術

0 引言

衛星通信的覆蓋范圍非常大，而且衛星通信還能夠在不受地理環境限制的同時保證通信質量，所以衛星通信在很多領域中都得到了廣泛的應用。在使用衛星通信時，只有避免受到干擾，才能夠使衛星通信效果持續保持穩定。因此，有必要對基于強化學習的衛星通信智能抗干擾決策展開研究。

1? ? 衛星通信綜述

衛星通信作為現代通信的主要手段，其在各個領域都有著良好的發展前景。不同于其他通信方式，衛星通信在實際應用過程中不僅覆蓋范圍更廣，而且還可以有效保證通信傳輸質量。將人造衛星作為通信中轉站的想法來自于英國，如今地球之外的衛星中繼站已經成了現實。現如今，地面通信網絡的構建已經逐漸變得完善，但是因為每個區域的地理條件以及經濟條件各不相同，所以地面蜂窩系統很難真正意義上的完成全球覆蓋。所以衛星通信才會因為不受地域影響成為一種主要的通信手段。

2 衛星通信系統面對的干擾種類

根據鏈路不同，衛星通信系統通常需要面對上行、星間、下行干擾三種不同的干擾類別。因為衛星運行軌跡以及高度不容易發生改變，所以上行鏈路容易實施干擾。而地面站則因為分布范圍更加廣泛且部分可以移動，所以下行鏈路不容易實施干擾。而星間干擾則是對空間段衛星實施干擾，各類反衛星武器都會對衛星通信系統帶來威脅[1]。

在衛星通信系統中，電磁干擾通常可以分為壓制、靈巧、欺騙干擾3種。其中壓制干擾是通過對衛星接收機發出同頻率大功率信號使衛星誤碼率上升，影響衛星通信。或是通過使接收機飽和令其無法正常開展通信工作。通常情況下，常見的干擾信號可以分為單音、噪聲調制等形式。欺騙干擾指的是掌握衛星信息數據格式之后通過接收、生成等方式產生相近的信號來干擾衛星的信號接收。若衛星信號格式被完全破解，還有可能對衛星發送指令完成衛星控制。

3 強化學習

強化學習指的是一種智能學習算法，這種學習算法與人類的學習過程非常接近，通過與環境之間進行交互來掌握所需知識。強化學習的最終目標就是通過最優方案完成目標。在與環境交互期間，智能體需要對實時狀態進行合理評估，通過值函數進行評估時能夠判斷當前狀態的好與壞。某一方案下的值函數如式（1）：

通過強化學習能夠找到最優方案，即回報函數期望最大的方案策略，最優方案有可能并不唯一。在強化學過程中如果找到了最優狀態值函數，則在此函數的基礎之上，所有狀態都選定為最優動作，則可以獲得最優方案，這種方法為值迭代。

4 智能抗干擾模型

強化學習作為無須大量數據信息支持的機器學習算法，機器在與環境進行交互的同時能夠獲得所需的數據信息并對現有的算法進行優化、更新，所以強化學習非常適合在通信期間應用。系統由通信、智能決策兩部分組成，在干擾出現時便會隨之做出決策，對通信系統中的各種通信參數進行調整，通過這種方式能夠使通信狀態得到改善。當通信系統將通信效果反饋至智能決策系統時，就可以完成相應的訓練與學習，從而使學習在面對更加復雜的情況時能夠發揮出應有的作用。

4.1 通信模型

WGS采用了Ka頻段以及X頻段來進行通信，X、Ka頻段中分別有9個、10個波束。X頻段中的可用頻譜為500 MHz而Ka頻段則為1 GHz。在衛星通信系統中，通信部分融合了蜂窩小區頻率復用方案，其中每一個小區都會占用1 MHz的子信道。在通信無干擾時，采用頻分復用方案進行正常通信，而在受到衛星信號受到干擾之后，就可以令相鄰的7個蜂窩小區形成大區，在組成整體之后交由智能決策系統進行調配使用，為了避免因個別小區通信需求而忽略其他小區，特定小區的頻譜可以調整為正常通信期間的7倍，以此來提升整體抗干擾能力[2]。

4.2 強化學習模型

誤比特率是評價通信系統的重要指標之一。能夠對通信過程中傳輸數據準確度進行衡量，而在通信期間還存在通信速率指標。通信系統需要在誤比特率相對較低的情況下增加通信速率，而通信速率則會受到信道容量帶來的限制。在通信系統中，通過增加信號功率能夠增加信噪比，此時誤比特率將會降低。只有協調好誤比特率、發射功率與通信速率間的關系，才能夠使抗干擾能力進一步增加。

4.3 強化學習動作選擇

在衛星通信系統中，干擾信號能夠對各種有用信號帶來影響。通常情況下，干擾信號會通過以下幾點來影響到通信信號：第一，相同的信號頻率。相同頻率的信號會在信道中出現疊加的情況，疊加后的信號將會對信號波形帶來影響，這種干擾無法利用濾波器來消除。第二，干擾信號存在的頻帶范圍較寬。能夠使用降低信噪比的方式來對通信信號造成影響。強化學習動作能夠從調制方式、功率、頻域多種角度來合理選擇抗干擾方式。

4.4 強化學習狀態定義

在通信系統中，智能體就是為了增加智能抗干擾能力而添加的，所以智能體能夠將通信系統看作環境，以此來考慮強化學習動作。強化學習則通過改變頻段、功率、調制方式來做出相應動作，整個過程能夠滿足馬爾科夫決策的定義。

5 仿真、結果

通常情況下，干擾一般可以分為單一干擾與復合干擾兩種，兩種干擾類型的仿真參數各有不同，復合干擾便是由兩種不同干擾相互疊加之后形成的。在強化學習過程中，累計回報作為短期、長期回報二者之和，是一個非常重要的概念。其中短期回報指的是強化學習由當前動作產生的回報，而長期回報則是當前動作在未來有可能得到的回報。在擁有終止態的模型中，長期回報便是自當前動作開始直到終止之前所有動作共同的短期回報之和。如果模型并沒有終止態，則在計算長期回報時，就無法將每一次短期回報進行疊加，因為這種疊加方式得到的累計回報是屬于發散性質的，所以在這種模型中應該盡量考慮短期回報。誤比特率與速率、功率進行加權后能夠得到目標函數，所以對于衛星通信而言，應該在降低誤比特率的同時盡量增加速率、降低功率，因此在選取權重時可以考慮將誤比特率權重設置為0.8，而速率、功率權重則為0.1。強化學習在使用過程中需要通過動態規劃進行迭代處理，所以在使用期間應該優先判斷決策是否收斂，當收斂結果得到之后再對仿真結果進行驗證。

在單一干擾中，若通信系統受到了音頻干擾，則值函數大約可以在經過30迭代之后逐漸趨于穩定并進入收斂狀態。通過強化學習完成交互、收斂之后，在函數便可以計算出最佳解決方案。除了音頻干擾以后，面對窄帶、掃頻等干擾時，將強化學習作為核心的抗干擾決策系統同樣能夠發揮出相對較好的抗干擾效果。而在面對符合干擾時，無論是音頻+窄帶還是其他種類的符合干擾，都能夠通過強化學習來解決干擾問題。決策系統同樣會通過交互學習來找出最優解，運算過程中同樣在30次迭代左右便能夠進入到收斂狀態中，所以智能決策系統能夠在實際應用過程中有效降低衛星通信期間的誤碼率[3]。

6 結語

總而言之，在衛星通信過程中，抗干擾技術的效果非常重要。通過高質量的抗干擾決策，能夠使衛星通信在變得更加穩定的同時提升傳輸效率。基于強化學習的智能抗干擾決策便擁有非常優秀的抗干擾效果。相信隨著更多人了解到衛星通信抗干擾的重要性，衛星通信抗干擾能力一定會變得更好。

[參考文獻]

[1]張越，韓志鋼，張頌.衛星通信中的抗干擾技術分析[J].集成電路應用，2020（10）：180-181.

[2]張任楠，王志濤.衛星通信抗干擾技術及其發展趨勢分析[J].數字通信世界，2020（9）：79-80.

[3]李新科，朱英軍.基于星上處理的衛星通信抗干擾技術探究[J].網絡安全技術與應用，2020（8）：87-88.

（編輯 傅金睿）