基于深度學習的多波束衛星通信系統中動態波束調度技術研究

朱倪瑤 張波

【摘要】? ? 針對多波束技術為衛星通信系統帶來更大用戶容量，提升覆蓋能力的同時，也面臨波束控制難度高、資源浪費的問題。本文簡要闡述了多波束天線的工作原理與波束調度方法，并基于深度學習分析了動態波束調度技術，在未考慮延時優化的前提下，利用線性規劃得到適用穩態實踐平均值的波束調度技術，希望提升一般波束調度方案適應環境動態變化的能力。

【關鍵詞】? ? 多波束天線? ? 衛星通信系統? ? 動態波束調度? ? 深度學習

引言：

傳統的固定多波束衛星通信系統普遍存在波束資源浪費問題，所以有必要對全域動態波束調度技術進行研究，以此大幅度提升系統的通信容量，滿足地面用戶對通信質量的需求，進而達到改善無線通信能力的目的，實現多波束衛星通信系統整體資源利用效率提升的目標。

一、多波束衛星通信系統研究

1.1多波束天線的工作原理

多波束天線中的每個天線均使用一個獨立天線結構，衛星通信系統配置多波束天線之后，可具有較高的系統吞吐量、更加集中的波束能量，并且能夠實現區域的全覆蓋。多波束天線包括透鏡、陣列等多種類型，其中，多波束透鏡天線具有較強的功率放大能力與重構天線方向圖的能力，適用于軍事衛星。多波束陣列天線是指在直接輻射的基礎上，通過增加一個反輻射面來提升資源利用效率，使得相位不同的電磁波信號疊加成特定天線方向圖之后，向衛星空間發射相應的輻射單元，進而實現快速的波束跳變。

1.2波束調度方法的介紹

多波束衛星通信系統中的波束調度，需要每一時刻都要調整每個波束的方向，然后運用時分復用的方法，實現衛星波束發射機減小的目標。調度方法包括：1.輪詢調度法。所有波束會按照特定的順序覆蓋到全部小區，每個波束覆蓋的小區的時間幾乎相同，資源越均衡調度效果越佳。2.固定時隙調度法。一段時間內每個小區獲得波束的時間均是固定的，波束控制具有較強的公平性，但是業務請求量會隨人口流動、時間變化、氣候變化而改變。3.最長隊列調度法。主要是針對每個小區內帶傳輸的業務對波束進行排序，所以衛星通信系統只需考慮系統容量，但是對信道容量的要求存在一定不合理性。4.基于遺傳算法的調度法。這種方法會尋找到當前時隙的最優解，通過適度函數的運算對個體波束進行選擇，然后對每一時刻的波束進行迭代，充分考慮了用戶請求業務量與信道容量[1]。

二、基于深度學習的動態波束調度技術分析

為減少衛星通信系統發射機的數量、節約發射衛星成本，在多個小區內覆蓋少量波束就能解決流量需求不均衡的問題。因此，基于深度學習對當前時刻的動態波束調度技術進行分析，可按照特定順序將所有小區內待傳輸的業務量進行排序，然后利用遺傳算法尋找優化調度方案的最優解，綜合考慮的內容包括信道容量、業務請求量以及數據等待時長，以此提高衛星通信系統全局性能。

2.1系統模型

地面用戶終端作為互聯網接入服務的主要對象，由多波束衛星通信系統的前向鏈路將用戶終端與網關站聯系起來。進行調整后的影虎鏈路具有跳波束功能。假設衛星通信系統在全波小區覆蓋了K個有源波束，且有源波束數量遠小于小區個數，則可用集合來代表具有跳波束功能的衛星通訊場景相關模型。在動態波束調度技術對衛星通信緩沖區的數據包進行決策的過程中，可在某一時刻運用動態波束調度技術來表示若干個小區分配到的波束，綜合考慮信道容量與用戶業務請求，對有效載荷參數與信道條件進行相應的決策優化。同時，通過動態波束調度技術對小區內的流量進行優化，將最小化數據包延時作為優化目的，使用時延定義請求時間與數據包到達的時間之間的關系，超出時間限制的數據包將會被丟棄。此外，考慮到不同地理位置處用戶以及用戶群的可移動性，動態波束調度還應具有一定的追蹤能力，勢必利用有限的硬件資源，充分發揮出波束調度技術的優勢，以此為用戶提供更加優質的通信服務。

2.2動態波束調度方法

2.2.1整體架構

衛星通信系統中的動態波束調度方法，主要是將DRL-DBS算法作為構建多波束衛星智能體的基本思想，然后對特定傳輸環境中各個待請求發送、傳輸的數據包進行建模。建模的過程即為馬爾可夫決策過程，當決策智能體輸出當前波束狀態之后，衛星通信系統會在第一時間收到決策動作，并對輸出做出相應的獎勵，然就將能表征的動作值函數輸入到傳輸網絡中，進而得到有關波束的映射動作值，經過經驗池、目標網絡以及優化器，輸出的決策會被進一步優化，以此實現衛星通信系統多波束調度性能的優化，在最大程度上滿足不同小區用戶的通信質量要求。

2.2.2決策過程模型

對馬爾可夫性決策過程模型進行一系列分析之后，會綜合考慮特定場景下數據包的到達率以及信道條件的時變性，由于決策過程中的信道條件時變性較難獲取，運用深度學習算法對決策過程中狀態、動作以及獎勵進行優化，從而達到全局性能提升的目的。其中，狀態主要是從特定環境中抽象出來的，能夠為波束調度提供最優解，是智能體決策的重要依據。在深度神經網絡中輸入狀態之后，會對結構固定狀態下的時延計劃進行重構，進而保證時延的均衡性。動作用來表示智能體決策過程的推進程度，將最小化數據包平均時延與可知向量的非零元素結合之后，可得出波束調度出現的全部動作。獎勵是馬爾可夫決策過程模型中智能體能夠獲得的最大回報，若當前累計時延越大，則證明智能體獲得的獎勵越少。

2.2.3網絡結構設計

基于深度學習算法的動態波束調度技術包括網絡結構、網絡訓練與動作策略選擇。其中，網絡結構可對給定狀態進行評估，利用累計獎勵值強化傳統衛星通信系統中動態波束調度方案。由于狀態被重構，需要將卷積神經、深度神經網絡相結合的結構作為網路的主體，以此將系統中的類像素值矩陣模擬出來。網絡訓練主要是用來表示動作函數值與非線性函數的逼近程度，針對傳統學習難以收斂的問題，利用深度學習算法來提高網絡的穩定性，將階段系統容量清空、存儲組數據容量小于經驗池數據容量之后，進行相應的網絡訓練，從而實現多波束的批量歸一化處理。動作策略的選擇一般發生在完成智能體訓練之后，考慮到智能體經歷的狀態空間不完整性，需要利用權衡方法對可能影響網絡動作值的因素進行優化，以此保證智能體在探索新動作時能夠隨著迭代次數的增多而獲得最佳的輸出效果。進而減少多波束調度探索的概率[2]。

2.2.4算法的實現

算法實現流程如下：1.根據多波束衛星通信系統參數、初始化算法參數、系統吞吐量參數進行網絡的初始化操作。2.依據優先級對每一波束的子載波進行排序，以此保證波束獲得最佳的子載波。3.尋找多波束中信道條件、信噪比最優的子載波，并將其分配給若干個波束，然后按照信道容量的差值，為從小到大排序的波束優先分配最佳子載波。4.重新計算智能體實際信道容量，在保證信道質量最佳的情況下，優先為用戶匹配最佳的子載波，進而提升資源的利用效率，保證通信質量。

2.3動態波束調度方案

以波束為主導的多波束衛星通信系統資源方案，主要是在保證用戶通信質量的基礎上，對資源重新分配，然后頻繁計算系統運行復雜度，對加權系數、資源更新頻率進行加速處理，避免在變化微小、用戶數量過多的情況下，系統無法滿足用戶對衛星通信的個性化需求。在原則上，多波束調度方案能夠在終端接入新用戶之后，將波束覆蓋在小區的全部范圍之內，并且會對未被波束覆蓋的小區進行重新資源分配，以此保證資源利用效率的提升。同時，在用戶移出一定量的波束之后，衛星通信系統會隨著用戶位置以及數量的變化，對未滿足波束覆蓋條件的小區進行資源的再分配。在重新分配資源的過程中，多波束調度技術還會根據用戶反饋對源數據組合進行重新排列，并將條件相似的波束整合在一起，產生的新資源分配方案對提升系統容量具有十分重要的現實意義。

三、仿真結果分析

3.1系統吞吐量

對每個小區內多波束覆蓋情況進行分析，以此得到關于多波束衛星通信系統吞吐性能的仿真結果。基于深度學習算法的多波束調度技術能夠有效增強系統的吞吐量，并且當小區負載增加量超過一定值之后，基于深度學習算法的多波束調度技術收斂情況較好，經過一定周期的訓練之后，系統吞吐量能夠達到最大值。由此證明，利用深度學習算法對傳統固定多波束衛星通信系統進行優化，可有效提升資源的利用效率，最大程度解決動態資源管理問題。

3.2用戶公平性

當多波束衛星通信系統吞吐量增多之后，每個小區內的用戶公平性會發生相應的變化。為最大用戶公平性，動態多波束調度技術根據系統吞吐量最大的理論值，運用穩態時間平均值可根據用戶不同的需求提供進行資源配置，在保證公平性合理情況的基礎上，最大戶多波束衛星通信系統的吞吐量[3]。

四、動態波束調度技術未來展望

基于深度學習的動態多波束調度技術能夠有效減少傳輸數據包的平均時延，對保證提升系統吞吐量、用戶公平性具有重要意義。針對多波束調度技術中的性能指標，還可對變換的衛星場景構建起相應的學習模型，然后利用多個智能體來強化深度學習算法，同時針對固定業務、移動業務、廣播業務等層面，對鏈路中的數據包傳輸業務進行調整，能夠進一步發揮出深度神經網絡學習的優勢與作用。隨著人工智能、大數據、物聯網、互聯網等技術的發展與進步，還可實現多波束衛星通信系統的動態多波束調度技術在線管理的升級，為解決動態資源問題具有重要意義。

五、結束語

綜上所述，由于多波束衛星通信系統快速移動會增加星間切換的復雜性，有必要從資源利用率角度出發，利用動態波束調動技術對傳統固定多波束衛星通信系統進行調整，通過對仿真結果的分析與討論，明確動態波束調度技術能夠為用戶提供有針對性的服務，在時延性能、歸一化系統吞吐量上具有顯著優勢，對波束技術進一步開發與利用具有十分重要的現實意義。

參? 考? 文? 獻

[1]劉婉瑩，夏師懿，姜泉江，等.低軌衛星網絡基于跳波束的資源調度算法[J].中國科學院大學學報，2020，37（06）：805-813.

[2]徐順清，石晶林，張宗帥，等.5G通信中基于混合波束成型的多用戶MIMO調度算法研究[J].高技術通訊，2020，30（06）：545-552.

[3]王藝鵬.多波束衛星通信系統中的動態波束調度技術研究[D].北京郵電大學，2019.

[4]劉依，胡哲，景小榮.多輸入多輸出—非正交多址接入系統融合用戶調度的下行波束賦形設計[J].計算機應用，2018，38（11）：3282-3286.