基于增強學習的5G 通信頻段自適應選擇方法

倪旭明，郭瑜

（國網金華供電公司，浙江金華 321001）

D2D 是5G 中一種非常重要的通信技術，在5G通信頻段中D2D 包含3 種通信模式：專用模式、蜂窩模式和復用模式[1-2]。

在專用模式下，為了更好地進行自適應選擇，D2D 設備通過專用通道進行通信；在蜂窩模式下，D2D 用戶與5G 用戶共用同一網絡服務器進行通信；在復用模式下，D2D 用戶通過5G 用戶使用的上行鏈路與外界進行通信。在5G 移動網絡中，5G 移動網絡用戶與D2D 用戶相比，具有更高的優先級，在復用或專用模式下，一個5G 移動網絡用戶僅需要一個專用的上行鏈路即可進行通信。

在之前的研究中，相關技術人員都關注全緩沖流量模型與通信模式，忽視了對5G 通信頻段自適應選擇的研究，導致5G 移動網絡用戶不能在5G 通信頻段中選擇專用的通信信道進行通信，降低了資源的利用效率，在不同模式下產生的信噪比具有不穩定性，且頻譜利用率低[3]。

基于以上出現的問題，提出了基于增強學習的5G 通信頻段自適應選擇方法。

1 5G通信頻段發送功率優化

為了保持通信，需要從傳統基站轉入方式更改為D2D 通信方式來進行通信，5G 用戶根據通信頻段的通信狀態優化發送功率，假設第m個5G 用戶在第n個資源塊上的信噪比的計算公式為：

式中，Gm,n與Pm,n分別代表干擾路徑增益和信號路徑增益，其中包括有效信道增益、干擾信道增益、天線增益，可以在專用模式下進行同步，或者通過路由查找獲得，σ2代表高斯白噪聲功率。

在基于增強學習的5G 通信頻段自適應選擇方法中，5G 移動網絡用戶向網絡控制中心上報干擾路徑增益與信號路徑增益，網絡控制中心根據5G用戶上報的內容將增益干擾考慮到資源塊的分配利用上，然而在專用模式、蜂窩模式以及復用模式下，缺少重要的中心控制節點，導致傳統通信頻段自適應選擇方法無法應用在D2D 特殊的應用場景中，致使B不能快速適應路徑干擾和增益干擾，因此可使用模糊邏輯對通信頻段的發送功率進行優化[4-5]。

在模糊邏輯理論中，5G 通信頻段的發送功率是一個語言變量，其形成的語言值可分為低、中、高3個等級，可由模糊控制器中的控制經驗來表示。模糊控制器主要包括3 部分：將估計值轉換為觀察變量的模糊器、推理規則庫、根據測量結果產生模糊變量的解模糊器，其他種類的控制器包含時間延遲補償，模糊器負責聯系觀察值和測量值，每一個測量值產生的結果需要被變換成相應的模糊規則，以提升模糊器的預測能力[6-8]。規則庫負責指示由控制器下發的控制行動，在處理完規則后，模糊器將通過控制器下發的控制行動產生一個新的控制命令。該文為了優化5G 通信頻段的發送功率采用了模糊邏輯推理，模糊推理結構如圖1 所示。

圖1 模糊推理結構

圖1 中推理規則庫包括資源塊分配功率變化、資源塊功率效率變化、模糊器、推理引擎、解模糊器和代價系數C。其中，前兩個為輸入變量，兩個變量具有降低、不變、增加3 個等級，同樣，輸出變量也被分成3 個不同的等級，在該文提出的基于增強學習的5G 通信頻段自適應選擇方法中，推理規則庫包含的控制規則如表1 所示。

表1 推理規則庫

通過模糊邏輯推理系統獲得5G 通信頻段發送功率以及數據傳輸速率，使用集中式注水算法得到最優的系數，進而得到5G 用戶在當前通信模式下的最佳發送功率[9-12]。

2 5G通信頻段自適應選擇

在模糊邏輯推理系統中，假設5G 用戶使用上行鏈路進行通信，由網絡基站負責分配和控制D2D 用戶與5G 用戶資源，選擇D2D 用戶的通信模式，發送節點i至網絡接收端，在這一過程中會受到節點j的干擾，因此，采用增強學習技術構建當前節點i的突發流量模型可表示為：

其中，hi,j為節點i的傳輸功率，Pi為加性高斯白噪聲。為了減小端到端的時延，需要提升通信頻段的傳輸速率，并降低發送功率中的通信時延，在時間為Tj時，5G 用戶n中的上行鏈路通信信道狀態為Xk,n，當通信信道為空，即Xk,n=0 時，選擇D2D 用戶的通信頻段，移動網絡基站在計算D2D 用戶k的第n個端到端延遲時，通信模式選擇復用模式或者蜂窩模式，此時移動網絡基站選擇Xk,n模式對端到端的延遲進行優化，Xk,n可表示為：

其中，Tj為在j的通信頻段下5G 用戶n的端到端的延遲。當專用通信頻段被D2D 用戶j占用選擇通信頻段時，在蜂窩模式下5G 用戶n將受到來自D2D 用戶j的干擾，因此當前5G 用戶n在端到端的延遲比較高。為了減小5G 用戶n的端到端延遲，需要增加D2D 用戶j的端到端的延遲，即D2D 用戶j受到5G 用戶n干擾所增加的延時，假設此時處于k模式的情況，當前5G 用戶n增加的端到端的延時可以表示為γn。在這樣的情況下，D2D 用戶j可以使用專用模式進行通信，此時，移動網絡基站會得到5G用戶n端到端的時延，同時也減少了D2D 用戶j的端到端的時延，這時移動網絡基站可以對5G 用戶n模式進行自適應選擇[13-14]。5G 通信頻段自適應選擇的流程如圖2 所示。

圖2 5G通信頻段自適應選擇的流程

在復用模式下，當上行鏈路通道為空時，5G 用戶n可以直接采用上行鏈路進行通信，假設在復用模式下，5G 用戶n在進行通信時沒有受到來自D2D用戶的干擾，此時在復用模式下，端到端的時延由通信持續時間和通信頻段被占用時間共同決定，通信持續時間可由qn來表示，通信頻段被占用時間由ΔTwait來表示，可得出：

在專用模式下，5G 用戶n的端到端的時延只由通信頻段被占用時間來決定，因為蜂窩模式下，通信頻段被占用的時間與通信持續時間相同，在蜂窩模式下，上行鏈路與專用通信頻段占用的時間可以通過γt得到，隊列的延時ζT可根據通信頻段的擁塞狀態而得到。在上行鏈路信道中，包的傳輸方式有兩種，一種是包已經傳輸到了隊列中，另一種是包處于傳輸中，即將到達目標路徑[15-16]。當采用第二種傳輸方式進行通信時，為了減少等待的時間，移動網絡基站需要在時間節點m-1 處進行傳輸，設定5G 用戶n在時間節點m處的傳輸鏈路為ΔTwait，D2D 用戶j在時間節點m處的傳輸鏈路為TSk,B，則5G 用戶n在上行鏈路中的資源函數可表示為：

3 實驗研究

該文基于增強學習，提出了5G 通信頻段自適應選擇方法，為了驗證該文方法具有一定的應用價值，通過實驗進行驗證。

在其他通信頻段選擇方法中，不同模式下的信噪比具有一定的不穩定性，該文對此進行了相關的實驗研究，在不同模式下產生的信噪比與5G 用戶間距離有關，為了減少和控制5G 用戶和D2D 用戶間產生的干擾，需要選擇距離最短的5G 用戶進行復用，實驗參數如表2 所示。

表2 實驗參數

根據上述實驗參數，進行實驗驗證。

復用模式下每兩個5G 用戶通過多次實驗得到的平均信噪比實驗結果如圖3 所示。

圖3 平均信噪比實驗結果

5G 移動網絡用戶采用復用模式與蜂窩模式進行通信時，信噪比不同。在蜂窩模式下，當5G 通信頻段的發送功率比較穩定時，影響信噪比大小的主要因素是5G 用戶與D2D 用戶之間的距離，5G 用戶與D2D 用戶間的距離保持在5～20 m，信噪比波動范圍較小，基本保持不變，比較穩定，而且在復用模式下只需要一個通信頻段資源，與其他模式相比，通信頻段資源被少部分利用。系統的專用模式和蜂窩模式吞吐量對比如圖4 所示。

圖4 專用模式和蜂窩模式吞吐量對比

圖4 給出了專用模式和蜂窩模式下的吞吐量對比，這是兩個5G 移動網絡用戶多次模擬操作得到的。由圖可知，專用模式與蜂窩模式相比吞吐量更大，并且復用蜂窩模式的吞吐量比傳統蜂窩通信的吞吐量高，這是因為5G 移動網絡用戶采用專用模式，5G 用戶和D2D 用戶間產生了高斯白噪聲，直接影響了吞吐量，這種情況在圖中基本可以省略不計，因此，專用模式下的吞吐量與復用蜂窩模式相比更優。除此之外，在專用模式下進行通信，蜂窩用戶不需要占用額外的通信頻段資源，直接提升了通信頻段的利用率。

由以上針對吞吐量的實驗可知，D2D 專用和復用模式下的吞吐量均比傳統蜂窩模式好，傳統蜂窩模式下的吞吐量較低，這是因為吞吐量受到了5G 用戶與D2D 用戶間距離的影響，需要占用部分信道資源，而專用蜂窩模式不需要分配通信頻段資源，提高了資源的利用效率，通過吞吐量實驗結果可知，該文給出了兩種5G 通信頻段的選擇策略，根據頻譜資源、通信頻段資源以及5G 移動網絡用戶間的距離，選擇D2D 下最優的模式進行通信，并使吞吐量實現最大化。

由前兩種通信模式可知，產生的吞吐量均比傳統蜂窩模式高，當采用復用模式時，可能產生高斯白噪聲，與專用模式相比，復用模式吞吐量更大，專用模式的吞吐量與復用模式的吞吐量相差無幾，在頻譜資源和通信頻段資源有限的條件下，專用模式具有很高的利用率，可以節省有限資源，屬于最優的通信模式[17]。

4 結束語

該文提出的基于增強學習的5G 通信頻段自適應選擇方法優于其他方法，專用蜂窩模式下產生的吞吐量更高，提高了資源的利用效率，具有一定的有效性。