基于Actor-Critical架構的5G Massive MIMO波束能效的研究與應用*

喬 勇，葛昌帥，張天興，魯曉峰

（1.中國移動通信集團江蘇有限公司連云港分公司，江蘇 連云港 222004；2.中國移動通信集團江蘇有限公司，江蘇 南京 210000）

0 引言

大規模陣列天線技術（Massive Multiple Input Multiple Output，Massive MIMO）是第五代移動通信（5G）的無線核心技術。5G采用的Massive MIMO技術天線通道數達到64個，天線陣子數為192個，甚至更高，從而實現5G波束空間覆蓋增強[1]。然而5G Massive MIMO天線的滿功率、全通道、多波束發射導致5G射頻單元功耗占5G基站總能耗的90%，5G基站滿載功耗是4G的3～4倍，使得運營商運營成本增高[2]。5G Massive MIMO多波束發射產生相鄰小區波束碰撞，干擾增加，從而造成5G網絡性能下降，影響用戶體驗[3]。隨著5G基站數量的成倍增長，為了更好地“提質增效”，需要打造綠色、智能、高效的5G網絡，以滿足5G發展及網絡運營要求[4]。

本文通過研究人工智能技術對5G Massive MIMO網絡進行柵格信息AI預測，并按需靈活配置波束。基于3D數字地圖、5G基站工程參數、終端上報的測量報告/最小化路測（Measurement Report/Minimization of Drive Test，MR/MDT）數據、用戶分布和業務分布構建的三維數字化柵格，通過Conv-LSTM算法對柵格內的用戶分布、業務分布進行分析和預測，通過Actor-Critic架構對5G波束配置和優化策略進行評估，實現不同場景、不同時段的5G波束最佳能效，智能適應網絡用戶潮汐效應，實現“網隨業動”。

1 構建三維數字孿生柵格

為構建三維數字化柵格，首先對基站工參、3D數字地圖、MR/MDT數據、子波束信息、初始參數配置等數據進行采集、篩選、儲存、分析和處理；其次基于3D地圖構建三維數字化柵格，并構建5G用戶分布和業務權重模型。如圖1所示，構建流程具體分為4步。

圖1 構建三維數字化柵格步驟

基于柵格內的用戶數和業務量，對用戶分布和流量分布做非線性計算，構建數字化柵格模型。在5G數字化柵格中，每個柵格標識了用戶和業務的權重信息，對5G Massive MIMO的覆蓋需求更有指向性。

2 數字孿生柵格信息的AI預測

2.1 數字孿生柵格的“潮汐效應”

將采集到的不同場景、不同時段的MDT/MR大數據匹配到三維數字孿生柵格中，每個柵格中用戶和業務分布在5G網絡忙、閑時段呈現明顯的“潮汐效應”，如圖2所示。

圖2 忙、閑時段下柵格用戶的“潮汐效應”

2.2 AI預測算法設計

基于AI的用戶分布預測中，與天氣、日夜相關的變量是時間上變化但空間上靜止的，而用戶分布變量在研究期間在空間和時間上都是變化的。

在AI預測框架中，通過堆疊的卷積長短期記憶（Convolutional Long Short Term Memory，Conv-LSTM）層來提取時間特征，并捕獲日夜相關變量之間的時間相關性，可看成1個時間切片time_step有多個特征feature，1個特征feature相當于1個指標。堆疊的Conv-LSTM層捕獲用戶分布變量之間的空間和時間特征，然后將這兩種類型的數據集的層次特征合并在一起，并輸入到多個完全連接的層中，以生成最終的預測用戶分布，如圖3所示。

圖3 基于Conv-LSTM的網絡預測

基于Conv-LSTM網絡預測的主要步驟如下：

（1）輸入維度（input_shape）將終端上報數據在每個時刻形成的樣本數據輸入3D柵格權重模型。

（2）配置多層Conv-LSTM，如果reurn_sequence為true，即每個時間切片單元都有輸出，則輸出多對多的預測結果，并將最后一個層的reurn_sequence參數改為flase形成多對一預測。

（3）Conv-LSTM輸出的維度就是預測的3D柵格權重模型。第一個維度可以通過調整一次訓練所選取的樣本數（batchsize）來調整模型的優化程度和速度。最后一個維度和filter個數直接相關，1個卷積核對樣本做1次特征feature提取，多個卷積核進行相應數量的特征提取。接下來N層Conv-LSTM均按照以上規則進行操作。

（4）接一個3D/2D維度轉換（Conv3d/Conv2d），最后維度回歸到1，所以Conv3d/Conv2d的filter這才設置為1，以此類推，如果一個數據是三通道的圖像，filter設置為3與label維度對應。

2.3 預測結果驗證

將前N時段的終端上報數據輸入到含有用戶分布和業務權重信息的數字化柵格中，輸出后一時段的用戶分布，利用Conv-LSTM預測模型對比柵格化信息分布，結果如圖4所示，可以得出真實用戶分布與預測用戶分布基本一致，準確率約為98.57%。

圖4 真實用戶分布與預測用戶分布對比

3 Massive MIMO波束配置研究

3.1 5G Massive MIMO波束精準覆蓋柵格

5G Massive MIMO的同步信號（塊）（Synchronization Signal Block，SSB）、信道狀態信息參考信號（Channel State Information-Reference Signal，CSIRS）等靜態波束均具備多個窄波束賦型能力，通過波束賦型參數的優化可以明顯提升覆蓋性能，提升系統容量和頻譜效率[5]。5G Massive MIMO系統可調整波束配置，包括子波束水平波寬、子波束垂直波寬、水平方位角、垂直俯仰角、子波束個數等[6]。

將通過AI算法預測的含有用戶分布和業務權重信息的數字柵格匹配到5G Massive MIMO網絡波束配置參數，實現5G波束精準覆蓋柵格。

3.2 5G Massive MIMO波束靈活配置

基于精準覆蓋需求來配置5G Massive MIMO波束能效組合參數，具體地，對Massive MIMO天線定義波束數量、權值配置、通道參數配置，形成“網隨業動”的波束配置，如表1所示，主要對波束個數、子波束水平/垂直波寬、波束方位角/俯仰角、天線通道進行靈活配置。基于柵格化的網絡覆蓋需求，子波束按需精準覆蓋柵格，形成N種水平維度、垂直維度的波束權值配置組合。表1中的X表示靈活設置。

表1 SSB波束能效組合

3.3 按需配置Massive MIMO波束

針對CBD樓宇區域的數字化柵格，根據網絡“潮汐效應”，AI預測算法按需發射SSB波束，5G網絡由高層參數ssb-PositionsInBurst通知用戶終端設備（User Equipment，UE）實際傳輸的SSB時刻位置和個數，具體采用比特值“1”或“0”映射的方式在InOneGroup參數中指示是否發射SSB波束[7-10]，如圖5所示。

圖5 潮汐效應下波束智能配置

然后通過Actor-Critic評估框架結合能效評分規則對覆蓋小區的波束配置進行調整，實現最佳Massive MIMO能效。

4 波束能效智能評估

4.1 5G Massive MIMO網絡能效定義

根據5G網絡能效評估要素——無線性能、業務體驗、設備功耗[11]，將網管和測試指標分為無線質量、業務性能、功耗3部分，根據綜合評估算法公式計算得出測試區域的綜合評估得分情況。5G Massive MIMO波束能效綜合評估算法公式為：

式中：W1，W2，W3分別取值為0.4，0.2，0.4。

4.1.1 無線質量評分部分

無線質量評分公式為：

無線質量評分=RSRP得分×W11+SINR得分×W12式中：W11，W12取值為0.5。5G網絡參考信號接收功率（Reference Signal Receiving Power，RSRP）得分和信干噪比（Signal to Interference plus Noise Ratio，SINR）得分分別為：

根據RSRP、SINR對業務的影響將其取值范圍分別劃分為10個區間范圍，對應的不同的評分系數，如表2和表3所示。

表2 RSRP區間評分

表3 SINR區間評分

4.1.2 網絡性能評分部分

式中：W21，W22分別取0.3，0.7。

下行速率評分：當下行速率大于1 000 Mbit/s時，評分取值為滿分100；當下行速率為0至1 000 Mbit/s時，評分=100-(1 000-上行速率)×0.1。

上行速率評分：當上行速率大于150 Mbit/s，評分取值滿分100，當上行速率為0至150 Mbit/s時，評分=100-(150-下行速率)×0.5。

4.1.3 功耗指標評分部分

功耗指標評分公式為：

功耗指標評分=電源功率評分×0.1

有源天線單元（Active Antenna Unit，AAU）電源功率評分：當AAU電源功率為0至2 000 W時，電源功率評分=100-電源功率測量值×0.01；當AAU電源功率大于2 000 W時，則不得分。

4.2 基于Actor-Critic框架的波束能效智能優化方案

基于Actor-Critic框架，根據數字柵格權重模型的時間或者場景的規律性變化配置相應數量的5G Massive MIMO波束組合，得到最佳5G波束能效。

Actor-Critic框架模塊中，評估以能效公式為準則，Actor處理網絡配置策略，Critic評估波束能效，兩個模塊同時進行訓練，如圖6所示。

圖6 Actor-Critic框架

該框架中采用Critic模塊對當前的5G波束能效進行打分評估，并智能尋優最佳5G Massive MIMO波束能效。

處理過程如下：

（1）通過MDT和MR信息構建5G數字化柵格模型，通過預測模塊中的Conv_LSTM算法得到柵格化的5G用戶分布和業務量權重信息，從而得到基于時間序列的5G數字化柵格切片，并記錄不同時間切片的State。

（2）根據不同時間切片的State，Actor模塊通過AI啟發式尋優算法（如粒子群算法）形成5G Massive MIMO 波束配置策略。

（3）Critic模塊對當前State下Actor模塊輸出的5G Massive MIMO波束配置策略，進行5G波束最佳能效評估。

（4）根據Critic的評價和Actor模塊迭代，更新不同時間切片下的5G Massive MIMO波束配置和最佳能效策略。

以上步驟循環操作，直到收斂完成。

其中，Actor模塊中的AI啟發式尋優算法如圖7所示。

圖7 粒子群算法迭代尋優

5G Massive MIMO小區中每個子波束（作為粒子）在自定義的N個子波束尋優空間中，通過AI啟發式尋優算法（粒子群、進化算法）找到最優5G Massive MIMO波束配置Xbest，包括空間子波束個數、方位角、下傾角、子波束水平波寬、子波束垂直波寬。

AI啟發式尋優算法以粒子群算法為例，具體算法流程為：在子波束尋優前，根據5G Massive MIMO小區中的SSB、CSI-RS的子波束配置，其中每個子波束的當前配置都表 示問題的一個解，并依據目標函數，計算尋優空間中新的波束配置。

在每次迭代時，每個波束將跟蹤兩個“極值”來更新自己，一個是子波束本身尋優到的最優波束配置Pbest，另一個是整個波束粒子群當前全局搜索到的最優波束配置Gbest。此外，每個子波束都有各自的波束配置的變化幅度V，當兩個最優解都找到后，每個子波束根據如下迭代式更新：

（1）波束權值變化幅度V的向量迭代公式（子波束的權值變化幅度迭代）為：

式中：ω為慣性系數；c1為子波束學習因子；Pbesti為第i子波束本身尋優到的最優波束配置；c2為整個波束粒子群學習因子；Gbest為整個波束粒子群全局搜索到的最優配置；r1，r2為（0,1）的隨機概率值；k為迭代系數。

（2）波束權值配置X的向量迭代公式（子波束的權值配置迭代）為：

式中：Xi，Vi分別為子波束配置的變化幅度和變化權值配置。

粒子群尋優算法的具體步驟如下：

（1）子波束權值（水平方位角、垂直俯仰角、子波束水平波寬、子波束垂直波寬、子波束個數）按照專家經驗進行初始化；

（2）根據各個子波束的目標函數，找到各個子波束當前的最優波束權值極值Pbest和整個波束粒子群的當前全局最優配置Gbest；

（3）各個子波束的速度和位置迭代更新；

（4）所有子波束達到最優權值；

（5）若沒有達到所有子波束的最優權值配置，則跳轉至步驟（3）。

粒子群尋優算法是在不同迭代次數下，粒子在尋優空間中找到最優解的過程。

5 波束能效評估效果

選取某區域網格5G站點進行試點應用，通過靈活的SSB波束配置組合，尋優評估最佳能效的組合。將波束組合11與波束組合17進行測試對比，結果如表4所示。從表中可以看出，波束組合11能效策略的RSRP、SINR、下載速率以及上傳速率均比波束組合17指標性能高，但能耗相對低。此外，從表4可以看出，波束組合11覆蓋明顯強于波束組合17。

表4 波束組合5與波束組合12指標對比

在試點區域的N種波束組合配置中挑選24種典型波束組合進行能效評分，結果如圖8所示，其中，波束組合15和波束組合11的5G綜合能效最佳。

圖8 波束組合能效綜合評分

如圖9所示，在不同覆蓋場景下對不同種波束組合配置進行能效評分，選出最佳波束能效組合。

圖9 波束組合能效綜合評分

6 結語

本文主要研究通過AI技術對5G Massive MIMO網絡進行柵格信息AI預測、按需配置廣播波束和能效評估，首先利用3D數字地圖、5G基站工程參數、終端上報的MR/MDT數據、用戶分布和業務分布構建三維數字化柵格；其次通過Conv-LSTM算法對“潮汐效應”下的柵格進行分析和AI預測，并驗證其準確性；最后通過Actor-Critic架構對5G波束配置策略進行評估，動態尋優最佳能效的波束配置，實現5G Massive MIMO最佳能效。