基于強(qiáng)化學(xué)習(xí)的基站多維度資源協(xié)同分配方案

鄭青碧，鄧 娟，劉奕彤，田開(kāi)聰，高月紅，邵澤才，劉光毅

(1.中國(guó)移動(dòng)通信有限公司研究院 未來(lái)研究院，北京 100053；2.北京郵電大學(xué) 信息與通信工程學(xué)院，北京 100032)

0 引言

隨著科技革命和產(chǎn)業(yè)變革的深入發(fā)展，算力已成為社會(huì)數(shù)智化轉(zhuǎn)型的基石，將直接決定社會(huì)智能的發(fā)展高度[1]。隨著云計(jì)算的快速發(fā)展，企業(yè)或個(gè)人所需的計(jì)算能力可以通過(guò)云計(jì)算快速地獲得[2]。在技術(shù)不斷發(fā)展的推動(dòng)下，通信技術(shù)也在以驚人的速度發(fā)展和迭代，網(wǎng)絡(luò)作為連接用戶、數(shù)據(jù)、算力的主動(dòng)脈，與算力的融合共生不斷深入，在5G網(wǎng)絡(luò)的設(shè)計(jì)中，計(jì)算與通信融合的趨勢(shì)已經(jīng)出現(xiàn)。

傳統(tǒng)通信網(wǎng)絡(luò)中的算力資源主要服務(wù)于通信業(yè)務(wù)，算力資源集成在設(shè)備處理板卡內(nèi)，按照通信業(yè)務(wù)的處理流程進(jìn)行算力資源的部署和分配[3]。在5G中，MEC通過(guò)邊緣計(jì)算嘗試將算力引入通信中，無(wú)論是SaaS、PaaS、IaaS，還是連接服務(wù)等，都是外掛式的引入算力，算力沒(méi)有真正地與通信協(xié)議體系融合。僅在管理面引入算力，試圖提供較低時(shí)延的計(jì)算服務(wù)，其網(wǎng)絡(luò)和計(jì)算部分是松耦合設(shè)計(jì)，在效率、部署成本、安全和隱私保護(hù)等方面存在進(jìn)一步提升的空間[4-5]。未來(lái)6G將具有“網(wǎng)絡(luò)無(wú)所不達(dá)，算力無(wú)處不在，智能無(wú)所不及”的特點(diǎn)[6]，6G網(wǎng)絡(luò)將具有大規(guī)模的計(jì)算資源，算力將呈現(xiàn)出泛在化特征，云、邊和端側(cè)部署的算力資源將呈現(xiàn)出異構(gòu)和分布式的特征[6]，其協(xié)同調(diào)度需要實(shí)時(shí)適配網(wǎng)絡(luò)動(dòng)態(tài)復(fù)雜的通信環(huán)境，需要深入到控制面和用戶面進(jìn)行實(shí)時(shí)支持，6G網(wǎng)絡(luò)需要通信與計(jì)算在網(wǎng)絡(luò)架構(gòu)和協(xié)議層面實(shí)現(xiàn)更深度的融合。對(duì)于6G無(wú)線網(wǎng)絡(luò)而言，一種可能的模式是基站設(shè)備內(nèi)部具有計(jì)算資源，并通過(guò)資源協(xié)同調(diào)配算法高效控制通信和計(jì)算資源的調(diào)配[3]。

在上述模式下，算力的引入給無(wú)線通信網(wǎng)絡(luò)節(jié)能帶來(lái)了潛在的挑戰(zhàn)。比如，在GPU上運(yùn)行一個(gè)大型Transformer模型的碳排放量是626115bs，相當(dāng)于56個(gè)人1年的碳排放量，大型模型訓(xùn)練的算力需求為PetaFLOPS/s-day(即每天進(jìn)行約10的20次方運(yùn)算)[7]，計(jì)算開(kāi)銷很高。假設(shè)基站規(guī)模為10 000站點(diǎn)，在該區(qū)域內(nèi)的計(jì)算業(yè)務(wù)忙時(shí)，用戶同時(shí)發(fā)起1 000項(xiàng)1 080 P視頻圖像的識(shí)別業(yè)務(wù)(8路幀率為30 FPS)。若采用ResNet-152模型，由此產(chǎn)生的算力消耗為265 000 TeraOPS(Tera Operations Per Second)，則平均每個(gè)基站需消耗3塊GPU。按照NVIDIA RTX系列顯卡功耗指標(biāo)(每塊GPU的滿負(fù)載能耗為0.3 kW)計(jì)算，則該區(qū)域平均每站點(diǎn)的計(jì)算能耗約為0.9 kW，與當(dāng)前5G網(wǎng)絡(luò)基站的忙時(shí)典型能耗(3 kW/站)相比，能耗增加了30%。因此6G無(wú)線網(wǎng)絡(luò)的節(jié)能需要同時(shí)考慮數(shù)據(jù)傳輸?shù)哪芎暮蛿?shù)據(jù)計(jì)算的能耗，在設(shè)計(jì)通算融合機(jī)制時(shí)需要將能效作為一項(xiàng)重要的優(yōu)化目標(biāo)。

1 無(wú)線網(wǎng)絡(luò)節(jié)能研究

當(dāng)前，移動(dòng)網(wǎng)絡(luò)節(jié)能方案可以劃分為基站節(jié)能方案和網(wǎng)絡(luò)級(jí)節(jié)能方案。基站能耗在移動(dòng)通信網(wǎng)絡(luò)能耗中占比較大，蜂窩系統(tǒng)約60%的能耗由基站產(chǎn)生，基站的能耗大部分由射頻產(chǎn)生。基站節(jié)能又分為硬件能效提升和軟件節(jié)能，硬件能效提升降低基站設(shè)備的基礎(chǔ)功耗，軟件節(jié)能從業(yè)務(wù)運(yùn)營(yíng)方面對(duì)資源進(jìn)行合理調(diào)配，并通過(guò)軟關(guān)斷技術(shù)(包括符號(hào)關(guān)斷、通道關(guān)斷、載波關(guān)斷以及小區(qū)閉鎖和深度睡眠)實(shí)現(xiàn)無(wú)線網(wǎng)設(shè)備的節(jié)能。

基站軟件節(jié)能的研究主要集中在提高網(wǎng)絡(luò)能效、保障用戶服務(wù)質(zhì)量(Quality of Service,QoS)、降低算法復(fù)雜度三方面。文獻(xiàn)[8]為了降低基站頻繁的模式轉(zhuǎn)換導(dǎo)致的能耗，從信道狀態(tài)信息中提取時(shí)間相關(guān)特征決定基站開(kāi)關(guān)，可以在較大的時(shí)間尺度下減小網(wǎng)絡(luò)能耗。文獻(xiàn)[9]提出的節(jié)能模型使用過(guò)去的移動(dòng)痕跡確定未來(lái)網(wǎng)絡(luò)負(fù)載，進(jìn)而確定基站狀態(tài)，在接入過(guò)程中利用小區(qū)偏置均衡小區(qū)間的負(fù)載保障QoS。文獻(xiàn)[10]在異構(gòu)M-MIMO網(wǎng)絡(luò)中提出了將強(qiáng)化學(xué)習(xí)與無(wú)線通信服務(wù)地圖數(shù)據(jù)結(jié)合確定基站關(guān)斷策略的方法，并進(jìn)行了評(píng)估。

文獻(xiàn)[11]針對(duì)基站功率和無(wú)線回傳帶寬，提出了低復(fù)雜度資源調(diào)配方法，提高了網(wǎng)絡(luò)的能效。文獻(xiàn)[12]在宏基站、微基站和D2D異構(gòu)網(wǎng)絡(luò)場(chǎng)景中，設(shè)計(jì)了動(dòng)態(tài)規(guī)劃的資源調(diào)度方案，降低網(wǎng)絡(luò)能耗的同時(shí)提升了系統(tǒng)吞吐量。文獻(xiàn)[13]在異構(gòu)云無(wú)線接入網(wǎng)絡(luò)場(chǎng)景下，設(shè)計(jì)了基于在線學(xué)習(xí)的功率分配方法，保證用戶服務(wù)質(zhì)量的同時(shí)最大化網(wǎng)絡(luò)能效。隨著業(yè)務(wù)場(chǎng)景的復(fù)雜化和多樣化，網(wǎng)絡(luò)對(duì)算力需求的不斷增加，計(jì)算資源成為無(wú)線網(wǎng)絡(luò)的重要資源之一，對(duì)計(jì)算資源的節(jié)能研究也成為了業(yè)界的重要研究方向。文獻(xiàn)[14]對(duì)通信、緩存資源、計(jì)算決策進(jìn)行聯(lián)合優(yōu)化，保證一定傳輸速率的同時(shí)最大化平均容忍時(shí)延。文獻(xiàn)[15]是在異構(gòu)無(wú)線蜂窩網(wǎng)絡(luò)場(chǎng)景中，對(duì)計(jì)算卸載決策、頻譜資源分配、內(nèi)容緩存進(jìn)行優(yōu)化，提出了一個(gè)分布式解決方案。文獻(xiàn)[16]是在移動(dòng)邊緣計(jì)算網(wǎng)絡(luò)中，綜合考慮計(jì)算卸載、頻譜、內(nèi)容緩存，最小化計(jì)算任務(wù)的總時(shí)延。文獻(xiàn)[17-18]是在物聯(lián)網(wǎng)中聯(lián)合設(shè)計(jì)通信資源和計(jì)算資源，分別實(shí)現(xiàn)最小化平均端到端時(shí)延和最小化總能量消耗。以上對(duì)計(jì)算能耗的優(yōu)化主要通過(guò)優(yōu)化計(jì)算卸載決策實(shí)現(xiàn)對(duì)計(jì)算資源的調(diào)配，降低計(jì)算卸載時(shí)延和系統(tǒng)能耗，在衡量計(jì)算資源方面也只是對(duì)計(jì)算任務(wù)進(jìn)行了簡(jiǎn)單的數(shù)值建模。這些方案缺乏對(duì)算力資源的精準(zhǔn)建模。除此之外，上述文獻(xiàn)研究中很少涉及有關(guān)機(jī)器學(xué)習(xí)的計(jì)算任務(wù)，任務(wù)建模沒(méi)有考慮到GPU的算力消耗浮點(diǎn)數(shù)，在優(yōu)化目標(biāo)中沒(méi)有將具體單個(gè)用戶的業(yè)務(wù)性能需求考慮在內(nèi)。

2 6G無(wú)線網(wǎng)絡(luò)通算資源分配場(chǎng)景

在信息產(chǎn)業(yè)、制造業(yè)與社會(huì)治理等領(lǐng)域的智能化趨勢(shì)下，面對(duì)未來(lái)海量泛在的計(jì)算和通信業(yè)務(wù)，6G網(wǎng)絡(luò)須具備云邊協(xié)同的強(qiáng)大算力和廣泛覆蓋的網(wǎng)絡(luò)連接能力；而終端用戶密度、新興業(yè)務(wù)流量需求的物理分布不均則對(duì)網(wǎng)絡(luò)的差異化和精細(xì)化管理提出更高要求。為了滿足更加豐富的應(yīng)用場(chǎng)景需求，6G將是一個(gè)低、中、高多頻段協(xié)同的全頻譜接入系統(tǒng)。覆蓋仍將以10 GHz以下為主，毫米波(70 GHz以下)將發(fā)揮更重要的作用，可見(jiàn)光和太赫茲(100 GHz以上)將在特定場(chǎng)景下提供超高速率和感知探測(cè)等能力。

為了降低高頻站點(diǎn)密集部署導(dǎo)致的網(wǎng)絡(luò)功耗和成本問(wèn)題，同時(shí)保證網(wǎng)絡(luò)廣域覆蓋性能，6G網(wǎng)絡(luò)將引入控制信令與業(yè)務(wù)數(shù)據(jù)解耦機(jī)制，如圖1所示。具體而言，由低頻段(如700 MHz)控制基站提供廣域的統(tǒng)一信令覆蓋，負(fù)責(zé)RRC消息、物理層信令等控制信令的播發(fā)，降低高頻段導(dǎo)致的路徑損耗等影響，保證連續(xù)與可靠的連接性與移動(dòng)性；由高容量、按需開(kāi)啟的高頻段(如62.5 GHz及以上)數(shù)據(jù)基站提供數(shù)據(jù)和少量必要信令的傳輸，降低小區(qū)間的干擾及整網(wǎng)能耗。

圖1 控制信令與業(yè)務(wù)數(shù)據(jù)解耦機(jī)制

在控制信令與業(yè)務(wù)數(shù)據(jù)解耦機(jī)制中，控制基站具有計(jì)算資源和傳輸控制信令的通信資源，控制信令包括對(duì)連接(通信連接和計(jì)算連接)的控制和對(duì)資源(通信資源和計(jì)算資源)的控制信令；數(shù)據(jù)基站具有計(jì)算資源和傳輸業(yè)務(wù)數(shù)據(jù)的通信資源，業(yè)務(wù)數(shù)據(jù)包括通信業(yè)務(wù)數(shù)據(jù)和計(jì)算業(yè)務(wù)數(shù)據(jù)。控制基站與業(yè)務(wù)基站高效協(xié)作進(jìn)行通信與計(jì)算資源的協(xié)同調(diào)配，從而實(shí)現(xiàn)通信資源與計(jì)算資源在控制面的深度融合。針對(duì)流量潮汐、業(yè)務(wù)需求差異、用戶移動(dòng)行為等造成的通信和計(jì)算請(qǐng)求忙閑不均現(xiàn)象，考慮計(jì)算資源的高耗能特性，基站需實(shí)施精細(xì)化、智能化的資源分配策略，以利用有限的邊緣資源有效應(yīng)對(duì)用戶對(duì)通信時(shí)延、計(jì)算任務(wù)精度等方面的要求，同時(shí)通過(guò)基站休眠、載波關(guān)斷等技術(shù)動(dòng)態(tài)調(diào)整基站運(yùn)行狀態(tài)，提升網(wǎng)絡(luò)能效。

現(xiàn)有節(jié)能方案均沒(méi)有考慮基站的計(jì)算資源消耗，不適用于上述6G無(wú)線網(wǎng)絡(luò)中計(jì)算與通信資源的深度融合場(chǎng)景。6G基站需要在保障業(yè)務(wù)性能的同時(shí)，合理分配通信和計(jì)算資源，達(dá)到提升系統(tǒng)能效的目的。

面向6G無(wú)線網(wǎng)絡(luò)通算融合場(chǎng)景，本文提出了一種基站通算資源協(xié)同分配技術(shù)方案，以用戶業(yè)務(wù)質(zhì)量和能耗為優(yōu)化目標(biāo)統(tǒng)籌分配多基站通信和計(jì)算資源。

3 技術(shù)方案

本文提出的技術(shù)方案如圖2所示，控制基站接收每個(gè)數(shù)據(jù)基站下轄的用戶數(shù)目與用戶計(jì)算任務(wù)的特征參數(shù)(比如對(duì)于圖片識(shí)別任務(wù)，特征參數(shù)包括圖片大小、機(jī)器學(xué)習(xí)模型類型等)，綜合考慮用戶業(yè)務(wù)部署在數(shù)據(jù)基站、控制基站的業(yè)務(wù)性能與系統(tǒng)能耗，通過(guò)AI模型生成的資源分配決策確定用戶業(yè)務(wù)部署的基站和資源的分配量，對(duì)于不承載任何業(yè)務(wù)的數(shù)據(jù)基站，可將其休眠，從而達(dá)到降低能耗的效果。為了降低系統(tǒng)總能耗，當(dāng)該用戶業(yè)務(wù)由其他數(shù)據(jù)基站或控制基站執(zhí)行的業(yè)務(wù)性能滿足需求時(shí)，可將該用戶接入其他數(shù)據(jù)基站或控制基站，因此用戶業(yè)務(wù)并不總是由距離其最近的數(shù)據(jù)基站承載，以休眠不承載業(yè)務(wù)的數(shù)據(jù)基站。數(shù)據(jù)基站接收休眠決策，不休眠的基站執(zhí)行用戶業(yè)務(wù)。

圖2 6G基站通算資源協(xié)同分配方案示意圖

資源協(xié)同分配模型位于控制基站中，模型包含各類用戶業(yè)務(wù)性能模型與基站的計(jì)算能耗模型，能夠在考慮用戶業(yè)務(wù)性能與系統(tǒng)能耗的基礎(chǔ)上，根據(jù)用戶計(jì)算任務(wù)的特征參數(shù)、基站接入用戶數(shù)判斷用戶接入的基站；并能夠不斷優(yōu)化，根據(jù)基站反饋的業(yè)務(wù)性能與系統(tǒng)能耗不斷調(diào)整分配決策。

由于本文所設(shè)計(jì)的方案動(dòng)作空間較大，且動(dòng)作輸出均為離散確定值。針對(duì)這種情況，選用DDPG算法，可以有效緩解動(dòng)作空間大對(duì)于訓(xùn)練結(jié)果收斂慢的問(wèn)題，并且充分利用DDPG算法中經(jīng)驗(yàn)回放和深度神經(jīng)網(wǎng)絡(luò)等架構(gòu)優(yōu)勢(shì)，保證了輸出結(jié)果的穩(wěn)定性和有效性。

資源協(xié)同分配AI模型如圖3所示，DDPG的輸入狀態(tài)包括環(huán)境狀態(tài)和業(yè)務(wù)狀態(tài)，其中環(huán)境狀態(tài)s1=[x0,x1,…,xn],x代表基站接入用戶數(shù)，n為數(shù)據(jù)基站的總數(shù)。業(yè)務(wù)狀態(tài)s2=[ci,ui,di,bi](i∈(0,m))，其中，ci表示當(dāng)前時(shí)刻的計(jì)算業(yè)務(wù)量(計(jì)算任務(wù)數(shù) × 平均每項(xiàng)計(jì)算任務(wù)的計(jì)算量需求)，ui表示當(dāng)前用戶的上下行傳輸速率，di代表當(dāng)前用戶通信的業(yè)務(wù)量，bi代表當(dāng)前時(shí)刻的上下行子信道帶寬，m為用戶總數(shù)。優(yōu)化目標(biāo)為業(yè)務(wù)性能與系統(tǒng)能耗，即算法的獎(jiǎng)勵(lì)r，r=-(k1×UT+k2×BT+k3×UC+k4×CC+k5×HC+k6×SC)，其中k1～k6表示歸一化系數(shù)，UT、BT、UC、CC、HC和SC分別表示用戶傳輸時(shí)延、數(shù)據(jù)基站執(zhí)行時(shí)延、用戶傳輸能耗、計(jì)算能耗、切換損耗和數(shù)據(jù)基站固有能耗，計(jì)算方法如下所示：

圖3 DDPG資源協(xié)同分配模型原理與流程

(1)

(2)

UC=用戶發(fā)射功率×用戶傳輸時(shí)延，

(3)

CC=單次計(jì)算能耗×所服務(wù)用戶的業(yè)務(wù)數(shù)量，

(4)

HC=|接入控制基站的RSRP-接入數(shù)據(jù)基站的RSRP| ，

(5)

SC=接入數(shù)據(jù)基站的基礎(chǔ)能耗×接入數(shù)據(jù)基站的數(shù)目+

休眠數(shù)據(jù)基站基礎(chǔ)能耗×休眠數(shù)據(jù)基站的數(shù)目。

(6)

在滿足優(yōu)化目標(biāo)后，確定用戶接入的數(shù)據(jù)基站或控制基站，即消耗通信與計(jì)算資源的基站，進(jìn)而確定基站的狀態(tài)，即動(dòng)作空間a=[y1,y2,…,yn]，其中y表示基站的狀態(tài)，0表示執(zhí)行業(yè)務(wù)，1表示休眠。

DDPG的訓(xùn)練算法和應(yīng)用階段的算法流程如算法1和算法2所示。

算法1 訓(xùn)練階段-通算資源分配算法1.Actor根據(jù)策略選擇一個(gè)動(dòng)作at,下發(fā)給環(huán)境執(zhí)行;2.環(huán)境執(zhí)行策略,返回獎(jiǎng)勵(lì)函數(shù)和新?tīng)顟B(tài);3.Actor將(st,at,rt,st+1)存放于經(jīng)驗(yàn)回放池;4.從經(jīng)驗(yàn)回放池中隨機(jī)采樣N個(gè)數(shù)據(jù);5.計(jì)算在線Q網(wǎng)絡(luò)的梯度并更新;6.計(jì)算策略網(wǎng)絡(luò)的策略梯度并更新在線策略網(wǎng)絡(luò);7.軟更新目標(biāo)網(wǎng)絡(luò)的梯度參數(shù)。

算法2 DDPG應(yīng)用階段-通算資源分配算法1.控制基站接收用戶計(jì)算任務(wù)的特征參數(shù)和每個(gè)用戶屬于的數(shù)據(jù)基站,計(jì)算每個(gè)數(shù)據(jù)基站所轄的用戶數(shù)目,即DDPG算法樣本;2.控制基站的DDPG根據(jù)系統(tǒng)能耗和用戶業(yè)務(wù)優(yōu)化目標(biāo)計(jì)算數(shù)據(jù)基站的關(guān)斷動(dòng)作a,下發(fā)至數(shù)據(jù)基站;3.數(shù)據(jù)基站執(zhí)行關(guān)斷動(dòng)作a,執(zhí)行用戶業(yè)務(wù)的計(jì)算任務(wù),部分用戶業(yè)務(wù)由控制基站執(zhí)行;4.控制基站計(jì)算系統(tǒng)能耗和用戶業(yè)務(wù)性能,評(píng)估DDPG性能;5.DDPG依據(jù)新樣本迭代優(yōu)化;6.重復(fù)步驟1^6。

4 仿真驗(yàn)證

本節(jié)將詳細(xì)介紹針對(duì)多基站通算資源協(xié)同分配方案，仿真平臺(tái)的搭建和實(shí)驗(yàn)測(cè)試流程，驗(yàn)證方案的合理性和有效性。

4.1 仿真環(huán)境

仿真平臺(tái)在Linux環(huán)境下實(shí)現(xiàn)，模擬了多小區(qū)通信環(huán)境，包含2個(gè)控制基站和8個(gè)數(shù)據(jù)基站，以及20個(gè)用戶，地圖面積為1 km×1 km，用戶在仿真區(qū)域內(nèi)運(yùn)動(dòng)，用戶移動(dòng)過(guò)程中采集視頻流業(yè)務(wù)，上傳至基站執(zhí)行計(jì)算任務(wù)，用戶計(jì)算任務(wù)可由數(shù)據(jù)基站或控制基站執(zhí)行，用戶可接入數(shù)據(jù)基站或者控制基站。用戶移動(dòng)時(shí)間為500 s，分為50個(gè)時(shí)間切片，時(shí)間粒度為10 s。具體仿真參數(shù)如表1所示。

表1 多維度資源協(xié)同分配仿真參數(shù)

4.2 解決方案

首先，對(duì)比本文所提技術(shù)方案與傳統(tǒng)方案的性能。

方案一(傳統(tǒng)方案)：用戶在場(chǎng)景二中以某種規(guī)律移動(dòng)，數(shù)據(jù)基站負(fù)責(zé)下轄用戶的計(jì)算任務(wù)，當(dāng)數(shù)據(jù)基站沒(méi)有用戶接入時(shí)，該數(shù)據(jù)基站休眠。

方案二：強(qiáng)化學(xué)習(xí)算法生成資源分配方案，運(yùn)行過(guò)程中不迭代優(yōu)化。在具有某種用戶移動(dòng)規(guī)律的場(chǎng)景一中訓(xùn)練出強(qiáng)化學(xué)習(xí)模型A，場(chǎng)景二具有與場(chǎng)景一完全不同的用戶移動(dòng)規(guī)律，將模型A用于場(chǎng)景二，不對(duì)模型A重訓(xùn)練優(yōu)化。

其次，為探索強(qiáng)化學(xué)習(xí)模型迭代優(yōu)化頻次對(duì)系統(tǒng)性能的影響，選擇具有代表性的兩種方案，設(shè)計(jì)對(duì)比方案如下：

方案三(周期性迭代優(yōu)化)：強(qiáng)化學(xué)習(xí)算法生成資源分配方案，運(yùn)行過(guò)程中周期性接收訓(xùn)練樣本并迭代優(yōu)化。模型A用于場(chǎng)景二后，在用戶移動(dòng)過(guò)程中，每2 min收集一次該段時(shí)間的用戶樣本，作為訓(xùn)練樣本優(yōu)化模型A得到模型B，模型B替換模型A作為策略生成模型產(chǎn)生資源調(diào)配策略，不斷迭代優(yōu)化策略模型；

方案四(實(shí)時(shí)迭代優(yōu)化)：強(qiáng)化學(xué)習(xí)算法生成資源分配方案，運(yùn)行過(guò)程中實(shí)時(shí)接收訓(xùn)練樣本并迭代優(yōu)化。模型A用于場(chǎng)景二后，在用戶移動(dòng)過(guò)程中，每生成一組用戶樣本即作為訓(xùn)練樣本更新模型A，新模型替換舊模型作為策略生成模型產(chǎn)生資源調(diào)配策略，不斷迭代優(yōu)化策略模型。

4.3 仿真結(jié)果分析

模擬了兩種用戶移動(dòng)場(chǎng)景，如圖4所示，場(chǎng)景一中的用戶從左向右進(jìn)行布朗運(yùn)動(dòng)，場(chǎng)景二中的用戶從外圍向中間聚攏。

DDPG算法在用戶移動(dòng)場(chǎng)景一中訓(xùn)練得到模型A，如圖5所示。經(jīng)過(guò)500次的學(xué)習(xí)，模型A學(xué)習(xí)到了場(chǎng)景一中的用戶移動(dòng)與業(yè)務(wù)規(guī)律。

(a) Scenario 1 T=0

圖5 模型A在用戶移動(dòng)場(chǎng)景一中的收斂曲線

模型A并未學(xué)習(xí)到場(chǎng)景二中的用戶規(guī)律，將模型A用于用戶移動(dòng)場(chǎng)景二，在用戶移動(dòng)過(guò)程中，模型A不迭代，即方案二。方案一和方案二的性能結(jié)果如表2所示，每種方案進(jìn)行了50組測(cè)試，每組測(cè)試中，用戶移動(dòng)的趨勢(shì)不變，但軌跡有所變化，表中性能均為50次測(cè)試的均值。可以看出，方案一的用戶傳輸時(shí)延與能耗較高，固有能耗較低，這是由于方案一中用戶接入控制基站的情況更多。雖然所設(shè)計(jì)方案的基站執(zhí)行時(shí)延較高，但總系統(tǒng)能耗低于傳統(tǒng)方案，節(jié)約了46.98%。

其次，觀察強(qiáng)化學(xué)習(xí)模型迭代優(yōu)化頻次對(duì)系統(tǒng)性能的影響。分別對(duì)方案二～方案四進(jìn)行了50組測(cè)試，性能結(jié)果如表2所示。

表2 業(yè)務(wù)性能與能耗對(duì)比

可以看出，方案四的用戶業(yè)務(wù)性能最優(yōu)。方案四綜合優(yōu)化了業(yè)務(wù)性能與系統(tǒng)能耗，智能模型周期優(yōu)化的方案三次之。方案四的總系統(tǒng)能耗相較于方案三節(jié)約了74.65%，相較于方案二節(jié)約了44.64%。

綜上所述，所設(shè)計(jì)技術(shù)方案的用戶傳輸速率等與傳統(tǒng)方案各有優(yōu)劣，但是用戶傳輸時(shí)延等業(yè)務(wù)性能優(yōu)于傳統(tǒng)方案，系統(tǒng)能耗更低。隨著所設(shè)計(jì)方案迭代優(yōu)化頻次的升高，業(yè)務(wù)性能有所提升，總系統(tǒng)能耗更低。

5 結(jié)論

本文給出了基站通算資源協(xié)同分配場(chǎng)景，詳細(xì)闡述了基站的控制信令與業(yè)務(wù)數(shù)據(jù)解耦機(jī)制，提出了一種6G基站通算資源協(xié)同分配方案，并對(duì)該方案的性能進(jìn)行了評(píng)估。仿真實(shí)驗(yàn)表明，所設(shè)計(jì)方案能大大降低系統(tǒng)能耗，相較于傳統(tǒng)方案，節(jié)約了46.98%的能耗。同時(shí)驗(yàn)證了所設(shè)計(jì)方案的迭代優(yōu)化頻次越高，系統(tǒng)能耗越低。