智能電網中兩階段網絡切片資源分配技術

尚芳劍，李 信，翟 迪，陸 陽，張東磊，錢玉文

（1.國網冀北電力有限公司信息通信分公司，北京 100044；2.全球能源互聯網研究院有限公司，北京 102209；3.南京理工大學電子工程與光電技術學院，南京 210094）

0 引言

近年來，許多國家、企業都致力于建設智能電網，并提升了智能電網安全水平。特別地，我國通過實施“互聯網+”戰略，全面提升智能電網信息化、智能化水平，充分利用現代信息通信技術、控制技術實現智能電網安全、清潔、協調和智能發展，為經濟社會發展提供可靠電力保障［1-2］。另外，隨著通信業務規模不斷擴大，用戶需求的差異性越來越大，有限的頻譜資源也變得越來越緊缺。因此，利用網絡虛擬化技術實現資源共享的網絡切片技術應時而生［3］。網絡切片是5G 網絡中的一項關鍵技術，利用該技術可實現靈活配置相互獨立虛擬網絡的功能［4］。目前，網絡切片資源分配已成為電力線系統的研究熱點。

目前，網絡切片分配主要針對不同業務類型對網絡的速率、時延等需求，為用戶分配虛擬網絡資源［5］。典型地，文獻［6］中為了使網絡切片中基礎設施供應商、服務提供商和用戶都獲得較高的收益，提出了一種基于乘法器的分布式資源分配算法；但這種方法沒有考慮各切片業務不同的時延需求。為此，文獻［7］中考慮了網絡切片中業務到達和無線信道的動態變化，在此基礎上提出了基于正交頻分多地址（Orthogonal Frequency Division Multiple Access，OFDMA）的無線虛擬網絡中吞吐量最大化的資源分配方案；但這種方法只考慮了時頻資源，未充分利用頻譜資源。類似地，文獻［8］中基于每個網絡切片的統計時延服務質量（Quality of Service，QoS）需求，并利用非正交多址接入技術提高了系統的有效容量，提出了利用每個網絡切片的最小預留速率來保證各網絡切片間的隔離性，解決了在虛擬無線網絡中最小化傳輸功率的資源分配問題。然而，這些研究工作均沒有考慮到用戶公平共享網絡切片的情況。為此，文獻［9］中提出了一種基于比例公平算法的半靜態網絡切片資源分配方案；該方法雖然考慮了不同類型的網絡切片，但同種類型切片的業務需求是固定的，不能滿足用戶的差異化需求。而為了優化網絡切片分配，文獻［10］中將網絡切片的資源分配問題建模為雙凸優化問題，實現網絡負載均衡的同時最小化鏈路成本。

近年來，在智能電網中應用網絡切片技術，并進行切片分配也引起了國內研究者的關注。例如，劉明月等［11］在闡述了電力業務分類及其特點的基礎上，分別從核心網與接入網入手對資源分配算法的研究現狀進行了綜述；特別地，該文獻針對智能電網業務種類繁多，從合理分配資源、適應多類業務的各項需求出發，提出了資源最優分配的方案，從而可以獲得用戶滿意的服務質量。為了對資源進行動態分配，文獻［12］中提出了一種基于人工智能的5G 網絡切片資源分配策略。綜合以上工作后，甄巖等［13］針對電力通信網絡的特點，總結了電力通信網絡中實現網絡切片的技術挑戰，并提出了一種適用于電力異構無線通信網絡的切片方案。

然而，現有的網絡切片虛擬資源分配算法主要側重于頻譜資源共享的研究，較少考慮不同業務類型的差異化需求。例如，文獻［14］與文獻［15］提出了一種資源共享比例受限的分配機制，該機制能夠提升網絡切片的資源共享能力，但沒有研究定制化資源分配問題。文獻［16］中提出了一種基于破產博弈的資源分配算法，實現了對云接入網絡切片的頻譜資源分配；該算法能夠有效提升頻譜資源利用率，但沒有考慮不同業務的差異化需求。不同業務類型對網絡速率、時延、可靠性等的需求不同，如何根據異構化的業務需求只為用戶分配其所需的虛擬網絡資源，是網絡切片資源分配算法研究中需解決的關鍵問題［17-18］。此外，實際應用中，用戶是依次在線到達的，因此，需要一種在線的切片資源分配方法，能夠及時、高效地在用戶提交業務請求后為其分配所需資源，提供定制化的切片服務。

為此，本文提出基于云-邊協同的網絡切片分配模型。為了在本地邊緣網絡中將網絡切片分配給用戶，本文使用拉格朗日乘子法來優化網絡切片資源的分配方法；為了有效地將核心云中的切片資源分配給不同的邊緣代理，本文還引入了增強學習的方法來優化網絡切片的分配。

1 系統模型

1.1 智能電網的切片劃分

智能電網存在業務多樣性以及對網絡的要求也不盡相同，如電力生產大區業務與管理信息大區業務。其中：電力生產大區業務包括配電自動化和毫秒級精準負荷控制；而在管理信息大區業務中包含了大量的用電采集類業務，因此需要根據業務需求對用戶進行隔離。一般地，智能電網業務需要毫秒級超低時延和超高可靠的網絡。基于以上需求，針對智能電網類業務，利用5G 網絡切片技術提供按需部署、高隔離性、端到端服務類保障的電力切片，才能滿足電力業務的需求。

智能電網中網絡切片系統的結構如圖1 所示。在該結構中，智能電網的切片系統由電力維護系統、切片管理系統和多個電力子站組成。電力子站通過不同的需求，由不同的電力切片來支撐。一般地，電力切片管理系統可以動態創建與回收電力切片。電力維護系統可以動態地監控各種硬件資源，為切片管理系統提供實時監控數據。

圖1 智能電網中網絡切片系統結構Fig.1 Structure of network slicing system in smart grid

根據電力需求，一般可將用戶業務分為三種：增強移動寬帶（enhanced Mobile Broad Band，eMBB）、超高可靠超低時延通信（ultra-Reliable Low Latency Communications，uRLLC）和海量機器類通信（massive Machine-Type Communications，mMTC）。每個網絡切片由一系列虛擬網絡功能（Virtual Network Function，VNF）、運行這些網絡功能的資源以及連接這些功能的定向鏈路組成。

在實際電力系統中，針對不同電力業務的需求，使用的切片也不同。針對配電自動化業務、毫秒級精準負荷控制、分布式饋線自動化等業務，一般采用uRLLC 切片，因為這些業務具有超低時延，且具有超高的可靠性需求；針對分布式電源以及未來的海量通信類業務，一般采用mMTC切片，因為這些通信類業務具有較高的連接密度；對于增強帶寬類業務，一般采用eMBB切片，因為增強帶寬類業務有超大帶寬業務。

1.2 切片分配模型

網絡切片資源分配系統的模型如圖2 所示。在該模型中，網絡切片資源的分配過程兩個階段：第一階段，在邊緣網絡中，邊緣服務代理將不同的切片分配給所需的用戶；在第二階段，云服務器根據第一階段分配的結果將計算資源、存儲資源以及VNF 等分配給不同的邊緣網絡。這些邊緣網絡包括不同的物聯網、移動網絡以及各種電力業務網絡［19］。

圖2 智能電網中網絡切片資源分配分配模型Fig.2 Resource allocation model for network slices in smart grid

本文假定不同的切片部署在不同區域，且部署在不同區域的同種VNF 在時延、效率上表現出不同的性能。共有個n電力生產大區，每個區域的云資源可以共享。每個網絡切片中，同一區域同種類型的VNF 最多擁有一個，但可擁有多個部署于不同區域的同一類型VNF 實例。為保證切片性能，部署于某個區域的VNF只能在該區域內共享。

在第一階段中，邊緣服務提供商根據用戶的不同需求分配不同的資源。服務提供商可提供多種虛擬資源，如虛擬頻譜資源、虛擬計算資源、虛擬存儲資源等。需要說明的是，第一階段用戶的資源請求被存儲在隊列系統中。該系統根據資源的類別分成不同類型的資源隊列，而針對同一類型的資源，也會根據任務的緊急程度、延遲敏感程度等生成不同優先級的隊列。然后，在第二階段中，本文采用智能的資源調度算法，根據資源的數量、任務數量、隊列優先級等進行資源分配。

2 邊緣網絡資源分配優化

為了將頻譜資源最優地分配給用戶，本文引入體驗質量（Quality of Experience，QoE）作為衡量用戶傳輸速率的依據。由于頻率選擇效應，可將通信信道轉換為多個并行平坦的衰落信道，不同的網絡切片使用不同的信道與頻率［20］。設un為第n種網絡切片，則使用這種網絡切片的吞吐量為：

其中：I是LM×LN階指示矩陣；為接收器的平均信噪比（Signal-to-Noise Ratio，SNR）；Rss是傳輸數據的相關矩陣；f是該切片的通信頻率；H是邊緣服務代理與終端用戶的信道矩陣。

由于邊緣服務代理（Agent Unit，AU）上執行的服務程序是由終端發送的申請決定的，因此，定義wi∈{0，1}作為切片是否被訪問狀態。第i個終端用戶（Terminal User，TU）的信道速率為：

其中：pn和pI為其他蜂窩網絡的噪聲功率和干擾功率；pi是接收信號的功率；h是信道增益；T是信道的帶寬。

本文采用比例公平調度（Proportional Fair Scheduling，PFS）算法將資源分配給具有最高信道質量的用戶［21］。然后，可以將第m個物理資源塊（Physical Resource Block，PRB）中的第k個TU分配子頻率f，則

其中：Tk(f)表示第k個TU 相對于f的平均吞吐量；ρk(m，f)是第k個TU的SNR，它與第m個PRB以及頻率相關。

另外，每個邊緣代理的總能耗為：

其中：η＞1是一個常數；Pcir為總電路功耗；an是第n個切片的優先級；Pi，k是第i個TU 從第k個服務代理處接收到的功率；Pbh是回程的能耗。

這樣，云服務器可獲取每個服務需求的反饋值，如延遲、數據速率、功率、優先級和切片類型等。基于這些參數，以QoE 最優來分配網絡切片資源。則第n類網絡切片的QoE 表示為：

其中：Dn為n類網絡切片的總延遲；Cn為n類網絡切片的通信速率；Pn為n類網絡切片的傳輸速率；an是第n個切片的優先級。

為了將問題簡單化，本文假定核心云可提供足夠多切片分配給邊緣用戶，則網絡切片中資源優化問題可形式化為：

其中：τ是一個常數，用于判斷應用程序是否對延遲敏感；l是延遲的要求；I{l＜τ}是一個指標函數，如果l＜τ則I=0，否則I=1；Rth是每個UE 的數據速率的閾值；Nn是相鄰網絡數；PI是相鄰AU 引起的總干擾；Pj和hj是TU 和第j個相鄰AU 之間的信道的發射功率和信道增益；Imax是總干擾閾值。

在式（6）給出的干擾條件中：第一個約束條件表示UE 正常工作的最小數據速率；第二個約束條件表示所有UE的整體數據速率小于某一個指定的值；第三個約束反映了分配給一個服務片的AU的能力限制；隨著5G的廣泛采用，微基站的數量急劇增加，為此，第四個約束用來形式化每個UE 的宏小區之間的干擾。在此基礎上，將式（6）轉換為：

由于式（6）是一個混合整數非線性規劃問題，其目標函數中存在連續變量。此時，很難用凸優化方法解決。為此，將式（6）中目標函數轉換為：

其中：r是懲罰系數；p是由AU 的發射功率組成的向量；B(p)如式（9）。

為了解決以上優化問題，本文設計了迭代算法求解最優解，描述如下：

算法1 迭代求解算法。

3 云網絡切片優化分配

3.1 切片分配的MDP建模

本文引入系統評估參數ξ，考慮資源利用率和QoE 滿意度，則ξ可表示為：

其中：η和?分別表示資源利用率和QoE；ηth和?th分別是η和?的閾值。ξ可以基于動作充分地表示一個狀態。以電力服務為例，它需要滿足嚴格的延遲和優先級要求。在這種情況下，延遲Dn和an比傳輸能力和傳輸速率更重要。基于ξ，本文對云資源分配系統進行建模。

狀態 觀測數據可以通過神經網絡被轉發到后續批次，同時狀態矢量可以作為特征矢量輸出。然后，定義狀態集為：

其中fNN表示神經元網絡。

動作 遠程無線電頭（Remote Radio Head，RRH）將被聚在一起創建一個AU 以減少小區間干擾和降低切換過程的成本。

根據小區服務中TU 的地理分布，將AU 劃分為M個集群，每個集群應僅分配給一項服務。因此，可以定義動作：

其中：n表示第n類網絡切片；M是動作集a的維數；ai具有兩個值1和0，指示第i個資源是否分配給第n個切片。

回報函數 在神經元網絡中訓練數據，根據其特征可以獲取動作集上的概率分布矢量。這一步可以最大化分布矢量的概率，使系統達到最佳性能。回報函數可以定義為：

其中，s表示狀態，詳見式（11）。通過分配切片，可以依據轉移概率從一個狀態轉移到任何時隙的其他狀態。此時，可以將系統建模為馬爾可夫決策過程（Markov Decision Process，MDP）。

3.2 基于增強學習的分配算法

圖3 基于增強學習的網絡切片資源分配算法示意圖Fig.3 Schematic diagram of resource allocation algorithm for network slices with reinforcement learning

在該框架中，Q是收益函數。資源分配的結果存放在分配結果數據庫中。通過使用目標神經元網絡訓練資源分配數據中的樣本數據，從而取得最優收益。其中，第t個時隙的狀態-動作對的Q函數為：

其中：rt是第t個時隙的回報；ρ是學習率；γ∈(0，1)是確定將來回報值的貼現因子；st是第t個時隙的狀態；at是第t個時隙中選擇的動作。

在每個時隙中，代理可以依據當前狀態和回報來計算最佳Q值再選擇動作。根據當前狀態和所選動作，系統將在下一個時隙切換到新狀態。通過這種方法，可為每個時隙更新Q函數。環境通常是動態變化的，例如，系統可以根據信道容量來調整傳輸數據速率、調制方案和信道編碼率，因此，采用QoE 作為環境的主要參數。通過上行鏈路上載的信道質量指標表示數據速率，該速率由信號與干擾加噪聲比和接收機的特性確定。為此，給出基于增強學習的網絡切片分配算法，如算法2所示。

算法2 基于增強學習的切片分配算法。

4 實驗及結果分析

本文通過仿真評估系統性能。首先，考慮在一個單獨切片中進行本地層中的資源分配，將字載波帶寬設為15 kHz，時隙設置為1 000 ms。在這種配置中，一個幀僅由一個時隙組成，因此，無線幀總共包含了10 個時隙。在異構網絡中，基站的最大功率為4 W，PRB的最大功率為0.8 W。

當小型基站與宏基站共享同一頻譜時，系統可以通過時間、頻譜、功率等資源的自適應分配來減少干擾［16］。本文假設不同的服務對數據速率有不同的要求，并且對總吞吐量也有要求。對于廣域級別，假設最大輸出功率低于46 dBm，以提供可接受的性能，并確保不受輻射影響。假定，5G 蜂窩系統假定在30～300 GHz 的毫米波頻帶內工作。噪聲功率的頻譜密度為174 dBm/Hz。

為了比較本文方案與其他方案的優缺點，實現了如下三種方案：

1）固定資源分配（FRA）：根據租戶及其優先級，將AU 劃分為不同的等級。這些用戶設備根據其狀態被接收，然后根據寬帶信道質量以及回程容量與遠程無線電前端相關聯。根據經驗來分配每個租戶的比率。

2）動態資源分配（DRA）：考慮租戶及用戶設備的不同的優先級。首先，基于QOE 要求及接入單元性能進行準入控制；然后，將所接入的用戶設備與遠程無線電前端相關聯，該前端根據其性能、功率及其他約束提供了高質量的信道。

3）基于環境的資源分配（RRA）：考慮到了動態資源分配及環境變化的優點，使用了本文3.2 節中機器學習方法來動態執行。

本文的仿真中，利用50 臺終端用戶設備來進行分配，分配結果如圖4 所示，其中，ξ是用戶的滿意度度量。該實驗考慮到用戶設備的數據速率、功率、無線電資源，以及每個服務中每個參數的優先級權重，RRA 的總體性能是最佳的。由圖4可知，本文提出的RRA性能略優于DRA，這是因為該圖顯示的是一個服務的性能，而并非系統性能。其次，隨著信噪比的增加，FRA 的性能越來越差，其資源利用率也越來越低。第三，當服務對延遲敏感時，RRA 在公平性及延遲性上優于其他算法。在延遲敏感切片中，高信噪比環境下的體驗質量要低于需求閾值，所以ξ的值逐漸減小。

圖4 不同網絡切片的資源分配方案性能分析Fig.4 Performance analysis of different resource allocation schemes for network slices

圖5 中，給出了解決了云系統的優化問題。本文利用包含語音、視頻及超可靠低延遲通信的三種場景，評估了采用強化學習來解決問題的性能。另外，用戶延遲分別為15 ms，5 ms 以及0.5 ms。通過圖5 可知，通過優化系統資源利用率和切片QoE的加權求和，提出的RRA可達到了最佳性能。

圖5 不同方案的分配效能分析Fig.5 Allocation efficiency of different schemes

5 結語

本文基于網絡切片提出了一種智能電網中基于云-邊協同的網絡切片分配模型。為了配合這種云邊協同系統以及提高網絡切片的分配效率，提出一種基于兩階段的切片分配算法。在第一階段中，結合用戶的實際效益，優化了本地網絡切片分配方法。在第二階段，通過把系統建模成馬爾可夫決策過程，然后利用增強學習的方法實現網絡切片的有效分配。仿真結果驗證了本文提出的兩階段優化的網絡資源分配方法可以有效地為網絡切片分配所需資源。。