基于CNN-GRU網絡的5G流量預測模型

郭娘容，甘浩宇，陳立豐，賴 粵

（廣東工業大學，廣州 510006）

0 引言

隨著通信技術的快速發展，寬帶移動通信技術已經迭代到第五代，即5G 網絡。在網絡可靠性精準切片和資源消耗等方面，5G 網絡有著更高的要求。實現5G 網絡資源的精準預測，可以為企業預留5G 和精準切片提供數據支撐，對企業提高網絡資源利用率，降低能源開銷方面具有重要意義。

近年來，因為深度學習網絡模型對時間序列數據有良好的預測效果，所以受到學者們廣泛關注和應用。目前常用基于深度學習網絡的流量預測方法主要有：卷積神經網絡（CNN）、循環神經網絡（RNN）、長短時記憶網絡（LSTM）和門控循環單元網絡（GRU）。

本文將5G 通信特點和垂直行業業務相結合，提出了一種基于CNN-GRU的網絡流量預測模型。在eMBB 應用場景下，研究5G 通信的帶寬峰值及其變化趨勢，挖掘5G 網絡流量特點。為了獲取時間序列數據間更深層次的關系，使用CNN 和GRU 兩種神經網絡結合的網絡模型對時間序列數據進行處理，CNN 網絡提取5G 網絡流量的特征向量，并將其作為GRU 神經網絡的輸入。實驗結果表明，本文提出的CNN-GRU模型相對于傳統模型具有更好的預測效果，提高了模型的訓練精度，同時訓練結果擁有較高的擬合度，實現對5G 網絡帶寬數據高效、精準、可靠的預測。

1 深度學習網絡原理

1.1 CNN

卷積神經網絡（CNN）廣泛應用于人臉識別、疾病分析、圖形處理等領域，一般由輸入層、卷積層、池化層、全連接層以及輸出層構成。其中卷積層可從輸入數據中快速精準的提取樣本特征。池化層有兩個典型特性。一是可以大幅度加快模型的訓練速度，對提取的特征信息進行降維處理，降低訓練量。二是防止模型訓練結果的過擬合。實際的操作中，常在兩個相鄰的卷積層之間加入1層池化層。全連接層的特性之一是能將當前訓練所提取特征和保留的樣本特征進行組合。正是由于CNN 擁有局部連接和權值共享的特性，使得CNN 可以精準高效地從輸入數據中挖掘潛在的特征。

1.2 GRU

循環神經網絡（RNN）由于其在連續數據預測方面效果顯著，而被學者廣泛的關注。LSTM是RNN 的一種變種，而GRU 是在LSTM 基礎上，對其結構進行簡化的一種網絡。LSTM 主要包括輸入門、輸出門和遺忘門三種不同的門結構。GRU設計的初衷是為了簡化LSTM的結構，它將遺忘門和輸入門合二為一變成更新門。數學描述公式為式（1），式（2），式（3）和式（4）所示。

其中，，分別為更新門、重置門和sigmoid 函數。是當前時刻的輸入，為上一時刻的記憶變量，，為對應的權值參數，?為候選集，為現在的狀態。首先，輸入數據與上時刻記憶變量間進行排列組合，經過sigmoid 函數，輸入數據轉換為（0，1）之間，并且輸入到更新門和重置門。然后，再將重置門，輸入數據以及過去狀態變量，三者進行線性變換組合。最后，將兩者的信息疊加作為當前時刻的輸出。GRU 模型使用了更新門用來替換LSTM 中的輸入門和遺忘門，由于只有兩個門控單元，從計算復雜度的角度來說，它比LSTM 的效率高。但總體而言，LSTM和GRU兩種網絡模型都能很好的處理和解決時間序列數據，解決訓練數據長時間依賴的問題。

2 CNN-GRU網絡模型

2.1 5G網絡的整體架構

本文5G 網絡流量的研究對象屬于5G 接入網側流量，側重研究無線終端在接入網側的網絡表現。在eMBB場景下，通過分析網絡帶寬的峰值、連續性、臨界點表現等信息，預測未來帶寬的變化趨勢。實現5G 帶寬的精準預測，對基站的能源開銷，資源規劃提供數據支撐。5G網絡的架構可以大致分為核心網、傳輸網，以及接入網三部分，具體架構如圖1所示。

圖1 5G網絡架構

2.2 CNN-GRU網絡模型設計

相對于4G 流量而言，5G 流量帶寬峰值更高，上升的速度更快，5G 網絡高峰期的帶寬持續和流量的快速回落也和4G 流量有所差別。選擇預測模型時，需要兼顧短期的時間數據，同時也要將歷史長期數據進行存儲和記憶。此外，針對于高峰與低谷之間的臨界邊緣數據，只有足夠深層且記憶能力強大的網絡模型，才有能力去克服邊界上的擾動。因此，5G 帶寬預測需要更深層次，更多參數的網絡來進行特征提取。

為了解決上述問題，使用兩種神經網絡組合而成的CNN-GRU網絡模型進行設計。其結合了CNN 和GRU 兩種網絡模型的優點，不僅可以精準高效的從時間序列數據中挖掘潛在的特征，而且具有強大的記憶能力。首先，將帶寬數據進行歸一化。然后，輸入到CNN 網絡中進行帶寬數據特征提取，將CNN 網絡訓練后的結果作為GRU 網絡的輸入。通過GRU 網絡模型進行訓練以及Adam 優化算法對參數的更新迭代。最后，再將輸出的結果進行反歸一化。

對比傳統網絡模型，CNN-GRU 網絡模型有著更深的網絡層數，更多的模型參數，可以更有效的提取eMBB 數據間的關系。CNN-GRU 網絡模型中的CNN部分使用3層卷積層，和3層池化層，其中池化層的池化方法選取最大池化。LSTM的單元數也為3層，具體結構如圖2所示。

圖2 CNN-GRU網絡模型

3 5G流量預測實驗及結果分析

3.1 數據集介紹

本文實驗使用的數據集，來自一家愛爾蘭的網絡運營商。該數據集在5G 網絡環境下，通過靜態和車載兩種模式產生。測試的方式包括視頻流媒體和文件下載等。

3.2 數據集預處理

大帶寬被認為是5G 網絡的顯著的特性之一，本文將流量帶寬數據作為衡量5G 網絡性能的指標。采用靜態環境下文件下載產生的流量下行帶寬數據作為輸入數據，選擇CNN，LSTM，GRU模型與本文模型進行對比。

首先，對訓練數據進行預處理，原數據集是多個小文件，對2019年12月16日至2020年2月27 日的5 天采集的數據進行整合。然后，去除掉一些無用的數據，放棄一些沒有處于下載狀態的數據，即下載帶寬為0 的數據（此部分無效數據認為是設備或者環境造成的干擾）。最后，分析數據集的5G 網絡帶寬流量特性，確定帶寬預測的輸入特征、將帶寬數據和和時間數據歸一化到（0，1）之間，并作為CNN-GRU網絡模型的輸入。

3.3 模型評價指標

為了更好對網絡模型的預測結果進行評價分析，將均方根誤差（）、平均絕對誤差（）以及方（Squared）作為評價指標。評價公式的數學表達如式（5），式（6），式（7）所示。

均方根誤差，可以較為精確反映訓練模型的離散程度。當的數值越小的時候，表示這個模型的聚合程度越高，該模型越為精確。

平均絕對誤差，是將實驗的預測結果與實際結果作差，取絕對值，然后再求均值。

當的值越小，表示模型的誤差越小。

方（Squared），方被學者認為是衡量線性回歸的最好的方法之一，方主要將預測結果轉化為范圍在0 至1 之前的準確度，可以較為直觀的顯現一個模型的擬合度。當模型的擬合度非常理想的時候，其數值會無線靠近1。

3.4 結果分析

對訓練數據集分別采用LSTM模型、GRU模型、CNN-LSTM 模型以及本文提出的CNN-GRU模型進行特征提取和組合。網絡模型中CNN 的卷積層數為3 層，LSTM 和GRU 的單元數也為3層。實驗過程中，激活層選取Relu 激活函數，參數更新迭代的算法為Adam，數據回溯的值為20。實驗結果如表1所示。

表1 不同預測模型評價指標匯總

實驗結果顯示，LSTM和GRU的訓練結果接近，在中的差值小于2.5%，在中差值小于4.3%，Squared也只有一個百分點的差別。與之類似的，CNN-LSTM 和CNN-GRU，在和指標中也分別只有小于2.1%，和3.3%的差別，Squared 也只有一個百分點的差別。因此，可近似的認為LSTM和GRU訓練效果一致，CNN-LSTM和CNN-GRU訓練效果一致。

對比LSTM和CNN-LSTM 兩種模型，我們可以觀察到訓練結果在精度上有顯著提高，和分別減少了9.9%和10.9%，Squared 亦提高了4 個百分點。與之類似的，對比GRU 和CNN-GRU，和分別減少了12.3%和15.0%，Squared提高了5個百分點。

在加入了CNN 模型后，兩種模型的訓練精度都有進一步的提升。但從模型結構的角度上選擇CNN-GRU會更為合適。當未來遇到更為海量的數據需求，GRU 只有兩個門單元，對比LSTM 的三個門單元，模型更為簡單，訓練的參數更少。因此，認為CNN-GRU 是5G 網絡環境下帶寬流量預測的理想模型。

為了更深入的研究本文提出的CNN-GRU模型在訓練過程的情況，記錄模型的訓練過程并以畫圖的形式呈現。圖3 為CNN-GRU 模型歷史訓練過程，圖4為圖3在測試部分的放大圖。

圖3 CNN-GRU模型歷史訓練過程

圖4 CNN-GRU模型測試過程（放大）

橫軸代表帶寬數據的時間點，縱軸代表下載帶寬的數值，藍色部分表示原始數據，橙色部分表示訓練數據，紅色部分則為測試數據。從結果上看，CNN-GRU 訓練過程中的整體表現較為平穩，雖然在部分的帶寬峰值預測中表現得不夠完美，但是對于帶寬數據流量的總體趨勢預測屬于較為理想的水平。結合較高的擬合度，驗證了本文模型對時間序列帶寬數據具有良好的預測效果。

3.5 網絡預測與垂直行業應用結合

本文的CNN-GRU 模型對5G 帶寬具有良好的預測效果，可以為垂直行業的資源優化提供數據支撐。以下，在電力物聯網背景下，提出一種基于流量帶寬預測的5G 網絡切片系統方案，將CNN-GRU 模型與電力業務結合，實現5G 網絡的精細化切片，提高網絡資源利用率，減少5G 基站能源消耗和運營成本，系統架構如圖5所示。

圖5 基于CNN-GRU模型的5G切片系統架構

（1）系統的輸入為電力物聯網中實際場景下的業務帶寬數據，通過本文的CNN-GRU模型進行參數迭代，經過模型訓練后輸出預測的帶寬信息。同時，通過監測工具（Pioneer，Wireshark和Iperf 等）動態監測5G 網絡的資源信息，包括CPU、內存等計算資源的監測，以及吞吐率、可靠性、多設備并發等網絡存儲性能的監測。

（2）將預測的帶寬信息和當前的鏈路資源信息進行整和，并與電力物聯網的業務需求進行匹配，進一步得到針對業務的切片需求。

（3）基于帶寬流量預測的切片需求可以直觀表達未來的一段時間電力負載情況，廠區的邊緣服務器將這些信息作為參數，構建目標網絡和損失函數，利用如強化學習的貪婪算法等進行迭代，最大化獎勵，從而實現精細化的網絡切片。切片結果影響下一次模型的訓練，通過調整參數及算法更新，得到最理想的eMBB網絡資源切片策略，從而實現網絡資源負載的優化。

4 結語

由于擁有近似的結構，LSTM網絡和GRU網絡的訓練結果相近，都能較好的處理時間序列數據。此基礎上加入CNN 模型，增加了3 層CNN 的卷積層，訓練過程迭代中的參數將會變多，模型訓練的時間也會相應的增加。更多的參數提高了深度學習網絡的深度，挖掘數據與數據之間更深層的關系，模型變得更為穩健。反映在模型評價指標中，訓練的時間變長，但是精度得到了提升。CNN-GRU和CNN-LSTM 的訓練結果并沒有太大的差別，但是GRU 對比LSTM 擁有比其簡單的結構，理論上來參數的計算量更小，為了后期更為大數據量的考慮，選擇使用CNN-GRU 作為模型選擇。綜上所述，CNN-GRU 模型能夠提高模型的訓練精度，同時擁有較高的擬合度，實現對5G 網絡下帶寬數據高效、精準、可靠的預測。

未來可研究，在uRLLC 以及mMTC 的場景下，結合時延和連接數等數據對5G 網絡的實際表現進行預測，進一步提升預測模型對5G 網絡的適用度以及處理數據的能力。