基于改進(jìn)長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的5G通信網(wǎng)絡(luò)流量預(yù)測

趙 巍

（華東交通大學(xué) 理工學(xué)院， 南昌 330100）

基站流量精準(zhǔn)預(yù)測對推進(jìn)5G無線通信系統(tǒng)的智能化意義重大[1]，其中基站流量精準(zhǔn)預(yù)測一直以來都是一個(gè)具有挑戰(zhàn)性的問題[2].對5G通信網(wǎng)絡(luò)流量預(yù)測研究采用的大多是一些淺層學(xué)習(xí)算法，這些算法通常忽略了流量序列蘊(yùn)含的變化趨勢與數(shù)據(jù)之間的關(guān)聯(lián)性，使得現(xiàn)有流量預(yù)測結(jié)果通常不能滿足實(shí)際流量數(shù)據(jù)原本的特性，造成預(yù)測結(jié)果與用戶需求不符、不準(zhǔn)確等一系列問題[3].現(xiàn)有通信網(wǎng)絡(luò)流量的分析方法主要包括：1）用統(tǒng)計(jì)方法對蜂窩網(wǎng)絡(luò)流量序列進(jìn)行內(nèi)在時(shí)間模式提取研究；2）對流量序列的空間分布嘗試模型擬合的研究；3）通過對時(shí)空因素拆分重組進(jìn)行時(shí)空相關(guān)性的聚類研究[4-5].

LSTM神經(jīng)網(wǎng)絡(luò)算法是一種具有非線性特征以及較強(qiáng)學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)算法[6]，該算法具有可通過增加用于控制對過去信息的訪問關(guān)聯(lián)，有效解決梯度消失或梯度爆炸現(xiàn)象的優(yōu)勢.壓縮感知[7]是一種將信號的采樣與壓縮過程合二為一，以遠(yuǎn)低于理想奈奎斯特采樣速率進(jìn)行數(shù)據(jù)表征并完成數(shù)據(jù)重構(gòu)的高效通信技術(shù)[8].文中擬基于不同基站的流量時(shí)空相關(guān)性，首先利用時(shí)間序列采集大量通信流量數(shù)據(jù)，根據(jù)低秩特征建立具有塊狀特性的流量稀疏矩陣；然后再結(jié)合時(shí)間序列LSTM進(jìn)行5G通信流量的預(yù)測訓(xùn)練，提出基于壓縮感知的改進(jìn)長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的基站流量全局建模，精準(zhǔn)提升單個(gè)基站未來流量值的預(yù)測.

1 網(wǎng)絡(luò)流量預(yù)測理論

在信號中，取值較大的數(shù)值只占少數(shù)，其余多數(shù)是取值為0或近似為0的信號，具有該特點(diǎn)的信號稱之為可壓縮信號[9].在通信信息流中，由于基站提供的通信數(shù)據(jù)具有時(shí)間間隔規(guī)律性，使得產(chǎn)生的信號具有較大冗余.因此對提高信號采集效率而言，可采用該流量信號的較大數(shù)值用于關(guān)聯(lián)時(shí)間信息，即用較小信息量來表征整個(gè)流量矩陣.考慮到其滿足稀疏特性，所以可用壓縮感知的方法對通信數(shù)據(jù)流做預(yù)處理，通過低維度采樣匹配原始信息流.

1.1 5G通信網(wǎng)流量信息壓縮感知理論

在時(shí)間序列預(yù)測中，對單個(gè)時(shí)間序列建模然所采用的方法通常是AR[10]或RNN、LSTM等機(jī)器學(xué)習(xí)方法.雖然這些方法是通過將歷史值輸入到時(shí)間序列以訓(xùn)練獲取序列的時(shí)間關(guān)聯(lián)性，但當(dāng)時(shí)間序列較多時(shí)，該方法工作量較大.為此，引入流量矩陣時(shí)間結(jié)構(gòu)特征約束條件建立信息流的高采樣壓縮感知.

1.1.1 流量時(shí)域特性及時(shí)間約束條件建立

5G通信網(wǎng)絡(luò)流量在時(shí)間維度上與用戶行為具有緊密關(guān)聯(lián)性，在時(shí)間上可體現(xiàn)為以日和小時(shí)為周期的周期往復(fù)性，而當(dāng)前大部分基站設(shè)備并不具備隨流量變化的動(dòng)態(tài)跟蹤性能.考慮到分層蜂窩網(wǎng)絡(luò)，假設(shè)某小區(qū)基站位于多個(gè)蜂窩中心，在整個(gè)蜂窩網(wǎng)絡(luò)通信流量穩(wěn)定的前提下，保證網(wǎng)絡(luò)基站所有流量均能在工作狀態(tài)取最大值時(shí)滿足正常接收，所以得到的約束條件[11]為

（1）

式中：xi為網(wǎng)絡(luò)流量；ρi，j為從第i個(gè)蜂窩轉(zhuǎn)移到第j個(gè)時(shí)的用戶流量；γt為第t個(gè)蜂窩承載的流量峰值的閾值.

5G通信網(wǎng)絡(luò)下的流量最優(yōu)化表達(dá)式為

（2）

式中：PM和Pm分別為宏蜂和微蜂基站功率消耗；sgn為符號函數(shù)，分別用0和1表示網(wǎng)絡(luò)流量的正常和非正常工作狀態(tài)；B、BM、Bm分別為滿足總數(shù)之和的分層、宏、微蜂窩網(wǎng)絡(luò)中的總基站數(shù)，并分別對應(yīng)各自流量矩陣[12].時(shí)間約束條件式（1）反映了小區(qū)通信實(shí)際流量與預(yù)測流量之間的關(guān)系，也體現(xiàn)出優(yōu)化時(shí)通信總流量應(yīng)小于承載總流量的約束要求.

1.1.2 壓縮感知約束矩陣建立

（3）

選定一個(gè)閾值，在式（3）所示的矩陣中，將取值低于閾值的劃歸為0.行向量為基站在不同時(shí)間間隔的流量體現(xiàn)；列向量為第j個(gè)時(shí)間間隔基站的流量均值，行列間約束體現(xiàn)為零值，對應(yīng)未來預(yù)測值.對于低秩矩陣，矩陣求解通常采用近似矩陣嘗試奇異值分解的方法，但該方法無法體現(xiàn)矩陣在某個(gè)分量上的權(quán)重價(jià)值，因此文中嘗試通過Frobenius范數(shù)求低秩矩陣的近似解.

考慮到通信流的時(shí)間特性，將上述最優(yōu)問題式（2）轉(zhuǎn)化為關(guān)于時(shí)間約束的形式，即

（4）

1.2 改進(jìn)算法設(shè)計(jì)流程

基于壓縮感知的LSTM基站流量預(yù)測算法的設(shè)計(jì)流程如圖1所示，主要步驟如下：

1） 采集基站流量時(shí)間序列，首先進(jìn)行預(yù)處理，然后利用約束條件建立稀疏矩陣.

2） 基于TensorFlow框架，搭建LSTM神經(jīng)網(wǎng)絡(luò).將采集到的大量通信流量時(shí)間序列作為該類簇預(yù)測模型的訓(xùn)練輸入.

3） 評測并選擇網(wǎng)絡(luò)模型權(quán)值等參數(shù)及暫定模型超參數(shù)，并在訓(xùn)練中進(jìn)行調(diào)整.

4） 輸入已處理好的基站流量序列數(shù)據(jù)到LSTM模型，并根據(jù)梯度下降算法訓(xùn)練網(wǎng)絡(luò).

5） 觀察與更改訓(xùn)練模型的迭代次數(shù)，計(jì)算得到預(yù)測輸出.如進(jìn)一步提高精度，可將預(yù)測輸出值進(jìn)行反饋及模型調(diào)整，從而得到高精度預(yù)測輸出.

2 基于改進(jìn)長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)算法

本文使用Python語言對所提出的基于流量數(shù)據(jù)壓縮感知的LSTM基站流量預(yù)測算法進(jìn)行仿真，并與常規(guī)LSTM通信流量算法進(jìn)行性能對比.

2.1 網(wǎng)絡(luò)流量預(yù)測性能指標(biāo)

預(yù)測精度是算法設(shè)計(jì)性能優(yōu)劣的主要指標(biāo).為直觀體現(xiàn)不同模型下的算法精度，采用預(yù)測均值歸一化絕對誤差進(jìn)行定量表述，即

（5）

2.2 實(shí)驗(yàn)環(huán)境搭建及測試數(shù)據(jù)生成

TensorFlow是Google公司于2015年11月發(fā)布的，目前最為常用且模塊可靈活組合的一款深度學(xué)習(xí)和機(jī)器學(xué)習(xí)框架.本實(shí)驗(yàn)通過Tensor-Flow框架[13-16]搭建LSTM神經(jīng)網(wǎng)絡(luò)模型生成流量預(yù)測模型.實(shí)驗(yàn)中使用以下步驟在TensorFlow中生成基站數(shù)據(jù)的LSTM網(wǎng)絡(luò)：

圖1 基于壓縮感知的LSTM基站流量預(yù)測算法的設(shè)計(jì)流程

1） 定義x和y的參數(shù)和占位符.

batch_size=128

n_x=5#輸入單詞的數(shù)量

n_y=1#輸出單詞的數(shù)量

n_x_vars=1#在其文本中，每個(gè)時(shí)間步長只有一個(gè)變量

n_y_vars=text8.vocab_len

state_size=128

learning_rate=0.001

x_p=tf.placeholder（tf.float32，[None，n_x，n_x_vars]，name=’x_p’）

y_p=tf.placeholder（tf.float32，[None，n_y_vars]，name=’y_p’）

2） 創(chuàng)建長度為n_x的張量列表.

x_in=tf.unstack（x_p，axis=1，ame=’x_in’）

3） 從輸入單元中創(chuàng)建LSTM單元和靜態(tài)RNN.

cell=tf.nn.rnn_cell.LSTMCell（state_size）

rnn_outputs，final_states=tf.nn.static_rnn （cell，x_in，dtype=tf.float32）

4） 定義最終網(wǎng)絡(luò)層權(quán)重、偏差，最后一層設(shè)置為第6個(gè)數(shù)據(jù)選擇輸出.

5） 創(chuàng)建損失函數(shù)和優(yōu)化器.

loss=tf.reduce_mean（tf.nn.softmin_entropy_logits （logits=x_out，labels=x_p））

optimizer=tf.train.Optimizer （learn_rate=learn_rate）.minimize（loss）

6） 創(chuàng)建會(huì)話框中運(yùn)行的精度函數(shù)，以檢查訓(xùn)練模式的精確性.

7） 考慮到LSTM網(wǎng)絡(luò)需要在有大量迭代周期的數(shù)據(jù)集上訓(xùn)練才能夠獲得更為理想的結(jié)果，所以嘗試加載完整的數(shù)據(jù)集重復(fù)迭代1 000次訓(xùn)練模型，且每隔100次迭代輸出一次結(jié)果.

2.3 仿真測試及性能對比分析

2.3.1 仿真測試

本文選取某市中心作為測量地點(diǎn)，隨機(jī)選取20個(gè)基站在近兩個(gè)月內(nèi)的流量數(shù)據(jù)作為文中預(yù)測算法的輸入對象.按照1.1.2節(jié)構(gòu)造時(shí)間間隔為0.5 h的壓縮感知特征矩陣，利用距離范式計(jì)算相鄰基站流量序列的時(shí)空相關(guān)性，并選取相關(guān)性高的前12個(gè)基站流量數(shù)據(jù)值序列作為LSTM的輸入數(shù)據(jù)進(jìn)行訓(xùn)練.抽取2020年7月至8月共45 d的數(shù)據(jù)，并將前40 d的基站流量數(shù)據(jù)作為模型的訓(xùn)練集，訓(xùn)練一個(gè)LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測模型，用以預(yù)測后5 d的基站流量.文中將Epoch設(shè)為110，隱藏層設(shè)為60，最大迭代次數(shù)為200次.壓縮感知的LSTM流量預(yù)測數(shù)值與實(shí)際流量數(shù)值的比較結(jié)果如圖2所示，其中，橫軸時(shí)間范圍在170 h以前的為訓(xùn)練數(shù)據(jù)，170～200 h為預(yù)測數(shù)據(jù)；縱軸表示通信網(wǎng)絡(luò)中流量值的大小.由圖2可知，基于時(shí)間序列壓縮的LSTM流量預(yù)測方法更精準(zhǔn)地恢復(fù)了基于流量的壓縮感知數(shù)據(jù)矩陣，無論是在原始流量數(shù)據(jù)階段還是在預(yù)測階段均有較優(yōu)的體現(xiàn)，且隨著時(shí)間的增加，預(yù)測值與實(shí)際測量數(shù)據(jù)更具有一致性.

2.3.2 算法性能對比

文中首先對每小時(shí)通信流量數(shù)據(jù)做歸一化處理，然后基于壓縮感知采樣平滑數(shù)據(jù)，提高算法對突變數(shù)據(jù)的容忍性，從而保持時(shí)隙數(shù)據(jù)變化趨勢的一致性.對比測試中，保持2.3.1節(jié)中參數(shù)取值不變，其他參數(shù)選值為：取常數(shù)線性關(guān)系PM=10Pm，Pm為2 200 W，基站規(guī)模Bm、BM、B分別取30、30、60，流量參數(shù)ρi，j為2 000 W，γt取2 900 W，對比測試結(jié)果如圖3所示.常規(guī)LSTM方法僅依賴于通信數(shù)據(jù)流的時(shí)間關(guān)系，因此造成的歸一化誤差通常會(huì)達(dá)到20%.而文中所采用的基于壓縮感知的LSTM方法體現(xiàn)了通信數(shù)據(jù)流在時(shí)間與空間方面的序列特性，使得對數(shù)據(jù)異常點(diǎn)具有更高容忍度及精度.通過歸一化的仿真結(jié)果表明，其誤差估計(jì)均值可控制在5%～10%，絕對誤差均值在3%～8%.該結(jié)果較好地規(guī)避了傳統(tǒng)基于LSTM通信流量預(yù)測方法的不足.與常規(guī)LSTM通信流量算法的預(yù)測結(jié)果相比，平均測量精度可提高近5%.

圖2 基于壓縮感知的LSTM通信網(wǎng)絡(luò)流量預(yù)測數(shù)值與實(shí)際流量數(shù)值的比較

圖3 基于壓縮感知的LSTM網(wǎng)絡(luò)流量預(yù)測與常規(guī)LSTM網(wǎng)絡(luò)性能對比

3 結(jié) 論

本文選取與待預(yù)測基站時(shí)空相關(guān)性較高的基站，并基于壓縮感知算法對該基站通信流量數(shù)據(jù)進(jìn)行高保真采樣，建立具有一致收斂約束條件的稀疏矩陣，最終實(shí)現(xiàn)對未來流量數(shù)據(jù)值的預(yù)測.實(shí)驗(yàn)仿真表明，本文所提出的改進(jìn)LSTM算法對通信網(wǎng)絡(luò)數(shù)據(jù)流的預(yù)測誤差均值可控制在5%～10%，絕對誤差均值在3%～8%，較常規(guī)LSTM通信流量算法預(yù)測結(jié)果平均精度提高近5%，有效提高了生成模型的準(zhǔn)確性.需要注意的是，隨著處理器性能的不斷提高與改善，若要生成更高精度的預(yù)測結(jié)果，則可以嘗試增加LSTM單元/隱藏層的數(shù)量、在較大的數(shù)據(jù)集上迭代運(yùn)行模型，這也是未來的研究方向.