基于WOA-LSTM的窄帶通信網網絡時延預測算法

蘇鵬飛 徐松毅 于曉磊

摘 要：為了給窄帶通信網的鏈路選擇及協議的智能切換提供實時參考，設計了一種基于鯨魚優化算法（WOA）和長短期記憶神經網絡（LSTM）的窄帶通信網網絡時延預測算法。首先對實測數據樣本進行標準化處理，以LSTM神經網絡算法的均方根誤差函數的倒數作為適應度函數;其次采用鯨魚優化算法對LSTM神經網絡的學習率、隱含層神經元個數進行優化，最后將全局最優解輸出作為LSTM神經網絡的初始參數對樣本進行訓練預測。結果表明，基于WOA-LSTM的網絡時延預測算法預測精度相較于LSTM神經網絡算法和BP神經網絡算法分別提高了14.87%和78.89%，WOA-LSTM達到收斂時迭代次數相較于LSTM神經網絡算法減少了11.11%。所提算法新穎可靠，可更準確地進行網絡時延預測，為窄帶通信網網絡的智能化與自動化升級提供數據支持。

關鍵詞：計算機神經網絡;鯨魚優化算法;LSTM神經網絡;窄帶通信網;網絡時延預測

中圖分類號：TN915.1 ? 文獻標識碼：A ? DOI： 10.7535/hbgykj.2022yx01002

Abstract：In order to provide real-time reference for link selection and protocol intelligent switching in narrowband communication networks，a network delay prediction algorithm based on whale optimization algorithm （WOA） and long short-term memory （LSTM） was designed.Firstly，the measured data samples were standardized，and the reciprocal of root mean square error function of LSTM neural network algorithm was used as fitness function.Secondly，the whale optimization algorithm was used to optimize the learning rate and the number of hidden layer neurons of LSTM neural network.Finally，the output of global optimal solution was used as the initial parameter of LSTM neural network to train and predict samples.The results show that compared with LSTM neural network algorithm and BP neural network algorithm，the prediction accuracies of network delay prediction algorithm based on WOA-LSTM are improved by 14.87% and 78.89% respectively，and the iteration times of WOA-LSTM are reduced by 11.11% compared with LSTM neural network algorithm when WOA-LSTM reaches convergence.The algorithm is novel and reliable，which can predict network delay more accurately and provide data support for intelligent and automatic upgrade of narrowband communication networks.

Keywords：computer neural network;whale optimization algorithm;LSTM neural network;narrowband communication network;network delay prediction

窄帶通信網絡是為某些特殊場景提供應急通信保障的低速通信系統的主要構成部分，其網絡時延受到網絡拓撲結構、氣象變化因素、網絡協議及路由算法等多方面因素影響，當網絡拓撲結構、網絡協議及路由算法固定下來之后，時間序列成為誘導其變化的主要影響因子。傳統的窄帶通信網網絡協議單一，根據需求需要手動進行鏈路選擇，隨著窄帶通信網的網絡復雜度增加及多種網絡協議的接入，迫切需要通過對窄帶通信網網絡時延預測，從而為窄帶通信網的鏈路選擇及網絡協議的切換提供參考。目前，網絡時延預測主要有基于數理統計的數學建模法，最小二乘支持向量機，神經網絡算法。文獻[1]通過對統計數據的回歸分析和誤差分析，提出了一種基于自回歸求和滑動平均（ARIMA）模型，對網絡化控制系統的隨機時延進行預測，相較于ARMA模型精度有所提高;文獻[2]提出了一種基于粒子群算法優化（PSO）的最小二乘法支持向量機（LS-SVM）算法，對列車通信網絡的網絡時延進行預測，但是PSO優化的參數維度較高，會影響預測時效性;文獻[3]運用BP神經網絡，同時運用PSO算法對神經網絡權值和閾值進行優化，通過機器學習的方法對歸一化的網絡時延數據進行預測，但BP神經網絡沒有記憶性的特點，使得其只能通過前兩個時序的時延數據預測下一時刻的網絡時延，無法關聯前面更長時間時序數據的特征。對此，本文選取單一對流層散射通信鏈路構成的窄帶通信網絡，提出了長短期記憶神經網絡（LSTM）算法，關聯長短期各個時序的網絡時延的歷史數據，通過鯨魚優化算法（WOA）優化LSTM神經網絡的學習率，隱含層神經元個數和最大訓練次數，提高算法預測精度，對其網絡時延進行預測。

1 數據采集和預處理

1.1 數據采集

通過野外試驗，搭建了對流層散射通信鏈路組成的通信網絡，每隔30 min在收發兩端進行大小為64 B的數據包傳輸測試，共記錄了由300組網絡時延數據所組成的一維實驗數據。

1.2 數據預處理

將采集到的數據進行標準化處理，將數據處理成均值為0，標準差為1的標準化數據。在神經網絡的反向傳播過程中，采用了梯度下降法更新權值以及偏置值，將數據進行標準化處理可以提升模型的收斂速度，也避免了數值輸入過大，導致更新過程中梯度過大從而使網絡的學習停止更新，設置學習率時也不必再根據輸入值的范圍進行調整。樣本數據的標準化處理公式如下：

2.3 WOA-LSTM網絡時延預測模型

LSTM神經網絡的網絡訓練效果以及訓練過程中的擬合速度和初始的參數設置密切相關，其中學習率和神經網絡隱含層神經元個數直接影響了神經網絡的訓練精度和收斂速度[11-13]。對于學習率的設置來說，若初始學習率設置的過大，會導致偏離值較大且到后期無法擬合，學習率設置的過小，收斂速度會很慢[15]。對于隱含層節點個數來說，設置過少會欠擬合，過多會導致過擬合[16]。通過鯨魚優化算法，全局向局部搜索尋優，確定最優學習率和隱含層神經元個數，從而進行神經網絡的訓練。WOA-LSTM的網絡時延預測模型流程如圖4所示。

通過鯨魚優化算法（WOA）來優化長短期記憶神經網絡（LSTM），只通過LSTM神經網絡進行網絡訓練前，需要由經驗手動設置神經網絡的學習率和神經網絡隱含層神經元個數，通過不斷的嘗試，得到可使神經網絡預測精度相對較高的參數搭配，但是很難得到在一定范圍內使得神經網絡預測精度最高的最佳參數設置;引入鯨魚優化算法，首先設置兩種參數的搜索范圍，然后經過上述描述的鯨魚優化算法在此范圍內進行隨機搜索，得到的預測誤差即損失函數TrainingLoss不斷收斂，達到精度要求時，得出最優參數，進而完成LSTM神經網絡的參數初始化。

本文采用平均絕對百分比誤差（MAPE）作為鯨魚算法的損失函數。當損失值達到事先設置的下限時，得到優化參數值。損失函數TrainingLoss的定義式如下：

TrainLoss=MAPE（h，y）=1n∑ni=1|h（i）-y（i）y（i）|，

式中：h（i）是預測結果中的第i個預測值;y（i）是數據樣本中第i個真實值;n為預測樣本數。預測值越是精確，得到的損失值越小。

預測流程如下。

步驟1：以1.1節和1.2節所述方法對數據進行處理，并以前一時間步數據預測后一時間步的數據格式輸入到WOA-LSTM模型中;

步驟2：初始化LSTM模型參數學習率和神經網絡隱含層神經元個數;

步驟3：鯨魚算法種群初始化。將（n，ε）這兩個變量組成的一組值作為待優化參數輸入到鯨魚算法中，n代表神經網絡隱含層神經元個數，ε代表學習率;

步驟4：將初始化后的值作為歷史最優值對LSTM的參數賦值并訓練;

步驟5：將使用傳統LSTM訓練得到的TrainingLoss設置為系統要求的終止值，并求取經過鯨魚算法優化后的模型損失值;

步驟6：若經過鯨魚算法優化后的模型損失值小于TrainingLoss，則滿足要求，利用訓練好的模型迭代輸出網絡時延預測值;

步驟7：若損失值無法小于TrainingLoss或者迭代次數未到最大，則更新參數并且重新進行訓練。

3 仿真分析

3.1 實驗設置

為了充分驗證所提出的WOA-LSTM模型在網絡時延預測上的有效性，設計了WOA-LSTM和LSTM神經網絡以及BP神經網絡預測的對比實驗，通過鯨魚優化算法來優化LSTM模型的最佳學習率和隱藏層單元數，WOA算法在迭代過程中不斷地調整初始化LSTM模型參數，直到調整到誤差值較小的LSTM神經網絡模型。同時，引入BP神經網絡對時延數據進行訓練，并預測網絡時延，與LSTM神經網絡預測結果進行對比。

3.2 LSTM的仿真

將300組時延數據劃分為2組，取250組時延數據作為LSTM的訓練樣本，50組數據作為LSTM的測試樣本，應不超過訓練樣本數200，故先將LSTM神經網絡隱含層節點數n設為100，初始學習率ε設置為0.005，迭代次數為500，同時設置了LearnRateDropPeriod為250，LearnRateDropFactor為0.5，令學習率在250次迭代時下降到初始學習率的1/2，從而加快LSTM神經網絡擬合速度，這是處理神經網絡數據訓練時的常用手段。首先采用200組訓練數據進行LSTM模型訓練，在訓練好的模型上迭代輸出后50步的網絡時延數值。LSTM對網絡時延的預測如圖5所示，LSTM訓練迭代次數與誤差的關系如圖6所示。

3.3 WOA-LSTM的仿真

采用鯨魚算法優化后的LSTM對網絡時延進行預測，采用MAPE作為鯨魚算法的損失函數，采用WOA算法優化LSTM的學習率和神經網絡隱含層神經元個數，鯨魚算法初始化種群選為10，迭代次數為500次，初始化參數（n，ε）的取值范圍是[100，200]和[0.001，0.01]。采用200組數據進行WOA-LSTM訓練，確定最優的隱含層神經元個數n和學習率ε，利用訓練好的WOA-LSTM預測后50個時間步長的網絡時延數值。WOA-LSTM對時延的預測如圖7所示，WOA-LSTM訓練迭代次數與誤差的關系如圖8所示。

3.4 BP神經網絡的仿真

同樣選用前250組時延數據作為訓練樣本，輸入層神經元個數為1個，輸出層為1個，即用上一時間步的值預測下一時間步的數值，50組作為測試樣本，前向傳輸預測結果，后向反饋損失函數的誤差不斷調整權值和閾值，從而將網絡結構穩定完成預測。由經驗公式η=m+n+l，m，n分別為輸入輸出層節點個數，l取（0～9）之間隨機整數，則BP神經網絡隱含層神經元個數取10。學習率與LSTM神經網絡保持一致取0.005，同樣地，訓練時最大迭代次數設置為500。BP神經網絡對時延的預測如圖9所示，BP神經網絡訓練迭代次數與誤差的關系如圖10所示。

如表1所示，LSTM和WOA-LSTM預測數據的均方根誤差RMSE分別為2.529和2.152 9，說明WOA優化的LSTM在一定程度上提高了網絡時延預測誤差。其次，從圖6和圖8可知，LSTM預測模型誤差在第450次迭代的時候才發生收斂，WOA-LSTM神經網絡預測模型得到最優隱含層神經元個數128和最優學習率0.003 3，此時神經網絡經訓練之后，在300次的時候已經開始慢慢收斂，在400次附近迭代的時候，預測誤差基本上無太大變化。如圖10所示，BP神經網絡均方根誤差為10.200 3，LSTM神經網絡作為時間相關性較強的神經網絡結構，相比BP神經網絡在時延預測方面準確性更高，而經過鯨魚優化算法（WOA）優化的LSTM神經網絡預測結果的誤差得到了進一步減小，但如圖10所示，BP神經網絡網絡結構與運算方式更加簡單，誤差達到收斂時的迭代次數很少。

4 結 語

以對流層散射通信鏈路組成的窄帶通信網網絡時延數據為基礎，采用WOA-LSTM算法對時延數據進行預測，更好地為通信網絡鏈路選擇及網絡協議切換提供數據支持。

1）LSTM神經網絡在預測通信網時延數據這種時間序列的數據時，相較于BP神經網絡更具優勢。

2）利用WOA優化參數后的LSTM神經網絡相比于LSTM神經網絡能夠更好地預測窄帶通信網的時延，預測精度提高了14.87%，誤差精度達到收斂時算法迭代次數更少，預測精度更高。

3）基于WOA-LSTM網絡時延預測算法預測精度相較于LSTM和BP神經網絡算法更好，WOA-LSTM算法達到收斂時迭代次數相較于LSTM神經網絡算法更少。

因此，本文提出的基于WOA-LSTM神經網絡的網絡時延預測算法，具有較高的預測精度。但此預測算法的迭代速度有待進一步優化，且只適用于本文所采集的數據類型，下一步將通過WOA-LSTM神經網絡對其他通信手段組成的窄帶通信網網絡時延數據進行預測，從而探索此算法的適用范圍。

參考文獻/References：

[1] 徐旺，葛愿，王炎.基于ARIMA的NCS隨機時延預測[J].安徽工程大學學報，2016，31（4）：72-76.

XU Wang，GE Yuan，WANG Yan.Predicting NCS stochastic delay based on ARIMA[J].Journal of Anhui Polytechnic University，2016，31（4）：72-76.

[2] 汪知宇，張彤.基于改進LS-SVM算法的列車通信網絡時延預測方法[J].城市軌道交通研究，2021，24（1）：101-106.

WANG Zhiyu，ZHANG Tong.Time delay prediction method for train communication network based on improved LS-SVM algorithm[J].Urban Mass Transit，2021，24（1）：101-106.

[3] 時維國，雷何芬.基于PSO-BP神經網絡的網絡時延預測算法[J].自動化與儀表，2020，35（7）：1-5.

SHI Weiguo，LEI Hefen .Algorithm prediction of network delay using BP neural network based on particle swarm optimization[J].Automation & Instrumentation，2020，35（7）：1-5.

[4] 法比奧，艾倫.神經網絡算法與實現[M].北京：人民郵電出版社，2017.

[5] 張冬雯，趙琪，許云峰，等.基于長短期記憶神經網絡模型的空氣質量預測[J].河北科技大學學報，2020，41（1）：66-75.

ZHANG Dongwen，ZHAO Qi，XU Yunfeng，et al.Air quality prediction based on neural network model of long short-term memory[J].Journal of Hebei University of Science and Technology，2020，41（1）：66-75.

[6] 李勃.基于LSTM法的高速公路邊坡穩定性研究[J].河北工業科技，2021，38（2）：142-147.

LI Bo.Research on highway slope stability based on LSTM method[J].Hebei Journal of Industrial Science and Technology，2021，38（2）：142-147.

[7] 張萍，肖為周，沈錚璽.基于長短期記憶網絡的軌道交通短期OD客流量預測[J].河北工業科技，2021，38（5）：351-356.

ZHANG Ping，XIAO Weizhou，SHEN Zhengxi.Forecast of short-term origin-destination passenger flow of rail Transit based on long short-term memory network[J].Hebei Journal of Industrial Science and Technology，2021，38（5）：351-356.

[8] SAID A B，ERRADI A，ALY H A，et al.Predicting COVID-19 cases using bidirectional LSTM on multivariate time series[J].Environmental Science and Pollution Research International，2021，28（40）：56043-56052.

[9] GUO Aixia，BEHESHTI R，KHAN Y M，et al.Predicting cardiovascular health trajectories in time-series electronic health records with LSTM models[J].BMC Medical Informatics and Decision Making，2021，21（1）：5.

[10] 張蕾，孫尚紅，王月.基于深度學習LSTM模型的匯率預測[J].統計與決策，2021，37（13）：158-162.

ZHANG Lei，SUN Shanghong，WANG Yue.Exchange rate prediction based on deep learning LSTM model[J].Statistics and Decision，2021，37（13）：158-162.

[11] 丁文絹.基于股票預測的ARIMA模型、LSTM模型比較[J].工業控制計算機，2021，34（7）：109-112.

DING Wenjuan.Comparison of ARIMA model and LSTM model based on stock forecast[J].Industrial Control Computer，2021，34（7）：109-112.

[12] 田聰.基于改進型EMD-LSTM的高頻金融時間序列預測[D].南昌：江西財經大學，2021.

TIAN Cong.High-Frequency Financial Time Series Prediction Based on Improved EMD-LSTM[D].Nanchang：Jiangxi University of Finance and Economics，2021.

[13] 鄭羅春.基于LSTM網絡模型的高速公路軟基長期沉降預測[J].湖南交通科技，2021，47（2）：94-97.

ZHENG Luochun.Long-term settlement prediction of expressway soft foundation based on LSTM network model[J].Hunan Communication Science and Technology，2021，47（2）：94-97.

[14] MIRJALILI S，LEWIS A.The whale optimization algorithm[J].Advances in Engineering Software，2016，95：51-67.

[15] 江旭東.基于EEMD-WOA-LSTM的電力負荷能耗預測系統的設計與實現[D].天津：天津理工大學，2021.

JIANG Xudong.Design and Implementation of Power Load Energy Consumption Forecasting System Based on EEMD-WOA-LSTM[D].Tianjin：Tianjin University of Technology，2021.

[16] 李卓漫，王海瑞.基于PSO優化LSTM的滾動軸承剩余壽命預測[J].化工自動化及儀表，2021，48（4）：353-357.

LI Zhuoman，WANG Hairui .Predicting the remaining service Life of rolling bearings based on PSO-LSTM network model[J].Control and Instruments in Chemical Industry，2021，48（4）：353-357.