可重構(gòu)分層感知網(wǎng)絡(luò)流量預(yù)測算法

李 莉，吳潤澤，包正睿，龐思睿

(1.國網(wǎng)冀北電力有限公司經(jīng)濟(jì)技術(shù)研究院，北京 100055； 2.華北電力大學(xué) 電氣與電子工程學(xué)院，北京 102206； 3.國網(wǎng)冀北電力有限公司信息通信分公司，北京 100053)

0 引 言

隨著互聯(lián)網(wǎng)規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)流量數(shù)據(jù)與業(yè)務(wù)種類越來越多，網(wǎng)絡(luò)資源與網(wǎng)絡(luò)需求供需矛盾日趨尖銳，網(wǎng)絡(luò)流量預(yù)測不但有助于分析網(wǎng)絡(luò)安全狀況，而且可以科學(xué)管理和防范網(wǎng)絡(luò)異常，因此，網(wǎng)絡(luò)流量預(yù)測研究和實(shí)現(xiàn)具有重要意義[1]。

當(dāng)前網(wǎng)絡(luò)流量預(yù)測模型[2-3]主要分為線性預(yù)測和非線性預(yù)測兩種。線性預(yù)測建模簡單，實(shí)現(xiàn)精度高，但不適合規(guī)律性較弱、復(fù)雜多變的非線性網(wǎng)絡(luò)流量特性[4]。神經(jīng)網(wǎng)絡(luò)通過神經(jīng)元能夠逼近非線性函數(shù)，因此廣泛應(yīng)用于網(wǎng)絡(luò)流量預(yù)測。但是神經(jīng)網(wǎng)絡(luò)流量預(yù)測[5-7]方法存在網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)值和初始值確定問題，實(shí)現(xiàn)過程主要為串行計(jì)算[8]，沒有充分發(fā)揮神經(jīng)網(wǎng)絡(luò)并行優(yōu)勢。

而定制的神經(jīng)網(wǎng)絡(luò)處理硬件系統(tǒng)，存在資源分配和多核通信問題，硬件結(jié)構(gòu)固定對預(yù)測網(wǎng)絡(luò)規(guī)模的變化沒有伸縮性，不能靈活修改預(yù)測算法[9-10]。片上網(wǎng)絡(luò)(network on a chip，NoC)借鑒計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，利用網(wǎng)絡(luò)通信改變傳統(tǒng)多核總線控制方式，使得片上多核處理器(multiprocessor systems on chip，MPSoC)具有更低時延、更高的吞吐率[11-12]。

針對以上問題，結(jié)合人工神經(jīng)網(wǎng)絡(luò)可并行計(jì)算的特點(diǎn)，設(shè)計(jì)了一種基于多核片上網(wǎng)絡(luò)技術(shù)的分層可重構(gòu)感知網(wǎng)絡(luò)模型，并將其應(yīng)用在流量預(yù)測中。硬件仿真結(jié)果表明，該方法的預(yù)測精度和執(zhí)行效率有明顯的提高。

1 可重構(gòu)分層感知神經(jīng)網(wǎng)絡(luò)

分層感知神經(jīng)網(wǎng)絡(luò)通過神經(jīng)元構(gòu)建分層連接網(wǎng)絡(luò)，模擬人腦真實(shí)的生物神經(jīng)網(wǎng)絡(luò)(biological neural networks，BNN)工作過程[13]。分層感知神經(jīng)網(wǎng)絡(luò)一般包括一個輸入層、一個或者多個隱藏層和一個輸出層，各層根據(jù)需要，可以包含有多個神經(jīng)元。圖1為一個6-8-1分層感知神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，其中輸入層有6個輸入單元，隱藏層有8個感知器，輸出層有1個神經(jīng)單元。

圖1 分層感知神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

分層感知神經(jīng)網(wǎng)絡(luò)工作過程分為訓(xùn)練過程與推理過程[14]。訓(xùn)練過程為輸入訓(xùn)練數(shù)據(jù)和目標(biāo)向量，通過不同的神經(jīng)網(wǎng)絡(luò)擬合算法，計(jì)算得到感知網(wǎng)絡(luò)訓(xùn)練權(quán)值。推理過程為訓(xùn)練權(quán)值和輸出預(yù)測數(shù)據(jù)誤差，得到輸出預(yù)測結(jié)果。分層感知神經(jīng)網(wǎng)絡(luò)在訓(xùn)練權(quán)值時一般采用后向傳播算法(back propagation，BP)，BP算法按照預(yù)測感知數(shù)據(jù)流方向又分為前向感知傳播和后向誤差傳播。

(1)

(2)

(3)

(2)后向誤差傳遞過程。在權(quán)值尋優(yōu)和修正時，以最小化目標(biāo)函數(shù)(代價函數(shù))為目標(biāo)，采用梯度下降法逐層計(jì)算模型的參數(shù)，即連接權(quán)值和偏置值。設(shè)第k個訓(xùn)練樣本輸出誤差為Ek，則代價函數(shù)E表示為：

(4)

(5)

當(dāng)所有樣本數(shù)據(jù)通過網(wǎng)絡(luò)得到輸出時，誤差便按照反向傳播方式計(jì)算各層權(quán)值和偏置值的變化量，從而實(shí)現(xiàn)更新。

權(quán)值更新規(guī)則如下式所示：

(6)

其中，α為學(xué)習(xí)速率，一般取值在0.01～0.1之間。代價函數(shù)E對權(quán)值參數(shù)的求導(dǎo)計(jì)算如下：

(7)

2 基于多核片上網(wǎng)絡(luò)技術(shù)的可重構(gòu)分層感知神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

分層感知網(wǎng)絡(luò)模擬人體神經(jīng)元網(wǎng)絡(luò)具有并行特點(diǎn)，每個神經(jīng)元都與多核中的物理核對應(yīng)，而神經(jīng)元信息傳導(dǎo)與多核之間通信相似，因此，提出基于多核片上網(wǎng)絡(luò)系統(tǒng)[15-16]設(shè)計(jì)實(shí)現(xiàn)分層感知網(wǎng)絡(luò)。

2.1 多核片上網(wǎng)絡(luò)結(jié)構(gòu)

MPSoC采用2D網(wǎng)格結(jié)構(gòu)，集成了16個微處理器核，具備良好的并行性能。圖2為片上網(wǎng)絡(luò)一個節(jié)點(diǎn)內(nèi)部結(jié)構(gòu)，每個節(jié)點(diǎn)均含有一個網(wǎng)絡(luò)接口、RISC微處理器、SRAM及SRAM控制器以及片上網(wǎng)絡(luò)路由器。其中的一個節(jié)點(diǎn)還應(yīng)包含通用串口模塊，用于協(xié)調(diào)整個系統(tǒng)節(jié)點(diǎn)間的數(shù)據(jù)交互和信息同步。

圖2 片上網(wǎng)絡(luò)節(jié)點(diǎn)內(nèi)部結(jié)構(gòu)

2.2 分層感知網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)

采用多核片上網(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn)分層感知神經(jīng)網(wǎng)絡(luò)，多核中的每個物理核都映射為一個神經(jīng)元，并且利用片上網(wǎng)絡(luò)分層技術(shù)將片上網(wǎng)絡(luò)節(jié)點(diǎn)分為不同層。圖3為基于多核片上網(wǎng)絡(luò)的分層可重構(gòu)并行感知網(wǎng)絡(luò)結(jié)構(gòu)，其中16個節(jié)點(diǎn)實(shí)現(xiàn)三層BP網(wǎng)絡(luò)結(jié)構(gòu)，將輸入層映射為源層，包含6個節(jié)點(diǎn)；輸出層映射為感知層，包含2個節(jié)點(diǎn)；隱藏層映射為中間層，包含8個節(jié)點(diǎn)。目的層即輸出層，包含2個節(jié)點(diǎn)，其中一個節(jié)點(diǎn)用來計(jì)算誤差和預(yù)測輸出值，而另一個節(jié)點(diǎn)為預(yù)留，專門保存所有目的層誤差項(xiàng)、中間層權(quán)值、激活函數(shù)，并負(fù)責(zé)向源層發(fā)送誤差數(shù)據(jù)。

圖3 基于多核片上網(wǎng)絡(luò)的分層可重構(gòu)并行感知網(wǎng)絡(luò)結(jié)構(gòu)

采用多核片上網(wǎng)絡(luò)系統(tǒng)實(shí)現(xiàn)可重構(gòu)感知神經(jīng)網(wǎng)絡(luò)，其可重構(gòu)性在于：

(1)使用多核片上網(wǎng)絡(luò)結(jié)構(gòu)，可單獨(dú)在每個物理核中配置感知器，靈活構(gòu)造不同的感知網(wǎng)絡(luò)結(jié)構(gòu)，且并行性能較好。

(2)分層感知網(wǎng)絡(luò)的權(quán)值和激活函數(shù)單獨(dú)存儲在節(jié)點(diǎn)中，容易修改和編程。

2.3 分層感知網(wǎng)絡(luò)流量預(yù)測流程

圖4為分層可重構(gòu)并行感知網(wǎng)絡(luò)流量預(yù)測流程。

圖4 分層可重構(gòu)并行感知網(wǎng)絡(luò)流量預(yù)測流程

具體過程如下：在源層節(jié)點(diǎn)保存初始化網(wǎng)絡(luò)流量輸入值、中間層權(quán)值、閾值初始值，通過片上網(wǎng)絡(luò)傳遞給中間層所有節(jié)點(diǎn)進(jìn)行前向傳播，并將計(jì)算結(jié)果傳輸?shù)侥康膶庸?jié)點(diǎn)。目的層中的計(jì)算節(jié)點(diǎn)計(jì)算網(wǎng)絡(luò)流量預(yù)測輸出值和誤差值，如果預(yù)測誤差滿足誤差要求，則預(yù)測結(jié)束輸出網(wǎng)絡(luò)流量預(yù)測值；如果不滿足預(yù)測誤差要求，則計(jì)算中間層和目的層權(quán)值以及偏置值的修正值，將結(jié)果傳輸?shù)筋A(yù)留節(jié)點(diǎn)。預(yù)留節(jié)點(diǎn)通過片上網(wǎng)絡(luò)傳遞給源層節(jié)點(diǎn)，重新進(jìn)行感知預(yù)測過程。

3 實(shí)驗(yàn)仿真分析

利用Altera公司的EP2S180FPGA demo開發(fā)系統(tǒng)進(jìn)行算法驗(yàn)證。利用實(shí)驗(yàn)室Netflow流量分析工具從2017年3月6日10：00開始捕獲的1 000個時間點(diǎn)流量數(shù)據(jù)作為樣本數(shù)據(jù)，其中前908個數(shù)據(jù)用來訓(xùn)練分層感知網(wǎng)絡(luò)，后92個數(shù)據(jù)作為測試樣本，驗(yàn)證該網(wǎng)絡(luò)的預(yù)測性能。采用MATLAB實(shí)現(xiàn)BP網(wǎng)絡(luò)流量預(yù)測并與其預(yù)測精度進(jìn)行比較。如圖5所示，提出的可重構(gòu)并行感知網(wǎng)絡(luò)流量預(yù)測精度與BP網(wǎng)絡(luò)性能相差不多，而且可以通過更多的訓(xùn)練得到相應(yīng)的權(quán)值，提高了預(yù)測精度。

圖5 分層感知網(wǎng)絡(luò)流量預(yù)測精度比較

評價神經(jīng)網(wǎng)絡(luò)硬件性能參數(shù)[17-18]一般采用每秒鐘每核執(zhí)行累加數(shù)目(connection per second per core,CPSPC)，即神經(jīng)網(wǎng)絡(luò)每秒鐘執(zhí)行乘累加的數(shù)目與物理核數(shù)的比值。經(jīng)過測試得出，該算法的CPSPC值為95 000，明顯高于專用神經(jīng)網(wǎng)絡(luò)處理單元。

4 結(jié)束語

利用多核片上網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)分層感知網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)流量預(yù)測，充分發(fā)揮神經(jīng)網(wǎng)絡(luò)并行設(shè)計(jì)思想，同時利用多核結(jié)構(gòu)實(shí)現(xiàn)感知網(wǎng)絡(luò)算法的可重構(gòu)。仿真測試表明，該算法具有良好的預(yù)測精度，可擴(kuò)展性好，并行度高，可以將其推廣到其他神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域。

參考文獻(xiàn):

[1] 田中大，李樹江，王艷紅，等.基于混沌理論與改進(jìn)回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量多步預(yù)測[J].通信學(xué)報(bào),2016,37(3):55-70．

[2] 邵 忻.一種新的基于ARIMA-SVM網(wǎng)絡(luò)流量預(yù)測研究[J].計(jì)算機(jī)應(yīng)用研究,2012,29(5):1901-1903.

[3] PENG Y,CHEN K,WANG G,et al.Towards comprehensive traffic forecasting in cloud computing:design and application[J].IEEE/ACM Transactions on Networking,2016,24(4):2210-2222.

[4] 田中大，高憲文，李樹江，等.遺傳算法優(yōu)化回聲狀態(tài)網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].計(jì)算機(jī)研究與發(fā)展,2015,52(5):1137-1145.

[5] CHAN K Y,DILLON T S,SINGH J,et al.Neural-network-based models for short-term traffic flow forecasting using a hybrid exponential smoothing and Levenberg-Marquardt algorithm[J].IEEE Transactions on Intelligent Transportation Systems,2012,13(2):644-654.

[6] 高述濤.CS算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的短時交通流量預(yù)測[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(9):106-109.

[7] 賴錦輝,梁 松.基于ACS優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的交通流量短時預(yù)測方法[J].計(jì)算機(jī)工程與應(yīng)用,2014,50(10):244-248.

[8] 馮華麗，劉 淵，陳 冬.QPSO算法優(yōu)化BP網(wǎng)絡(luò)的網(wǎng)絡(luò)流量預(yù)測[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(3):102-104.

[9] 萬 勇，王 沁，李占才,等.一種神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)的可重構(gòu)設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用，2006,26(1):202-203.

[10] 李 昂，王 沁，李占才,等.基于FPGA的神經(jīng)網(wǎng)絡(luò)硬件實(shí)現(xiàn)方法[J].北京科技大學(xué)學(xué)報(bào)，2007,29(1):90-94.

[11] JERRAYA A, TENBUNEN H, WOLF W. Multiprocessor systems-on-chips[J].IEEE Computer,2005,38(7):36-40.

[12] YANG H,KIM S,HA S.An MILP-based performance analysis technique for non-preemptive multitasking MPSoC[J].IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems,2010,29(10):1600-1613.

[13] 劉 澍，王宏遠(yuǎn).基于混合遺傳算法優(yōu)化的MLP神經(jīng)網(wǎng)絡(luò)的調(diào)制方式識別[J].武漢大學(xué)學(xué)報(bào):理學(xué)版,2008,54(1):104-108.

[14] 朱新召，胡哲琨，周 莉,等．基于多核處理器的多層感知網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和實(shí)現(xiàn)[J].微電子學(xué)與計(jì)算機(jī),2014,31(11):27-31.

[15] 張 帥，宋風(fēng)龍,王 棟,等.多核結(jié)構(gòu)片上網(wǎng)絡(luò)性能-能耗分析及優(yōu)化方法[J].計(jì)算機(jī)學(xué)報(bào),2013,36(5):988-1003.

[16] 付斌章,韓銀和，李華偉,等.面向高可靠片上網(wǎng)絡(luò)通信的可重構(gòu)路由算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2011,23(3):448-455.

[17] 李 洋.基于QoS保證的2D-mesh片上網(wǎng)絡(luò)延時評價與性能優(yōu)化研究[D].長春:吉林大學(xué),2015.

[18] 王 磊，陸 超，章隆兵,等.基于神經(jīng)網(wǎng)絡(luò)預(yù)測模型的異構(gòu)多核處理器調(diào)度[J].高技術(shù)通訊,2015,25(6):567-574.