基于CS算法改進ELM的時間序列預測

趙 坤，覃錫忠+，賈振紅，王哲輝，牛紅梅

(1.新疆大學 信息科學與工程學院，新疆 烏魯木齊 830000； 2.新疆移動公司監控中心，新疆 烏魯木齊 830000)

0 引 言

近年來，神經網絡憑借著好的容錯率、魯棒性以及非線性擬合的能力，使其在時間序列預[1-3]問題方面成為研究的熱點之一。BP[4]、RBF[5、SVM[6]、DBN[7]以及它們的改進算法[8-11]被相繼提出。但是人工神經網絡存在固有的缺點：容易陷入局部最小，收斂速度慢，計算消耗時間長，網絡結構不易確定等。

極端學習機[12](extreme learning machine，ELM)，具有不易陷入局部最小、泛化能力好、調節參數少、訓練時間短等優點。但ELM的初始權值和閾值是隨機給定，隱層節點數無法確定，導致預測結果穩定性差，文獻[13]中指出對于ELM的隱層節點數的確定依然是需要解決的問題。大多數學者使用組合算法來改進ELM，來彌補這個問題帶來的缺陷。Yang等[14]提出一種改良的ELM算法，Geng等[15]提出一種FAPH-ELM的算法，但是都沒有涉及到對ELM模型結構的改進，并且計算量大、模型復雜。還有學者選擇PSO[16]、GA[17]、DE[18]等尋優算法改進ELM模型，可以智能選取合適的網絡結構，有效地改善模型的性能。不過上述算法存在以下不足：①對ELM算法優化時，需要設置較多參數，耗時長；②改善模型的優化算法全局搜索能力不強；③預測結果不穩定。布谷鳥搜索算法[19](cuckoo search，CS)，一種新興啟發式算法，與傳統的優化算法相比，結構簡單，控制參數少、尋優速度快、有較強的全局尋優能力[20,21]。本文提出一種CS-ELM算法，采用兩種不同領域的時間序列數據對算法進行驗證，采用單步預測和多步預測驗證CS-ELM算法預測性能和效果。

1 CS-ELM 算法原理

1.1 ELM算法原理

設m、M、n分別為網絡輸入層、隱含層和輸出層的節點數，g(x)是隱層神經元的激活函數。設有N個樣本(xi，ti)，其中xi=[xi1,xi2,…,xim]T∈Rm，ti=[ti1,ti2,…,tin]T∈Rm則極限學習機的網絡模型可用數學表達式表示如下

(1)

其中，i=1,2,…,N，j=1,2,…,M,式中ωj=[ω1j,ω2j,…,ωmj]、βj=[βj1,βj2,…,βjn]、bj分別表示連接網絡輸入層節點與第j個隱層節點的輸入權值向量、連接第j個隱層節點與網絡輸出層節點的輸出權值向量、第j個隱含層節點的偏差。把N個樣本帶入到式(1)中，得

T=Hβ

(2)

其中，H表示網絡關于樣本的隱層輸出矩陣，β表示輸出權值矩陣，T表示樣本集的目標值矩陣

(3)

式中：H+為矩陣H的MP廣義逆。

對于ELM模型，其輸入權值矩陣和隱含層偏差是隨機確定的，從而使得一些隱含層的節點失效或不能滿足數據要求，降低了模型的預測精度和穩定性。因此，提出選擇最佳的隱層節點數方法改進以上不足。

1.2 布谷鳥搜索算法原理

布谷鳥搜索算法通過模擬某些種屬布谷鳥的寄生育雛過程，求解全局最優化問題。CS采用Levy飛行搜索機制，使優化算法更為有效。使用鳥巢位置代表解，該算法基于3個理想化的規則：①每個布谷鳥一次下一個蛋，堆放在一個隨機選擇的巢中；②最好的鳥巢將會保留到下一代；③巢的數量是固定的，布谷鳥的蛋被發現的概率為pa∈[0,1]。

(4)

CS算法結構簡單，控制參數少、有較強的全局尋優能力，并可以直接把鳥巢位置替換為最優化問題的決策變量。CS-ELM直接可以把CS算法得到的鳥巢位置作為ELM的隱層節點數，最終選擇的最優鳥巢位置就是網絡結構的隱層節點數。

1.3 CS優化ELM預測模型

在基本ELM模型中，隱層節點數固定后，網絡結構的輸入權值和隱層偏差是隨機給定的，進而影響模型的穩定性。本文采用CS算法對ELM算法進行改進，自適應地選擇ELM模型的隱層節點數及輸入權值和閾值，流程如圖1所示。在CS算法中有N個種群即鳥巢，每個鳥巢位置代表一個有理數，鳥巢位置取整后作為ELM的隱層節點數M；輸入樣本數據，將產生一組ELM網絡的輸入權值矩陣W、隱層閾值b和輸入權值矩陣β，并計算樣本數據預測誤差作為當前鳥巢位置的適應度值。每次迭代搜索結束后，儲存最優鳥巢位置和W、b、β。待滿足迭代終止條件時，比較鳥巢所對應的適應度值，輸出最優鳥巢位置，及其所對應的W、b、β。具體步驟如下所示。

圖1 CS-ELM模型流程

步驟1 數據歸一化處理。

步驟4 產生隨機數rand和pa比較，若rand

步驟5 若滿足迭代次數，停止搜尋；否則返回步驟3。

步驟6 選取適應度值最小的那個鳥巢位置作為ELM的隱層節點數M，并輸出所對應的W、b、β。建立CS-ELM時間序列預測模型。

1.4 評價參數

在對時間序列數據進行預測時，為對預測性能更加客觀評價預測性能，本文采用規范化均方誤差NMSE(normalized mean square error)計算一次實驗的規范化后的誤差，采用平均絕對百分比誤差MAPE(mean absolute percentage error)測量預測結果的相對誤差。計算公式如下

(5)

(6)

以上兩種評價參數是單次實驗的誤差，本文將P次實驗后預測誤差的平均值作為最終的預測誤差。但是這樣不能顯示多次預測中誤差的波動性，即不能反映出預測模型的穩定性。因此，本文采用計算多次預測誤差的方差來反應模型的穩定性，計算公式如下

(7)

2 基于CS-ELM的時間序列預測

2.1 CS-ELM對時間序列的單步預測

2.1.1 數據準備與參數設置

對通信運營商，話務量是評價運營商經營狀態的最重要的指標之一[22]。本文中的數據選取某地州某運營商的移動話務量數據，訓練數據的是隨機選取2012年5月19日至2012年6月20日的整個地州話務量數據，該話務量數據采樣間隔是1 h。總共792個數據，選取前700個數據作為訓練樣本，其余的作為測試部分。

對于單步預測的CS-ELM模型，輸出層節點數為1，隱層節點數由CS算法自適應的選擇，故而輸入層節點數的確定將影響模型的預測效果。用實驗法選擇輸入層節點數，以規范化均方根誤差eNMSE作為評判準則。如圖2所示。橫坐標表示輸入層節點數，縱坐標表示經過50次實驗后誤差的平均值。由圖2可知，當輸入層節點m=26時，規范化均方根誤差取最小值eNMSE=0.000 854。所以本次實驗選取輸入節點是26個。

圖2 輸入層節點數對預測誤差的影響

2.1.2 實驗結果對比與分析

采用布谷鳥搜索算法對ELM進行優化，選取一組最佳的隱層節點數、輸入權值及閾值，對話務量預測如圖3所示。可以看出CS-ELM的預測值和實際的話務量值幾乎重合，其預測誤差MAPE=2.883 81；NMSE=0.000 85。

圖3 CS-ELM對話務量預測的預測值與實際值對比

采用傳統的遺傳算法優化ELM的模型(GA-ELM)、ELM以及DBN模型作為對比模型。在GA-ELM模型中，GA算法的種群數、搜索迭代次數等參數與本文采用的CS算法設置相同；ELM模型同樣設輸入節點數為m=26，隱層節點數M=120；DBN模型中輸入層節點m=26，兩個隱含層節點分別為L1=38、L2=57。分別做50次實驗，預測誤差結果取平均值，見表1。

表1 ELM與CS-ELM預測性能對比

在表1中可以看出，CS-ELM的預測誤差MAPE=2.883 81、NMSE=0.000 85，而明顯小于ELM和CA-ELM的預測誤差值。這表明經過CS算法改進的ELM模型預測精度有了明顯的提高；CS算法的全局搜索能力要優于傳統的GA算法。還可以看出，在預測誤差方面，傳統的DBN略差于本文提出的模型。但是在預測誤差的方差方面，CS-ELM要明顯優于其它3種模型。對于NMSE的方差，CS-ELM處于10-8數量級，而DBN的方差處于10-7數量級，CS-ELM的方差明顯要小于DBN的方差，且也小于GA-ELM和ELM的方差。對于MAPE的方差，很清楚的可以看到本文提出的模型的方差時最小的。這說明CS-ELM的預測結果波動性小，模型穩定性好。

在運行時間方面，見表2。CS-ELM算法耗時明顯少于GA-ELM和DBN算法。但是，CS-ELM與ELM相比，訓練所需的時間要長一些。由于ELM模型的輸入權值和閾值 是隨機生成的，尋找最優的隱層節點數、輸入權值和閾值可以提高模型的泛化能力。本文提出的模型是以訓練時間為代價來提高模型的預測性能，故而在訓練時間方面高于ELM模型。

表2 模型時間對比

2.1.3 模型舉例

為體現CS-ELM的普適性，本文選用在獻[3]中用到的GBP/USD匯率進行預測，同文獻[3]中采用的評價指標進行比較。表3是CS-ELM與文獻[3]中提出的共軛梯度法改進的DBN模型對GBP/USD匯率預測結果作對比。

表3 CS-ELM與DBN對GBP/USD匯率預測結果對比

從表3中可得知，本文提出的CS-ELM，在RMSE和MAPE方面稍優于文獻[3]中提出的共軛梯度法改進的DBN。此外在表3中可以看出，CS-ELM的方差明顯小于文獻[3]，文獻[3]RMSE的方差處于10-8數量級，CS-ELM的結果處于10-9數量級；而MAPE的方差明顯優于文獻[3]。所以CS-ELM的穩定性要優于文獻[3]的DBN模型，而CS-ELM模型預測精度可以接受但有待提高。

2.2 CS-ELM模型的多步預測

CS-ELM模型在時間序的列多步預測中也具有理想的預測效果，選擇本文2.1節中的2012年5月19日至2012年6月20日的整個烏魯木齊市話務量數據。選取輸入節點數m=26，預測未來的o1,o2,…,on(n≥2)的話務量數據。預測步數對預測精度的影響，如圖4和表4所示，可以看出來隨著預測步數的增加，預測精度越來越差。但是對于十步預測的預測時的NMSE=0.004 52、MAPE=6.494 429，依然可以清晰的看出未來數據的走勢，說明CS-ELM模型對時間序列多步預測的效果良好。

圖4 多步預測中步數與預測精度的關系

3 結束語

本文提出一種基于CS算法改進的ELM的時間序列預測模型，采用CS算法自適應地獲取最優ELM的隱含層節點數及相應的輸入其權值和閾值，避免了預測輸入權值和隱含層偏差隨機性對ELM預測的影響。話務量數據預測實驗結果顯示，本文提出的算法結構簡單，預測精度高，并且預測穩定性要優于其它傳統的算法。并以匯率數據為例驗證了CS-ELM的預測性能。進一步，通過話務量數據的多步預測，可以看出CS-ELM在多步預測中也有較好效果。

表4 不同預測步數的評價指標值

但是，由于CS-ELM模型是以犧牲訓練時間來提高預測性能，并且其預測誤差略優于DBN，所以如何加快訓練速度和提高預測精度將是下一步的研究重點。