LS-SVM時間序列預(yù)測
——免疫文化基因算法進(jìn)行LS-SVM參數(shù)選優(yōu)

王波，梅倩

重慶大學(xué)計算機(jī)學(xué)院，重慶 400030

LS-SVM時間序列預(yù)測
——免疫文化基因算法進(jìn)行LS-SVM參數(shù)選優(yōu)

王波，梅倩

重慶大學(xué)計算機(jī)學(xué)院，重慶 400030

針對最小二乘支持向量機(jī)（LS-SVM）在時間序列預(yù)測中的參數(shù)不確定問題，在訓(xùn)練階段，使用結(jié)合了全局搜索和局部搜索的免疫文化基因算法來進(jìn)行參數(shù)尋優(yōu)。實驗中通過對Lorenz時間序列和建筑能耗的兩組預(yù)測實驗，對比了免疫文化基因算法、遺傳算法和網(wǎng)格搜索算法對LS-SVM參數(shù)的優(yōu)化效果，證明了免疫文化基因算法的優(yōu)化效果最好，且LS-SVM的預(yù)測精度比支持向量機(jī)（SVM）和BP網(wǎng)絡(luò)預(yù)測都要高。

時間序列預(yù)測；最小二乘支持向量機(jī)；文化基因算法；能耗預(yù)測

1 引言

時間序列指存在于自然科學(xué)或社會科學(xué)中的某一變量或指標(biāo)的數(shù)值或觀測值，按照其出現(xiàn)時間先后次序，以相同的間隔時間排列的一組數(shù)值[1]。自從20世紀(jì)60年代以來，來自天文、水文、氣象等領(lǐng)域如太陽黑子、徑流量、降雨量等時間序列都被發(fā)現(xiàn)含有混沌特性。時間序列預(yù)測技術(shù)在復(fù)雜系統(tǒng)建模、數(shù)據(jù)流技術(shù)和故障診斷等領(lǐng)域都具有較為廣泛的應(yīng)用，是當(dāng)前理論研究的熱點之一。

基于傳統(tǒng)統(tǒng)計學(xué)的預(yù)測方法是利用時間序列之間的相關(guān)性來建立線性預(yù)測模型，如回歸模型、移動平均模型、自動回歸滑動模型[2]等方法雖然建模機(jī)理簡單，建模和預(yù)測速度快，適用于對線性、平穩(wěn)的時間序列建模，但實際應(yīng)用中采集到的時間序列一般是非線性、非平穩(wěn)的，所以這些方法建立的線性模型與非線性系統(tǒng)部匹配，導(dǎo)致預(yù)測精度下降。而基于上面的線性模型改進(jìn)的ARIMA模型、自回歸條件異方差模型、廣義自回歸條件異方差模型與小波分解等理論結(jié)合的局部建模[3]等方法雖然在一定程度上解決了非線性時間序列的預(yù)測問題，但是這些方法的針對性較強(qiáng)，對不同的時間序列未必適用，通用性較差。目前基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的方法也廣泛使用在時間序列預(yù)測中，如Elman網(wǎng)絡(luò)、回聲狀態(tài)網(wǎng)絡(luò)[4-5]等，ANN具有較強(qiáng)的非線性逼近能力、自學(xué)習(xí)能力和并行協(xié)同處理信息的能力，在時間序列的預(yù)測中精度較高，但其自身也存在參數(shù)選擇困難、計算復(fù)雜度高、過學(xué)習(xí)和收斂于局部最小值的現(xiàn)象，當(dāng)特征空間維數(shù)增大時，其運算量將急劇增加，導(dǎo)致ANN難以處理高維問題。

支持向量機(jī)（SVM）是Vapnik于1995年首先提出的一種新型的機(jī)器學(xué)習(xí)算法，它解決了以往機(jī)器學(xué)習(xí)方法中小樣本、高維數(shù)、局部極小、非線性等問題[6]。SVM采用結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則，將泛化誤差的上界最小化，而不是將訓(xùn)練誤差最小化，因此泛化能力較強(qiáng)，并且它通過核函數(shù)實現(xiàn)了到高維空間的線性映射。SVM模型的這些優(yōu)點使之成為了時間序列預(yù)測領(lǐng)域的研究熱點。

2 LS-SVM簡介

2.1 LS-SVM模型

LS-SVM是SVM的改進(jìn)算法，用等式約束代替標(biāo)準(zhǔn)支持向量機(jī)中的不等式約束條件，極大減少了SVM由于求解二次規(guī)劃問題帶來的大量復(fù)雜計算。作為一種通用函數(shù)逼近器，LS-SVM可以以任意精度逼近非線性系統(tǒng)，它的預(yù)測原理介紹如下：

則x時刻輸出模型如式（6）所示：

2.2 模型參數(shù)對預(yù)測效果影響分析

在訓(xùn)練LS-SVM模型階段中關(guān)鍵問題就是參數(shù)的選取，即模型待確定參數(shù)C和核參數(shù)σ[8]。正則化參數(shù)C的主要作用是調(diào)節(jié)經(jīng)驗風(fēng)險和正則化部分的平衡關(guān)系，決定對誤差平方項的懲罰力度。C越小對誤差的平方項的懲罰力度越小，對各個點的約束力變小，回歸曲線趨于平坦，回歸機(jī)可能出現(xiàn)欠學(xué)習(xí)現(xiàn)象，導(dǎo)致預(yù)測精度下降；C越大則對偏差的懲罰力度越大，LS-SVM構(gòu)造的回歸曲線會盡力使得各點距回歸曲線的誤差最小，過度要求極小化訓(xùn)練誤差容易導(dǎo)致訓(xùn)練過程中產(chǎn)生過學(xué)習(xí)現(xiàn)象，使預(yù)測過程中模型的泛化能力下降。

RBF核函數(shù)的函數(shù)寬度系數(shù)σ控制最終解的復(fù)雜性。σ越小誤差容限ξ-帶越敏感，核映射更容易局部化，容易導(dǎo)致訓(xùn)練的回歸機(jī)有過學(xué)習(xí)現(xiàn)象，導(dǎo)致模型的泛化能力下降；σ越大則誤差容限ξ-帶越不敏感，回歸曲線趨于平坦，這樣可能會導(dǎo)致回歸機(jī)的欠學(xué)習(xí)現(xiàn)象。因此參數(shù)的選取會決定模型預(yù)測輸出和系統(tǒng)實際輸出之間的誤差大小，直接影響到LS-SVM的泛化能力和預(yù)測精度。

文獻(xiàn)[9]通過遺傳算法來進(jìn)行預(yù)測，具有一定的現(xiàn)實意義。但是算法在參數(shù)尋優(yōu)過程中會出現(xiàn)因遺傳優(yōu)秀個體的破壞而導(dǎo)致優(yōu)化過程不完全收斂，而且會陷入局部最優(yōu)。因此本文利用能克服局部最優(yōu)缺點的免疫文化基因算法進(jìn)行LS-SVM參數(shù)的選優(yōu)。

3 免疫文化基因算法選擇最優(yōu)C和σ

文化基因算法[10-13］是一種基于種群的全局搜索和基于個體的局部搜索的混合算法，它引入了局部搜索機(jī)制，結(jié)合了群體算法搜索范圍大的優(yōu)點和局部搜索算法的深度優(yōu)勢。該算法實質(zhì)上是一種框架，在此框架下采用不同的搜索策略可以形成不同的文化基因算法。針對LS-SVM的參數(shù)優(yōu)化問題，本文采用克隆算法進(jìn)行全局搜索，用Baldwin學(xué)習(xí)作為局部搜索策略。

為了避免在優(yōu)化過程中產(chǎn)生過擬合和欠學(xué)習(xí)的情況，將初始的含有N個樣本的總訓(xùn)練樣本集分成兩個子樣本集，用一個子樣本集進(jìn)行訓(xùn)練，另一部分子樣本集進(jìn)行驗證，對于檢驗訓(xùn)練優(yōu)化的效果，用驗證樣本的評價絕對誤差（MAE）作為評價依據(jù)，因此對MAE取倒數(shù)作為個體評價標(biāo)準(zhǔn)：

3.1 危險信號提取

免疫克隆選擇算法是通過種群初始化、克隆、變異、選擇等操作對候選抗體進(jìn)行進(jìn)化的一種進(jìn)化算法。免疫學(xué)基本原理認(rèn)為，對于所有異己抗原，其最優(yōu)匹配可通過免疫響應(yīng)進(jìn)行選擇[14]，基于免疫危險理論，將種群濃度的變動作為環(huán)境因素，以抗體與抗原的親和力為依據(jù)計算各個抗體在該環(huán)境因素下的危險信號，最終通過危險信號自適應(yīng)地引導(dǎo)免疫克隆、變異和選擇等后續(xù)免疫應(yīng)答過程。

定義一種危險信號函數(shù)gi如式（9）所示，模擬不同種群下各抗體所處危險信號狀況。該函數(shù)以當(dāng)前種群平均濃度和各抗體—抗原親和力為輸入，產(chǎn)生該抗體所處危險信號值向量[11]。

其中，fit(Ai)為抗體Ai的抗體—抗原親和力的歸一化表示，歸一化可采用各種不同的方式[14]；C為抗體種群平均濃度；α和β為調(diào)節(jié)參數(shù)，一方面控制種群濃度和抗體—抗原親和力值對危險信號的影響程度，另一方面使危險信號值gi∈[α，α+β]。可以看出，種群平均濃度越小，抗體多樣性越大，因而在此環(huán)境中各抗體所處危險信號相應(yīng)較大，該危險信號值引導(dǎo)后面的克隆擴(kuò)增、變異及免疫選擇過程。

3.2 Baldwin效應(yīng)

Baldwin效應(yīng)是指如果父代學(xué)到某些有用的特性，那么它的后代也有很大的概率獲得同樣的特性[14]。這種免疫系統(tǒng)的增強(qiáng)學(xué)習(xí)機(jī)制，使得抗體親和度進(jìn)一步提高。使用這種免疫系統(tǒng)的Baldwin效應(yīng)，通過對最優(yōu)值閾值附近的個體進(jìn)行鼓勵來加快進(jìn)化過程，這些解通過簡單的調(diào)整（即學(xué)習(xí)）就有可能成為較優(yōu)解。具體而言，把Baldwin效應(yīng)引入到算法設(shè)計中，對親和度值較大的抗體進(jìn)行一定的鼓勵，提高它的生存率，加快算法的收斂速度。具體方法如下：

假設(shè)抗體Ai原來的親和度值為fit(Ai)，則學(xué)習(xí)激勵后的抗體親和度為：

3.3 免疫文化基因算法設(shè)計

本文用免疫文化基因算法實現(xiàn)LS-SVM參數(shù)優(yōu)化的流程圖如圖1所示，算法實現(xiàn)步驟如下：

（1）生成初始種群解（候選解集）P，種群大小取100，α和β分別取0.06、0.8，w(Ai)取1.3。使用二進(jìn)制編碼，每個抗體由參數(shù)C和σ的二進(jìn)制編碼組合而成。

（2）對種群解中的每個個體代入LS-SVM模型，用式（8）進(jìn)行評價，即每個個體的親和度。

（3）根據(jù)式（9）進(jìn)行危險信號提取操作，獲得各個抗體的危險信號值。

（4）根據(jù)每個抗體的親和度值進(jìn)行克隆擴(kuò)增操作，克隆數(shù)量與抗體的危險信號值成比例，抗體的危險信號值越大，濃度越小，則克隆數(shù)量越大，即

（5）選取群體中性能最好的20%的抗體作為精英粒子，采用第3.2節(jié)的局部搜索策略對精英抗體進(jìn)行優(yōu)化，更新個體和全局極值點。

（6）對克隆種群進(jìn)行高頻變異，變異概率為Pm=0.5，獲得一個變異后的抗體群C*。設(shè)計了一種自適應(yīng)變異概率，保證算法在進(jìn)化初期采用較大的變異尺度以保持種群的多樣性，而在進(jìn)化后期采用較少尺度的變異，以提高局部微調(diào)能力。其中，變異概率為，其中t為進(jìn)化代數(shù)。

（7）對C*中所有抗體進(jìn)行解碼，得到各個優(yōu)化參數(shù)的實際值，用訓(xùn)練樣本訓(xùn)練LS-SVM，并根據(jù)式（8）對當(dāng)前個體進(jìn)行評價，重新選擇親和度高的改進(jìn)個體產(chǎn)生下一代候選解P。

（8）令進(jìn)化次數(shù)t=t+1，如果t＜tmax，則轉(zhuǎn)到步驟（2）。

（9）輸出最優(yōu)解，建立LS-SVM預(yù)測模型。

圖1 算法流程圖

4 仿真實驗與分析

4.1 混沌時間序列預(yù)測

利用Lorenz混沌方程：

其中，a，b和r都是常數(shù)，當(dāng)取a=10，b=8/3，r=28，x(0)=10，y(0)=1及z(0)=0時，系統(tǒng)產(chǎn)生混沌。利用四階Runge-Kutta法迭代產(chǎn)生混沌時間序列，步長為0.02，延遲時間和嵌入維數(shù)分別取13和3。生成1 000個Lorenz時間序列數(shù)據(jù)，如圖2所示，前500個數(shù)據(jù)用于訓(xùn)練LSSVM模型，后500個數(shù)據(jù)用于對訓(xùn)練好的LS-SVM進(jìn)行測試。

圖2 Lorenz時間序列

本文選用Matlab R2010a作為實驗仿真平臺，為了檢驗預(yù)測效果，用歸一化均方根誤差NRMSE（Normalized Root Mean Square Error）對學(xué)習(xí)效果和預(yù)測結(jié)果進(jìn)行評價，NRMSE的計算如式（12）所示。其中xt為能耗時間序列實際值，為預(yù)測值，n為預(yù)測的數(shù)據(jù)個數(shù)。

分別采用免疫文化基因、遺傳算法、網(wǎng)格搜索優(yōu)化的LS-SVM，SVM和BP神經(jīng)網(wǎng)絡(luò)，連續(xù)進(jìn)行500步長單步預(yù)測。LS-SVM參數(shù)C和σ分別初始化為10和0.1，迭代次數(shù)為100。SVM模型的參數(shù)C=10，p1=75。BP神經(jīng)網(wǎng)絡(luò)模型的隱藏層節(jié)點數(shù)設(shè)為20，第一層傳遞函數(shù)為tansig，輸出層傳遞函數(shù)為purelin，迭代1 000次。

從圖2和圖3中可以看出本文方法和傳統(tǒng)LS-SVM分別對Lorenz時間序列的預(yù)測情況和誤差對比，表1中對四種預(yù)測方法的對比可看出，本文方法由于采用了基于免疫算法全局搜索與基于Baldwin效應(yīng)局部搜索結(jié)合的方法，相比遺傳算法與網(wǎng)格搜索算法0.091 9和0.098 7的測試誤差，能更快速地找到最優(yōu)解，測試誤差為0.086 5，相比SVM、BP分別為0.121 9、0.315 6的測試誤差，免疫文化基因算法優(yōu)化的LS-SVM誤差為0.086 5，對時間序列預(yù)測更加準(zhǔn)確，且沒有因為學(xué)習(xí)誤差較低而產(chǎn)生過擬合現(xiàn)象。

圖3 Lorenz時間序列預(yù)測結(jié)果

表1 Lorenz預(yù)測對比結(jié)果

4.2 建筑能耗預(yù)測

為了進(jìn)一步驗證方法的有效性和實用價值，結(jié)合建筑能耗值進(jìn)行預(yù)測，文獻(xiàn)[15-16]中已有將SVM、BP神經(jīng)網(wǎng)絡(luò)用于建筑能耗預(yù)測的研究，下面實驗中將這幾種算法進(jìn)行對比。建筑能耗數(shù)據(jù)如圖4所示。

圖4 建筑能耗數(shù)據(jù)

圖5 建筑能耗預(yù)測結(jié)果

對重慶某綜合大樓實行能耗采樣計量，本文選取夏季8月份的能耗數(shù)據(jù)（見圖5所示），以耗電量作為主要研究對象，每隔1 h對能耗數(shù)據(jù)采樣一次，預(yù)測步長為24，即用前后兩天同一時刻數(shù)據(jù)作為輸入輸出對。若要預(yù)測第di天24 h的能耗數(shù)據(jù)，則輸入序列為{di-1(1)，di-1(2)，…，di-1(24)}，對應(yīng)的輸出為{di(1)，di(2)，…，di(24)}。

預(yù)測月末最后一天的能耗情況如圖5所示，可以看出免疫文化基因算法優(yōu)化的LS-SVM逼近真實值。各種預(yù)測方法應(yīng)用在建筑能耗預(yù)測中的對比結(jié)果如表2所示。四種方法的測試誤差分別為0.194 3、0.275 1、0.327 1和0.573 6，本文方法比遺傳算法優(yōu)化LS-SVM、SVM和BP網(wǎng)絡(luò)無論在學(xué)習(xí)精度還是預(yù)測精度上都有所提高，更適用于建筑的能耗預(yù)測。通過預(yù)測得到較精確的能耗值，與實際值的比較，可以實時地監(jiān)測建筑能耗是否正常，將預(yù)測方法嵌入到建筑能耗管理系統(tǒng)中，可以為建筑節(jié)能管理提供一種手段。不失一般性，水、燃?xì)獾扔昧康膶崟r預(yù)測也可使用該方法。

表2 能耗預(yù)測對比結(jié)果

5 結(jié)束語

本文在LS-SVM的訓(xùn)練階段使用了免疫文化基因算法對參數(shù)進(jìn)行了優(yōu)化，該算法結(jié)合了全局搜索與局部搜索，收斂速度快，克服了一般優(yōu)化算法容易陷入局部最優(yōu)的缺點，相比遺傳算法和網(wǎng)格搜索算法，本文的算法尋優(yōu)效率更高。結(jié)合建筑能耗預(yù)測的實際應(yīng)用，說明了本文方法具有實用價值，但本文方法訓(xùn)練預(yù)測過程是離線的，下一步的研究就是在本文方法的基礎(chǔ)上設(shè)計在線預(yù)測方法。

[1]Farmer J D，Sidorowich J J.Predicting chaotic time series[J]. Physical Review Letters，1987，59（8）：845-848.

[2]Contreras J，Espinola R，Nogales F J.ARIMA models to predict next-day electricity prices[J].Power Systems，2003，18（3）：1014-1020.

[3]謝品杰，譚忠富，尚金成，等.基于小波分析與廣義自回歸條件異方差模型的短期電價預(yù)測[J].電網(wǎng)技術(shù)，2008，32（16）：96-100.

[4]Chandra R，Zhang M.Cooperative coevolution of Elman recurrent neural networks for chaotic time series prediction[J].Neurocomputing，2012，86（1）：116-123.

[5]Deihimi A，Showkati H.Application of echo state networks in short-term electric load forecasting[J].Energy，2012，39（1）：327-340.

[6]Cortes C，Vapnik V.Support-vector networks[J].Machine Learning，1995，20（3）：273-297.

[7]Ito K，Kunisch K.Karush-Kuhn-Tucker conditions for nonsmooth mathematical programming problems in function spaces[J].SIMA Journal on Control and Optimization，2011，49（5）：2133-2154.

[8]Rubio G，Pomares H，Rojas I，et al.A heuristic method for parameter selection in LS-SVM：application to time series prediction[J].International Journal of Forecasting，2011，27（3）：725-739.

[9]周輝仁，鄭丕諤，趙春秀.基于遺傳算法的LS-SVM參數(shù)選優(yōu)及其在經(jīng)濟(jì)預(yù)測中的應(yīng)用[J].計算機(jī)應(yīng)用，2007，27（6）.

[10]Gong Maoguo，Jiao Licheng，Zhang Lining，et al.Immune secondary response and clonal selection inspired optimizers[J].Progress in Natural Science，2009，19（2）：237-253.

[11]劉合安，張群慧.免疫文化基因算法求解多模態(tài)函數(shù)優(yōu)化問題[J].計算機(jī)應(yīng)用研究，2012，19（12）：4515-4517.

[12]Gong Maoguo，Jiao Licheng，Liu Fang，et al.Memetic computation based on regulation between neural and immune systems：the framework and a case study[J].Science China：Information Sciences，2010，45（11）：2131-2138.

[13]張明明，趙曙光，王旭.基于Baldwin效應(yīng)的自適應(yīng)有性繁殖遺傳算法及其仿真研究[J].系統(tǒng)仿真學(xué)報，2010，22（10）：2229-2332.

[14]Matzinger P.The danger model：a renewed sense of self[J]. Science，2002，296（5566）：301-305.

[15]DongB，CaoC，LeeSE.Applyingsupportvector machines to predict building energy consumption in tropical region[J].Energy and Buildings，2005，37（5）：545-553.

[16]Kalogirou S A，Bojic M.Artificial neural networks for the prediction of the energy consumption of a passive solar building[J].Energy，2000，25（5）：479-491.

WANG Bo,MEI Qian

College of Computer Science,Chongqing University,Chongqing 400030,China

Aiming at the problem that the parameters of Least Squares Support Vector Machines（LS-SVM）are uncertain in time series prediction,this paper utilizes immune clonal memetic algorithm which adopts the advantage of global search and local search to optimize the parameters of LS-SVM.Simulation results of Lorenz time sequence prediction and building energy consumption prediction show that the prediction accuracy of this optimization method is higher than genetic algorithm and grid search algorithm,and the comparison shows that the optimized LS-SVM produces better results than Support Vector Machines（SVM）and BP neural network.

time series prediction;Least Squares Support Vector Machines（LS-SVM）;memetic algorithm;energy prediction

A

TP391

10.3778/j.issn.1002-8331.1212-0031

WANG Bo,MEI Qian.Time series prediction based on LS-SVM optimized by immune clonal memetic algorithm. Computer Engineering and Applications,2014,50（21）：254-258.

王波（1960—），男，副教授，碩導(dǎo)，主要研究方向為建筑與城市智能化、物聯(lián)網(wǎng)與網(wǎng)絡(luò)安全、信息集成與系統(tǒng)集成；梅倩（1988—），女，碩士研究生，主要研究方向為時間序列預(yù)測、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)。E-mail：wangbo@cqu.edu.cn

2012-12-04

2013-01-19

1002-8331（2014）21-0254-05

CNKI出版日期：2013-03-26，http://www.cnki.net/kcms/detail/11.2127.TP.20130326.1042.016.html