基于灰色模型和支持向量機的組合預測模型

劉齊林,曾 玲,曾祥艷

基于灰色模型和支持向量機的組合預測模型

劉齊林,曾 玲,曾祥艷

(桂林電子科技大學數(shù)學與計算科學學院,廣西桂林 541004)

為提高預測模型的精度,提出了一種基于灰色模型和支持向量機的組合預測模型。該模型將累加序列中每個數(shù)據(jù)分別作為初始條件建立灰色模型,然后對各個灰色模型進行最優(yōu)組合,通過支持向量機建立最優(yōu)預測模型,并以成都市1993—2001年航空旅客運輸量進行仿真預測實驗。實驗結果表明,相對于傳統(tǒng)灰色模型和灰色神經網絡模型,基于灰色模型和支持向量機的組合預測模型提高了預測精度。

灰色模型;支持向量機;時間序列預測

自從1982年鄧聚龍?zhí)岢龌疑到y(tǒng)理論[1]以來,研究人員開展了相關理論探索及在不同領域的應用研究。灰色系統(tǒng)理論主要研究“小樣本,貧信息不確定”問題,通過序列生成來尋求其變化規(guī)律,其最大優(yōu)點在于所需數(shù)據(jù)少,預測精度較高,廣泛應用在少數(shù)據(jù)、貧信息的短期預測中[2-3]。現(xiàn)有的灰色模型主要研究模型參數(shù)的優(yōu)化和改進方法[4],以提高灰色模型的預測精度。

1969年Bates和Gtrange系統(tǒng)地研究了組合預測模型[5],相比于單一模型,組合預測模型能較大限度地利用各種模型提供的信息提高預測精度。近年來,章勇高等[6]提出了一種新型灰色神經網絡優(yōu)化組合的風電發(fā)電量預測方法,將人工神經網絡預測模型與灰色模型有效結合,降低了預測誤差。唐萬梅[7]提出了灰色支持向量機預測模型,該模型發(fā)揮了灰色預測方法中累加生成的優(yōu)點,增強了規(guī)律性,弱化了隨機性,通過累減還原得到原始數(shù)據(jù)預測模型,提高了預測精度。曾振東[8]通過建立網絡輿情GM(1,1)模型,運用支持向量機對GM(1,1)模型的預測結果進行殘差修正,提高了預測精度。

鑒于此,提出一種基于灰色模型和支持向量機的組合預測模型,該模型將不同初始條件得到的灰色模型的預測值作為支持向量機的輸入,輸出為一個非線性組合,對樣本不斷地進行訓練和學習,達到一定精度后,再將該最優(yōu)組合預測模型用于預測,得到最終的預測結果。該組合預測模型避免了傳統(tǒng)組合預測模型因采用基于最小二乘法的線性組合過分依賴其預測值及其相應權重的影響,通過支持向量機訓練,得到非線性組合輸出,減少了組合預測對真實值的偏離[9]。另外,采用灰色模型累加序列中每個數(shù)據(jù)作為初始條件,利用原始數(shù)據(jù)的信息,提高了預測模型的精度。

1 改進的灰色預測GM(1,1)模型

GM(1,1)模型是一種最常用的灰色模型[2],由僅含一個變量的一階微分方程構成。為了說明傳統(tǒng)灰色模型在初始條件選取上的不足,現(xiàn)作簡要分析。

GM(1,1)模型的白化方程為:

其中a、u為待定參數(shù)。求解微分方程(1),

將式(2)離散化,

為求解式(3)的c,需要給定初始條件,灰色模型一般將x(1)(1)作為初始條件,代入式(3)得:

將式(4)代入式(3),得到GM(1,1)模型的時間響應序列為:

其中k=0,1,…,n-1。

因此,將累加序列中每個數(shù)據(jù)分別作為初始條件建立灰色模型[4]。設灰色模型一次累加生成的序列X(1)=(x(1)(1),x(1)(2),…,x(1)(n)),初始條件為x(1)(t)t=m=x(1)(m),m=1,2,…,n,代入式(2)得:

將式(6)代入式(3),得到新的時間響應序列為:

由累減還原得到新的預測公式為:

其中:k=1,2,…,n;m=1,2,…,n。

2 支持向量機預測模型

支持向量機是建立在統(tǒng)計學習理論和結構風險最小化基礎上的新的機器學習方法[10],具有比較完善的理論基礎,在理論上充分保證了模型的泛化性。支持向量機預測模型是尋求輸入數(shù)據(jù)序列與輸出數(shù)據(jù)序列之間的非線性映射關系f,對于給定的訓練樣本(x1,y1),(x2,y2),…,(xn,yn),xi∈Rn,yi∈R,其中xi為輸入數(shù)據(jù),yi為對應的輸出數(shù)據(jù),支持向量機通過非線性映射φ將輸入數(shù)據(jù)序列xi映射到高維特征空間F,在此特征空間進行線性回歸:

其中:w為權向量;b為偏置量。

由結構風險最小化原則可知,w和b可通過求解下面的優(yōu)化問題得到:

其中:ε為Vapnik用ε不敏感損失函數(shù)定義的誤差,其控制支持向量的個數(shù)和模型的復雜度,提高模型的泛化能力;ξi和ξi*為松弛變量,ξi≥0,ξi*≥0,i=1, 2,…,n;C為懲罰因子。

式(10)為一個凸二次優(yōu)化問題,可以通過引入拉格朗日函數(shù)轉化為對偶問題求解:

其中,核函數(shù)K(xi,xj)=〈φ(xi),φ(xj)〉為高維特征空間中定義的內積,在高維特征空間中使用核函數(shù),不需要知道非線性映射φ的具體形式,降低了模型的計算復雜度。最終得到的非線性預測模型為:

其中αi、α*i為拉格朗日乘子。

3 灰色支持向量機組合預測模型

灰色模型所需數(shù)據(jù)少,通過累加序列生成,弱化其隨機性,增強數(shù)據(jù)的規(guī)律性,但在初始條件選取上存在不足,僅選擇一個數(shù)據(jù)建立灰色模型,未充分利用原始數(shù)據(jù)中每個數(shù)據(jù)的信息,如果數(shù)據(jù)偏差較大,預測精度將大大降低。支持向量機是基于結構風險最小化原則的機器學習方法,具有良好的非線性擬合能力,能充分挖掘各個信息之間的內在關系。灰色支持向量機組合預測模型首先將累加序列中每個數(shù)據(jù)作為初始條件建立灰色模型,然后將各個灰色模型的預測值作為支持向量機的輸入,通過支持向量機訓練,得到各個模型的最優(yōu)組合,運用最優(yōu)模型進行預測。具體建模步驟為:

1)設原始數(shù)據(jù)序列X(0)的一次累加生成序列為X(1)=(x(1)(1),x(1)(2),…,x(1)(n)),將累加序列的每個數(shù)據(jù)作為初始條件建立灰色模型,得到預測值。

2)將灰色模型得到的預測值進行歸一化處理,并將歸一化處理后的數(shù)據(jù)作為支持向量機的輸入向量。

3)選擇適當?shù)暮撕瘮?shù),如高斯徑向基核函數(shù),通過經驗確定支持向量機的參數(shù)。

4)對樣本進行訓練,達到較高精度后,將該模型用于最終預測。

4 數(shù)值實驗與結果分析

實驗采用成都市1993—2001年的航空旅客運輸量進行建模[11],預測2002年和2003年的客運量,并與傳統(tǒng)灰色模型、灰色神經網絡模型的預測精度進行比較分析。

1)選擇1993—2001年累加后的數(shù)據(jù)作為初始條件,建立灰色模型,通過計算,GM(1,1)模型的參數(shù)a=-0.099 1,u=138.338 4。

2)將不同初始條件建立的灰色模型記為GM1-GM9模型,通過9個模型得到原始數(shù)據(jù)序列的擬合值和預測值。將得到的擬合值與預測值進行預處理并歸一化,得

其中:z′i為歸一化數(shù)據(jù);zmax和zmin分別為GM1-GM9模型擬合預測值序列的最大值和最小值。同時將原始數(shù)據(jù)序列也進行歸一化處理。

3)設第1個灰色模型對原始數(shù)據(jù)(z1,z2,…, z11)的擬合值為(t11,t12,…,t19),預測值為(y11, y12),第2個灰色模型對原始數(shù)據(jù)的擬合值為(t21, t22,…,t29),預測值為(y21,y22),以此類推,得到第9個灰色模型對原始數(shù)據(jù)的擬合值為(t91,t92,…, t99),預測值為(y91,y92)。9個灰色模型對原始值x1的擬合值為(t11,t21,…,t91),將(t11,t21,…,t91)作為支持向量機的輸入,z1作為支持向量機的輸出,其他8個原始值以同樣方法構造支持向量機訓練樣本集,進行支持向量機訓練,后2個樣本(y11,y21,…,y91;z10)和(y12,y22,…,y92;z11)作為測試集。

4)不斷地進行支持向量機訓練和學習,最終選擇高斯核函數(shù)K(x,xi)=exp(-γ‖x-xi‖2)作為核函數(shù),支持向量機其他參數(shù)的取值分別為C=1028, γ=0.1,ε=0.01。

3種預測模型的預測值及相對誤差如表1所示。從表1可看出,傳統(tǒng)灰色模型選擇第1個數(shù)據(jù)作為初始條件,其相對誤差為0,擬合效果最好。其他數(shù)據(jù)的相對誤差都比較大,最大相對誤差大于10%,說明傳統(tǒng)灰色模型選擇第1個數(shù)據(jù)作為初始條件具有很大的缺陷。灰色神經網絡模型結合灰色模型和神經網絡的非線性擬合,平均相對誤差小于傳統(tǒng)灰色模型,預測精度有所提高。由于支持向量機基于結構風險最小化原則建模,具有良好的非線性擬合能力和泛化能力,綜合運用了單一灰色模型提供的有用信息,灰色支持向量機模型的平均相對誤差小于前2種模型,3種模型的平均相對誤差分別為6.38%、4.54%、2.42%。

表1 3種預測模型的預測值及相對誤差Tab.1 The predictive value and relative error of three prediction models

5 結束語

針對傳統(tǒng)灰色模型初始條件選擇上的缺陷,改進了傳統(tǒng)灰色模型,并結合支持向量機的小樣本非線性擬合與泛化能力的優(yōu)點,提出了一種基于灰色模型和支持向量機的組合預測模型。實驗結果表明,與傳統(tǒng)灰色模型和灰色神經網絡模型相比,灰色支持向量機組合預測模型的預測精度得到較大的提高。

[1] Deng Julong.Control problems of grey systems[J].Systems and Control Letters,1982,1(5):288-294.

[2] 劉思峰,黨耀國,方志耕,等.灰色系統(tǒng)理論及其應用[M].2版.北京:科學出版社,2010:26-39.

[3] 劉思峰.灰色系統(tǒng)理論的產生與發(fā)展[J].南京航空航天大學學報,2004,36(2):267-272.

[4] 張大海,江世芳,史開泉.灰色預測公式的理論缺陷及改進[J].系統(tǒng)工程理論與實踐,2002,22(8):365-368.

[5] Bates J M,Gtrange C W J.The combination of forecasts [J].Operations Research Quarterly,1969,20(4):451-468.

[6] 章勇高,王妍,孫佳,等.基于灰色神經網絡優(yōu)化組合的風力發(fā)電量預測研究[J].電測與儀表,2014,51(22):30-34.

[7] 唐萬梅.基于灰色支持向量機的新型預測模型[J].系統(tǒng)工程學報,2006,21(4):410-413.

[8] 曾振東.基于灰色支持向量機的網絡輿情預測模型[J].計算機應用與軟件,2014,31(2):300-302.

[9] Han Dongmei.The comparative study on linear and nonlinear optimal forecast combination methods[J].Information Science,2007,25(11):1672-1678.

[10] Vapnik V N.統(tǒng)計學習理論的本質[M].張學工,譯.北京:清華大學出版社,2000:91-118.

[11] 王忠桃.灰色預測模型相關技術研究[D].成都:西南交通大學,2008:26-37.

編輯:曹壽平

A combination forecasting model based on grey model and support vector machine

Liu Qilin,Zeng Ling,Zeng Xiangyan
(School of Mathematics and Computational Science,Guilin University of Electronic Technology,Guilin 541004,China)

In order to improve the accuracy of the forecasting model,a combination forecasting model based on grey model and support vector machine is presented.Each data of the accumulated sequence is used for the initial condition to establish the grey model.Then the optimal combination of the grey model is built,and the optimal prediction model is established by support vector machine.The simulation prediction experiment is conducted according to 1993-2001 air travel passenger transportation volume in Chengdu.The experimental result shows that compared with the traditional grey model and the grey neural network model,the combination forecasting model based on grey model and support vector machine effectively improves the prediction precision.

grey model;support vector machine;time series forecasting

TP18

A

1673-808X(2015)05-0416-04

2015-05-11

廣西教育廳科研項目(KY2015YB113);桂林電子科技大學研究生教育創(chuàng)新計劃(YJCXS201553)

曾玲(1963-),女,廣西荔浦人,教授,研究方向為決策分析、不確定理論及其應用。E-mail:lzeng@guet.edu.cn

劉齊林,曾玲,曾祥艷.基于灰色模型和支持向量機的組合預測模型[J].桂林電子科技大學學報,2015,35(5):416-418.