在線預(yù)測的灰色支持向量回歸方法

蔣 輝

（1.中國人民大學(xué) 統(tǒng)計學(xué)院，北京 100872；2.惠州學(xué)院數(shù)學(xué)系，廣東惠州 516007）

0 引言

在對系統(tǒng)數(shù)據(jù)進(jìn)行預(yù)測時，批量學(xué)習(xí)（Batch Learning）要求訓(xùn)練數(shù)據(jù)模式（樣本點）在學(xué)習(xí)之前一次性得到（滿足批量性），新的數(shù)據(jù)模式的到達(dá)對依托原有樣本集的預(yù)測結(jié)果不產(chǎn)生影響。然而，現(xiàn)實系統(tǒng)的復(fù)雜性和未來的發(fā)展趨勢往往通過數(shù)據(jù)新的變化表現(xiàn)出來，這要求在預(yù)測過程中不斷更新已有的樣本集，將新的數(shù)據(jù)信息納入到樣本集中，同時剔除最原始的信息，打破批量學(xué)習(xí)模式下樣本集固定的局限。因此，在系統(tǒng)的預(yù)測過程中，每收集到一個新的數(shù)據(jù)模式就必須立刻對其進(jìn)行學(xué)習(xí),學(xué)習(xí)的效果體現(xiàn)在后續(xù)預(yù)測中，這種學(xué)習(xí)即為在線學(xué)習(xí)[5,9,10]。從實際情況看，這是一種更為自然的學(xué)習(xí)方式，許多實際問題都符合此種模式。例如，股指的動態(tài)預(yù)測，由于社會經(jīng)濟(jì)變化的不確定因素繁多，必須對所獲得的新數(shù)據(jù)及時更新預(yù)測，使新數(shù)據(jù)對后續(xù)預(yù)測產(chǎn)生影響；像目標(biāo)定位或追蹤，周圍環(huán)境或追蹤目標(biāo)隨時都在變化，這就要求隨時調(diào)整設(shè)備的運行方式。現(xiàn)實生活中這類現(xiàn)象比較常見，因此，在線預(yù)測的研究具有廣闊的應(yīng)用前景。

灰色系統(tǒng)理論中，灰色預(yù)測控制的原理具有極強(qiáng)的在線性。它采樣瞬態(tài)建模，即每采集一個新數(shù)據(jù)同時舍棄一個最舊的數(shù)據(jù)，建立一個新模型，更新一組模型參數(shù)，所以控制的過程就是不斷采集和舍棄數(shù)據(jù)、不斷建模、不斷更新參數(shù)、不斷預(yù)測、不斷提高新模型下預(yù)測值的過程，實際上也就是用模型參數(shù)的不斷更新來適應(yīng)系統(tǒng)行為的不斷變化和外界環(huán)境的不斷干擾，增強(qiáng)模型對環(huán)境的適應(yīng)性。然而，灰色預(yù)測模型的精度一直是人們關(guān)心的重要問題。為了提高其預(yù)測精度，專家學(xué)者們進(jìn)行了大量的研究，并取得了一些比較理想的成果[7,12,13]。

對于在線預(yù)測，國內(nèi)外從在線核學(xué)習(xí)機(jī)的角度進(jìn)行研究的專家學(xué)者不少，他們不僅研究了如何提高在線預(yù)測的精度，同時也考慮了如何降低計算代價，開發(fā)了許多在線學(xué)習(xí)的優(yōu)良算法，并在理論與實踐上獲得了成功[2,4,11]。但是，目前尚未見到將灰色在線預(yù)測和支持向量機(jī)結(jié)合起來進(jìn)行研究的文獻(xiàn)。本文擬根據(jù)當(dāng)前統(tǒng)計學(xué)習(xí)理論的研究成果，將在線自適應(yīng)灰色預(yù)測與支持向量回歸有機(jī)結(jié)合起來，對經(jīng)濟(jì)時間序列的在線預(yù)測精度和計算代價進(jìn)行探討。

1 在線自適應(yīng)灰色預(yù)測模型

發(fā)展系數(shù)α1和灰作用量μ1的最小二乘估計由（4）決定

當(dāng)新數(shù)據(jù)模式不斷到達(dá)，采取以上方法不斷構(gòu)建模型，可得到模型序列：

式（5）稱為在線自適應(yīng)灰色預(yù)測模型，用OL-GM（Online-GM(1,1)）來表示。

2 在線自適應(yīng)灰色支持向量回歸預(yù)測模型

灰色預(yù)測的精度一直是人們關(guān)心的問題。為提高在線自適應(yīng)灰色預(yù)測模型的精度，可在每一模型的殘差序列上運用支持向量回歸機(jī)來修正殘差以達(dá)到提高整個預(yù)測效果的目的。

2.1 支持向量回歸(SVR)

支持向量機(jī)（Support Vector Regression,SVR）于20世紀(jì)90年代初提出，是建立在統(tǒng)計學(xué)理論最新進(jìn)展基礎(chǔ)上的新一代學(xué)習(xí)系統(tǒng)[3]。隨著社會經(jīng)濟(jì)的迅猛發(fā)展，這種技術(shù)得到了深入研究和廣泛應(yīng)用。至今在許多應(yīng)用領(lǐng)域中，支持向量機(jī)足以提供最佳的學(xué)習(xí)性能，而且在機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘中已被確立為一種標(biāo)準(zhǔn)工具。它利用核函數(shù)，將輸入向量按預(yù)定的某一非線性變換映射到高維特征空間并構(gòu)造線性函數(shù)的假設(shè)空間，然后在構(gòu)造的假設(shè)空間中尋找最優(yōu)假設(shè)。選擇何種變換進(jìn)而確定特征空間是支持向量機(jī)的關(guān)鍵，直接決定需要學(xué)習(xí)的目標(biāo)函數(shù)的復(fù)雜程度，從而決定學(xué)習(xí)任務(wù)的難度以及學(xué)習(xí)機(jī)的泛化能力。支持向量機(jī)最初用于解決分類問題[1]，后來成功應(yīng)用于回歸問題，特別在大樣本經(jīng)濟(jì)數(shù)據(jù)的預(yù)測中應(yīng)用廣泛[6,8,14]。

對拉格朗日函數(shù)求偏導(dǎo)易知最優(yōu)假設(shè)可以如下表示：

2.2 殘差修正的支持向量回歸方法

對于灰色預(yù)測模型，可在模型的殘差序列上運用支持向量回歸機(jī)來提高各模型的精度。根據(jù)模型（1）的擬合值和原始序列數(shù)據(jù)，可獲得該模型的殘差序列e0=(e0(1),e0(2),...,e0(n))。以模型值、原始值和數(shù)據(jù)所在時刻為三維輸入樣本，以殘差值為輸出樣本構(gòu)造支持向量回歸機(jī)對灰色預(yù)測模型進(jìn)行殘差修正得到下列復(fù)合預(yù)測模型：是復(fù)合模型的最終預(yù)測值是由支持向量回歸得到的殘差修正項。是三維輸入向量。

是新數(shù)據(jù)序列構(gòu)建的復(fù)合模型的最終預(yù)測值；f1(ψ1(t))是由支持向量回歸得到的殘差修正項。是三維輸入向量。

根據(jù)二次規(guī)劃的KKT條件，只有部分ai或a*i取非零值，與之對應(yīng)的輸入向量稱為支持向量。偏置項b可由下式計算：

當(dāng)新數(shù)據(jù)繼續(xù)到達(dá)，采取以上方法繼續(xù)構(gòu)建復(fù)合模型，可得到模型序列：

式（12）稱為在線自適應(yīng)灰色支持向量回歸預(yù)測模型，用OL-GM-SVR（Online-GM(1,1)Support Vector Regression）來表示。

3 實證分析

為了檢驗OL-GM-SVR模型的精度并與OL-GM模型進(jìn)行比較，本節(jié)將在兩個數(shù)據(jù)集上進(jìn)行試驗。第一個數(shù)據(jù)集是某市1985～1994年各月工業(yè)生產(chǎn)總值(Monthly Gross Output Value of Industry,MGOVI)，數(shù)據(jù)來源于文獻(xiàn)[15]（圖1左），它包含120個數(shù)據(jù)點，本文中將其稱為小樣本數(shù)據(jù)集；第二個數(shù)據(jù)集是來自上海證券交易所的一支股票收盤價格的歷史數(shù)據(jù)（SHDSP）（圖1右），它包含1047個數(shù)據(jù)點，本文中屬中大規(guī)模數(shù)據(jù)集。支持向量回歸機(jī)均采用高斯徑向基核（13）：

圖1 試驗原始數(shù)據(jù)（左：MGOVI；右：SHDSP）

為使結(jié)果可比，有必要設(shè)定測試集。對MGOVI，用后30個數(shù)據(jù)模式進(jìn)行測試；對SHDSP，用后300個數(shù)據(jù)模式進(jìn)行測試。對預(yù)測精度的度量，兩個數(shù)據(jù)集均采用NMSE和MREB，計算方法如下：

為比較試驗集中預(yù)測精度與穩(wěn)定性，統(tǒng)一設(shè)定主要超參數(shù)。對MGOVI，取σ=50 ；對SHDSP，取σ=30.其他參數(shù)，根據(jù)試驗情況進(jìn)行調(diào)整以獲得最佳性能。

試驗主要考察OL-GM、OL-GM-SVR在數(shù)據(jù)集MGOVI和SHDSP上的預(yù)測精度與學(xué)習(xí)時間。在灰色建模時，由于選擇不同的數(shù)據(jù)長度對模型的預(yù)測效果不同，同時考慮到過少的數(shù)據(jù)在進(jìn)行誤差支持向量回歸中會導(dǎo)致過學(xué)習(xí)，因此，將數(shù)據(jù)長度范圍設(shè)定為10≤n≤30，并選擇n=10,15,20,25,30等5種情況的試驗結(jié)果列于表1，同時，為了能直觀地反映數(shù)據(jù)長度對預(yù)測效果的影響，在圖2中作出了OL-GMSVR與OL-GM的預(yù)測效果（MREB）比較曲線。

圖2 模型OL-GM-SVR與OL-GM預(yù)測效果比較

兩數(shù)據(jù)測試集上試驗結(jié)果表明：無論灰色建模數(shù)據(jù)長度n的值怎樣選擇，模型OL-GM-SVR的預(yù)測精度比OL-GM均有明顯的提高，相應(yīng)地，由于計算量的增大，模型OL-GM-SVR的計算時間也明顯地增加。另外，對于模型OL-GM，選擇灰色建模數(shù)據(jù)長度對預(yù)測精度影響比較明顯。就n選擇的范圍而言，對于小規(guī)模數(shù)據(jù)集MGOVI，n的大小與精度的優(yōu)劣沒有明顯的依從關(guān)系（圖2左），且學(xué)習(xí)時間較少；從中大規(guī)模的數(shù)據(jù)集（SHDSP）來看，n越大，OL-GM的精度越低（圖2右）。最后，OL-GM-SVR精度與灰色建模數(shù)據(jù)的長度選擇關(guān)系不大，各數(shù)據(jù)集上精度比較平穩(wěn)；但是，所耗費的學(xué)習(xí)時間隨著n的增大而明顯增多（支持向量回歸中數(shù)據(jù)規(guī)模的增大從而導(dǎo)致計算量迅速增長）。

表1 OL-GM-SVR與OL-GM在測試集上的預(yù)測精度與學(xué)習(xí)時間

4 結(jié)論

現(xiàn)實系統(tǒng)的復(fù)雜性和可變性使在線自適應(yīng)預(yù)測成為當(dāng)今研究的一個熱點。實際上，在線自適應(yīng)預(yù)測更符合預(yù)測問題的本質(zhì)，一邊獲取信息，同時運用以前的預(yù)測結(jié)果一邊進(jìn)行預(yù)測，這樣才能適應(yīng)新的變化和環(huán)境的不斷干擾，增強(qiáng)預(yù)測技術(shù)對環(huán)境的適應(yīng)性。

本文主要從預(yù)測精度和計算代價兩方面討論了經(jīng)濟(jì)時間序列數(shù)據(jù)的在線預(yù)測模式，提出了灰色在線自適應(yīng)預(yù)測模型（OL-GM）和灰色在線自適應(yīng)支持向量回歸預(yù)測模型（OL-GM-SVR）。通過對兩個真實經(jīng)濟(jì)時間序列數(shù)據(jù)進(jìn)行試驗，結(jié)果表明：模型OL-GM能以較快的速度對經(jīng)濟(jì)時間序列進(jìn)行動態(tài)預(yù)測，灰色建模數(shù)據(jù)長度的選擇對模型的預(yù)測精度有較大的影響；而模型OL-GM-SVR以較多的學(xué)習(xí)時間能獲得預(yù)測精度的明顯提高，在選取合適灰色建模數(shù)據(jù)長度情況下，學(xué)習(xí)時間能迅速減少，其預(yù)測精度比較平穩(wěn)，受建模數(shù)據(jù)長度的影響較小。本研究為經(jīng)濟(jì)時間序列的在線預(yù)測問題提供了一種新的思路，所作研究不僅適應(yīng)于經(jīng)濟(jì)預(yù)測領(lǐng)域，也可為其他相關(guān)預(yù)測提供參考。

[1]Burges C J C.A Tutorial on Support Vector Machines for Pattern Recognition[J].Data Mining and Knowledge Discovery,1998,（2）.

[2]Cheng Li,Vishwanathan S V N,Schuurmans Dale,et al.Implicit Online Learning With Kernels[J].Advances in Neural Information Processing Systems,2006,(19).

[3]鄧乃揚,田英杰.數(shù)據(jù)挖掘的新方法—支持向量機(jī)[M].北京:科學(xué)出版社,2004.

[4]He W.Limited Stochastic Meta-Descent for Kernel-Based Online Learning[J].Neural Computation,2009,21(9).

[5]He W,Jiang H.Implicit Update vs Explicit Update[C].In:Proceedings of the 2008 IEEE WorldCongress on Computational Intelligence，Hong Kong:IEEE,2008.

[6]Huang Z,Chen H,Hsu C,Chen W,Wu S.Credit Rating Analysis with Support Vector Machines and Neural Networks:A Market Comparative Study[J].Decision Support Systems,2004,（37）.

[7]Jiang H,Wang Z.GMRVVm-SVR Model for Financial Time Series Forecasting[J].Expert Systems with Applications,2010，(37).

[8]蔣輝,王志忠.灰色局部支持向量回歸機(jī)及應(yīng)用[J].控制與決策,2010,25(3).

[9]蔣輝.王志忠.基于灰色系統(tǒng)的支持向量回歸預(yù)測方法[J].經(jīng)濟(jì)數(shù)學(xué)，2009，26(2).

[10]Kim K.Financial Time Series Forecasting Using Support Vector Machines[J].Neurocomputing,2003,（55）.

[11]Kivinen J,Warmuth M K.Exponentiated Gradient Versus Gradient Descent for Linear Predictors[J].Information and Computation,1997,132(1).

[12]Kivinen J,Smola A J,Williamson R C.Online Learning with Kernels[A].In T.G.Dietterich,S.Becker,and Z[J].Ghahramani,Editors[M].Advances in Neural Information Processing Systems,2002.

[13]Kivinen J,Smola A J,Williamson R C.Online Learning with Kernels[J].IEEE Transactions on Signal Processing,2010,100(10).

[14]梁慶衛(wèi),宋保維,吳朝暉.魚雷使用維護(hù)費用灰色模型[J].系統(tǒng)與仿真學(xué)報,2006，（1）.

[15]Sun J Z.The Grey Composite Prediction Based on Support Vector Regression[A]In:Proceedings of 2007 IEEE International Conference onGreySystems and Intelligent Services[M].Nanjing,China,2007.

[16]Tay F E H,Cao L J.Modified Support Vector Machines in Financial Time Series Forecasting[J].Neurocomputing,2002,（8）.

[17]王振龍,顧嵐.時間序列分析[M].北京:中國統(tǒng)計出版社,2002.

[18]熊和金,徐華中.灰色控制[M].北京:國防工業(yè)出版社,2005.