基于AIC的RVM核參數(shù)選擇方法及其應(yīng)用

陳小明

摘 要：在采用高斯徑向基函數(shù)的相關(guān)向量機(jī)（RVM）回歸模型中，核參數(shù)與模型性能之間關(guān)系復(fù)雜，針對如何確定RVM核參數(shù)的問題，提出一種基于AIC準(zhǔn)則選擇RVM的核參數(shù)的方法。首先基于Akaike Information Criterion （AIC）思想，得出一種新的統(tǒng)計量Q，同時將Q作為適應(yīng)度函數(shù)；然后利用微分進(jìn)化算法（Differential Evolution Algorithm，DE）對核參數(shù)進(jìn)行尋優(yōu)，以此選擇確定核參數(shù)；最后利用該算法建立RVM回歸模型對黃金價格進(jìn)行短期預(yù)測。實驗結(jié)果表明，該模型較傳統(tǒng)方法建立的預(yù)測模型具有更高的擬合精度和更好的泛化能力，進(jìn)一步證明基于AIC準(zhǔn)則選擇RVM的核參數(shù)的方法的可行性和有效性。

關(guān)鍵詞：徑向基函數(shù)；核參數(shù)；相關(guān)向量機(jī)；微分進(jìn)化算法；AIC準(zhǔn)則；黃金價格

中圖分類號：TP181 文獻(xiàn)標(biāo)識碼：A

1 引 言

Tipping于2000年提出相關(guān)向量機(jī)（Relevance Vector Machine， RVM） [1]，它是一種基于總體貝葉斯框架下的稀疏概率模型。由于其具有模型結(jié)構(gòu)稀疏、核函數(shù)不需滿足Mercer 條件及計算的復(fù)雜度相對較低等優(yōu)勢，RVM 方法已經(jīng)應(yīng)用于一些分類和預(yù)測任務(wù)，如：電能質(zhì)量擾動分類[2]，老年癡呆癥臨床變量預(yù)測[3]，用于中長期徑流預(yù)報[4]等。但在采用高斯徑向基核函數(shù)的RVM回歸模型中，一方面由于其核參數(shù)與 RVM 回歸模型性能（擬合精度、泛化能力、相關(guān)向量個數(shù)）存在復(fù)雜的關(guān)系，很難用解析關(guān)系進(jìn)行分析，另一方面由于樣本數(shù)據(jù)不可避免地帶有噪聲，如統(tǒng)計誤差等，所以到目前為止，還沒有很好的方法來確定核參數(shù)，如文獻(xiàn)[5]也只是討論了核參數(shù)的比較適當(dāng)?shù)娜≈捣秶?/p>

基于此，本文基于Akaike Information Criterion （AIC）思想，首先推導(dǎo)出了一種新的統(tǒng)計量Q，然后提出了以Q為適應(yīng)度函數(shù)，利用微分進(jìn)化算法（DE）對核參數(shù)進(jìn)行尋優(yōu)的方法確定核參數(shù)的算法，最后利用該算法建立起黃金價格的AIC-RVM回歸模型，并與以平均絕對百分誤差作適應(yīng)度函數(shù)的MAPERVM回歸模型以及基于微分進(jìn)化算法的支持向量機(jī)模型、多維灰色模型、小波神經(jīng)網(wǎng)絡(luò)模型等模型進(jìn)行了比較，結(jié)果表明，AICRVM回歸模型具有較高的擬合精度和更好的泛化能力，說明了該確定RVM的核參數(shù)的方法是有效的。

2 相關(guān)向量機(jī)回歸預(yù)測模型[3]

3 基于AIC的RVM核參數(shù)選擇算法

微分進(jìn)化算法（DE）是一種通過種群內(nèi)個體間的合作與競爭來實現(xiàn)對優(yōu)化問題的求解的群體進(jìn)化的算法，其本質(zhì)是一種基于實數(shù)編碼的具有保優(yōu)思想的貪婪遺傳算法，它的基本操作包括變異、交叉和選擇三種操作。由于微分進(jìn)化算法具有很強的全局尋優(yōu)功能、較快的收斂速度及較好的穩(wěn)定性。本文引入微分進(jìn)化算法對 RVM 的核參數(shù)c在參數(shù)空間中自動尋優(yōu)。其中，在尋優(yōu)過程中，適應(yīng)度函數(shù)的選取是關(guān)鍵。

3.1 適應(yīng)度函數(shù)

相關(guān)向量機(jī)的訓(xùn)練是基于自動相關(guān)決策理論（Automatic Relevance Determination，ARD ）來移除不相關(guān)的點，從而獲得稀疏化的模型。令M為經(jīng)訓(xùn)練得到的相關(guān)向量的個數(shù)（即ω中不為零的分量ωi的個數(shù)），則所獲得稀疏化的RVM模型為

3.2 基于AIC的RVM核參數(shù)尋優(yōu)算法

Step1：輸入樣本數(shù)據(jù)。設(shè)置DE的最大迭代循環(huán)次數(shù)D、種群規(guī)模Np、放縮因子F及交叉常數(shù)CR等參數(shù)并設(shè)置參數(shù)組c的搜索范圍。令迭代數(shù)j=0。

Step2：在所設(shè)置的參數(shù)c的范圍內(nèi)隨機(jī)生成初始種群α0s，（s=1，2，…，Np）。利用RVM對ti進(jìn)行預(yù)測得其預(yù)測值i，（i=1，2，…，l）。取適應(yīng)度函數(shù)為Q=2L-R2-12R4。計算每個個體的適應(yīng)度值。記錄各個體極值、全局極值和全局極值點。

Step3：利用變異、交叉和選擇這三種操作對種群進(jìn)行更新，計算新種群各個體的適應(yīng)度值，并更新各個體極值、全局極值和全局極值點。

Step4：若j

Step5：利用參數(shù)c*建立RVM模型。

在該算法中絕大部分處理都集中在適應(yīng)度的計算上，而RVM訓(xùn)練的時間復(fù)雜度為O（N3），從而該算法的時間復(fù)雜度為O（NPN3D）。

4 世界黃金價格短期預(yù)測

4.1 實驗數(shù)據(jù)和環(huán)境

已有的研究表明，引起世界黃金短期價格T（美元/金衡盎司）波動的主要因素有：美元指數(shù)x1、道瓊斯指數(shù)x2、原油價格x3（美元/桶）、美國三十年期債券x4、歐元對美元匯率（一歐元折合美元）x5等[6-8]。本文采用2013年4月1日至2013 年11月10日的188期的世界黃金價格及主要短期影響因素的每日數(shù)據(jù)（休息日除外）作為188個樣本對世界黃金短期價格波動進(jìn)行實證分析。所使用的世界黃金最新價格以及宏觀經(jīng)濟(jì)數(shù)據(jù)來自財經(jīng)網(wǎng)站cn.investing.com。

為方便起見，下面將2013年4月1日至2013 年11月4日的第1-183個樣本作為訓(xùn)練集S，將2013年11月5日至2013 年11月10日的第184-188個樣本作為測試集T。

利用訓(xùn)練集S以及2.2中的核參數(shù)尋優(yōu)算法建立基于AIC的RVM預(yù)測模型（AICRVM），對測試集T進(jìn)行預(yù)測。設(shè)置DE的放縮因子為0.5，交叉因子為0.4，最大迭代循環(huán)次數(shù)為200，種群規(guī)模為30，參數(shù)組c的搜索范圍為[0.01，10]。在Matlab環(huán)境下，利用Matlab及SB2_Release_200軟件包中的函數(shù)可方便地實現(xiàn)上述算法。通過計算機(jī)仿真實驗， 可以得到第1-183期黃金價格擬合結(jié)果（圖2）及第184-188期黃金價格預(yù)測結(jié)果（圖3）。

圖2 基于AICRVM的第1-183期

黃金價格預(yù)測結(jié)果對比

黃金價格預(yù)測結(jié)果對比其精度分別見表1，表2 可見，該預(yù)測模型有較高的預(yù)測精度，泛化能力好。

圖3 基于AICRVM的第184-188期

4.2 不同適應(yīng)度函數(shù)的預(yù)測結(jié)果分析

目前文獻(xiàn)中常用平均絕對百分誤差（mean absolute percentage error，MAPE）作適應(yīng)度函數(shù)對RVM的核參數(shù)進(jìn)行尋優(yōu)[9，10]。

其計算式為：MAPE=1n∑ni=1ti-iti，其中，ti為第i個樣本中的黃金價格的實際值，i為第i個樣本中的黃金價格的預(yù)測值。利用4.1中的訓(xùn)練集S以及上述MAPE作適應(yīng)度函數(shù)所建立的RVM回歸模型（MAPERVM），對4.1中的測試集T進(jìn)行預(yù)測。

圖4，圖5分別為由所建立的MAPERVM模型得到的第1-183期黃金價格擬合結(jié)果及第184-188期黃金價格預(yù)測結(jié)果：

圖4 基于MAPERVM的第1-183期

黃金價格預(yù)測結(jié)果對比

由圖4知該模型對訓(xùn)練集性能較好，但由圖5知對測試集性能較差，導(dǎo)致對第184-188期黃金價格進(jìn)行預(yù)測時出現(xiàn)了較大的誤差，其預(yù)測精度分別見表1和表2。不僅如此，若另從第1-188個樣本中隨機(jī)選5個作測試集，剩下的樣本作訓(xùn)練集，建立起來的MAPERVM模型也會出現(xiàn)類似的情況，如選第27、29、133、154、167個樣本作測試集，剩下的樣本作訓(xùn)練集建立起來的MAPERVM模型對訓(xùn)練集的預(yù)測結(jié)果為：均方誤差是1.4637e-006，平均絕對誤差是4.5137e-004，平均相對誤差（%）是3.3899e-005；對測試集的預(yù)測結(jié)果為：均方誤差是9.3404e+003，平均絕對誤差是86.1200，平均相對誤差（%）是6.09。可見以MAPE為適應(yīng)度函數(shù)建立起的MAPERVM模型對第1-188個樣本作成的樣本空間都有此性能，說明該模型出現(xiàn)了過擬合，泛化能力差。

圖5 基于MAPE-RVM的第184-188期

黃金價格的預(yù)測結(jié)果對比

4.3 同類模型的對比分析

與基于微分進(jìn)化算法的支持向量機(jī)模型（DE-SVR）、多維灰色模型（GM（1，6））的預(yù)測效果與精度進(jìn)行對比可知，AICRVM所得預(yù)測結(jié)果精度優(yōu)于上述模型。具體結(jié)果分別見表1、表2。與小波神經(jīng)網(wǎng)絡(luò)模型的預(yù)測效果與精度進(jìn)行對比發(fā)現(xiàn)，小波神經(jīng)網(wǎng)絡(luò)在預(yù)測黃金價格時出現(xiàn)了過擬合，泛化能力差。具體結(jié)果分別見表1和表2。綜合上述比較可知，基于AIC的RVM 核參數(shù)尋優(yōu)算法建立起來的回歸模型（AIC-RVM）具有擬合結(jié)果的精度較高，泛化能力好的特點。其整體性能優(yōu)于一些傳統(tǒng)預(yù)測模型。

5 結(jié) 論

當(dāng)樣本數(shù)據(jù)的噪聲方差較小時，通過選用Q=2L-R2-12R4作為適應(yīng)度函數(shù)，利用微分進(jìn)化算法對RVM的核參數(shù)進(jìn)行尋優(yōu)，以達(dá)到提高RVM的擬合精度與提高RVM的稀疏性、降低計算的復(fù)雜度之間的平衡，減少了擬合過程中的人為干涉因素以及過擬合的情形發(fā)生的目的，從而提高模型的泛化能力。通過使用由該方法建立起來的RVM回歸模型對世界黃金價格進(jìn)行預(yù)測的仿真實驗表明，一方面該回歸模型比選用常用的平均絕對百分誤差作為適應(yīng)度函數(shù)的RVM模型的泛化能力強，另一方面該回歸模型的預(yù)測精度優(yōu)于基于微分進(jìn)化算法的支持向量機(jī)模型、多維灰色模型等傳統(tǒng)預(yù)測模型。這說明了使用AIC的思想確定核參數(shù)方法的合理性，是一有效的方法。

參考文獻(xiàn)

[1] BAI Y，WANG P，LI C，et al. A multiscale relevance vector regression approach for daily urban water demand forecasting[J]. Journal of Hydrology，2014，517（2）：236-245.

[2] BLEKAS K，LIKAS A. Sparse regression mixture modeling with the multikernel relevance vector machine[J]. Knowledge & Information Systems， 2014， 39（2）：241-264.

[3] 程波，張道強.基于多模態(tài)相關(guān)向量回歸機(jī)的老年癡呆癥臨床變量預(yù)測[J].南京大學(xué)學(xué)報：自然科學(xué)，2012，48（2）：140-146.

[4] 仕玉治，彭勇，周惠成.基于相關(guān)向量機(jī)的中長期徑流預(yù)報模型研究[J].大連理工大學(xué)學(xué)報，2012，52（1）：9-84.

[5] Shivam Tripathi，Rao S. Govindaraju On selection of kernel parametes in relevance vector machines for hydrologic applications[J].Stoch Environ Res Risk Assess，2007，（21）：747-764.

[6] SMITH G W， MEIDAN R. Everchanging cell interactions during the life span of the corpus luteum： relevance to luteal regression.[J]. Reproductive Biology，2014，14（2）：75-82.

[7] HAIYING L I， LIU Z，SONG J. Realtime Static Security Situational Awareness of Power Systems Based on Relevance Vector Machine[J].Proceedings of the Csee，2015， 35（2）：294-301.

[8] 田國華 國際黃金價格影響因素分析及趨勢預(yù)測[J].山西大同大學(xué)學(xué)報：社會科學(xué)版，2012，26（5）：104-106.

[9] 孫志剛，翟瑋星，李偉倫，等 基于 EMD和相關(guān)向量機(jī)的短期負(fù)荷預(yù)測[J].電力系統(tǒng)及 其自動化學(xué)報，2011，23（1）：92-97

[10]OUYED O， ALLILI M S. Feature Relevance for Kernel Logistic Regression and Application to Action Classification[C]//Pattern Recognition （ICPR），2014 22nd International Conference onIEEE， 2014：1325-1329.