基于Lasso和支持向量機的組合預測及其應用

喻勝華　龔尚花

摘要針對Lasso方法與支持向量機兩者的聯系與各自的優勢，給出了基于Lasso與支持向量機的串聯型、并聯型和嵌入型三種組合預測，并將它們運用到我國糧食價格預測中.實證結果表明，與單一預測方法的預測結果相比，基于Lasso方法與支持向量機的串聯型組合預測和嵌入型組合預測具有更高的預測精度.

關鍵詞組合預測；Lasso；支持向量機

中圖分類號F069 文獻標識碼A

AbstractIn view of the connection between Lasso and support vector machine and their respective advantages， we gave three kinds of combination forecast model， which includes series combination forecast， parallel combination forecast and embedded combination forecast. Then we used them in China's grain price forecast. The empirical results show that compared with the prediction results of single prediction method both series combination forecast and embedded combination forecast based on Lasso and Support Vector Machine have higher prediction accuracy.

Key words combination forecast； Lasso； support vector machine

1引言

在實際建模過程中，往往會涉及到自變量的選擇問題.如果模型中的自變量太多，可能會削弱估計以及預測的穩定性，相反，自變量太少則會導致所擬合的模型與實際情況有太大的偏差.因此，如何從眾多影響因素中選擇最適合的解釋變量就顯得十分重要.Lasso[1]是一種帶有懲罰因子的線性模型估計方法，它用模型的懲罰函數壓縮模型的系數，絕對值較小的系數會自動壓縮為0，從而使得參數估計和變量選擇可以同時實現，而且有利于我們更好地解釋模型.Lasso回歸模型既像最佳子集回歸那樣便于解釋，同時又具有嶺回歸類似的穩定性，該方法的進一步完善及其應用已成為統計學研究中的熱點問題之一.

支持向量機 （SVM）是在統計學習理論[2]的基礎上發展起來的一種新的、非常有效的機器學習方法，主要用于解決小樣本的學習規律 [3]，它避開了從歸納到演繹的傳統過程，實現了高效的從訓練樣本到預報樣本的“傳導推理”，大大簡化了通常的分類和回歸等問題，較好地解決了小樣本、非線性、過擬合和局部極小等問題.目前，支持向量機已經廣泛應用于生物學、化學以及經濟學等實際領域.同時，學者們也在對該方法進行不斷的改進，其中一個很重要的方面是探索支持向量機與其他方法的融合和進行支持向量機的稀疏性研究[4]-[8].Lasso方法和支持向量機這兩種預測模型均適用于小樣本數據，但單一模型存在一定的應用盲區.Lasso方法在變量選擇問題上比傳統的逐步回歸、嶺回歸和主成分回歸等方法具有優越性，并且Lasso方法能同時實現對變量的選擇和模型參數的估計，但Lasso方法不能用于非線性模型，而支持向量機能夠處理非線性的問題，但不能進行特征篩選.因此，本文將Lasso方法和支持向量機組合起來進行擬合和預測，在預測過程中彌補其各自的缺點，實現它們的優勢互補，可望比單一方法更能有效地利用信息，從而得到高精度、高效率的組合預測模型.

2基于Lasso方法與支持向量機的

組合預測模型

2.1Lasso及支持向量機方法

Lasso回歸即最小絕對值壓縮與選擇算子（Least Absolute Shrinkage and Selection Operator），它是 Tibshirani.R（1996）提出的一種關于線性回歸的新方法.Lasso回歸是在普通線性最小二乘的基礎上加了一個約束條件，使各系數的絕對值之和小于某一常數，從而將沒有影響或影響較小的自變量的回歸系數自動壓縮到零.

當s

支持向量機是一種小樣本“機器”學習方法，比較適合解決分類和回歸兩大類問題.本文主要是應用支持向量機的非線性回歸模型，其核心是引入核映射的思想與結構風險的概念.設有樣本數據集{xi，yi}，其中xi∈RD（xi包含D個特征），yi∈R，集合F={ff：RD→R}，其中f是回歸函數，若f（xi）是非線性的，我們可以通過非線性映射將原輸入訓練樣本由輸入空間映射到高維特征空間H，并在高維特征空間H中構造線性支持向量回歸機.訓練樣本xi滿足如下條件：yt（xi·ω+b）-1+ζi≥0，ζi≥0，ζi為松弛變量，ζi≥0，i=1，...，n.這時求解最大化支持向量機邊界的優化方程為：

min 12‖ω‖2+c∑ni=1ζi

s.t. yi（xi·ω+b）-1+ζi≥0，

ζi≥0，i=1，...，n

通過求解上式可得到最終判別函數：fxi=sign∑ni=1αiyiKxi，xj+b，其中，c為懲罰參數，用于控制模型的復雜度，Kxi，xj為核函數，不同的核函數可以構造不同的支持向量機.

2.2基于Lasso方法與支持向量機的組合預

測模型

所謂組合預測就是設法把不同的預測模型組合起來，綜合利用各個預測方法所提供的信息.從信息利用的角度來說，任何單一預測方法都只利用了部分有用信息，而且信息利用的程度也是不同的，把兩種或兩種以上的預測方法相結合，可以彌補單一方法在某些方面的不足之處.把Lasso方法與支持向量機組合起來進行預測，理論上是可行的，可以綜合利用兩種方法所提供的信息，盡可能地提高預測精度.組合的方式多種多樣，本文主要嘗試三種方式的組合，即串聯型組合、并聯型組合和嵌入型組合，并在實證過程中比較不同組合的預測效果.

1）基于Lasso方法與支持向量機的串聯型組合

基于Lasso方法與支持向量機的串聯型組合模型就是把Lasso預測方法與支持向量機在預測模型中按串聯方式連接，即一方的輸出作為另一方的輸入，而最終的輸出即為整個模型的預測結果.該模型首先要求利用Lasso方法篩選出眾多自變量中的主要變量，剔除與因變量關聯度很小的變量，然后將主要影響因素作為支持向量機模型的輸入，通過不斷地學習與訓練，得出最后的預測值.

2）基于Lasso方法與支持向量機的并聯型組合

基于Lasso方法與支持向量機的并聯型組合模型就是分別用Lasso方法和支持向量機來進行預測，然后將其各自的預測結果進行組合，給出一個平均的預測輸出.該模型中的一個關鍵問題就是需要確定單項預測方法的加權系數.根據組合預測確定權系數的不同，將組合預測模型分為固定權系數組合預測模型和變權系數組合預測模型.固定權系數組合預測方法的權系數確定比較簡單，有關研究一直占主導地位且應用最為廣泛，所以本文也采用固定權系數組合預測.在閱讀了關于組合預測的相關文獻后，我們選擇目前最常用的擬合誤差的誤差平方和最小來計算組合預測模型的權系數.具體求解過程如下：

設同一預測對象的某個指標序列為{xt：t=1，2，…，n }，存在m種單項無偏預測方法對其進行預測，第i種單項預測方法在t時刻的預測值為xit，i=1，2，…，m， t=1，2，…，n，稱eit=xt-xit為第i種單項預測方法在第t時刻的預測誤差，設l1，l2，…，lm分別為m種單項預測方法的加權系數，為了使組合預測保持無偏性，加權系數應滿足：

∑mi=1li=1，li≥0，i=1，2，…m.

設t=l1x1t+l2x2t+…+lmxmt為xt的組合預測值，et為組合預測在t時刻的預測誤差，則有：

et=xt-t=∑mi=1lieit.

設Q1表示組合預測誤差平方和，則有

Q1=∑nt=1e2t=∑nt=1∑mi=1∑mj=1lieitljejt.

以預測誤差平方和最小為準則的線性組合預測模型即為下列最優化問題.該問題可以利用MATLAB最優化工具箱求解.

minQ1=∑nt=1e2t=∑nt=1∑mi=1∑mj=1lieitljejt

li≥0，∑mi=1li=1.

對Lasso方法與支持向量機兩種方法進行組合，即當m=2時構建組合模型，得到最優組合系數的公式解如下：

l1=∑nt=1e22t-∑nt=1e1te2t∑nt=1e21t+∑nt=1e22t-2∑nt=1e1te2t，

l2=∑nt=1e21t-∑nt=1e1te2t∑nt=1e21t+∑nt=1e22t-2∑nt=1e1te2t.

3）基于Lasso方法與支持向量機的嵌入型組合

基于Lasso方法與支持向量機的嵌入型組合模型就是以Lasso模型、支持向量機模型對目標系統的預測值作為支持向量機預測模型的輸入向量，相應時刻的目標系統的實際值作為輸出目標值，建立起組合模型的預測樣本對，調整相關的參數，然后用一定數量的樣本來訓練支持向量機，使訓練和測試時不同的輸入向量得到相應的輸出值，這樣經過不斷地學習及測試，就實現了支持向量機組合預測模型.

3組合預測模型在糧食價格預測中的應用

糧食價格數據是典型的小樣本數據，糧食價格的影響因素眾多，而且糧食價格與其眾多影響因素之間存在著不確定性和非線性特點，傳統預測方法對于解決此類高度非線性且影響因素眾多的問題具有很大的局限性，基于Lasso方法與支持向量機的組合預測模型則適合處理此類問題.本文用糧食類零售價格指數代表我國糧食價格，根據糧食價格波動理論和已有的研究結論，我們共選取了影響糧食價格的21個變量[9-12]，具體包括糧食庫存量、期末庫存消費比、糧食生產價格指數、糧食總產量、 糧食作物播種面積、成災面積、農業支出、農業支出占財政支出的比重、城鎮居民人均可支配收入、農村居民家庭人均純收入、城鎮居民人均糧食消費、農村居民人均糧食消費、農業生產資料價格指數、國內生產總值指數、世界能源價格指數、糧食凈進口、人民幣對美元匯率、上一期真實糧價增長率、貨幣和準貨幣（M2）供應量、同期通貨膨脹率以及世界谷物價格指數.并且選擇1978-2009年的32個樣本作為擬合訓練樣本，2010-2013年的4個樣本作為預測檢驗樣本.在進行糧食價格預測的實證過程中，主要使用Matlab（2010b）并結合libsvm-3.20工具箱完成.先用Lasso方法選出對糧食價格影響較大的變量，再運用基于Lasso與支持向量機的串聯型組合預測模型、并聯型組合預測模型及嵌入型組合預測模型對我國糧食價格及其影響因素進行實證研究，為了比較預測效果，另單獨使用Lasso模型、支持向量機模型對我國糧食價格進行預測.我們可根據預測誤差來評價預測效果的好壞，預測誤差越小，預測越準確.常用的評價指標有平均絕對誤差（MAE）、均方誤差（MSE）、平均絕對百分比誤差（MAPE）、均方根誤差（RMSE）等，其定義由以下的公式給出：

從表1可以看出：五個模型的平均絕對百分比誤差（MAPE）都在10% 以下，有較好的預測效果，說明這五個模型都可以用來對我國的糧食價格進行預測.如果從單個預測模型與組合預測模型的預測效果對比來看，并聯型組合預測模型的預測效果不是很理想，它與單一預測模型的預測效果基本上差不多，而串聯型組合預測模型和嵌入型組合預測模型的預測效果則要大大優于單一的預測模型，它們的平均絕對百分比誤差（MAPE）均在3%以下，要遠遠低于其他預測模型的平均絕對百分比誤差.這說明在針對類似糧食價格等的預測問題上，使用基于Lasso與支持向量機的串聯型組合模型和嵌入型組合模型進行預測有一定的優勢，能夠提高預測精度，擁有更好的預測性能.

4結語

分析了Lasso方法和支持向量機各自的建模機理和特點之后，發現Lasso方法和支持向量機這兩種預測模型均適用于小樣本數據的項目預測，但單一模型都存在一定的應用盲區.Lasso方法可以進行變量篩選和回歸，但它不能用于處理非線性問題.支持向量機能夠處理具有非線性關系的數據，但是不能進行特征篩選.所以，針對Lasso方法與支持向量機兩者的聯系與各自的優勢，給出了基于Lasso與支持向量機的串聯型、并聯型和嵌入型三種組合預測模型，并將其運用到我國糧食價格的預測中.實證結果表明，組合預測模型的預測效果整體上要優于單個預測模型，把Lasso方法與支持向量機進行組合預測提高了糧食價格預測的精度.從3個組合預測模型的預測效果來看，它們的預測精度表現出較大的差異性，串聯型和嵌入型組合預測模型的預測效果要遠遠優于并聯型組合預測模型.

參考文獻

[1]Tibshirani，R. Regression Shrinkage and Selection Via the Lasso [J]. Journal of the Royal Statistical Society.1996（58）：267-288.

[2]Vapnik V. The Nature of Statistical Learning Theory （Second Edition） [M]. New York： Springer Verlag，1999：225- 260.

[3]張學工.關于統計學習理論與支持向量機[J].自動化學報，2000，26（1）：32-42.

[4]顏靜.灰色模型與支持向量機融合的研究[D].武漢：武漢理工大學計算機科學與技術學院，2010.

[5]姚瀟、余樂安.模糊近似支持向量機模型及其在信用風險評估中的應用[J].系統工程理論與實踐，2012（3）：550-554.

[6]彭望蜀.基于BP神經網絡與支持向量機的股票指數預測模型比較[J].南方金融，2013（1）：71-73.

[7]王玲、薄列峰、劉芳、焦李成.稀疏隱空間支持向量機[J]. 西安電子科技大學學報（自然科學版），2006（6）：896-901.

[8]吳曉萍、趙學靖、喬輝、劉東梅、王志.基于LASSO-SVM的軟件缺陷預測模型研究[J].計算機應用研究，2013（9）：2748-2754.

[9]王淑艷.我國糧食價格波動因素分析與預測研究[D].哈爾濱：東北農業大學經濟管理學院，2013.

[10]王川.我國糧食市場價格的影響因素分析[J].農業經濟，2010（7）：24-27.

[11]羅鋒，牛寶俊.我國糧食價格波動的主要影響因素與影響程度[J].華南農業大學學報（社會科學版），2010（2）： 51-58.

[12]馬林林，金彥平，張安良.我國糧食價格波動影響因素探析[J].價格理論與實踐，2011 （10）： 23-24.