支持向量回歸的參數優化

【摘 要】支持向量回歸的待定參數的選取對它的學習效果具有很大的影響力。本文采用粒子群算法對參數的組合進行優化，進而獲取最優的參數值。粒子群算法是一種隨機全局優化算法，研究表明，將粒子群算法優化支持向量回歸參數，具有很好的效果。

【關鍵詞】支持向量回歸;參數優化;粒子群算法

1.支持向量機原理

近年來，由于以結構風險最小化為基礎的支持向量機（SVM）是一種強有力的學習機器[1]，可解決回歸和分類問題，具有很大的靈活性。對于支持向量回歸（SVR），越來越多的人開始將它作為一個有效地回歸工具解決很多非線性問題。支持向量回歸模型最后歸結于求解一種如下的非常典型的二次規劃問題：

其中，α，α是拉格朗日算子，根據KKT條件求解上述二次規劃問題，僅僅部分α，α是非零的，相對應的數據點就叫做支持向量，決策函數就有如下的表述：

從（3）式可以看出，支持向量對應的數據點用來決定決策函數，因為其他數據點對應的(α-α)都等于0了。一般來講，ε值越大，支持向量的數量就越少，結果就表現的越是稀疏。但是要注意的是，ε的增大意味著降低了訓練數據的逼近精度。這樣一來，ε平衡著結果的稀疏性和數據的精確度。

（2）式中的K(x，x)表示核函數，它為SVR的輸入空間構建決策平面用來對于任何一個函數而言，如果滿足Mercer條件[2]，就可以被當作核函數。本文以最常用的高斯核函數為例，K(x，x)=exp(-(x-y)2/2σ2)， σ2表示高斯核的頻寬。核參數決定了高維特征空間的結構以及最后結果的復雜度，所以我們必須對它進行準確地選擇。

因為SVR擁有很多吸引人的特征和良好的泛化性能，不僅在學術上，而且在工業上平臺上都有成功的范例。比方說，SVR可以解決很多非線性問題；SVR的訓練過程就是求解一個二次規劃問題，所以結果是最優且唯一的，不可能產生局部極值；它只選取了少量的必需的數據點來解回歸函數，這就導致了結果的稀疏性。

2.支持向量回歸參數

盡管SVR有著它獨特的優勢，但是在應用中存在一個比較大的問題，那就是研究者必須自己確定不同的合適參數值來控制整個訓練過程；而且要很謹慎地處理這些參數，進而才能有效地構建SVR模型來達到很好的效果。支持向量機的待定參數對其表現效果具有很大的影響力，不同的參數組合給模型帶來的表現效果區別是很大的，如果參數選擇的不太合理，就會導致SVR過擬合或者是擬合的不夠。所以說，在SVR的訓練過程中選擇適當的參數就顯得尤為重要，是很關鍵的一個步驟。

SVR的待定參數如下：

（1）懲罰因子C：在模型復雜度和訓練誤差起平衡調節作用。

（2）核函數的頻寬σ2：表示高斯核函數的頻寬。

（3）管道寬度ε：表示訓練數據點的逼近精度。

3.基于粒子群算法的支持向量回歸參數優化

一般參數選擇最常用的比較可靠的辦法是在某個確定的區間內，給適當的步長，對參數進行網格搜索根據SVR的表現效果來確定最佳的參數組[3]。這種方法通常涉及到交叉網格搜尋，所以需要大量的計算過程，就很耗時。只是這種方法應用起來比較簡單，所以在計算成本比較小的時候是可行的，比方說快速或在線預測；或者是當訓練數據量比較小的時候，這種方法無不是一個很好的選擇。

如此看來，確定多個參數對于SVR來說是一個比較復雜的事情，它其實也相當于一個多變量的組合優化問題。因此，我們需要選擇一種比較智能的辦法來進行參數的全局優化。受鳥群隨機尋找食物的社會行為的啟發，Kennedy和Eberhar提出了粒子群算法（PSO）[4]，它是一種隨機全局優化方法，與其他演化算法相比，比方說遺傳算法，PSO不需要諸如交叉和變異之類的操作[5]。PSO還有一個優點，就是操作起來很簡單，需要調整的參數也很少。標準PSO的基本思想是通過離子速度和位置的不斷迭代而達到最優值，迭代算法如下：

v(t+1)=

wv(t)+

c

r(t)(

pbest(t)-

p(t))

p(t+1)=

p(t)+

v(t+1) （4）

其中w是迭代權重，c是認知學習因子，c是社會學習因子，r(t)和r(t)是在區間[0， 1]內隨機選取的，v(t)∈[-vmax，vmax]，vmax是事先選取的最大速度。迭代權重w可以平衡全局和局部搜索能力，進而降低迭代次數來達到最優值。w值可以通過下式表示：

w=wmax- （5）

其中wmin表示最小的迭代權重，wmax表示最大的迭代權重，tmax表示控制整個訓練過程的迭代的最大次數。

眾所周知，PSO可以用來解決很多復雜的非線性問題，它同樣可以用來作優化，對支持向量回歸的參數進行優化，然后將優化的參數解二次規劃問題，得到α，α，進而計算回歸函數f(x)。利用PSO來優化支持向量回歸的步驟如下：

1）初始化粒子群大小，最大迭代次數，以及由支持向量機各個參數組成的各個粒子的速度與位置，選取適度函數。

2）根據適度函數獲得最佳位置與速度。

3）通過（4）式調整每個粒子的速度與位置，同時也要根據（5）式調節權重因子的值。

4）檢查迭代結束的條件。一般結束的條件設為達到一定的次數或是在當次搜尋中獲得所預設的最優值。如果沒有滿足結束條件的話，就返回到步驟2），否則直接進行下一步。

5）結束訓練過程，輸出最佳的參數。

4.結論

本文將粒子群算法應用于支持向量機的參數選擇，將待確定的參數看成不同的粒子，通過選取適當的適度函數，對支持向量機參數進行優化。粒子全算法是一個全局優化算法，研究表明，利用粒子群算法來確定SVR參數值是一個很有效的辦法，對于支持向量機的其他很多改進算法也可以運用PSO來進行參數選取。 [科]

【參考文獻】

［１］C. Cortes， V.Vapnik，Support vector networks，Machine Learning[J].(下轉第97頁）(上接第53頁）1995，20:273-297.

［２］J. Mercer，Function of positive and negative type and their connection with the theory of integral equations，Philosophical Transactions of the Royal Society of London: Series A，Containing Papers of a Mathematical or Physical Character[J].1909，209:415-446.

［３］O. Chappelle，V.Vapnik，Bousquet O.Choosing multiple parameters for support vector machines.Machine Learing[J].2002，46(1) :131-160.

［４］J. Kenedy，R.Eberhart，Particle swarm optimization[C].Proceedings of the IEEE International Conference on Neural Networks，1995:1942-1948.

［５］M.Clerc， J.Kennedy，The particle swarm-explosion，stability，and convergence in a multidimensional complex space[J].IEEE Transactions on Evolutionary Computation， 2002，6(1):58-73.