基于支持向量回歸機的水質預測模型研究

孔凡備 李宇晗 何世宇 楊愛民

摘要：支持向量機（support vector machine， SVM）是一種新型的機器學習方法，由于其出色的學習性能，已經廣泛應用于模式識別、數據挖掘、故障預測以及非線性控制等領域，并成為當前機器學習界的研究熱點。為提高太湖流域水質變化預測能力，該文運用基于支持向量機的回歸預測算法（Support Vector Regression，SVR），對太湖流域水質狀況進行擬合預測，并與BP神經網絡預測情況進行比較，發現在樣本容量較小的狀況下SVR 整體性能優于BP神經網絡方法，有很強的學習能力、泛化能力，為支持向量回歸機模型在水質預測進一步應用和發展提供借鑒。

關鍵詞：支持向量回歸機；水質預測；核函數；BP神經網絡

中圖分類號：029 文獻標識碼： A 文章編號：

0引言

支持向量機（Support Vector Machine， SVM）是一種基于統計學習的新型算法，由Vapnik等人[1]在統計學習理論中的VC維理論和結構風險最小化原則的基礎上于1995年完整地提出。1997年Vapnik等人[2]詳細介紹了基于支持向量機方法的回歸估計方法（Support Vector Regression，SVR）和信號處理法，了研究支持向量機的熱情。支持向量機有極其突出的分類與回歸性能，該算法逐漸在許多研究領域得到了廣泛的應用與研究，近年來已走向復雜非線性科學和人工智能科學研究前沿。

1.支持向量回歸理論基礎

1.1 支持向量機理論

支持向量機的基本思想是在線性可分的情況下，在空間的原始分類中尋找最佳超平面。在線性不可分的情況下，加入松弛變量進行分析，通過非線性映射將低維輸入空間的樣本映射到高維屬性空間變為線性情況，這使得對高維屬性空間采用線性算法，對樣本的非線性進行分析是可能的，并找到特征空間的最優超平面。

1.2 支持向量回歸機的基本原理簡介

SVM方法的核心思想之一是尋找兩類分類問題的最優分類面，引出了支持向量的概念。SVM方法的另一核心思想是通過非線性映射？將樣本集映射到一個高維以至于無窮維的Hilbert空間[4]（稱為特征空間），所以樣本空間中的高度非線性問題在高維空間中應用線性分類可以得到實現，從而解決了非線性問題。

與分類問題不同的是，回歸的樣本點只有一類，其所尋求的最優超平面不是使兩類樣本點分得“最開”，而是令所有樣本點離超平面的“總偏差”最小，此時所有樣本點都在兩條邊界線之間，并求得最優回歸超平面同樣等價于求最大間隔。

1.2.1 ε-不敏感損失函數

支持向量回歸機（Support Vector Regression，SVR）是把支持向量機推廣到回歸問題建立的新的回歸算法，該算法需要引入合適的損失函數以保證支持向量機重要性質的存在條件。SVR將Vapnik 的ε-不靈敏函數作為誤差函數（即誤差小于ε時視為無誤差）：

其中

1.2.2非線性回歸的求解

設訓練集為

采用上述的ε-不敏感損失函數，并限定在線性函數集合中的回歸估計函數，基于結構風險最小化原則，當全部樣本點到所求超平面的距離都可以小于ε時，尋找最優回歸超平面的問題便轉化為求解如下一個二次凸規劃問題：

當部分樣本點到最優超平面的距離大于ε時，引入松弛變量ξ，構造容錯懲罰系數C，此時最優化問題轉化為：

引入拉格朗日（Lagrange）函數[5]得到其對偶形式：

按照KKT條件，故有：

由上式可以求出b。

上式中SV為標準支持向量機集合，NNSV為標準向量機數量。

可得所求的最優超平面線性回歸函數為：

1.2.3 線性回歸的求解

求解非線性回歸函數時，需要將訓練集映射到高維空間，然后再運用線性回歸方法進行求解。假設存在映射函數，便可以將歐式空間中的輸入集合映射到希爾伯特空間中集合，此時便可得到與對應的原始問題.

在采用拉格朗日乘數法對原始問題進行對偶變換之后，可以得到加入特征映射函數Φ（x）的對偶問題，其具體形式如下所示：

進行特征映射時有些狀況下會造成維數災難。因此在進行回歸問題求解過程中，通常運用核函數方法來進行映射函數內積的運算。如果對任意x，z∈T函數K（x，z）滿足如下公式所示的條件，則稱K（x，z）為核函數。在公式中Φ （x）·Φ（z）為映射函數Φ（x）和Φ（z）的內積。核函數的形式有很多，常見的形式主要包括多項式核函數和高斯徑向基核函數[6]，其具體形式分別如下所示：

按照經驗，映射函數Φ（x）和Φ（z）的內積計算過程很困難，而核函數K（x，z）的計算方法卻容易許多。因此，可采用核函數Φ（x）·Φ（z）來替換求解過程中遇到的內積 進行求解。在運算過程中，不直接對映射函數的內積進行計算，而通過核函數來計算映射函數的內積，是支持向量回歸機算法中非常有效的一種方法。然后，通過序列最優化算法可得到參數w和b，最終的非線性回歸函數如下所示：

2 水質預測的SVR模型研究

用支持向量機進行水環境的水質預測，首先需要確定影響水質的主要影響因素；其次選擇具有實測數據的主要因素組成樣本數據集，并利用SVM進行學習訓練；然后根據訓練后獲得的參數進行水質預測，并與BP神經網絡進行比較。可以得出，SVR的預測效果優于BP神經網絡。這是因為在樣本較少的訓練過程中神經網絡出現了“過學習”現象，而SVR模型則通過調整常數，使得誤差盡可能小，而且回歸函數更加平滑，因此提高了泛化能力。

3 結論

本文對支持向量回歸機的基本思想、軟間隔支持向量回歸機、對偶轉換和問題求解以及非線性回歸求解等支持向量回歸機的基本理論進行了綜述，并在對支持向量回歸機模型的綜述基礎上，將ε-SVR應用于太湖水域水質狀況預測，并與BP神經網絡模型進行對比分析，其擬合精度與神經網絡模型相差不大，但在預測精度上要明顯比其高，充分證明其較強的學習能力和泛化能力。支持向量回歸機的參數選擇的是否合適，直接關系到支持向量回歸機算法運用效果的優劣，而如何準確的對參數進行選擇缺少系統且一般的方法，可以考慮如遺傳算法，混沌預測，神經網絡等這與支持向量機結合進行改進，支持向量回歸機的發展領域很廣泛，相信對于支持向量回歸機的進一步研究將推進科學研究的發展。