基于改進支持向量機模型的開都河年徑流量預測

王娟娟

(新疆金達鑫工程建設有限公司，新疆 庫爾勒 841000)

文章編號：1006—2610(2015)04—0001—05

基于改進支持向量機模型的開都河年徑流量預測

王娟娟

(新疆金達鑫工程建設有限公司，新疆 庫爾勒 841000)

針對回歸支持向量機(SVR)懲罰因子C和核函數參數g的選取對模型性能有著關鍵性影響以及在實際應用中存在參數選取等困難，提出基于啟發式算法的PSO-SVR和GA-SVR年徑流預測模型，以新疆開都河大山口水文站年徑流預測為例進行實例研究。首先，利用DPS軟件選取年徑流影響因子，確定輸入向量；其次，基于粒子群算法(PSO)、遺傳算法(GA)基本原理，采用PSO、GA優化SVR懲罰因子C和核函數參數g，構建PSO-SVR和GA-SVR年徑流預測模型，并構建基于網格劃分(GS)與交叉驗證(CV)算法相結合的GS-SVR模型作為對比模型。最后，利用所構建的模型對實例進行預測分析。結果表明：PSO-SVR和GA-SVR模型對開都河1996—2012年徑流預測的平均相對誤差絕對值分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預測精度和泛化能力均優于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數參數g進行優化，具有預測精度高、泛化能力強以及穩健性能好的特點。相對而言，PSO-SVR模型性能略優于GA-SVR模型。

粒子群算法；遺傳算法；支持向量機；徑流預測；開都河

0 前 言

提高徑流預測精度對于水文預測預報具有重要意義，由于河川徑流受多種因素的影響和制約，其預測常表現出復雜、隨機、多維等特性，探尋能夠有效提高徑流預測精度的模型和方法是水文預測預報工作中的熱點和難點。

目前，中長期徑流預測常用模型有時間序列分析模型、回歸分析模型、模糊分析模型、小波分析模型及灰色系統模型等。人工神經網絡(Artifical Neural Network，ANN)具有較強的非線性映射能力、魯棒性、容錯性和自適應、自組織、自學習等許多特性，廣泛應用于中長期徑流預測預報中[1-3]。但由于ANN算法是基于漸近理論，僅在樣本容量趨向于無窮大時其經驗風險才趨近于實際風險，實際應用中面臨泛化能力差、收斂速度慢及存在局部極值等問題[4,5]。回歸支持向量機(Support Vector Regression，SVR)是20世紀90年代中后期發展起來的基于統計學習理論構建的典型神經網絡，在徑流預測預報中具有廣泛應用[6-9]。SVR具有嚴謹的數學基礎，通過統計學習中的VC維(Vapnik-Chervonenkis Dimension)理論和尋求結構風險最小化原理來提高泛化能力，已成為繼ANN之后機器學習領域新的研究熱點。然而，SVR用于回歸預測時，懲罰因子C和核函數參數g的選取對模型的預測精度有著關鍵性影響。由于目前懲罰因子C和核函數參數g的選取尚無理論上的指導原則或方法，最優參數的選取多憑經驗、實驗對比等進行搜尋，極大地制約了SVR模型精度與泛化能力的提高[10]。目前，常采用基于交叉驗證(Cross Validation,CV)意義下的網格劃分(Grid Search,GS)方法來尋找最佳參數C和g。

粒子群算法(Particle Swarm Optimization,PSO)和遺傳算法(Genetic Algorithm,GA)等啟發式算法可以不必遍歷網格內所有的參數點也能獲得更大范圍內的最佳參數C和g，使得全局最優。基于此，筆者基于PSO和GA算法原理，提出PSO-SVR、GA-SVR年徑流預測模型，以新疆開都河大山口水文站1956—2012年徑流預測為例進行實例驗證，并構建GS-SVR模型作為對比模型,結果表明PSO-SVR和GA-SVR模型具有較好的預測精度和泛化能力。

1 預測模型

1.1 回歸支持向量機(SVR)原理

SVR是基于VC維概念和結構風險最小化原則，通過同時控制模型的復雜度和逼近精度來獲得較好的推廣能力。在解決非線性回歸問題時，SVR是將樣本通過核函數將低維空間中非線性回歸問題映射到高維空間，并在高維空間中求解最優回歸函數。

SVR實現回歸預測步驟歸納為5步。

Step1,設訓練樣本為(x1,y1),…,(x1,y1)∈Rm×R,則在高維特征中建立的線性回歸函數為：

f(x)=wφ(x)+bw∈Rn,b∈R

(1)

式中：f(x)為回歸函數預測值，即擬合值；w為空間超平面；φ(x)為非線性映射函數；b為偏置量。

Step2,定義ε線性不敏感損失函數為：

(2)

式中：f(x)為回歸函數預測值；y為對應的真實值；ε為不靈敏參數，反映對誤差的容忍度。

(3)

約束條件：

式中：C為懲罰因子，C越大表示對訓練誤差大于ε的樣本懲罰越大；ε規定了回歸函數的誤差要求，ε越小表示回歸函數的誤差越小。

求解式(3)時，同時引入Lagrange函數，并轉換成對偶形式：

約束條件：

(4)

式中：K(xi,xj)=φ(xi)φ(yi)為核函數。

(5)

Step5，引入函數K(xi,x)，將w代入式(1)，得到f(x)表達式如下：

(6)

常用的核函數主要有線性核函數、多項式核函數、徑向基核函數與兩層感知核函數等。核函數的合理選取有助于提高模型精度，故本文選擇徑向基核函數作為SVR核函數。

Vapnik[11]等人研究表明，SVR的性能主要受懲罰因子C、核函數參數g和不敏感系數ε的影響。懲罰因子C決定著由訓練樣本產生的經驗風險對模型性能的影響，即經驗風險隨著C值的增加而增加、減小而減小，當C值無窮大時，SVR結構風險趨于經驗風險；而當C值趨于零時，則會導致模型失去解決問題的能力。核函數參數g的改變意味著改變映射函數，因此它主要影響樣本數據在高維特征空間中分布的復雜程度。不敏感系數ε用于控制支持向量的個數，平衡模型的復雜程度與模型對訓練樣本維數的依賴程度，若ε值過小，則會導致模型“過擬合”，并且增加訓練時間；反之，則會導致模型“欠擬合”。

因此，本文在給定不敏感系數ε的條件下，提出PSO、GA算法對SVR懲罰因子C和核函數參數g進行尋優，以期獲得更好的預測效果。

1.2 PSO-SVR預測模型

(1) 粒子群優化算法

粒子群算法(ParticleSwarmOptimization,PSO)是近年來發展起來的一種新型啟發式進化算法，最早由Kennedy和Eberhart[12]于1995年受鳥群覓食過程中遷徙和群聚行為而提出的群體智能全局隨機搜索算法，具有簡單、容易實現、收斂速度快和全局尋優等特點，并被證明在大多數情況下比遺傳算法(GA)更有效。

(2) 基于PSO優化的SVR預測模型

定義目標函數：

(7)

本文選取式(7)作為PSO算法的目標函數，利用PSO算法對SVR參數(C,g)進行優化。具體算法步驟分6步。

Step1：選取SVR模型的訓練樣本和檢驗樣本，設定懲罰因子C和核函數參數g搜尋范圍。

Step2：確定目標函數，初始化PSO算法中的種群W=(W1,W2,…,Wn)、最大迭代次數、慣性權重ω、加速因子c1和c2為等參數取值，隨機初始化待優化參數C和g的可行解位置W=(wi1,wi2,…,wis)T和速度V=(Vi1,Vi2,…,Vis)T。

Step3：根據初始化參數C和g，由式(7)計算適應值。若滿足PSO收斂停止準則(達到訓練誤差或迭代次數)，則轉至步驟Step6，否則轉至步驟Step4。

Step4：更新粒子的位置、速度，計算PSO適應度值，記憶個體與群體所對應的最佳適應度位置Pi=(Pi1,Pi2,…,Pis)T與Pg=(Pg1,Pg2,…,Pgs)T，若Pi和Pg優于歷史最優位置，則更新Pi和Pg。

Step5：重復Step4直到滿足PSO收斂停止準則。

Step6：確定最佳懲罰因子C和核函數參數g，利用SVR模型對檢驗樣本進行預測。

1.3 GA-SVR模型

(1) 遺傳優化算法

遺傳算法(GeneticAlgorithm,GA)的基本思想是將問題的求解表示成“染色體”，并置于問題的“環境”中，根據適者生存原則，從中選擇出適應環境的“染色體”進行復制，即再生(reproduction)，并通過交叉(crossover)、變異(mutation)2種基因操作產生出新一代更適合環境的“染色體”群，這樣不斷重復，最后收斂到一個最適合環境的個體上，從而求得問題的最優解或次優解。GA具有隱含的并行性和強大的全局搜索能力，可以在短時間內搜索到全局最優點。因此，可利用GA對SVR懲罰因子C和核函數參數g進行優化。

(2) 基于GA優化的SVR預測模型

同樣選取式(7)作為GA算法的目標函數，利用GA算法對參數(C,g)進行優化。具體算法步驟分6步。

Step1：選取SVR模型的訓練樣本和檢驗樣本，設定懲罰因子C和核函數參數g的搜尋范圍，對SVR懲罰因子C和核函數參數g進行染色體基因編碼，產生SVR參數初始種群。

Step2：確定式(7)為目標優化適應度函數。

Step3：設定變異、交叉概率系數以及種群規模、進化代數等。

Step4：進行SVR訓練，按式(7)計算GA適應度函數值，若滿足GA訓練停止準則(達到訓練誤差或迭代次數)，則轉至步驟Step6，否則轉至步驟Step5。

Step5：根據計算GA適應度值，對種群進行遺傳、變異以及交叉操作，產生下一代SVR參數種群，利用得到的子代參數種群對SVR模型進行訓練，計算適應度，若滿足GA訓練停止準則，則轉至步驟Step6，否則返回步驟Step4。

Step6：結束訓練，得到最佳懲罰因子C和核函數參數g，利用SVR模型對檢驗樣本進行預測。

2 模型應用

2.1 數據來源與分析

新疆開都河大山口水文站1956—2012年57a的實測資料為例進行實例研究。利用DPS軟件分析年徑流量與1—12月月均徑流量的相關性，分析結果如表1所示。

表1 開都河年徑流量與各月流量的相關系數表

從表1可以看出，無論是簡單相關系數還是偏相關系數，年徑流與1—12月的月均徑流量均呈正相關關系，相關系數在0.379～0.999之間，相關性十分顯著。

2.2 模型計算

將PSO-SVR、GA-SVR和GS-SVR模型應用于開都河大山口水文站年徑流預測的步驟分為訓練及預測樣本選取、數據歸一化、模型構建、模型訓練、預測結果分析5個步驟。

(1) 訓練及預測樣本選取。基于表1，選取與年徑流在0.01水平(雙側)上顯著相關的1—12月的月均徑流量作為年徑流量預測的影響因子，并以1956—1995年40a的實測資料作為訓練樣本，1996—2012年17a的資料作為預測樣本。

(2) 數據歸一化處理。利用式(8)對各徑流序列進行歸一化處理：

(8)

(3) 模型構建。本文基于Matlab軟件環境和libsvm工具箱構建各SVR模型，選取1—12月的月均徑流量作為模型輸入向量，年徑流作為輸出向量，創建12輸入1輸出的PSO-SVR、GA-SVR和GS-SVR年徑流預測模型。

(4) 模型的訓練。利用選取的訓練樣本對PSO-SVR、GA-SVR和GS-SVR年徑流預測模型進行訓練，并選取平均相對誤差絕對值VMRE為各模型性能的評價指標，公式如下：

(9)

經反復調試，在下述參數設置條件下，PSO-SVR、GA-SVR和GS-SVR預測模型具有較好的預測效果。

1)PSO-SVR模型。選擇徑向基核函數作為SVR的核函數。懲罰因子C和核函數參數g的搜索空間分別設為0.1～100、0.01～1 000；局部和全局搜索學習因子c1、c2分別設為1.5、1.7；最大迭代次數設為200；種群規模設為30；慣性權重系數設為0.6；CV參數K值設為3；不敏感系數ε設為0.001(其他參數采用默認值)。利用PSO優化SVR模型中的懲罰因子C和核函數參數g，優化結果為：C=41.051 5；g=0.01。

2)GA-SVR模型。基于謝菲爾德(Sheffield)遺傳算法工具箱，選擇徑向基核函數作為SVR的核函數。懲罰因子C和核函數參數g的搜索空間分別設為0～100、0～1 000；最大迭代次數設為200；種群規模設為50；變異系數設為0.9；CV參數K值設為5；不敏感系數ε設為0.001(其他參數采用默認值)。利用GA優化SVR模型中的懲罰因子C和核函數參數g，優化結果為：C=17.128 1；g=0.009 54。

3)GS-SVR模型。選擇徑向基核函數作為SVR的核函數。懲罰因子C和核函數參數g的搜索空間均設為2-2～26；步進大小均取0.1；CV參數K值設為5；不敏感系數ε設為0.001(其他參數采用默認值)，利用交叉驗證法(CrossValidation,CV)確定SVR模型中的懲罰因子C和核函數參數g，尋優結果為：C=1.071 8；g=0.217 64。

PSO-SVR、GA-SVR與GS-SVR模型訓練結果見表2和圖1。

表2 不同模型訓練結果誤差分析表

圖1 不同模型訓練結果與實測值對比圖

由表2可知，PSO-SVR模型訓練精度最優，平均相對誤差為2.83%。平均絕對誤差為0.934億m3；GA-SVR模型訓練精度次之，其平均相對誤差為3.16%。平均絕對誤差為1.059億m3；GS-SVR模型訓練精度最低，其平均相對誤差為4.68%。平均絕對誤差為1.518億m3。

表3 不同模型預測結果誤差分析表

(5) 預測結果分析。根據圖1與表3可以得出以下結論：PSO-SVR和GA-SVR模型對開都河大山口水文站1996—2012年17a徑流預測的VMRE分別為2.65%、3.22%，平均絕對誤差分別為1.055億m3和1.291億m3，預測精度和泛化能力均優于GS-SVR模型，表明PSO和GA能有效對SVR懲罰因子C和核函數參數g進行優化；其次，從PSO-SVR和GA-SVR模型預測值來看，PSO-SVR和GA-SVR模型預測的相對誤差分別在0.20%～4.68%、0.13%～6.19%之間，表明PSO-SVR和GA-SVR模型算法具有較好的預測效果和穩健性能。相對而言，PSO-SVR模型性能略優于GA-SVR模型。

3 結 語

在給定不敏感系數ε和徑向基核函數條件下，提出SVR模型懲罰因子C和核函數參數g的PSO、GA優化方法，以新疆開都河大山口水文站年徑流預測為例進行分析，并與具有良好回歸性能的GS-SVR模型進行比較，結果驗證了PSO和GA能有效對SVR懲罰因子C和核函數參數g進行優化。PSO-SVR和GA-SVR模型兼顧了啟發式優化算法與結構風險最小化算法二者的優點，具有預測精度高、泛化能力強以及穩健性能好等優點，模型及方法可為相關預測研究提供參考。

[1] 崔東文. 多隱層BP神經網絡模型在徑流預測中的應用[J].水文,2013,33(1)：68-73.

[2] 崔東文. 改進Elman神經網絡在徑流預測中的應用[J].水利水運工程學報,2013,38(2)：71-77.

[3] 鄧霞,董曉華,薄會娟.基于BP網絡的河道徑流預報方法與應用[J].人民長江,2010,41(2)：56-59.

[4] 田雨波.混合神經網絡技術[M].北京：科學出版社,2009.

[5] 王雷.支持向量機在汽輪機狀態監測中的應用[M].北京：北京師范大學出版社,2012.

[6] 李彥彬,黃強,徐建新.河川徑流中長期預測的支持向量機模型[J].水力發電學報,2008,27(5)：28-32.

[7] 李彥彬,黃強,徐建新. 基于混沌支持向量機的河川徑流預測研究[J].水力發電學報,2008,27(6)：42-47.

[8] 衛太祥,馬光文.基于懲罰加權支持向量機回歸的徑流預測模型[J].水力發電學報,2012,31(6)：35-38.

[9] 張俊,程春田.基于蟻群算法的支持向量機中長期水文預報模型[J].水力發電學報,2010,29(6)：34-40.

[10] 崔東文,郭榮.基于幾種參數優化的支持向量機在徑流預報中的比較分析[J].水資源研究,2013,34(2)：34-38.

[11] 崔東文.支持向量機在湖庫營養狀態識別中的應用研究[J].水資源保護,2013,29(4):26-30.

[12] 史峰,王輝,郁磊,等.MATLAB智能算法30個案例分析[M].北京:北京航空航天大學出版社,2011.

Predication of Annual Runoff in Kaidu River Based on Modified Support Vector Machine

WANG Juan-juan

(Xinjiang Jindaxin Engineering Construction Co., Ltd., Kurle, Xinjiang 841000,China)

The annual runoff predication models of PSO-SVR and GA-SVR based on the heuristic calculation method are proposed aiming at the key impacts on the model performance by selection of the penalty factorCand the nuclear function parametergof SVR as well as the difficulty of parameter selection in actual application. The predication of the annual runoff at Dashankou gauge station on the Kaidu River in Xinjiang is studied. First, the impact factors of the annual runoff are selected by application of DPS software to finalize the input vectors; second, the predication models of the annual runoff of PSO-SVR and GA-SVR are built as well as the GS-SVR model based on the combination of GS and CV is constructed in accordance with the basic principle of PSO and GA and by application of the penalty factorCand the nuclear function parametergof SVR optimized by PSO and GA. Finally, the built models are applied for predication of practice. The analysis presents that the absolute values of the average relative errors of the annual runoff of the Kaidu River in 1996—2012 predicated by both PSO-SVR and GA-SVR are 2.65% and 3.22% prospectively. Their average absolute errors are 105.5 million m3and 129.1 million m3respectively. Their predication precision and generalization ability both are superior to those of GS-SVR model. This proves that both PSO and GA can effectively optimize the SVR penalty factorCand the nuclear function parameterg. They feature high prediction precision, strong generalization ability and good stability. Relatively, performances of PSO-SRV model are superior to those of GA-SVR model.Key words: swarm intelligence; genetic algorithm method; support vector machine; runoff predication; Kaidu River

2015-03-03

王娟娟(1981- )，女，新疆烏魯木齊市人，工程師，主要從事水利工程建設管理工作.

TV121.4

A

10.3969/j.issn.1006-2610.2015.04.001