基于優化組合核和Morlet小波核的LSSVM脈動風速預測方法

遲恩楠， 李春祥

(上海大學 土木工程系，上海　200072)

?

基于優化組合核和Morlet小波核的LSSVM脈動風速預測方法

遲恩楠， 李春祥

(上海大學 土木工程系，上海200072)

核函數是支持向量機的重要組成部分，直接影響預測模型的結果。根據Mercer定理，推導出了Morlet小波核函數，使其具有局部化、多層次、多分辨的優點。選擇具有代表性的徑向基(RBF)核函數和多項式(Poly)核函數構建出局部性和全局性相結合的線性組合核函數，使得預測模型保留RBF核函數所賦予的優越學習能力以及Poly核函數所擁有的強泛化能力；進一步，使用粒子群優化(PSO)算法，對懲罰參數、核參數、權重、尺度因子進行尋優，分別建立了基于Morlet小波核和組合核的PSO-LSSVM模型;使用建立的預測模型，對脈動風速進行了預測。通過比較預測性能評價指標，發現基于Morlet小波核和組合核PSO-LSSVM的預測精度優于常用的單核PSO-LSSVM模型。

預測；脈動風速；Morlet小波核；組合核；最小二乘支持向量機；粒子群優化

風荷載研究時，通常把風速處理為：在一定時距內不隨時間變化的平均風速和隨時間隨機變化的脈動風速兩部分，平均風速產生結構靜態響應，而脈動風速產生動態響應[1]。脈動風的頻繁作用也會使建筑物外墻面構件和附屬物產生疲勞破壞。因此，掌握完整的脈動風速時程對結構設計、安全具有重要意義。

基于數據驅動的樣本學習訓練為脈動風速預測提供了可行的方法。目前，脈動風速建模預測的方法主要有：時間序列分析法、人工神經網絡、支持向量機等方法[2-3]。然而，這些方法都存在著理論或應用上的不足。例如：時間序列方法，高階模型參數估計難度大、低階模型預測精度低；人工神經網絡作為一種數據驅動算法，具有逼近任意非線性函數的能力，但算法運行時間長，容易陷入局部極小。雖然支持向量機(Support Vactor Machines,SVM)通過核函數定義的非線性變換將輸入空間變換到一個高維線性空間，解決了“維數災難”問題，但核函數的選擇決定了模型的特性，局部核函數學習能力強、泛化性能弱，而全局核函數泛化性能強、學習能力弱。因此，在不同的應用場合中，核函數的性能表現差別很大，特別是當樣本特征含有異構信息或樣本規模很大或數據在高維特征空間分布不平坦時，既有核函數對所有樣本進行處理并不合理。因此，提出增強型核函數，并發展基于增強型核函數(Least Suppost SVM,LSSVM)具有重要的意義。

本文根據一維Morlet母小波函數，建立滿足Mercer條件的Morlet小波核；同時，對常用單核函數進行提升，提出基于全局多項式核和局部徑向基核(高斯核)線性組合的增強型核函數模型；而且，采用粒子群優化(Particle Swarm Optmization,PSO)算法對核函數參數、懲罰參數進行智能優化，以建立基于Morlet小波核和組合核的PSO-LSSVM模型。最后，使用ARMA模型生成脈動風速作為訓練、測試樣本，采用僅多項式核、僅徑向基核、Morlet小波核、組合核函數的PSO-LSSVM模型對脈動風速進行預測研究；通過評估預測性能指標，以評價基于不同核函數PSO-LSSVM模型的預測性能。

1　PSO-LSSVM

1.1LSSVM基本原理

SVM是基于統計學習理論提出的一種小樣本學習方法，遵循結構風險最小化原理[4-5]。其基本原理是將輸入樣本從低維輸入空間通過非線性映射轉換到一個高維特征空間(H空間)，然后在這個高維空間中尋找輸入變量和輸出變量之間的一種線性關系。給定訓練樣本集Q={(xi,yi)|xi∈Rn,yi∈R,i,j=1,2，…,l}，利用非線性映射ψ(x)將輸入樣本映射到高維特征空間中，考慮用下列函數f(x)對樣本數據進行擬合，使得擬合值與實際值誤差最小。

f(x)=ω·ψ(x)+b

(1)

式中：ω為權向量；b為偏置項。

(2)

式中：C為懲罰參數；ε為不敏感系數，是特定損失函數的參數，含義是：當x點處的輸出值y與擬合預測值f(x)之間的差值不超過ε時，認為在該點處的預測值f(x)是無損失的，否則計算損失。

將不敏感損失函數被誤差的二次平方項代替作為損失函數，不等式約束條件轉變成等式約束條件[6-7]。因此，LSSVM將求解二次規劃問題轉化成求解線性方程組，則上式(標準SVM)轉化為：

s.t.[yi-(ω·ψ(xi)+b)=ei],i=1,2,3,…,l

(3)

式中：ei∈R為誤差。為解式(3)的優化問題，構造Lagrange函數而轉化為對偶問題：

(4)

式中：e∈Rl×l為誤差向量。對式(4)求偏導，并根據最優化理論中的KKT(Karush-Kuhn-Tucher)條件，得到式(5)：

(5)

聯立求解式(5)，消去ω和ei。令：α=[α1,α2,…，αl]T，Q=[1,1,…，1]T，Y=[y1,y2,…，yl]T，I為單位矩陣，則式(5)的解為：

(6)

最后，得到LSSVM的回歸模型：

(7)

式中：K為核函數矩陣;k(x,xi)=ψ(x)·ψ(xi)。

1.2核函數

SVM使用了對稱、半正定核函數將輸入樣本映射到高維特征空間，從而使線性不可分問題轉化為線性可分問題。在數學上，核函數必須滿足Mercer條件[8]。當前，常用的核函數有線性核函數、多項式核函數和高斯核函數。而小波函數具有稀疏變化和多尺度性質，稀疏變化的核函數有助于提高模型精度和迭代的收斂速度；同時，如果對平滑函數缺乏先驗知識，尺度插值是最好的方法[9]。為構造Morlet小波核，需要用到Mercer平移不變核定理。即，若h(x)為母小波函數，平移不變核函數k(x,xi)=k(x-xi)是一個允許支持向量機核函數的條件為：當且僅當k(x)的下列傅里葉變換結果非負。

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))k(x)dx

(8)

于是，由該函數生成的Mercer平移不變核函數為：

(9)

采用Morlet母小波生成Morlet核函數。取如下形式的Morlet母小波函數。

(10)

將式(10)代入式(8)得：

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))h(x)dx=

(11)

顯然，對于所有ω，均有F[k](ω)≥0。所以，Morlet小波核函數為支持向量機允許的核函數。

將式(10)代入式(9)可生成Mercer平移不變核的Morlet小波核函數：

(12)

式中：l∈R為伸縮因子。將式(12)代入式(7)得基于Morlet小波核函數構造的支持向量機模型：

(13)

Poly核函數考慮所有輸入樣本數據在特征空間的點積作用。因此，它有著良好的全局性質，泛化能力出眾。RBF核函數的二維圖形為鐘形特征，即當輸入向量x和y相距較遠時，對應的核估計值將變得非常小甚至為零。因此，RBF核函數具有很好的局部學習能力，插值能力較強。根據Mercer核定義，任意核函數矩陣對稱且半正定，滿足一定的包閉性質，即允許通過簡單運算來組合出新的核函數[10-11]。

設k1和k2是χ×χ(χ?Rn)上的核函數，則下面核函數的組合仍為核函數。

k(x,xi)=k1(x,xi)+k2(x,xi)

(14)

根據式(14)，考慮到RBF和Poly這兩個核函數的優勢，通過線性組合構造出下列組合核函數，使其同時具有局部核函數和全局核函數的特征，以此提高學習精度。

k(x,xi)=(1-a)·[(x·xi)+1]q+

(15)

式中：a∈[0,1]為核權重系數。組合核矩陣為對稱矩陣，且有以下性質：

綜上所述，本文采用的各種核函數及核函數參數列于表1中；根據表1的核函數建立LSSVM模型。

表1　各種核函數及核函數參數

1.3PSO

粒子群優化(PSO)算法是由Eberhart和Kennedy提出的一種模擬群體智能的優化算法，并采用迭代遞推形式進行尋優。PSO基本思想：通過考察獨立粒子對環境適應和學習能力，然后將粒子個體適應度最優的位置和粒子群適應度最優的位置相結合來調整粒子的自身位置和飛行速度[12]。

(17)

(18)

式中：d=1,2,…,D；c1和c2為學習因子；rand1和rand2為(0,1)的隨機數；w為慣性權重系數。較大的w具有較好的全局搜索能力，而較小的w擁有較強的局部搜索能力。本文取w隨迭代次數t的增加線性遞減，使其初期具有較強的全局收斂能力，后期具有較強的局部收斂能力，表達式為：

(19)

式中：wmax為初始慣性權重；wmin為迭代次數到達最大時的慣性權重;Z為最大迭代次數。本文取wmax=0.9，wmin=0.4。

1.4PSO-LSSVM

采用PSO算法對表1中的各種核函數參數進行優化，以建立PSO優化核函數的LSSVM。由于當多項式核函數參數q過大時，預測模型的計算量驟增，所以本文取q=3，可達到全局擬合能力以及計算時間的折中。核函數參數的優化過程如下：① 粒子種群初始化：設定種群規模M=30，最大迭代次數Z=200，初始速度矩陣V以及初始粒子個體最優位置和全局最優位置。② 確定每種核函數待優化參數的取值范圍(見表2)。③ 計算粒子適應度F(xi)，并將其與自身最優適應度F(Pbesti)和全局最優適應度F(Gbesti)進行比較，調整粒子個體最優位置Pi和全局最優位置Pg。定義均方根誤差為適應度函數：

(20)

表2　 不同核函數參數的范圍

2　預測模型(算法)數值驗證

采用ARMA(自回歸階數p=4，滑動回歸階數u=1)模型對200 m高超高層建筑每隔10 m作為模擬風速點，獲得不同高度脈動風速樣本，功率譜用Kaimal譜，只考慮高度方向相關性。Kaimal譜的表達式：

(21)

表3　數值模擬參數

圖1　30 m和80 m處的模擬脈動風速時程Fig.1　Simulated fluctuation wind velocity history at 30 m and 80 m

圖2　基于不同核函數PSO-LSSVM的風速預測流程圖Fig.2　Flowchart of wind velocity forecasting using the PSO-LSSVM with various kernel functions

圖3　在30 m和80 m處，預測風速與模擬風速幅值對比Fig.3　Amplitude comparisons of predicted and simulated wind velocity at 30 m and 80 m

通過比較四種脈動風速預測算法的MAE、RMSE、R值，發現Poly核的預測精度在四種核函數中最差。主要原因：Poly核為全局核，雖然具有較強的泛化能力，但是對數據信號的局部分析能力較弱。特別，由圖3可知，在風速信號起止和峰值部分的預測結果有很大震蕩。本文為使全局擬合能力和計算時間達到折中效果，取q=3。實際上，隨著階數(q)的增加，計算量呈指數增加，而且預測結果起伏程度加劇。與Poly核相比，RBF核則表現出更好的預測性能，特別是在風速起始和峰值部分的預測精度比Poly核有很大改善。以30 m處風速預測為例，RBF核相對于Poly核的預測精度分別提高24%(MAE)、31%(RMSE)、15%(R)。此外，在訓練時間方面，RBF核函數耗時也較短。因此，在常用單核函數中，RBF核函數是最佳的。但值得指出：基于表4中不同高度的RBF核預測結果，RBF核的穩定性不是很理想。這主要取決于RBF核的局部性，學習能力很強但泛化能力較弱。與常用的單核函數相比，本文提出的RBF+Poly線性組合核的預測精度有很大提高，30 m和80 m處風速預測精度提高的百分比見表5。這主要取決于組合核函數同時具備很強的學習能力(局部性)和泛化能力(全局性)，通過對風速信號準確學習后具有高精度外推能力。而且，該預測模型具有很強的穩定性，通過優化各核的權值可以獲得最優參數，即使核函數的參數沒有達到最優，也不會太多地影響學習效果。

圖4　在30 m和80 m處，預測風速與模擬風速的自相關函數對比Fig.4　Autocorrelation function comparisons of predicted and simulated wind velocity at 30 m and 80 m

與單核相比，Morlet小波核的預測精度同樣有很大的提高，達到RBF+Poly核水平，甚至在30 m處小波核的預測精度最高；由圖4可知，Morlet和Poly+RBF核的自相關函數與模擬風速自相關函數皆吻合良好。由圖3可知，在風速邊界處小波核比RBF核更優，主要是因為小波函數具有稀疏變化和尺度分析性質，稀疏變化的核函數有助于提高模型精度；同時，如果對平滑函數缺乏先驗知識，多尺度插值是最好的方法。不過，小波核的計算時間消耗是巨大的，幾乎是組合核的兩倍。

表4　預測性能指標

表5　Poly+RBF核的預測精度提高百分比

3　結　論

提出了基于全局Poly核和局部RBF核線性組合的PSO-LSSVM模型。該預測模型保留了RBF核函數所賦予的優越學習能力以及Poly核函數所擁有的強泛化能力。脈動風速預測表明：組合核的預測結果較單核精度更高；經PSO優化的核權重，可進一步保證核函數的穩定性。根據Mercer平移不變核定理，構造出了Morlet小波核函數，使得SVM核函數擁有小波稀疏變化和尺度分析特征。脈動風速預測表明：該核函數的預測精度大大地提高，可作為機器學習的一種有效核函數。運用基于RBF+Poly和Morlet小波核的PSO-LSSVM模型，可根據有限的脈動風速時程樣本預測后續時間的脈動風速時程，為結構抗風設計提供所需的完整風速時程，以節約現場實測所消耗的資源，為風工程設計提供更便捷的荷載信息。

[1] 申建紅, 李春祥. 強風作用下超高層建筑風場特性的實測研究[J]. 振動與沖擊, 2010, 29(5): 62-68.

SHEN Jianhong, LI Chunxiang. Researches on measurements of wind field characteristics of high-rise buildings under strong wind [J]. Journal of Vibration and Shock, 2010,29(5):62-68.

[2] 張華, 曾杰. 基于支持向量機的風速預測模型研究[J]. 太陽能學報，2010, 31(7): 928-931.

ZHANG Hua, ZENG Jie. Research on wind speed forecasting model based on support vector machine [J]. Journal of Solar Energy, 2010, 31(7): 928-931.

[3] 張廣明, 袁宇浩, 龔松建. 基于改進最小二乘支持向量機方法的短期風速預測[J]. 上海交通大學學報，2011,45(8):1125-1129.

ZHANG Guangming, YUAN Yuhao, GONG Songjian. Short term wind speed forecasting based on improved least square support vector machine method [J]. Journal of Shanghai Jiao Tong University, 2011, 45(8): 1125-1129.

[4] RAJASEKARAN S, GAYATHRI S, LEE T L. Support vector regression methodology for storm surge predictions [J]. Ocean Engineering，2008, 35: 1578-1587.

[5] CHEN W J, WANG J. Application of support vector machine in industrial process [J]. Computers and Applied Chemistry, 2005, 22: 195-200.

[6] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers [J]. Neural Processing Letters, 1999, 9: 293-300.

[7] CHEN T T, LEE S J. A weighted LS-SVM based learning system for time series forecasting [J]. Information Science，2015, 299: 99-116.

[8] 趙晨暉. 基于混合和函數支持向量機的基金投資決策研究[D]. 廣州：華南理工大學，2012.

[9] NOURISOLA H, AHMADI B. Robust adaptiveH∞controller based on GA-wavelet-SVM for nonlinear vehicle suspension with time delay actuator [J]. Journal of Vibration and Control，2015(10): 1-10.

[10] ZHANG Y, DAI M L, JU Z M. Preliminary discussion regarding SVM kernel function selection in the twofold rock slope prediction model [J]. Journal of Computing in Civil Engineering，2015, 04015031: 1-8.

[11] CHEN F F, TANG B P, SONG T, et al. Multi-fault diagnosis study on roller bearing based on multi-kernel support vector machine with chaotic particle swarm optimization [J]. Measurement, 2014, 47: 576-590.

[12] 谷文成, 柴寶任, 滕艷平. 基于粒子群優化算法的支持向量機研究[J]. 北京理工大學學報，2014, 34(7): 706-709.

GU Wencheng, CHAI Baoren, TENG Yanping. Research on support vector machine based on particle swarm optimization [J]. Transactions of Beijing Institute of Technology, 2014, 34(7): 706-709.

Forecast of fluctuating wind velocity using LSSVM with optimized combination kernel and Morlet wavelet kernel

CHI Ennan, LI Chunxiang

(College of Civil Engineering, Shanghai University, Shanghai 200072, China)

Kernel functions, which are the important components of support vector machines (SVM), directly affect the results of prediction models. In accordance to the Mercer theorem, a Morlet wavelet kernel rendering the advantages of localization, multi-level and mufti-resolution was developed. The representative radial basis function (RBF) kernel and polynomial (Poly) kernel functions were taken into consideration to construct a linear combination kernel function with both local and global properties, so as to form prediction models with superior learning ability and perfect generalization capability given by the RBF kernel and Poly kernel functions respectively. Further, the particle swarm optimization (PSO) algorithm was used to optimize the penalty parameter, kernel parameters and the weight and scale factor. Then, a PSO-LSSVM model using the Morlet wavelet kernel and combination kernel was developed. By resorting to the proposed prediction models, the time histories of fluctuating wind velocity were forecasted. By comparing the predicting performance evaluation indices, it is found that the PSO-LSSVM model with the Morlet wavelet kernel and combination kernel functions renders more accurate results than the common single kernel (such as Poly and RBF) based PSO-LSSVM models.

forecasting; fluctuating wind velocity; morlet wavelet kernel; combination kernel; least square support vector machines (LSSVM); particle swarm optimization

國家自然科學基金(51378304)

2015-06-10修改稿收到日期：2015-09-08

遲恩楠 男，碩士生，1989年生

李春祥 男，博士，教授，博士生導師，1964年生

TU311

A DOI:10.13465/j.cnki.jvs.2016.14.009