基于粒子群優(yōu)化最小二乘向量機(jī)的地震預(yù)測(cè)模型①

徐松金，龍 文

（1．銅仁學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)系，貴州銅仁 554300；2．貴州財(cái)經(jīng)學(xué)院貴州省經(jīng)濟(jì)系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，貴州貴陽(yáng) 550004）

基于粒子群優(yōu)化最小二乘向量機(jī)的地震預(yù)測(cè)模型①

徐松金1，龍 文2

（1．銅仁學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)系，貴州銅仁 554300；2．貴州財(cái)經(jīng)學(xué)院貴州省經(jīng)濟(jì)系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，貴州貴陽(yáng) 550004）

為解決地震預(yù)測(cè)中最小二乘向量機(jī)（LSSVM）模型的參數(shù)難以確定的問(wèn)題，利用粒子群算法（PSO）的收斂速度快和全局優(yōu)化能力，優(yōu)化LSSVM模型的懲罰因子和核函數(shù)參數(shù)，建立了PSOLSSVM地震預(yù)測(cè)模型。通過(guò)對(duì)地震實(shí)例的預(yù)測(cè)仿真及其相關(guān)分析表明該方法的有效性。該方法優(yōu)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的地震預(yù)測(cè)方法，可以有效提高預(yù)測(cè)效能。

粒子群優(yōu)化算法；最小二乘向量機(jī)模型；地震預(yù)測(cè)；參數(shù)

Abstract：In order to overcome the problem of the uncertain parameters in LSSVM model，the PSO－LSSVM prediction model concerning earthquake forecast is developed，which is based on the particle swarm optimization algorithm with abilities of fast convergence and global optimization．The simulation results show that the proposed method is an effective tool for the prediction of earthquake，and it can effectively enhance the prediction accuracy compared with the way using neural network and support vector machine model．

Key words：Particle swarm optimization（PSO）；Least squares support vector machine（LSSVM）model；Earthquake forecast；Parameter

0 前言

地震孕育過(guò)程是一個(gè)不穩(wěn)定的過(guò)程。各種地震活動(dòng)參數(shù)和前兆以不同的異常形態(tài)表現(xiàn)出其單體或群體異常特征，表明這些地震前兆異常與未來(lái)地震的震級(jí)之間有著很明顯的非線性關(guān)系，從而使得地震預(yù)測(cè)至今仍是世界上的一大科學(xué)難題［1－3］。

近年來(lái)，作為一種高度自適應(yīng)非線性動(dòng)力學(xué)系統(tǒng)，神經(jīng)網(wǎng)絡(luò)在地震預(yù)測(cè)中開(kāi)展了廣泛的應(yīng)用。王煒等［4］利用BP神經(jīng)網(wǎng)絡(luò)對(duì)我國(guó)最大地震時(shí)間序列進(jìn)行預(yù)測(cè)；陳超等［5］提出一種基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)參數(shù)的地震預(yù)測(cè)模型；陳以等［6］提出了一種基于自組織映射的組合神經(jīng)網(wǎng)絡(luò)模型對(duì)地震進(jìn)行預(yù)測(cè)。雖然人工神經(jīng)網(wǎng)絡(luò)模型在地震預(yù)測(cè)中具有較好的預(yù)測(cè)結(jié)果，但存在網(wǎng)絡(luò)結(jié)構(gòu)難以確定、易陷入局部極小值等缺點(diǎn)［6］。最小二乘支持向量機(jī)（LSSVM）在支持向量機(jī)（SVM）的基礎(chǔ)上用等式約束替代不等式約束，避免了求解耗時(shí)的二次規(guī)劃問(wèn)題［7］。LSSVM可以以任意精度逼近非線性系統(tǒng)，是非線性系統(tǒng)建模與預(yù)測(cè)的有力工具［8－9］。但日前還鮮有文獻(xiàn)將LSSVM模型應(yīng)用到地震預(yù)測(cè)中。

利用LSSVM模型進(jìn)行預(yù)測(cè)時(shí)，其推廣預(yù)測(cè)能力很大程度上依賴于懲罰因子C和核函數(shù)參數(shù)σ，因此確定合適的參數(shù)C和σ是使用LSSVM進(jìn)行建模和預(yù)測(cè)時(shí)所要解決的關(guān)鍵問(wèn)題。到目前為止還沒(méi)有指導(dǎo)LSSVM模型參數(shù)選擇的好方法，也沒(méi)有什么規(guī)律所循，在實(shí)際應(yīng)用中大多憑經(jīng)驗(yàn)確定參數(shù)，這可能導(dǎo)致由于參數(shù)選擇不恰當(dāng)而使其預(yù)測(cè)精度不高。張春曉等［10］采用遺傳算法來(lái)優(yōu)化LSSVM參數(shù)，雖然遺傳算法不依賴于問(wèn)題的數(shù)學(xué)模型，但遺傳操作比較復(fù)雜，后期收斂速度慢。粒子群優(yōu)化算法（PSO）是近年來(lái)發(fā)展起來(lái)的一種新型的啟發(fā)式進(jìn)化算法，具有簡(jiǎn)單、容易實(shí)現(xiàn)、收斂速度快和全局尋優(yōu)的特點(diǎn)，非常適用于求解非線性模型參數(shù)優(yōu)化問(wèn)題［11］。本文利用粒子群算法全局優(yōu)化能力和收斂速度快的優(yōu)點(diǎn)，優(yōu)化LSSVM模型的懲罰因子C和核函數(shù)參數(shù)σ，對(duì)參數(shù)進(jìn)行自動(dòng)搜索和確定，以提高LSSVM模型的預(yù)測(cè)精度。將PSO－LSSVM模型對(duì)地震實(shí)例進(jìn)行預(yù)測(cè)，檢驗(yàn)該方法的有效性。

1 基于PSO優(yōu)化的LSSVM模型

SVM是在統(tǒng)計(jì)學(xué)理論上發(fā)展起來(lái)的一種機(jī)器學(xué)習(xí)算法。與傳統(tǒng)的學(xué)習(xí)方法相比，SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則，折衷考慮了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化和學(xué)習(xí)機(jī)器VC維的關(guān)系，使其具有較強(qiáng)的預(yù)測(cè)能力。SVM的基本思想是通過(guò)非線性映射，把輸入空間的數(shù)據(jù)映射到高維特征空間，將實(shí)際問(wèn)題轉(zhuǎn)化為帶不等式約束的二次規(guī)劃問(wèn)題。LSSVM是SVM的一種擴(kuò)展，將不等式約束替代等式約束，把誤差平方和損失函數(shù)作為訓(xùn)練集的經(jīng)驗(yàn)損失，從而把問(wèn)題轉(zhuǎn)化為一個(gè)線性矩陣求解問(wèn)題，大大提高了機(jī)器學(xué)習(xí)訓(xùn)練的速度［7］。

假設(shè)給定一組樣本數(shù)據(jù)集｛xi，yi｝mi＝1，其中xi是輸入向量，xi∈Rn；yi是對(duì)應(yīng)的輸出，yi∈R；m為樣本集大小。通過(guò)一個(gè)非線性函數(shù)φ將樣本映射到高維空間，然后進(jìn)行線性回歸，回歸函數(shù)為f（x）＝wTφ（x）＋b（1）其中，w為權(quán)值向量；b為偏差。根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，利用LSSVM進(jìn)行函數(shù)回歸時(shí)要優(yōu)化的目標(biāo)函數(shù)為

其中C為誤差懲罰函數(shù)；ξi為松弛變量。構(gòu)造拉格朗日函數(shù)L為

其中ai為拉格朗日乘子。根據(jù)KKT條件有

消去w和ξi，可得出

其中Q＝［1，…，1］T；A＝［a1，a2，…，am］T；Y＝［y1，y2，…，ym］T。根據(jù)Mercer條件可以確定核函數(shù)為

則LSSVM的函數(shù)估計(jì)為

本文采用徑向基函數(shù)（RBF）作為核函數(shù)

其中σ是核函數(shù)寬度。

根據(jù)LSSVM回歸理論可知，它的主要參數(shù)是核函數(shù)參數(shù)σ和懲罰參數(shù)C，這兩個(gè)參數(shù)對(duì)LSSVM的學(xué)習(xí)和泛化能力影響很大。本文采用粒子群算法來(lái)優(yōu)化選擇兩個(gè)參數(shù)σ和C，在一定程度上減少了主觀經(jīng)驗(yàn)選擇的盲目性，提高其預(yù)測(cè)精度。

在PSO算法中，ui＝（ui1，ui2，…，uim）表示粒子i的位置向量，pi＝（pi1，pi2，…，pim）表示第i個(gè)粒子所經(jīng)歷過(guò)的最好位置。每個(gè)粒子的速度向量表示為vi＝（vi1，vi2，…，vim），種群中所有粒子經(jīng)歷過(guò)的最好位置為pg＝（pg1，pg2，…，pgm）。粒子i的速度、位置更新公式如下：

式中，r1和r2為［0，1］之間的隨機(jī)數(shù)；w為慣性權(quán)重。w是粒子群算法的一個(gè)關(guān)鍵參數(shù)，它可以平衡算法的全局搜索能力和局部搜索能力。在進(jìn)化初期，我們希望粒子具有較好的探索能力，隨著迭代次數(shù)的增加，在進(jìn)化后期，希望粒子具有較好的開(kāi)發(fā)能力。所以在進(jìn)化過(guò)程中需要?jiǎng)討B(tài)調(diào)整慣性權(quán)重。因此，本文采用慣性權(quán)重w隨進(jìn)化代數(shù)線性遞減：

其中，iter為當(dāng)前迭代次數(shù)；itermax為最大迭代次數(shù)；wmax和wmin為慣性權(quán)重的最大值和最小值。

對(duì)于LSSVM模型參數(shù)的優(yōu)化，首先定義目標(biāo)函數(shù)

其中，xi是第i個(gè)已知樣本的輸出值；＾xi是第i個(gè)樣本的LSSVM模型預(yù)測(cè)值，可由式（1）計(jì)算得到。

LSSVM模型參數(shù)優(yōu)化的思想是通過(guò)迭代算法搜索一組參數(shù)（C，σ），使目標(biāo)函數(shù)式（11）達(dá)到最小。本文采用PSO來(lái)進(jìn)行優(yōu)化，將定義域內(nèi)一組參數(shù)序列（C，σ）作為PSO算法中粒子的位置向量，各粒子的適應(yīng)度函數(shù)取式（11）?；赑SO優(yōu)化LSSVM模型參數(shù)的具體步驟如下：

Step1：根據(jù)收集到的歷史數(shù)據(jù)，建立訓(xùn)練樣本集合測(cè)試樣本集。

Step2：設(shè)置參數(shù)，初始化粒子的位置和速度，每個(gè)位置值對(duì)應(yīng)于LSSVM模型的一組參數(shù)（C，σ）值，由參數(shù)和樣本訓(xùn)練建立如式（7）所示的LSSVM預(yù)測(cè)模型。

Step3：由式（11）計(jì)算每個(gè)粒子的適應(yīng)度值。

Step4：判斷是否滿足迭代終止條件，若滿足，則迭代結(jié)束輸出最優(yōu)參數(shù)（C，σ），轉(zhuǎn)向step6；否則繼續(xù)執(zhí)行step5。

Step5：按式（9）和式（10）更新粒子的位置和速度，然后返回step3。

Step6：利用得到的最優(yōu)參數(shù)（C，σ）和訓(xùn)練樣本訓(xùn)練建立PSO－LSSVM預(yù)測(cè)模型。

2 地震預(yù)測(cè)仿真與分析

選取某地沿海東經(jīng)117°－120°，北緯22°－26°范圍內(nèi)的地震預(yù)測(cè)因子數(shù)據(jù)［12］作為樣本，驗(yàn)證PSO－LSSVM模型在地震預(yù)測(cè)中的有效性。根據(jù)地震資料，通過(guò)對(duì)與地震活動(dòng)相關(guān)的參數(shù)進(jìn)行主成分分析［13］，我們選取地震在時(shí)間、空間、強(qiáng)度三方面具有代表性的6個(gè)指標(biāo)，即相關(guān)性較強(qiáng)的6個(gè)指標(biāo)，如地震頻度、蠕變、能量、b值、缺震和η值作為PSOLSSVM模型的輸入向量，實(shí)際發(fā)生的震級(jí)作為輸出向量進(jìn)行訓(xùn)練和測(cè)試。

與文獻(xiàn)［12］相同，我們一共收集了29組實(shí)際數(shù)據(jù)作為樣本數(shù)據(jù)，其中，前20組數(shù)據(jù)作為訓(xùn)練樣本，后9組數(shù)據(jù)作為用來(lái)檢測(cè)PSO－LSSVM模型的測(cè)試樣本，具體數(shù)據(jù)內(nèi)容詳見(jiàn)表1［12］。

表1 地震樣本數(shù)據(jù)

本文方法的參數(shù)設(shè)置為：粒子群算法種群規(guī)模N＝10，最大迭代次數(shù)為itermax＝100，wmax＝0．9，wmin＝0．2，懲罰因子C∈［1，1 000］，核函數(shù)參數(shù)σ∈［1，10］。通過(guò)PSO算法優(yōu)化LSSVM的兩個(gè)參數(shù)C和σ，最終得到最優(yōu)參數(shù)為：C＝427．36，σ＝3．28。圖1給出了利用PSO算法對(duì)LSSVM模型參數(shù)尋優(yōu)的迭代曲線。

在訓(xùn)練過(guò)程中PSO－LSSVM模型的誤差變化如圖2所示，可以看出，LSSVM模型訓(xùn)練誤差很快就達(dá)到了期望的誤差目標(biāo)。為了驗(yàn)證本文方法（PSO－LSSVM）相對(duì)于神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的優(yōu)勢(shì)，利用Elman神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（SVM）模型分別對(duì)地震震級(jí)進(jìn)行預(yù)測(cè)。三種方法的預(yù)測(cè)結(jié)果比較見(jiàn)表2，其預(yù)測(cè)相對(duì)誤差如表3所示。

圖1 PSO對(duì)LSSVM參數(shù)的尋優(yōu)曲線Fig．1 Optimization curve for parameters of LSSVM using PSO．

圖2 訓(xùn)練過(guò)程中誤差的變化曲線Fig．2 Error curve in the training process．

表2 三種方法對(duì)地震震級(jí)的預(yù)測(cè)結(jié)果比較

從表2和表3中的結(jié)果可知，PSO－LSSVM模型比Elman神經(jīng)網(wǎng)絡(luò)模型和SVM模型得到更好的預(yù)測(cè)效能。與Elman網(wǎng)絡(luò)相比，除了第2和第8個(gè)測(cè)試樣本的預(yù)測(cè)結(jié)果略差外，PSO－LSSVM模型在其余7個(gè)樣本的預(yù)測(cè)結(jié)果明顯要優(yōu)。尤其是第4個(gè)和第7個(gè)樣本，Elman網(wǎng)絡(luò)得到的結(jié)果偏差較大。與SVM模型相比，除了第2、第3和第6個(gè)樣本的預(yù)測(cè)結(jié)果較差外，PSO－LSSVM模型在其余6個(gè)樣本的預(yù)測(cè)結(jié)果要明顯優(yōu)于SVM模型。PSOLSSVM模型預(yù)測(cè)的平均相對(duì)誤差僅為2．606 5%，比Elman神經(jīng)網(wǎng)絡(luò)模型和SVM模型分別要小5．618 6%和2．449 8%，這充分說(shuō)明PSO－LSSVM模型具有較高的預(yù)測(cè)效能。

表3 三種方法的預(yù)測(cè)相對(duì)誤差比較

3 結(jié)論

地震預(yù)測(cè)的困難之處在于地震預(yù)測(cè)因子信息的高度非線性［6］。LSSVM能以任意精度逼近非線性系統(tǒng)。結(jié)合粒子群算法的全局搜索能力，優(yōu)化LSSVM模型的參數(shù)，建立PSO－LSSVM模型用于地震預(yù)測(cè)領(lǐng)域中的震級(jí)預(yù)測(cè)。仿真實(shí)驗(yàn)結(jié)果表明PSO－LSSVM模型具有較高的預(yù)測(cè)效能。

［1］ Ifantisk A，Giannakopoulos K．Changes of chaotic behavior of the long－term geoelectic potential difference observed during a five－year investigation and its possible relation to seismic activity in Weatern Greece［J］．Chaos，Solitons and Fractals，2002，14（5）：779－795．

［2］ Gotoh M，Hayakawa N A，Smirnova K．Fractal analysis of seismogenic ULF emissions［J］．Physics and Chemistry of the Earth，2004，29（4－9）：419－424．

［3］ King C，Azuma S，Ohno M，et al．In search of earthquake precursors in the water－level data of 16closely clustered wells at Tono［J］．International Journal Geophysical，2000，143（2）：469－477．

［4］ 王煒，謝瑞，宋先月，等．使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行我國(guó)大陸強(qiáng)震時(shí)間序列預(yù)測(cè)［J］．西北地震學(xué)報(bào)，2002，24（4）：315－320．

［5］ 陳超，曾三友，張好春，等．基于遺傳神經(jīng)網(wǎng)絡(luò)的地震預(yù)測(cè)研究［J］．計(jì)算機(jī)應(yīng)用與軟件，2008，25（4）：135－137．

［6］ 陳以，王穎，張晉魁．組合人工神經(jīng)網(wǎng)絡(luò)在地震預(yù)測(cè)中的應(yīng)用研究［J］．計(jì)算機(jī)仿真，2011，28（1）：190－193．

［7］ Suykens J A K，Vandewalle J．Least squares support machine classifier［J］．Neural Processing Letters，1999，9（3）：293－300．

［8］ Van G T，Suykens J A K．Financial time series prediction using least squares support vector machine within the evidence framework［J］．IEEE Transactions on Neural Networks，2001，12（4）：809－821．

［9］ Esen H，Ozgen F，Esen M．Modeling of a new solar air heater through least squares support vector machine［J］．Expert Systems with Applications，2009，36（7）：10673－10682．

［10］ 張春曉，張濤．基于最小二乘向量機(jī)和遺傳算法的熱式油水兩相流含油率建模［J］．化工學(xué)報(bào)，2009，60（7）：1651－1655．

［11］ 龍文，梁昔明，董淑華，等．動(dòng)態(tài)調(diào)整慣性權(quán)重的粒子群優(yōu)化算法［J］．計(jì)算機(jī)應(yīng)用，2009，29（8）：2240－2242．

［12］ 朱凱，王正林．精通MATLAB神經(jīng)網(wǎng)絡(luò)［M］．北京：電子工業(yè)出版社，2010．

［13］ 王煒，林命，馬欽忠，等．主成分分析法在地震預(yù)測(cè)中的應(yīng)用研究［J］．中國(guó)地震，2005，21（3）：409－416．

Earthquake Forecast Model Based on the Partical Swarm Optimization Algorithm Used in LSSVM

XU Song－jin1，LONG Wen2

（1．Department of Mathematics and Computer Science，Tongren University，Guizhou Tongren 554300，China；2．Guizhou Key Laboratory of Economics System Simulation，Guizhou College of Finance and Economics，Guiyang 550004，China）

P315．71

A

1000－0844（2012）03－0220－04

10．3969／j．issn．1000－0844．2012．03．0220

2011－05－11

國(guó)家自然科學(xué)基金（61074069）

徐松金（1972－），男（漢族），湖南隆回人，講師，主要從事復(fù)雜系統(tǒng)建模與預(yù)測(cè)研究．