改進(jìn)的SVR在大壩邊坡位移預(yù)測中的應(yīng)用

劉小生，于 良(江西理工大學(xué)，江西 贛州 341000)

修建電站、水庫會形成大量人工開挖邊坡。由于大壩邊坡受水文氣候、地質(zhì)構(gòu)造等重要因素的影響，導(dǎo)致邊坡滑坡事件屢見不鮮，給人民的生產(chǎn)和生活帶來了巨大影響并會造成財(cái)產(chǎn)損失，因此對邊坡的變形預(yù)測和預(yù)警就顯得尤為迫切和重要。在已經(jīng)提出的許多預(yù)測方法中[1]，回歸分析法實(shí)際工作時(shí)很難建立顧及各因素的非線性數(shù)學(xué)監(jiān)控模型[2]；時(shí)間序列分析法很難針對特定數(shù)據(jù)構(gòu)造合適的模型[3]；灰色理論對原始數(shù)據(jù)要求較高，當(dāng)原始數(shù)據(jù)序列波動較大、信息過于分散時(shí)預(yù)測精度往往降低[4]；神經(jīng)網(wǎng)絡(luò)模型存在收斂速度慢和陷入局部極值等問題[5]。海量數(shù)據(jù)大量涌現(xiàn)，高維數(shù)據(jù)給傳統(tǒng)機(jī)器學(xué)習(xí)方法提出了嚴(yán)峻的挑戰(zhàn)。

支持向量機(jī)(support vector machine,SVM)較好地解決了以往困擾很多學(xué)習(xí)方法的小樣本、非線性、過學(xué)習(xí)、高維數(shù)、局部極小點(diǎn)等實(shí)際問題，具有很強(qiáng)的泛化能力[6]。為了使支持向量機(jī)更好地運(yùn)用到邊坡位移預(yù)測中，近年來不少學(xué)者對支持向量機(jī)中參數(shù)尋優(yōu)方法進(jìn)行了改進(jìn)研究。關(guān)于支持向量機(jī)參數(shù)尋優(yōu)的方法，國際上并沒有公認(rèn)統(tǒng)一的最好方法。常用的方法有：網(wǎng)格法、粒子群算法、遺傳算法。其中粒子群算法和遺傳算法由于初始值隨機(jī)選取，造成參數(shù)搜索結(jié)果隨機(jī)性較大，需多次訓(xùn)練才能得到較好的參數(shù)[7]；傳統(tǒng)網(wǎng)格法相對于粒子群算法和遺傳算法參數(shù)尋優(yōu)穩(wěn)定，但搜索速度較慢，精度較低[8]。因此本文改進(jìn)傳統(tǒng)網(wǎng)格法的參數(shù)尋找范圍和搜索步距，目的是為了防止參數(shù)選取范圍過大而造成收斂速度過慢，步距不夠小而造成找不到準(zhǔn)確的參數(shù)組，從而得到改進(jìn)網(wǎng)格法，并在此基礎(chǔ)上進(jìn)行改進(jìn)的支持向量機(jī)大壩邊坡預(yù)測研究。

1 改進(jìn)的SVR大壩邊坡位移預(yù)測模型構(gòu)建

1.1 支持向量回歸機(jī)

支持向量機(jī)是由Vapnik基于統(tǒng)計(jì)學(xué)習(xí)理論提出的一種機(jī)器學(xué)習(xí)方法[9]。目前分為支持向量分類機(jī)和支持向量回歸機(jī)。支持向量回歸機(jī)(support vector regression machine，SVR)基本原理[10]為：設(shè)原來的訓(xùn)練集為給定某邊坡的監(jiān)測數(shù)據(jù)

T={(xi,yi),i=1,2，…,l}∈(Rn×R)l

式中，xi∈Rn；yi=R,i=1,2，…,l。選取適當(dāng)?shù)木圈?0和懲罰參數(shù)c>0，便可得到與線性分化相對應(yīng)的原始問題

(1)

代入拉格朗日函數(shù)，求解凸二次規(guī)劃問題，可解得

(2)

(3)

則得構(gòu)造決策函數(shù)

(4)

運(yùn)用“相似程度”的原理選取核函數(shù)，目前常用的核函數(shù)有線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)(RBF)。本文運(yùn)用徑向基核函數(shù)，構(gòu)造函數(shù)變?yōu)?/p>

(5)

在支持向量機(jī)回歸估計(jì)算法中，RBF核函數(shù)的參數(shù)g及懲罰系數(shù)c均為很重要的參數(shù)，其中，核函數(shù)g的選取決定了輸入空間到特征空間映射的方式，懲罰系數(shù)c用于平衡訓(xùn)練誤差和模型復(fù)雜度。因此必須找到較好的參數(shù)尋優(yōu)方法，本文采用改進(jìn)網(wǎng)格法對支持向量機(jī)進(jìn)行參數(shù)尋優(yōu)。

1.2 改進(jìn)的網(wǎng)格法

針對徑向基核函數(shù)的支持向量機(jī)而言，網(wǎng)格法參數(shù)尋優(yōu)所要搜索的參數(shù)組為懲罰因子c和核參數(shù)g，將兩個(gè)參數(shù)各自設(shè)置較大的搜索范圍和較小的步距，形成一個(gè)二維空間的網(wǎng)格，遍歷網(wǎng)格中所有交叉點(diǎn)，并用K折交叉驗(yàn)證方法得到每組的性能，最終取使系統(tǒng)達(dá)到最優(yōu)的參數(shù)作為最佳參數(shù)。

當(dāng)步距足夠小，支持向量機(jī)懲罰因子c與徑向基核參數(shù)g取值范圍足夠廣，一定能夠得到最優(yōu)解，但同樣也會花費(fèi)很長時(shí)間。傳統(tǒng)網(wǎng)格法參數(shù)尋優(yōu)遍歷網(wǎng)格中所有交叉點(diǎn)，往往只進(jìn)行兩步，粗搜過后只進(jìn)行一次細(xì)尋,但是步距有可能沒達(dá)到最小步距,參數(shù)范圍也有可能不足夠小，最終可能與最優(yōu)參數(shù)錯(cuò)過。

針對傳統(tǒng)的網(wǎng)格法參數(shù)尋優(yōu)的不足，對傳統(tǒng)網(wǎng)格法作出改進(jìn)[11-12]，得到本文改進(jìn)的網(wǎng)格參數(shù)尋優(yōu)方法。先粗略搜索即大步距、大范圍，即以2的冪次方沿著兩個(gè)參數(shù)的不同增長方向生成網(wǎng)格，這樣既能遍歷所有參數(shù)，又能方便網(wǎng)格的收縮與增長。網(wǎng)格中的節(jié)點(diǎn)即為給定范圍內(nèi)所有可能得到的參數(shù)對；根據(jù)樣本集，利用5-折交叉驗(yàn)證[13]找出最佳參數(shù)組，判斷是否滿足精度要求或結(jié)果穩(wěn)定。如果滿足要求，儲存參數(shù)，參數(shù)優(yōu)化結(jié)束；如果不滿足要求，再把c和g的取值范圍縮小到最優(yōu)值左右并適當(dāng)減小步距，如果同時(shí)出現(xiàn)兩處最優(yōu)位置，取c值較小的最優(yōu)位置，依次類推，逐步減小步距與參數(shù)取值范圍，直到滿足精度要求或結(jié)果穩(wěn)定為止。

1.3 SVR組合模型構(gòu)建

為了消除或減弱基于啟發(fā)式參數(shù)尋優(yōu)算法的支持向量機(jī)邊坡預(yù)測模型的不足，改進(jìn)傳統(tǒng)網(wǎng)格法參數(shù)尋優(yōu)算法搜索速度較慢、精度較低等問題，提出了改進(jìn)SVR組合預(yù)測模型。其具體思路如下：

首先，對原始數(shù)據(jù)做數(shù)據(jù)預(yù)處理。原始數(shù)據(jù)難免存在奇異值，運(yùn)用“3δ準(zhǔn)測”剔除奇異值，將剔除的奇異值“斷鏈”現(xiàn)象運(yùn)用內(nèi)在物理聯(lián)系、線性內(nèi)插法、多項(xiàng)式曲線擬合等進(jìn)行插補(bǔ)，由于所研究的數(shù)據(jù)可能不在同一個(gè)量綱單位，或?yàn)榧涌祛A(yù)測組合模型運(yùn)行速度，因此需要對樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將樣本數(shù)據(jù)歸一化到區(qū)間[0，1]中。

其次，建立支持向量回歸機(jī)。支持向量回歸機(jī)尋求的是利用一個(gè)線性回歸方程(函數(shù)y=g(x)可能為一維、二維、…、n維)去擬合所有的樣本點(diǎn)，即使用y=g(x)來推斷任意輸入x所對應(yīng)的輸出值。求解回歸方程可以將其簡化為一個(gè)求二次凸規(guī)劃問題，運(yùn)用最小貫序列方法(sequential minimal optimization，SMO)等求解，依據(jù)“相似程度”的概念來選取適當(dāng)?shù)暮撕瘮?shù)，本文采用徑向基核函數(shù)。

最后，運(yùn)用改進(jìn)的網(wǎng)格法進(jìn)行支持向量機(jī)參數(shù)尋優(yōu)。先粗略搜索即大步距、大范圍，得到最優(yōu)解大致位置，再把c和g的取值范圍縮小到最優(yōu)值左右并適當(dāng)減小步距，如果同時(shí)出現(xiàn)兩處最優(yōu)位置，取c值較小的最優(yōu)位置，依次類推，逐步減小步距與參數(shù)取值范圍，直到滿足精度要求或結(jié)果穩(wěn)定為止。

圖1為改進(jìn)的SVR大壩邊坡位移預(yù)測模型構(gòu)建流程。

圖1 改進(jìn)SVR組合模型構(gòu)建流程

2 工程應(yīng)用

2.1 樣本選擇

試驗(yàn)采用的數(shù)據(jù)是錦屏一級工程壩區(qū)左岸纜機(jī)平臺邊坡位于f42-9斷層出露部分的多點(diǎn)位移計(jì)M4-7(高程1886 m)的孔口位移數(shù)據(jù)，作為本文工程實(shí)例的原始數(shù)據(jù)[14],見表1。

表1 M4-7觀測點(diǎn)監(jiān)測數(shù)據(jù)

2.2 預(yù)測步驟

采用基于改進(jìn)網(wǎng)格法參數(shù)尋優(yōu)的支持向量機(jī)的左岸纜機(jī)平臺邊坡的預(yù)測變形過程如下：

(1) 首先對左岸纜機(jī)平臺邊坡監(jiān)測位移數(shù)據(jù)“剔異補(bǔ)缺”，然后將數(shù)據(jù)歸一化到[0，1]。將觀測數(shù)據(jù)1～30設(shè)為訓(xùn)練集，31～34設(shè)為測試集。

(2) 選擇適當(dāng)?shù)暮撕瘮?shù)，由左岸纜機(jī)平臺邊坡監(jiān)測位移數(shù)據(jù)可知，采用徑向基核函數(shù)(RBF)為最佳選擇。

(3) 用改進(jìn)網(wǎng)格法搜索參數(shù)c、g，粗搜c的初始范圍設(shè)為[2-8,28],g的初始范圍設(shè)置為[2-8,28]。由于傳統(tǒng)的網(wǎng)格法初始步距為1，因此本文改進(jìn)網(wǎng)格法初始步距也設(shè)置為1。

(4) 采用K折交叉驗(yàn)證方法對訓(xùn)練集進(jìn)行測試，其中K=5,初步得到最優(yōu)參數(shù)c=0.4和g=11.6。

(5) 根據(jù)得到的最優(yōu)值可將范圍縮小c∈(2-4,24),g∈(2-4,24)，步距改為0.1，從而得到最優(yōu)參數(shù)c=0.51、g=12.17。

(6) 繼續(xù)步驟(5)細(xì)搜，范圍縮小c∈(21.5,22.5),g∈(23,24)，步距改為0.01，依此類推，縮小范圍和步距，最終得到最優(yōu)參數(shù)c=0.574 3、g=12.125 7，使預(yù)測結(jié)果趨于穩(wěn)定。

(7) 用得到的c=0.574 3、g=12.125 7在訓(xùn)練樣本上進(jìn)行訓(xùn)練，得出邊坡預(yù)測模型。

(8) 用基于改進(jìn)的SVR大壩邊坡位移預(yù)測模型對樣本數(shù)據(jù)進(jìn)行測試。

2.3 測試結(jié)果及分析

試驗(yàn)平臺采用Faruto等基于Matlab數(shù)學(xué)軟件開發(fā)設(shè)計(jì)的加強(qiáng)版LIBSVM3.1-[FarutoULtimate3.1 Mcode]工具箱進(jìn)行測試。用均方誤差MSE作為評價(jià)指標(biāo)

(6)

式中，Xi(i=1,2，…,n)為真實(shí)值；Yi(i=1,2，…,n)為預(yù)測值。MSE越接近于0，預(yù)測效果越好。SVR參數(shù)精確搜索3D效果圖和等高線圖，如圖2、圖3所示。

圖2 SVR參數(shù)尋優(yōu)(3D視圖)

圖3 SVR參數(shù)尋優(yōu)等高線

為方便分析改進(jìn)網(wǎng)格法參數(shù)尋優(yōu)的支持向量機(jī)邊坡預(yù)測模型所得結(jié)果的優(yōu)越性，同時(shí)采用傳統(tǒng)網(wǎng)格法的支持向量機(jī)預(yù)測模型進(jìn)行了預(yù)測，預(yù)測誤差用相對誤差Erep表示，對比結(jié)果見表2。

(7)

式中，Xi(i=1,2，…,n)為真實(shí)值；Yi(i=1,2，…,n)為預(yù)測值。

表2 M4-7監(jiān)測點(diǎn)邊坡變形預(yù)測結(jié)果

從表2可知，改進(jìn)網(wǎng)格法參數(shù)尋優(yōu)的支持向量機(jī)預(yù)測模型的相對誤差最大為1.225 6%，最小為0.058 9%。傳統(tǒng)網(wǎng)格法參數(shù)尋優(yōu)的支持向量機(jī)預(yù)測模型的相對誤差最大為20.227 3%，最小為14.456 4%。兩種最大相對誤差相差19.001 7%，兩種最小相對誤差相差14.397 5%。

同理應(yīng)用粒子群算法(particle swan optimization,PSO)的支持向量機(jī)邊坡預(yù)測模型[15]對左岸纜機(jī)平臺邊坡變形進(jìn)行了二次預(yù)測，結(jié)果如圖4所示。

圖4 PSO+SVR兩次邊坡位移預(yù)測

從圖4中可知，基于粒子群算法的支持向量機(jī)邊坡預(yù)測模型，兩次預(yù)測值不同，證實(shí)了PSO參數(shù)尋優(yōu)方法具有搜索結(jié)果隨機(jī)性較大的特性，預(yù)測值不穩(wěn)定性，需要多次訓(xùn)練才能確定較好的結(jié)果，不如本文改進(jìn)網(wǎng)格法參數(shù)尋優(yōu)結(jié)果穩(wěn)定。

3 結(jié) 語

本文針對傳統(tǒng)支持向量機(jī)參數(shù)尋優(yōu)的不足，對網(wǎng)格法參數(shù)尋優(yōu)作出改進(jìn)，即在粗略搜索最優(yōu)解大致位置的基礎(chǔ)上，進(jìn)行多次精細(xì)搜索，直至找到滿足精度要求的解，在此基礎(chǔ)上建立了改進(jìn)的SVR大壩邊坡位移預(yù)測模型。試驗(yàn)結(jié)果表明，該改進(jìn)模型可應(yīng)用到邊坡預(yù)測中，與傳統(tǒng)預(yù)測模型對比，穩(wěn)定性和精度都有較大的提高，可以推廣應(yīng)用。

參考文獻(xiàn)：

[1] 蘇巧榮.基于MATLAB下BP神經(jīng)網(wǎng)絡(luò)的邊坡穩(wěn)定分析[J].河南大學(xué)學(xué)報(bào)(自然科學(xué)版),2007,31(6):595-600.

[2] 蔣晨,張書畢,文小勇.基于中位數(shù)回歸分析的礦區(qū)變形監(jiān)測數(shù)據(jù)處理[J].金屬礦山,2016,479(5):192-195.

[3] 張拯,張獻(xiàn)州.時(shí)間序列協(xié)整關(guān)系及其在變形分析中的應(yīng)用研究[J].測繪工程,2015,24(9):53-58.

[4] 趙財(cái)軍,陳鵬宇,李莉.改進(jìn)GM(1,1)模型在基坑變形預(yù)測中的應(yīng)用[J].人民長江,2010,41(6):32-34，39.

[5] 趙文秀,張曉麗,李國會,等.基于隨機(jī)森林和RBF神經(jīng)網(wǎng)絡(luò)的長期徑流預(yù)報(bào)[J].人民黃河,2015,37(2)：10-12.

[6] 趙洪波,馮夏庭.非線性位移時(shí)間序列預(yù)測的進(jìn)化-支持向量機(jī)方法及應(yīng)用[J].巖土工程學(xué)報(bào),2003,25(4):468-471.

[7] 張玉欣,程志峰,徐正平,等.參數(shù)尋優(yōu)支持向量機(jī)在基于光聲光譜法的變壓器故障診斷中的應(yīng)用[J].光譜學(xué)與光譜分析,2015,35(1):10-13.

[8] 趙朝賀.一種改進(jìn)的支持向量機(jī)參數(shù)優(yōu)化方法[J].地理空間信息,2017,15(1):53-55，11.

[9] 李丹娜,郭云開,朱善寬,等.利用PRO4SAIL與支持向量機(jī)回歸的組合模型反演植被等效水厚度[J].測繪通報(bào),2017(8):50-55.

[10] 米蘭,王文斌.基于支持向量回歸機(jī)的汽輪機(jī)排汽焓預(yù)測研究[J].熱能動力工程,2016,31(11):38-42.

[11] 郭美麗,覃錫忠,賈振紅,等.基于改進(jìn)的網(wǎng)格搜索SVR的話務(wù)預(yù)測模型[J].計(jì)算機(jī)工程與科學(xué),2014,36(4):707-712.

[12] 楊學(xué)存,侯媛彬,洪衛(wèi)林,等.基于參數(shù)優(yōu)化支持向量機(jī)的煤泥輸送管道壓力預(yù)測[J].煤炭工程,2013,45(12):112-115.

[13] 郭際明,王威,張帥.支持向量機(jī)輔助下的智能手機(jī)行人運(yùn)動模式識別[J].測繪通報(bào),2018(2):1-5.

[14] 鄭志成,徐衛(wèi)亞,等.基于混合核函數(shù)PSO-LSSVM的邊坡變形預(yù)測[J].巖土工程,2012,33(5):1421-1426.

[15] 高昆侖,劉建明,徐茹枝,等.基于支持向量機(jī)和粒子群算法的信息網(wǎng)絡(luò)安全態(tài)勢復(fù)合預(yù)測模型[J].電網(wǎng)技術(shù),2011,35(4):176-182.