DEM構(gòu)建的加權(quán)最小二乘支持向量機算法

李明飛，陳傳法，戴洪磊，李翼龍，李宇航

（1.山東科技大學(xué) 測繪科學(xué)與工程學(xué)院，山東 青島 266590）

在采集數(shù)據(jù)時，由于各種條件限制造成采樣數(shù)據(jù)中含有粗差，進而導(dǎo)致DEM[1]失真，甚至完全不能使用。為了用含粗差的數(shù)據(jù)構(gòu)建出與實際地形相符合的DEM，相關(guān)科研人員提出了一系列的方法，如自適應(yīng)抗差最小二乘估計方法[2]和基于最小絕對偏差的多面函數(shù)抗差方法[3]等。

SVM是以結(jié)構(gòu)風(fēng)險最小化原則代替經(jīng)驗風(fēng)險最小化原則的一種機器學(xué)習(xí)方法，具有泛化能力強、精度高等優(yōu)良性能。Suykens等用等式約束代替SVM的不等式約束，提出了LSSVM[4.5]，它在保持優(yōu)良的泛化能力和精度的同時，擁有了更高的計算效率，可以用于海量數(shù)據(jù)的處理。文獻[5]提出了LSSVM-W，通過給LSSVM的每項誤差變量的二次方加上權(quán)重系數(shù)，以抑制訓(xùn)練樣本中的異常樣本。本文嘗試將該LSSVM-W用于DEM建模，并將其計算精度與傳統(tǒng)LSSVM比較，驗證其可行性和高效性。

1 LSSVM-W算法

對于給定的訓(xùn)練數(shù)據(jù)集（xk，yk），其中，k=1，2，…，n，xk∈R為n維訓(xùn)練樣本輸入，yk∈R為訓(xùn)練樣本的輸出。為了得到基于LSSVM的抗差估計，可以利用LSSVM求出來的拉格朗日系數(shù)αk得到誤差變量ek（ek=αk /γ），進而求出權(quán)重因子vk，再對LSSVM的目標(biāo)函數(shù)進行修改，就得到了LSSVM-W目標(biāo)函數(shù)和約束條件：

式中，ω為權(quán)向量；ek是誤差變量；γ是懲罰系數(shù)；vk為權(quán)重因子；φ（·）是非線性映射，可以將樣本的輸入空間映射到特征空間；b是偏差量。

它們的拉格朗日函數(shù)為：

式中，αk∈R，為拉格朗日乘子。

根據(jù)KKT（ karush kuhn tucker）優(yōu)化條件[6]，分別求出L關(guān)于ω、b、e、α的偏導(dǎo)數(shù)，并讓其值為0，消去式中的ω、e，整理并改正得到矩陣方程：

式中，Ωkl=φ（xk）Tφ（xl），其中k，l=1，2，…，n；1v= [1；…；1]，為n×1的矩陣；Vγ=diag（1/γv1，…，1/γvn）。根據(jù)Mercer條件，存在映射函數(shù)φ和核函數(shù)K（，），使得K（xk，xl）=φ（xk）Tφ（xl）。為了提高其抗差性，權(quán)重因子vk的求解采用文獻[7]提出的計算式：

式中，c1和c2為常數(shù)，c1=2.5，c2=3；為標(biāo)準(zhǔn)差，采用Rousseeuw[8]提出的標(biāo)準(zhǔn)差公式計算：

根據(jù)式（4）求出系數(shù)陣α，再求出誤差變量的權(quán)重因子vk，重新組成LSSVM-W目標(biāo)函數(shù)，這樣迭代多次，直至求得穩(wěn)定的α。

最后，得到LSSVM-W函數(shù)估計模型為：

LSSVM-W的算法流程為：

1）利用采集到的數(shù)據(jù)獲取符合條件的（γ，σ），利用LSSVM得到系數(shù)陣α；

2）根據(jù)α計算ek及標(biāo)準(zhǔn)差，再求權(quán)重因子vk；

3）根據(jù)式（4）獲得α、b；

4）重復(fù)2）～3）步，直至得到穩(wěn)定的α、b；

5）給出模型函數(shù)。

2 實驗分析

選擇數(shù)學(xué)合成曲面為研究對象，分析LSSVM-W的抗差性。含有誤差的數(shù)學(xué)合成曲面表達式為：

式中，ε為隨機誤差，ε=（1-θ）N（0，0.12）+θN（0，32）；污染來源為N（0，32）；被污染的正態(tài)分布為N（0，0.12）；θ為污染率，分別取值為10%、20%、30%。

橫向坐標(biāo)選取[-10，19.6]，縱向選取[0，30]，區(qū)域網(wǎng)格數(shù)為38×51，格網(wǎng)節(jié)點作為采樣點。在實驗中，隨機選取1 000個點作為實驗點，以剩余點作為預(yù)測點。模擬結(jié)果精度指標(biāo)分別為最小誤差（Min）、最大誤差（Max）以及中誤差（RMSE）。

確定核函數(shù)類型及參數(shù)（γ，σ）。由于模擬地形較為復(fù)雜，高斯徑向基核可以準(zhǔn)確地反映地形，可表述為：

由于LSSVM-W是以LSSVM為基礎(chǔ)，LSSVM-W和LSSVM選取的參數(shù)是一樣的。在用LSSVM模擬海底趨勢面[9]時，可以看出γ的選取和粗差的個數(shù)有密切聯(lián)系，所以實驗以粗差的個數(shù)為γ的初始值，然后固定γ，通過分組交叉驗證方法[10]求出最優(yōu)的σ。根據(jù)顧燕萍[11]的實驗結(jié)論，正規(guī)化參數(shù)γ越大，結(jié)構(gòu)風(fēng)險則更側(cè)重經(jīng)驗風(fēng)險項，模型精度會提高。因此，最后選用采樣點個數(shù)的10倍作為最終γ，這樣就確定出了（γ，σ）。求LSSVM-W和LSSVM的預(yù)測模型后，得到每個格網(wǎng)點的模擬值，最后求出Min、Max、RMSE。

表1 LSSVM與LSSVM-W結(jié)果比較

由表1可知，當(dāng)采樣誤差來源于被污染的正態(tài)分布時，隨著污染率從10%提高到30%，LSSVM和LSSVM-W計算的RMSE都是慢慢變大的，說明二者的計算精度逐漸降低；在不同的污染率下，LSSVM-W的RMSE都比LSSVM的小，即使在污染率為30%情況下，LSSVM-W計算的RMSE都比LSSVM在10%的污染率情況下得到的RMSE值小得多，說明LSSVM-W計算精度明顯高于LSSVM；LSSVM-W計算得到的Min和Max的絕對值均小于0.3，且小于LSSVM的相應(yīng)值。由此可見，LSSVM-W具有較好的抗差性，是一種較好的DEM構(gòu)建方法。

3 結(jié) 語

由于受采集條件的限制，采集數(shù)據(jù)中不可避免地含有粗差[12]。如果不對這些含有粗差的數(shù)據(jù)進行抑制或剔除，將會對DEM的構(gòu)建精度產(chǎn)生嚴(yán)重影響。本文將LSSVM-W應(yīng)用到DEM中，發(fā)展了一種構(gòu)建DEM的LSSVM-W算法。通過數(shù)值模擬曲面可知，LSSVM-W方法在很大程度上抑制了粗差對曲面模擬的影響，是一種較好的DEM構(gòu)建方法。

在LSSVM-W方法中，核函數(shù)的參數(shù)以及懲罰系數(shù)的選取是最關(guān)鍵的。但目前采用的方法需要花費很長時間才能求得最優(yōu)的參數(shù)；當(dāng)實驗中污染率達到30%以后，得到的精度變得很低，LSSVM-W的結(jié)構(gòu)有待進一步優(yōu)化。

[1]陳傳法,王冬,郭恒慶.DEM平均誤差置信區(qū)間估計[J].中國礦業(yè)大學(xué)學(xué)報,2011,40(4):146-151

[2]陳再輝,路曉峰.基于自適應(yīng)抗差最小二乘的DEM數(shù)據(jù)粗差剔除[J].海洋測繪,2006,26(6):26-28

[3]Chen C F，Li Y Y.A Robust Multiquadric Interpolation for DEM Construction[J].Mathematical Geosciences,2013,45(3):297-319

[4]Suykens J A K,Vandewalle J.Least Squares Support Vectormachine Classifiers[J].Neural Process Letters,1999,9(3):293-300

[5]Suykens J A K,Brabanter J D,Lukas L,et al.Weightedleast Squares Support Vector Machines:Robustness and Sparse Approximation[J].Neurocomputing,2002,48(1): 85-105

[6]鄧乃揚,田英杰.數(shù)據(jù)挖掘中的新方法——支持向量機[M].北京:科學(xué)出版社,2006

[7]包鑫,戴連奎.加權(quán)最小二乘支持向量機穩(wěn)健化迭代算法及其在光譜分析中的應(yīng)用[J].化學(xué)學(xué)報,2009,67(10):60-65

[8]Rousseeuw P J,Croux C.Alternatives to the Median Absolute Deviation[J].Journal of the American Statistical Association,1993(12):73-83

[9]黃賢源,翟國君,隋立芬,等.最小二乘支持向量機在海洋測深異常值探測中的應(yīng)用[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2010,35(10):58-61

[10]楊敬娜.基于十折法的最小二乘支持向量機參數(shù)選取方法[J].機械工程師,2011(12):28-29

[11]顧燕萍,趙文杰,吳占松.最小二乘支持向量機的算法研究[J].清華大學(xué)學(xué)報:自然科學(xué)版,2010,50(7):157-161

[12]Rousseeuw P J,Debruyne M,Engelen S.Robustness and Outlier Detection in Chemometrics[J].Critical Reviews in Analytical Chemistry,2006,36(3-4): 221-242