利用人工魚群算法優化高斯過程模型及應用分析

邱小夢，周世健，王奉偉，歐陽亮酉

(1. 東華理工大學測繪工程學院，江西 南昌 330013； 2. 流域生態與地理環境監測國家測繪地理信息局重點實驗室，江西 南昌 330013； 3. 南昌航空大學，江西 南昌 330063； 4. 同濟大學測繪與地理信息學院，上海 200092)

目前常用的變形監測數據處理或分析方法主要有：回歸分析、時間序列分析、傳統灰色預測模型、神經網絡和支持向量機等[1-5]，但是這些方法都有局限性?；貧w分析和時間序列分析適用于觀測序列長、信息量大的數據[6]，但在實際工程中時常獲得小樣本數據，信息量小。傳統灰色預測模型一般要求累加生成的序列具有灰指數規律并且是非負的[7]。神經網絡存在著大樣本、收斂速度慢和局部優化的缺點[8]。支持向量機存在如何選取合適的懲罰項、輸出結果不具有概率意義等問題[9]。

高斯過程(Gaussian process，GP)對處理高維數、小樣本、非線性等復雜問題具有很好的適應性，且泛化能力強[10]。蘇國韻[11]和羅亦泳[12]分別將高斯過程應用于基坑位移時間序列分析和GPS高程轉換，取得了較好的效果，從而驗證了該方法的可靠性。目前通常采用共軛梯度法搜索超參數，存在對初始值依賴性強、容易陷入局部最優的缺點，該算法的適用性具有局限性[13-14]。人工魚群算法(artificial fish swarm algorithm，AFSA)具有對初始值與參數選擇不敏感的優點。筆者應用該算法對超參數進行智能尋優，建立AFSA-GP預測模型。利用該模型對等間距隧道位移和非等間距基坑沉降進行預測，以殘差絕對值和與平均相對誤差作為評價指標，選擇神經網絡(neural network，NN)、平方指數(squared exponential，SE)和有理二次型(rational quadratic，RQ)3種核函數分別進行預測，均具有較高的預測精度，其中以NN為核函數的模型預測效果最好。

1 模型建立

1.1 高斯過程原理

高斯過程是近期發展起來的一種新的機器學習方法，其對處理高維數、小樣本、非線性等復雜問題具有很好的適應性?；貧w模型[10,15]可以表示為

y=f(x)+ε

(1)

(2)

(3)

高斯過程中常用的核函數有NN、SE和RQ 3種核函數，其NN核函數一般形式為

(4)

SE核函數一般形式為

(5)

RQ核函數一般形式為

(6)

式(4)、式(5)和式(6)中，Q=diagl-2為超參數矩陣；l為樣本數據點間的相關性；γ為核函數的形狀參數。

利用傳統共軛梯度法對偏導數進行最小化，從而獲得最優超參數。負對數似然函數L(θ)和超參數θ的偏導數如下所示

(7)

(8)

1.2 AFSA-GP模型

針對共軛梯度法搜索超參數存在對初始值依賴性強、容易陷入局部最優的缺點，利用AFSA算法[16]代替傳統共軛梯度法智能搜索最優超參數，建立AFSA-GP預測模型。主要步驟如下：

(1) 初始化AFSA算法中的參數，主要包括人工魚數目、最大迭代次數、最大試探次數、視野范圍、擁擠度因子和移動步長。然后隨機產生初始人工魚群。

(2) 利用高斯過程對樣本進行訓練和測試，根據食物濃度函數計算出當前每條人工魚的食物濃度。

(3) 各人工魚分別執行聚群行為和追尾行為，選擇最有利的行為執行，缺省行為時執行覓食行為。

(4) 各人工魚每試探一次，將自身食物濃度與最優食物濃度進行比較，若自身食物濃度比最優食物濃度更好，則用自身食物濃度代替最優食物濃度。

(5) 判斷是否達到設定的最大迭代次數。如果已經達到最大迭代次數，則輸出最優超參數。若未達到最大迭代次數，則迭代次數gen=gen+1，轉到步驟(3)。

(6) 根據獲取的最優超參數建立高斯過程模型進行預測。

2 實例分析

工程實例應用中采用了滾動預測方法[17]對變形體未來的形變量進行建模預測。AFSA-GP預測模型中采用了NN、SE和RQ 3種核函數分別進行計算，其目標函數(即食物濃度函數)設置為

(9)

式中，g(xi)第i個測試樣本的預測值；yi為第i個測試樣本的實測值；m為測試樣本個數。

2.1 隧道變形監測的應用

依據文獻[18]走馬崗特長隧道采用分離式設計，建筑范圍為14.75 m×5.0 m，最大埋深約為183 m。觀測點YK21+715位于隧道出口右線上，選取其2012年6月連續18期周邊位移數據作為試驗數據，實測數據見表1。

表1 監測點的各期實測數據

AFSA-GP預測模型中的參數初始化為：人工魚數目為150，最大迭代次數為200，視野范圍為5，移動步長為0.3。運用滾動預測方法進行預測時，k取13，P取10，t取1(即學習樣本為10、測試樣本數為3、預測期數為1)。GP核函數分別采用NN、SE和RQ核函數，目標函數為式(9)，求其最小值。利用AFSA-GP預測模型對隧道變形進行預測分析，目標函數值隨迭代次數變化的曲線如圖1所示，預測結果見表2，預測殘差見表3，預測結果相對誤差見表4。

圖1 目標函數值隨迭代次數變化的曲線

mm

表3 不同核函數的預測殘差 mm

表4 不同核函數的預測結果相對誤差 (%)

從表2、表3和表4可以看出，AFSA-GP預測模型的預測精度比GP預測模型有了很大的提高。AFSA-GP中殘差絕對值和都小于1 mm，最大值為0.71 mm，而GP中最大值為2.20 mm。GP中最小相對誤差為3.21%，AFSA-GP中僅為0.15%。NN、SE和RQ 3種核函數平均相對誤差分別提高了3.26%、4.49%和3.35%，其中SE核函數提高最大。兩種預測模型中NN核函數的預測精度高于SE、RQ核函數，表明NN核函數具有很好的預測能力。基于3種核函數預測的相對誤差大于3%的，GP總計15個，而AFSA-GP只有2個。

從圖1中目標函數值隨迭代次數變化的曲線可以看出，AFSA-GP具有很好的預測精度，其中目標函數值的減小就是AFSA算法對GP超參數智能尋優的過程。目標函數值在迭代20—40次時基本處于穩定，迭代200次能夠獲得較為滿意的工程應用要求。表3中的預測殘差也表明AFSA優化GP超參數的有效性。

2.2 基坑變形監測的應用

依據文獻[19]選取某基坑北側邊坡上監測點的觀測數據作為試驗數據，其非等間距實測數據見表5。

表5 監測點的實測值

AFSA-GP預測模型中的參數初始化為：人工魚數目為150，最大迭代次數為200，視野范圍為2.5，移動步長為0.3。運用滾動預測方法進行預測時，k取11，P取8，t取1(即學習樣本為11、測試樣本為3、預測期數為1)。GP核函數分別采用NN、SE和RQ核函數，目標函數為式(9)，求其最小值。利用AFSA-GP預測模型對基坑變形進行預測分析，目標函數值隨迭代次數變化的曲線如圖2所示，預測結果見表6，預測殘差見表7，預測相對誤差見表8。

從表6、表7和表8可以看出，AFSA-GP預測模型的預測精度比GP預測模型有了很大的提高。GP預測模型中殘差絕對值和最大值為4.90 mm，而AFSA-GP預測模型僅為1.96 mm。NN、SE和RQ 3種核函數平均相對誤差都有所提高，其中SE核函數提高最大，為3.38%。GP中最大相對誤差為7.33%，AFSA-GP中僅為3.25%。兩種預測模型中NN核函數的預測精度高于SE、RQ核函數，表明NN核函數具有很好的預測能力。基于3種核函數的預測相對誤差大于3%的，GP總計4個，而AFSA-GP只有1個。

圖2 目標函數值隨迭代次數變化的曲線

mm

表7 不同核函數的預測殘差 mm

表8 不同核函數的預測相對誤差 (%)

從圖2中目標函數值隨迭代次數變化的曲線可以看出，AFSA-GP具有很好的預測精度，其中目標函數值的減小就是AFSA算法對GP超參數智能尋優的過程。目標函數值在迭代20—40次時基本處于穩定，迭代200次能夠獲得較為滿意的工程應用要求。表7中的預測殘差也表明AFSA優化GP超參數的有效性。

3 結 論

(1) 人工魚群算法具有對初值和參數選擇不敏感的特點，利用人工魚群算法代替傳統共軛梯度法搜索最優超參數彌補了傳統共軛梯度法的不足之處。兩個工程實例殘差絕對值和最大分別減小了1.49和2.94 mm，驗證了該方法的有效性。

(2) 不同的核函數影響著機器的學習能力，對兩種預測模型中3種核函數的預測精度進行比較，NN核函數預測精度最高，表明該核函數具有較好的外推預測能力。

(3) 將AFSA-GP模型應用于等間距隧道和非等間距基坑變形監測數據處理中，其中NN核函數預測的平均相對誤差分別為0.69%和1.06%，表明該方法對等間距與非等間距變形監測數據處理均具有很好的適應性。

[1] 王衛東，何暉.回歸分析在隧道拱頂沉降監測中的應用[J].科技信息，2011(7): 271-272.

[2] 袁金榮，趙福勇.基坑變形預測的時間序列分析[J].土木工程學報，2001，34(6):55-59.

[3] 潘國榮，王穗輝.深基坑事故隱患的灰色預測[J].同濟大學學報(自然科學版)，1999，27(3):319-322.

[4] 陶津，劉燕，賀可強.神經網絡在深基坑工程變形預測中的應用研究[J].青島理工大學學報，2005，26(6): 39-42.

[5] 高永剛，岳建平，石杏喜.支持向量機在變形監測數據處理中的應用[J]. 水電自動化與大壩監測，2005，29(5):36-39.

[6] 李曉蕾，劉睿，田永瑞，等. 基于灰色預測的空間多點殘差修正模型研究[J]. 大地測量與地球動力學，2010，30(5):125-128.

[7] 霍玉華. 隧道圍巖變形量預測的灰色模型應用比較研究[J]. 北京交通大學學報，2006，30(4):42-45.

[8] 肖智旺，鐘登華. 基于RBF神經網絡算法的連拱隧道圍巖變形預測方法研究[J]. 中國工程科學，2008，10(7):77-81.

[9] 熊志化，張繼承，邵惠鶴. 基于高斯過程的軟測量建模[J].系統仿真學報，2005，17(4):793-794，800.

[10] WILLIAMS C K,RASMUSSEN C E.Gaussian Processes for Regression[J]. Advances in Neural Information Processing Systems,1996,8(6)：514-520.

[11] 蘇國韶，燕柳斌，張小飛，等. 基坑位移時間序列預測的高斯過程方法[J]. 廣西大學學報(自然科學版)，2007，32(2):223-226.

[12] 羅亦泳，姚宜斌，張立亭，等. 基于高斯過程的GPS高程轉換模型[J].測繪通報，2015(11)：11-14.

[13] 劉開云，方昱，劉保國，等. 隧道圍巖變形預測的進化高斯過程回歸模型[J]. 鐵道學報，2011，33(12):101-106.

[14] 徐沖，劉保國，劉開云，等. 基于粒子群-高斯過程回歸耦合算法的滑坡位移時序分析預測智能模型[J]. 巖土力學，2011，32(6):1669-1675.

[15] 何志昆，劉光斌，趙曦晶，等. 高斯過程回歸方法綜述[J]. 控制與決策，2013，28(8):1121-1129，1137.

[16] 李曉磊. 一種新型的智能優化方法——人工魚群算法[D].杭州：浙江大學，2003.

[17] 劉開云，劉保國，徐沖. 基于遺傳-組合核函數高斯過程回歸算法的邊坡非線性變形時序分析智能模型[J]. 巖石力學與工程學報，2009，28(10):2128-2134.

[18] 雷鳴. 基于高斯過程的變形預測算法研究[D].南昌：東華理工大學，2013.

[19] 尹暉，周曉慶，張曉鳴. 非等間距多點變形預測模型及其應用[J]. 測繪學報，2016，45(10):1140-1147.