模擬退火的粒子群BP神經網絡數據處理探討

田建波, 程 喆,陳 于

（1.中國人民解放軍61365部隊,天津 300140；2.中國地質大學（武漢）信息工程學院，湖北 武漢430074；3.中國人民解放軍61175部隊，湖北 武漢430074）

模擬退火的粒子群BP神經網絡數據處理探討

田建波1, 程 喆2,3,陳 于2

（1.中國人民解放軍61365部隊,天津 300140；2.中國地質大學（武漢）信息工程學院，湖北 武漢430074；3.中國人民解放軍61175部隊，湖北 武漢430074）

為了提高監測數據分析與預報的準確性、實時性，提出將模擬退火算法與粒子群BP神經網絡相結合應用于變形監測數據處理中。分別分析了3種方法的原理和計算過程，闡述了新方法的計算步驟，并通過實例說明該方法比傳統的BP神經網絡法擬合和預報效果更好。

模擬退火法；粒子群算法；BP神經網絡；監測數據

BP神經網絡是一種采用誤差反向傳播訓練算法的多層前饋神經網絡，在處理非線性、無規則的問題時具有很強的優越性，廣泛應用于大壩變形預測與安全監控[1,2]、工程變形監測[3]、滑坡位移預測[4,5]和GPS水準高程轉換[6]等領域；但其存在收斂速度慢、輸出結果容易受初始值影響等缺點。針對這些缺點，提出了遺傳模擬退火算法的BP算法[7]、BP網絡優化的并行模擬退火遺傳算法[8]、基于遺傳算法的模糊神經網絡結構和參數優化[9]、基于L-M算法的BP神經網絡分類器[10]、改進激活函數的人工神經網絡[11]等改進方法。粒子群優化算法是一種基于群體智能方法的計算技術，收斂速度快，但精度一般較低；而基于粒子群優化算法的多因子自適應濾波[12]和改進粒子群耦合[13]方法能較好地克服此缺點。模擬退火法是基于模擬固體物質退火過程的優化算法[14,15]，輸出結果質量高但過程時間長。鑒于3種方法的優缺點，本文提出將粒子群優化算法與模擬退火法相結合應用于BP神經網絡中，進行GPS監測數據處理分析，通過與傳統的BP神經網絡對比研究，證明該方法的可行性與實用性。

1 模擬退火的粒子群BP神經網絡預測模型

模擬退火的粒子群BP神經網絡模型在進行變形監測分析時，是以模擬退火法BP神經網絡為基礎，運用粒子群優化算法進行初始權值的計算。

1.1 BP神經網絡

BP神經網絡是基于誤差逆向傳播訓練算法的多層前饋神經網絡，由輸入層、隱含層和輸出層組成。信號正向傳播的輸出值與預定值相比得出誤差，誤差反向傳播訓練糾正神經元的權值和閾值，如此迭代，使誤差逐步減小，直至誤差小于給定值時，學習結束，如圖1所示。其中，W為各個輸入神經元與隱含層神經元以及隱含層神經元與輸出層神經元的連接權；V為各個隱含層以及輸出層神經元的閾值。

圖1 BP神經網絡圖

1.2 粒子群優化算法

粒子群優化算法(PSO)是一種基于群體智能方法的演化計算技術，每個優化問題的可能解都是搜索空間的一個粒子，每個粒子有優化函數決定的適應值，還有決定粒子方向和距離的速度。PSO初始化為一群隨機粒子進行迭代尋優。每次尋優的單個粒子都通過跟蹤當前種群中的最優解和當前“鄰居”中的最優解來更新自己，最終找到最優解。

粒子群優化算法的具體流程為[1]：

1）初始化：在允許的范圍內隨機產生初始粒子的位置x0和速度v0，每個粒子的局部最優解pbest坐標設置為其當前位置，計算出所有個體極值點的適應度值，選取所有個體極值點適應度值中最好的作為全局最優解gbest，gbest坐標設置為最好粒子的當前位置。

2）粒子評價：重新計算粒子的適應度值，如果優于當前粒子個體極值點適應度值，則將pbest設置為該粒子的位置，并更新個體極值點適應度值。如果所有粒子的個體極值點適應度值中最好的優于全局極值，則更新全局極值并將gbest設置為該粒子的位置。

3）更新粒子：

式中，i=1,2,3，…，m，為粒子的總個數；d=1,2,3，…，D，為搜索空間的維數；ω為慣性權重；m1、m2為權重因子；r1、r2為0到1之間的隨機數為第 j次迭代的粒子i位置矢量的第d維分量為第j次迭代的粒子i飛行速度矢量的第d維分量為第j次迭代的粒子i最好個體位置pbest的第d維分量為第j次迭代的粒子群最好位置gbest的第d維分量。

4）檢驗結果：若達到迭代結束的條件(迭代次數達到或迭代誤差小于給定值)則結束迭代，輸出最優解，否則轉到步驟2）。

1.3 模擬退火法

模擬退火法（SA）是基于組合優化問題與固體物質退火過程的相似性,在模擬固體物質退火的過程中尋求最優解[2]。算法具體步驟如下：

1）指定退火法初始溫度T0和當前狀態i。

2）通過擾動產生新狀態j，計算目標函數Fi和Fj，如果Fi＞Fj，接受j為當前溫度的新狀態；否則通過概率判斷是否接受新的狀態：

式中，k為boltzmann常數。

1.4 模擬退火的粒子群BP神經網絡預測模型

針對BP神經網絡的初始連接權初始化效果不一定理想和收斂較慢的實際情況，使用粒子群優化算法優化初始權，模擬退火法代替誤差反向傳播訓練法，提高神經網絡收斂速度和學習能力。具體流程如下：

1）BP神經網絡的構建。將影響變形監測的因素（氣溫、季節、空氣濕度等）作為輸入層神經元，將變形量（水平、垂直位移等）作為輸出層神經元。隱含層神經元的個數一般由式（3）確定：

式中，l為隱含層神經元個數；p為輸入層神經元個數；q為輸出層神經元個數。

2）給定粒子總數m、慣性權重ω、權重因子m1和m2、搜索空間維數D（網絡中所有連接權的個數）、

3）選定輸出層誤差平方和為適應度函數，即

式中，q為輸出層神經元個數(一般為變形量)；y和c分別為實測值和輸出值。

4）隨機初始化連接權為一群粒子，具體編碼格式如下：

粒子位置：X1，X2，X3，…，XD

粒子速度：V1，V2，V3，…，VD

適應度函數：F（x）

5）計算各個粒子的適應度。

6）將每個粒子的適應度和局部最好適應度pbest比較，若超過局部最好適應度pbest，則將該粒子的位置作為局部最好pbest；再將該粒子的適應度與全部最好適應度gbest比較，若超過全局最好適應度gbest，將該粒子作為全局最好gbest。

7）利用式（1）更新粒子的具體位置X和速度V。

8）在解空間進行搜索，如果超過規定的迭代次數或達到預定的精度要求，停止迭代，將最優解gbest作為BP神經網絡的初始權值；否則轉入步驟5）。

9）將輸入和輸出的數據統一進行格式化處理：

10）利用Rand函數進行輸出層和隱含層的閾值V的初始化，所有連接權值已經初始化完畢。初始溫度T0可以隨意給定。

11）BP神經網絡根據已有的輸入樣本、連接權和閾值得出輸出結果，與理想結果相比得出誤差；再進行一次誤差反向傳播訓練法得出新的連接權和閾值。

12）將新的閾值V和連接權W作為模擬退火法在該溫度T0下的初態j[3,4]，新狀態按照柯西分布：

式中，x為0到1之間的隨機數；t為當前溫度。

13）確定能量函數(目標函數)：

式中，y（k）為實際值；o（k）為網絡完成輸出后，執行Metropolis準則并滿足內循環的停止準則，輸出的權值和閾值[5-7]。

14）將輸出權值和閾值作為網絡的新值計算目標函數，如果目標函數與實際值的差滿足精度要求，停止外循環并輸出變形觀測數據的預測值；否則降溫處理轉到步驟12）。

具體流程如圖2所示。

圖2 算法流程圖

圖3 BP神經網絡模擬效果圖

2 算例與分析

選取某大壩2009-05-17～2009-10-19監測數據，分析沿河流方向的位移變形量。將2009-05-17作為基準日，對監測數據坐標、水位和氣溫進行處理，得到相對于基準日的相對坐標、水位和氣溫；確定BP神經網絡輸入層有水位分量、溫度因子、時效因子3類節點，輸出層節點一個，即X方向位移量；分別采用單純的BP神經網絡法和模擬退火的粒子群BP神經網絡進行模擬，效果如圖3、圖4所示。

新方法的模擬效果要明顯優于單純的BP神經網絡方法；再分別利用2種方法對2009-10-12～2009-10-19的變形量進行預報（見表1）。

圖4 模擬退火的粒子群BP神經網絡模擬效果圖

表1 模擬退火的粒子群BP神經網絡與單純BP神經網絡預報值對比分析表/mm

由表1可知，模擬退火的粒子群BP神經網絡預報值殘差要明顯小于單純BP神經網絡殘差，預報值更準確。

3 結 語

本文提出模擬退火的粒子群BP神經網絡，將模擬退火法、粒子群法和BP神經網絡結合起來，經過實例驗算證明其預測效果優于單純的BP神經網絡法。該方法對于提高GPS監測數據處理分析的速度與靈敏度具有實際意義。

[1] 李捷斌, 孔令杰． 基于Kalman濾波的BP神經網絡方法在大壩變形預測中的應用[J]． 大地測量與地球動力學, 2009, 29(4): 124-128

[2] 蘇懷智, 吳中如, 溫志萍，等． 基于模糊聯想記憶神經網絡的大壩安全監控系統建模研究[J]． 武漢大學學報：工學版, 2001, 34(4): 21-25

[3] 劉祖強, 張正祿． 工程變形監測分析預報的理論與實踐[M]．北京：中國水利水電出版社，2008

[4] 彭令, 牛瑞卿, 趙艷南，等． 基于核主成分分析和粒子群優化支持向量機的滑坡位移預測[J]． 武漢大學學報：信息科學版, 2013, 38(2): 148-154

[5] 武雪玲, 任福, 牛瑞卿． 多源數據支持下的三峽庫區滑坡災害空間智能預測[J]． 武漢大學學報：信息科學版, 2013, 38(8): 963-969

[6] 王殊偉, 李斐, 柯寶貴，等． 基于BP神經網絡算法的GPS水準高程轉換[J]． 武漢大學學報：信息科學版, 2009, 34(10): 1 190-1 195

[7] 張世龍, 唐雅娜． 基于遺傳模擬退火算法的BP算法研究[J]．現代計算機, 2007(2): 30-33

[8] 劉月娥, 何東健, 李崢嶸． 一種用于BP網絡優化的并行模擬退火遺傳算法[J]．計算機應用, 2006, 26(1): 204-207

[9] 周志堅, 毛宗源． 一種基于遺傳算法的模糊神經網絡結構和參數優化[J]． 華南理工大學學報：自然科學版, 1999, 27(1): 26-33

[10] 王建梅, 覃文忠． 基于L-M算法的BP神經網絡分類器[J]．武漢大學學報：信息科學版, 2005, 30(10): 928-932

[11] 胡耀垓, 李偉, 胡繼明． 一種改進激活函數的人工神經網絡及其應用[J]． 武漢大學學報：信息科學版, 2004, 29(10): 916-920

[12] 聶建亮, 程傳錄, 郭春喜，等． 基于粒子群優化算法的多因子自適應濾波[J]． 武漢大學學報：信息科學版, 2013, 38(2): 136-140

[13] 王偉, 沈振中． 大壩統計預警模型的改進粒子群耦合方法[J]．武漢大學學報：信息科學版, 2009, 34(8): 987-992

[14] 范千, 許承權．單純形—模擬退火混合算法及其在參數估計中的應用[J]． 地理空間信息, 2005， 3(3): 57-59

[15] 胡山鷹, 陳丙珍, 何小榮，等．非線性問題全局優化的模擬退火法[J]． 清華大學學報：自然科學版, 1997, 37(6): 5-9

P258

B

1672-4623（2014）03-0069-04

10.11709/j.issn.1672-4623.2014.03.022

田建波，碩士，高級工程師，研究方向為GNSS數據處理與應用。

2014-01-20。

項目來源：湖北省自然科學基金資助項目（2011CDB350）。