極限學習機在湖庫總磷、總氮濃度預測中的應用

崔東文

(云南省文山州水務局，云南文山 663000)

氮、磷是引起水體富營養化和水華的主導性因子，也是湖庫營養狀態評價、污染物排放總量控制的重要性指標。湖庫氮(N)、磷(P)等營養物質的大量增加，總是伴隨著水體富營養化，甚至水華現象的發生［1］。因此準確預測湖庫中的N、P 濃度對預防水體富營養化具有重要現實意義。近年來，人工神經網絡(artifical neural network，ANN)廣泛運用于水質預測研究領域，如水體礦化度的預測［2］、河湖水華預測［3-5］、河流BOD-DO 模擬預測［6］、湖庫葉綠素預測［7］、水質指標預測［8］等，均取得了較好效果。然而傳統BP 人工神經網絡模型存在著學習收斂速度慢、易陷入局部極值以及網絡結構難以確定等缺點，為克服其算法的不足，學者們提出基于附加動量、自適應調整參數、彈性方法、擬牛頓法、共軛梯度法以及Levenberg-Marquardt 等的改進算法［9-10］，但在實際應用中仍不夠完善，不能完全克服BP 算法固有的缺陷。針對傳統BP 算法固有的缺陷，目前普遍采用遺傳算法對BP 網絡結構、網絡權值和閾值進行優化［9］。遺傳算法(genetic algorithm，GA)雖然具有良好的全局優化性能，與BP 網絡相結合，能夠較好地對網絡的權值、閾值進行尋優，使網絡性能得到較大改善，避免局部極值等問題［11］。然而，GABP 算法同樣面臨著復雜的參數選取和編碼等問題。徑向基函數算法(radia basis function，RBF)雖然有著良好的非線性逼近能力和精度，但隱含層神經元中心的選取是制約其精度提高的主要因素。極限學習機(extreme learning machine，ELM)是文獻［12-18］提出的一種新型單隱層前向神經網絡(singlehidden layer feedforward neural network，SLFN)，ELM算法隨機產生輸入層與隱含層間的連接權值及隱含層神經元閾值，且在訓練過程中無需調整，只需要設置隱含層神經元的個數，便可以獲得唯一的最優解。與傳統的訓練方法相比，該方法具有學習速度快、泛化性能好等優點。

本文基于ELM 算法基本原理，以云南省某水庫為例，采用SPSS 軟件分析TP、TN 質量濃度與環境因子的相關性，選取NH3-N、NO-2-N、NO-3-N、CODMn質量濃度和水體透明度作為網絡輸入，TP、TN 質量濃度作為輸出，構建基于ELM 的湖庫TP、TN 質量濃度預測模型，并構建傳統BP、GA-BP、RBF 人工神經網絡模型作為對比預測模型進行比較，為湖庫TP、TN 質量濃度預測探尋新的方法和途徑。

1 極限學習機概述

給定一個輸入層含有n 個輸入變量、隱含層有l個神經元、輸出層有m 個神經元的典型SLFN 網絡。不失一般性，設輸入層與隱含層間的連接權值為ω，隱含層與輸出層間的連接權值為β，隱含層神經元閾值為b，則ω、β 和b 分別為:

式中:ωij表示輸入層第i 個神經元與隱含層第j 個神經元間的連接權值;βjk表示隱含層第j 個神經元與輸出層第K 個神經元間的連接權值;b 為隱含層神經元閾值。

設該網絡具有Q 個樣本的訓練集輸入矩陣X和輸出矩陣Y 分別為:

給定隱含層神經元激勵函數g(x)，則網絡輸出T 為:

式中:j=1，2，…，Q;ωi=［ωi1，ωi2，…，ωin］，xj=［x1j，x2j，…，xnj］T。

式(3)可表示為

其中，T'為矩陣T 的轉置;H 稱為神經網絡的隱含層輸出矩陣，具體形式為式(5)所示:

Huang 等在前人研究的基礎上，提出并證明了以下兩個定理［12-18］，為ELM 的應用提供了理論基礎。

定理1 給定任意Q 個不同樣本(xi，ti)，其中xi=［xi1，xi2，…，xin］T∈Rn，ti=［ti1，ti2，…，tim］∈Rm，一個任意區間無限可微的激活函數g:R→R，則對于具有Q 個隱含層神經元的SLFN，在任意賦值ωi∈Rn和bi∈Rn的情況下，其隱含層輸出矩陣H 可逆且‖Hβ-T'‖=0。

定理2 給定任意Q 個不同樣本(xi，ti)，其中xi=［xi1，xi2，…，xin］T∈Rn，ti=［ti1，ti2，…，tim］∈Rm，給定任意小誤差ε(ε ＞0)和一個任意區間無限可微的激活函數g:R→R，則總存在一個含有K(K≤Q)個隱含層神經元的SLFN，在任意賦值ωi∈Rn和bi∈Rn的情況下，有‖HN×MβM×m-T'‖≤ε。

由定理1 可知，若隱含層神經元個數與訓練集樣本個數相等，則對于任意ω 和b，都可以以零誤差逼近訓練樣本，即

其中，yi=［y1j，y2j，…，ymj］T， j=1，2，…，Q。

在實際應用中，當訓練樣本數Q 較大時，為減少計算量和保證網絡的泛化能力，通常隱含神經元數K 的取值要比Q 小。

由此可知，當激活函數g(x)無限可微時，ELM的參數網絡參數無需全部調整，ω 和b 在訓練前可以隨機選擇，且在訓練過程中保持不變。而隱含層與輸出層間的連接權值β 可以通過求解以下方程組的最小二乘解獲得:

其解為

式中:H+為隱含層輸出矩陣H 的Moore-Penrose 廣義逆。

ELM 學習算法主要有以下幾個步驟［19］:①確定隱含層神經元個數，隨機設定輸入層與隱含層間的連接權值ω 和隱含層神經元的偏置b;②選擇一個無限可微的函數作為隱含層神經元的激活函數，進而計算隱含層輸出矩陣H;③計算輸出層權值^β。

2 實例分析

2.1 基本資料與相關分析

以云南省某水庫TP、TN 質量濃度預測為例進行實例分析。依據GB 3838—2002《地表水環境質量標準》，選取水位、庫容等14 項可能對TP、TN 質量濃度產生影響的評價因子，采用SPSS 軟件計算統計數據的相關系數，分析TP、TN 濃度與環境因子的相關性，分析結果見表1。

從表1 可以看出，ρ(TP)與水溫、ρ(NH3-N)、ρ(CODMn)和水體透明度顯著相關，其中與水溫、ρ(NH3-N)、ρ(CODMn)呈顯著正相關，與水體透明度呈顯著負相關;與水位等無顯著相關。ρ(TN)與庫容、ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)和水體透明度顯著相關，其中與庫容、ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)呈顯著正相關，與透明度呈顯著負相關;與水位等無顯著相關。

本文選用2007—2011 年某水庫相關數據建模，選取ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)和水體透明度作為網絡輸入，ρ(TP)、ρ(TN)作為輸出。按月統計，共獲得60 組數據，并以2007—2010 年48組數據作為網絡訓練樣本，以2011 年12 組數據作為網絡預測樣本。

2.2 TP、TN 預測的實現

2.2.1 數據處理

由于水質預測影響因子具有不同的物理意義和不同的量綱及數量級，因此，在網絡訓練前要先對于原始數據進行歸一化處理。表1 中，ρ(NH3-N)、ρ(NO2-N)、ρ(NO3-N)、ρ(CODMn)與ρ(TP)、ρ(TN)呈顯著正相關，采用最大最小法進行數據歸一化處理，公式如下:

水體透明度與ρ(TP)、ρ(TN)呈顯著負相關，采用如下公式進行數據歸一化處理:

式中:^x 為經過標準化處理的數據，x 為原始數據，xmax和xmin分別為數據序列中的最大數和最小數。經過標準化處理后，數據處于0 ～1 范圍之內，有利于網絡訓練。

2.2.2 性能評價

選用決定系數R2和平均相對誤差絕對值MPE兩個評價指標對ELM 以及傳統BP、GA-BP、RBF 神經網絡模型進行評價，并選用最大相對誤差作為參考指標。決定系數R2范圍在［0，1］內，愈接近1，表明模型性能越好;平均相對誤差絕對值MPE 與最大相對誤差越小，表明模型的性能越好。

評價指標計算公式如下:

表1 ρ(TP)、ρ(TN)與環境因子的相關系數

2.2.3 網絡訓練

筆者基于MATLAB 環境，創建及訓練ELM 以及傳統BP、GA-BP 和RBF 神經網絡模型對湖庫TP、TN 進行預測。以NH3-N、NO-2-N、NO-3-N、CODMn質量濃度和水體透明度作為網絡輸入向量，即輸入層神經元數為5 個;以TP、TN 質量濃度作為輸出向量，即輸出層的神經元數為2 個，構建5 輸入2 輸出的預測模型。

圖1 隱含層神經元個數對ELM 性能的影響

傳統BP 神經網絡模型采用目前較為普遍的Kolmogorv 定理［9-11］確定隱含層神經元數，利用逐步增長或逐步修剪法確定最終神經元數為7，預測模型結構為5-7-2，隱含層和輸出層傳遞函數分別采用logsig 和purelin，訓練函數采用traingdx，期望誤差為0.002 2，最大訓練輪回為8 000 次時網絡達到了較好的預測精度。GA-BP 網絡模型結構為5-20-2，隱含層和輸出層傳遞函數分別采用tansig 和purelin，訓練函數采用trainlm，期望誤差為0.001 5，最大訓練輪回為1 000 次，種群規模為50，進化次數為200 次，交叉概率為0.4，變異概率為0.09 時網絡達到了較好的預測精度。RBF 神經網絡人為調節的參數少，只有1 個閾值，程序采取循環訓練算法，最終確定RBF 神經網絡的SPREAD 和期望誤差分別為1 和0.0018 時，網絡達到較佳預測效果。

2.3 TP、TN 預測結果及分析

利用上述訓練好的ELM、傳統BP、GA-BP 和RBF 神經網絡預測模型對某水庫TP、TN 質量濃度進行預測。預測結果見表3、表4。

分析表3、表4 可以得出以下結論:①從決定系數R2上看，對于TP 質量濃度的模型預測精度(由高到低，下同)依次是:ELM、GA-BP、RBF 和傳統BP，其數值分別為0.9131，0.9119，0.9037，0.8898;對于TN質量濃度的預測精度依次是:GA-BP、ELM、RBF 和傳統BP，其數值分別為0.939 7，0.939 5，0.934 9，0.9020，從平均相對誤差MPE 上看，對于TP 質量濃度的預測精度依次是:ELM、RBF、傳統BP 和GA-BP，分別為19.608 6%，21.025 9%，22.090 1%，22.8598%;對于TN 質量濃度，預測精度依次是:ELM、GA-BP、RBF 和傳統BP，其數值分別為13.458 5%，14.910 0%，15.505 0%，17.818 8%。從最大相對誤差上看，對于TP 質量濃度的預測精度依次是:GABP、傳統BP、ELM 和RBF;對于TN 質量濃度的預測精度依次是:ELM、RBF、GA-BP 和傳統BP。綜合比較而言，ELM 模型預測精度高于傳統BP 和RBF 網絡模型，甚至略高于GA-BP 模型的預測精度。②從模型結構、參數選擇及訓練時間上比較，ELM 模型具有較大的優勢，其參數選擇簡便，訓練速度快(運行時間與RBF 相當)，不會陷入局部最優值等優點，較傳統BP 神經網絡的性能有著較大的提高。③從某湖庫TP、TN 質量濃度預測結果上看，ELM 模型預測精度高，泛化能力好，表明研究建立的ELM 湖庫TP、TN 質量濃度預測模型是合理可行和有效的，可為湖庫TP、TN 質量濃度預測預報提供新的途徑和方法。④由于TP 與NO-2-N 和NO-3-N質量濃度相關性并不顯著，這在一定程度上影響了TP 質量濃度的預測精度，從表3 與表4 可以看出，無論從決定系數R2還是從平均相對誤差MPE 上看，TP 的質量濃度預測效果均不如TN 的。

表2 隱含層神經元個數對ELM 性能的影響

表3 某水庫TP 質量濃度預測結果及其模型比較

表4 某水庫TN 質量濃度預測結果及其模型比較

3 結 語

相比傳統的SLFN 學習算法，ELM 在訓練過程中具有調節參數少、學習速度快、泛化能力強、預測精度高，且不存在局部極小值等優點。本文構建了基于ELM、傳統BP、GA-BP、RBF 人工神經網絡模型的湖庫TP、TN 質量濃度預測模型，并對各預測模型進行比較分析，結果表明，ELM 網絡模型在多輸入、多輸出的水質預測中獲得了令人滿意的預測效果，其預測精度直逼GA-BP 模型，可以預見，ELM 神經網絡模型將愈來愈廣泛地應用于各行業、各領域中。

［1］舒金華.我國主要湖泊富營養化程度的評價［J］.海洋與湖沼，1993，24 (6):616-620. (SHU Jinhua.Assessment of eutrophication in main lakes of China［J］.Oceanologia Et Limnologia Sinica，1993，24(6):616-620.(in Chinese))

［2］金菊良，王文圣，洪天求，等.流域水安全智能評價方法的理論基礎探討［J］.水利學報，2006，37(8):918-925.(JIN Juliang，WANG Wensheng，HONG Tianqiu，et al.Theoretical basis of intelligent evaluation methods of watershed water security ［J］. Journal of Hydraulic Engineering，2006，37(8):918-925.(in Chinese))

［3］鄧大鵬，劉剛，李學德，等.基于神經網絡簡單集成的湖庫富營養化綜合評價模型［J］. 生態學報，2007，27(2):725-731. (DENG Dapeng，LIU Gang，LI Xuede，et al. A model based on simple ensemble of neural networks for comprehensive eutrophication assessment of lake and reservoir［J］. The Journal of Ecology，2007，27(2):725-731. (in Chinese))

［4］陳安，羅亞田.人工神經網絡方法在環境科學領域應用進展［J］重慶環境科學，2003，25(9):65-70. (CHEN An，LUO Yatian. Artificial neural network method in environmental science field application progress［J］.Chongqing Environmental Science，2003，25(9):65-70.(in Chinese))

［5］任黎，董增川，李少華.人工神經網絡模型在太湖富營養化評價中的應用［J］. 河海大學學報:自然科學版，2004，32(2):147-150. (REN Li，DONG Zengchuan，LI Shaohua. Application of artificial neural network model to assessment of Taihu Lake eutrophication［J］. Journal of Hohai University:Natural Science，2004，32(2):147-150.(in Chinese))

［6］韓濤，李懷恩，彭文啟.基于MATLAB 的神經網絡在湖泊富營養化評價中的應用［J］水資源保護，2005，21(1):24-26. (HAN Tao，LI Huaien，PENG Wenqi.Application of neural network based on MATLAB toolbox to the evaluation of lake eutrophication［J］. Water Resources Protection，2005，21(1):24-26.(in Chinese))

［7］吳利斌，尚士友，岳海軍，等.利用模糊神經網絡對湖泊富營養化程度進行評價的研究［J］.內蒙古農業大學學報，2004，25(4):67-70. (WU Libin，SHANG Shiyou，YUE Haijun，et al. Study on evluation of eutrophication of lakes based on fuzzy neural network［J］. Journal of Inner Mongolia Agricultural University，2004，25(4):67-70.(in Chinese))

［8］曾光明，盧宏瑋，金相燦，等.洞庭湖水體水質狀況及運用小波神經網絡對營養狀態的評價［J］. 湖南大學學報:自然科學版，2005，32 (1):91-94. (ZENG Guangming，LU Hongwei，JIN Xiangcan，et al.Assessment of the water quality and nutrition of the dongting lake with wavelet neural network［J］. Journal of Hunan University:Natural Science，2005，32(1):91-94(in Chinese))

［9］樓文高.湖庫富營養化人工神經網絡評價模型［J］.水產學報，2001，25 (5):474-478. (LOU Wengao.Eutrophication assessment model using artificial neural networks for lakes and reservoirs［J］. Journal of Fisheries of China，2001，25(5):474-478.(in Chinese))

［10］VLADIMIR N. V. 統計學習理論的本質［M］. 張學工，譯.北京:清華大學出版社，2000.

［11］李正最，謝悅波.洞庭湖富營養化支持向量機評價模型研究［J］. 人民長江，2010，41 (10):75-78. (LI Zhengzui，XIE Yuebo. Study on eutrophication evaluation model of Dongting Lake based on SVM［J］. Yangtze River，2010，41(10):75-78.(in Chinese))

［12］王貴作，任立良，王斌，等.基于投影尋蹤的湖泊富營養化程度評價模型［J］.水資源保護，2009，25(5):14-18.(WANG Guizuo，REN Liliang，WANG Bin，et al. Lake eutrophication evaluation model based on projection pursuit method［J］.Water Resources Protection，2009，25(5):14-18.(in Chinese))

［13］崔東文.幾種神經網絡模型在湖庫富營養化程度評價中的應用［J］. 水資源保護，2012，25(5):12-18. (CUI Dongwen.Applications of several neural network models to eutrophication evaluation of lakes and reservoirs［J］.Water Resources Protection，2012，25(5):12-18. (in Chinese))

［14］田景文，高美娟.人工神經網絡算法研究及應用［M］.北京:北京理工大學出版社，2006.

［15］施彥，韓力群，廉小親.神經網絡設計方法與實例分析［M］.北京:北京郵電大學出版社，2009.

［16］MATLAB 中文論壇.MATLAB 神經網絡30 個案例分析［M］.北京:北京航空航天大學出版社，2010.

［17］史峰，王輝，郁磊，等.MATLAB 智能算法30 個案例分析［M］.北京:北京航空航天大學出版社，2011.

［18］SL395—2007 地表水資源質量評價技術規程［S］.

［19］雷德明，嚴新平.多目標智能優化算法及其應用［M］.北京:科學出版社，2009.