一種基于遺傳算法的極限學習機改進算法研究

王新環　劉志超

摘 要：針對傳統極限學習機（ELM）缺乏有效的訓練方法、應用時預測精度不理想這一弱點，提出了一種基于遺傳算法（GA）訓練極限學習機（GA-ELM）的方法。在該方法中，ELM的輸入權值和隱藏層節點閾值映射為GA的染色體向量，GA的適應度函數對應ELM的訓練誤差；通過GA的遺傳操作訓練ELM，選出使ELM網絡誤差最小的輸入權值和閾值，從而改善ELM的泛化性能。通過與ELM、I-ELM、OS-ELM、B-ELM4種方法的仿真結果對比，表明遺傳算法有效地改善了ELM網絡的預測精度和泛化能力。

關鍵詞：遺傳算法；極限學習機；權值；閾值

DOI：10.11907/rjdk.171419

中圖分類號：TP312 文獻標識碼：A 文章編號：1672-7800（2017）009-0079-04

Abstract：In order to improve the prediction accuracy of traditional Extreme Learning Machine （ELM） algorithm. Aim to overcome the lack of effective training methods for traditional extreme learning machine （ELM）， the prediction accuracy is not ideal .We proposed a method which based on genetic algorithm （GA） training Extreme Learning Machine. In this method， the initial input weights and threshold vector of ELM maps to the chromosome vector of GA， and the fitness function of GA corresponds to the training error of ELM；By means of the GA to train ELM， improve the ELMs generalization capacity. Comparing the simulation results of GA-ELM with ELM， I-ELM， OS-ELM， B-ELM， the simulation results show that the genetic algorithm can effectively improve the prediction accuracy and generalization ability of ELM network.

Key Words：genetic algorithm； extreme learning machine； weight

0 引言

Huang G B等[1] 于 2006 年在傳統神經網絡的基礎上，提出了極限學習機（Extreme Learning Machine，ELM）算法，它屬于單隱藏層前饋神經網絡（SLFNs），具有自適應能力和自主學習特點，主要應用于圖像分割、故障診斷、數據挖掘自動控制等領域[2-4]。該算法通過對單隱藏層前饋神經網絡的輸入權值和隱藏層節點的閾值隨機賦值，用最小二乘法求解得到輸出權值，極大提高了網絡訓練速度和泛化能力[5-6]。但是，在解決梯度下降問題時，隨機產生網絡的輸入權值和隱藏層節點的閾值向量參數不能保證訓練出的ELM模型達到最優，有收斂速度慢等問題。針對這些問題，陳紹煒等[7]提出利用蝙蝠算法優化ELM，王杰等[8]提出了粒子群優化的極限學習機，張衛輝等[9]提出了DE-ELM，這些方法都有可能出現早熟，陷入局部最優。

遺傳算法（genetic algorithm，GA）是模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種基于概率轉換規則的全局搜索優化方法[10]。它將問題的解看作一個種群，通過不斷選擇、交叉、變異等遺傳操作，使解的質量越來越好[11]。

為了提高ELM算法的預測準確率，本文提出了一種基于遺傳算法的極限學習機。在可行解空間，把遺傳算法優化極限學習機初始權值和閾值的問題，轉化為遺傳算法中選擇最適應染色體過程。將本算法與其它幾個算法如ELM、I-ELM、OS-ELM、B-ELM，分別對回歸和分類問題進行仿真，以驗證GA-ELM運行效果的準確性。

1 極限學習機

極限學習機（ELM）是一種新的學習算法，它是一種單隱藏層前饋神經網絡學習算法。相比傳統的基于梯度的學習算法，只需隨機選取輸入權值和隱藏層節點的閾值即可求出輸出權值，避免了傳統學習方法面臨的問題。ELM學習速度快且泛化性能好，其網絡結構如圖1所示。

給定訓練集{（xi，ti）}Ni=1Rn×Rm，隱藏層節點激勵函數g（·）是非線性函數，有Hardlim函數、Sigmoid函數、Gaussian函數等，其中Sigmoid函數最為常用，隱藏層節點個數為L。

（1）隨機選取隱藏層節點參數（ai，bi），i=1，…，L，ai為第i個隱藏層節點的輸入權值，bi為第i個隱藏層節點閾值。

（2）計算隱藏層節點輸出矩陣H=g（ai，bi，xi）。H=h（x1）

h（xn）=g（a1，b1，x1）…g（aL，bL，x1）

…

g（a1，b1，xn）…g（aL，bL，xn）n×L

（1） （3）計算隱藏層到輸出層的輸出權值β：β=H↑·T，β=βT1

βTLL×m，T=tT1

tTnn×mendprint

（2） 式中：H↑是隱藏層輸出矩陣H的Moore-Penrose廣義逆，T為目標輸出，即T={tj}nj=1。

（4）計算輸出值Oj。

當訓練到誤差（|Oj-Tj|）小于預先設定的常數ε時，ELM能夠接近這些訓練樣本： Oj=∑Li=1βig（ai，bi，xi），|Oj-Tj|≤ε，j=1，…，n （3） （5）求取誤差：E（ai，bi）=∑nj=1（Oj-Tj）2

（4） 其中，（ai，bi）分別為隱藏層節點輸入權值、閾值， Tj是第j組數據的輸出實際值，Oj是第j組數據輸出預測值。GA-ELM的目標是使誤差E（ai，bi）最小。該方法的主要思想是：把ELM的初始輸入權值和隱藏層節點閾值作為GA算法的染色體向量，通過選擇、交換、變異、遺傳等操作，選擇出最適應染色體作為ELM預測數據的輸入權值和閾值。

2 遺傳算法（GA）

遺傳算法是Holland教授于1975年提出的一種模擬自然界遺傳機制和生物進化論的搜索全局最優解算法。GA把搜索空間映射為遺傳空間，把可能的解編碼成一個向量——染色體，向量的每個元素稱為基因，通過不斷計算各染色體的適應值，選擇最好的染色體獲得最優解。遺傳算法執行過程如下：

（1）初始化。確定種群規模M，隨機生成M個染色體作為初始種群Y（0）、交叉概率Pc、變異概率Pm、終止進化代數N。

（2）計算個體適應度。計算第t代種群Y（t）中每個染色體的適應度。設種群為f（y），y∈M，其中M={y1，…，ym}， yi={x1，…，xm}，每個染色體含m個基因，則f（y）=y1

yM=x11…x1m

…

xM1…xMm

（5） 適應度函數為fit（y），y∈{y1，…，yM}，求取fit（y）函數時，假設為優化神經網絡，則fit（yi）=1n∑nj=1（Oj-Tj）2

（6） 其中：Oj為第j個預測輸出值；Tj為實際輸出值；n為輸入數據總數。

（3）進化。選擇（母體）：從Y（t）中運用選擇算子選擇出L對母體L≥M；交叉：隨機選擇L2對染色體（雙親染色體），當其中一個染色體概率小于Pc時，隨機制定一點或多點進行交叉，可得兩個新的染色體（子輩染色體），最后形成L個中間個體；變異：對L個中間個體分別依概率Pm執行變異，形成M個候選個體。

（4）選擇子代。從上述種群中形成的L個候選個體中選擇適應度高的M個染色體，形成新一代種群Y（t+1），選擇方法是適應度比例法（轉輪法）。

某染色體被選的概率為Pc：Pc=fit（yi）∑fit（yi）

（7） yi為種群中第i個染色體，fit（yi）是第i個染色體的適應度值，∑fit（yi）是種群所有染色體適應度值之和。

具體步驟如下：①計算各染色體適應度值；②累計所有染色體適應度值，記錄中間累加值S-mid和最后累加值sum=∑fit（yi）；③產生一個隨機數N，0

（5）終止進化。當達到進化代數N時，終止進化，選擇出第N代中適應度最高的染色體作為最優解。targetvalue=max{fit（yi）}（8） 遺傳算法流程如圖2所示。

3 GA-ELM算法

為提高極限學習機預測精度，本文提出了基于遺傳算法的極限學習機（GA-ELM）。在該算法中，將ELM訓練數據的輸入權值和隱層節點閾值，映射為GA種群中每條染色體上的基因；GA的染色體適應度對應于ELM的訓練誤差，這樣將求取最優輸入權值、閾值問題轉換為通過降低染色體適應度，選擇最優染色體問題。通過GA繁殖、交叉、變異等遺傳操作，選擇出最優染色體，作為優化后ELM的輸入權值和閾值；再用ELM求取輸出權值的方法——最小二乘法，算出隱層神經元的輸出權值，從而計算預測輸出。該算法集成了GA全局搜索最優能力和ELM的強學習能力。

GA-ELM學習過程：

取訓練數據N，該組數據有輸入神經元A個，隱層神經元B個，選擇激活功能函數，可以取Hardlim函數、Sigmoid函數、Gaussian函數等。

（1）初始化種群。初始化種群X，包括m個染色體，其中每個染色體xi都包括A·B個輸入權值和B個閾值，并把初始群體作為第一代種群：X=x1

xm=a11…a1Ab11…b1B

……

am1…amAbm1…bmB

（9） 其中：akg為輸入權值；bkh為隱層神經元閾值，初始群體中的權值和閾值是隨機獲取的。k=1，2，…，m；g=1，2，…，A；h=1，2，…，B （2）計算適應度。xi由輸入權值向量ωi和閾值向量bi組成：xi=ωi+bi；ωi=ai1，…，aiA；bi=bi1，…，biB

（10） 用ELM求輸出權值的方法求隱層神經元輸出權值β：β=H+T

（11） 則適應度函數fit為：fit=∑nj=1（Oj-Tj）2=∑Nj=1∑Bi=1（βig（ai，bi，xi）-Ti）2

（12） （3）選擇染色體。計算出每個染色體的適應度后，對種群進行選擇、交叉、變異等操作，形成新一代種群。繼續進行優化運算，直至達到設定的遺傳代數，選出此時適應度最高的染色體作為優化后的輸入權值和閾值。

4 實驗結果與分析

為了驗證GA-ELM算法的有效性，將GA-ELM與ELM、I-ELM、OS-ELM、B-ELM分別應用于5個回歸問題、5個分類問題，進行仿真測試及結果分析。仿真實驗環境：內存4G，處理器為Core i5-3470，頻率為3.2GHz的普通PC機，matalb2013a環境下運行。endprint

4.1 實驗參數設置

以下實驗中，所有回歸和分類問題的輸入都歸一化到[-1，1]，權值和閾值在區間[-1，1]，輸出歸一化為[0，1]，隱層神經元激勵函數采用Sigmoid函數，遺傳算法的進化代數為50代，交叉概率為0.4，變異概率為0.1，種群規模為40。

4.2 仿真數據屬性及設置

測試數據在UCI（University of CaliforniaIrvine）數據庫中下載。表1列出了回歸數據屬性，表2列出了分類數據屬性。每種算法運行100次，取其平均訓練時間、平均誤差和平均精度，仿真結果如表3、表4所示。

結果分析：從表3可以看出，所有回歸試驗中，在相同隱層神經元情況下，GA-ELM的測試誤差遠遠小于其它算法誤差。這是因為在原始的ELM中，一些隱層節點在求網絡輸出時作用很小，有時還有可能增加網絡的復雜性，降低泛化性能。表4中，每組數據在相同隱層節點情況下，GA-ELM的測試精度均達到最高。

4.3 隱層節點數目性能比較

將 GA-ELM、ELM、OS-ELM、I-ELM、B-ELM等SLFNs的隱層節點數初始設置為1個，每次加1，直到50個為止。測試結果如圖3和圖4所示。圖3取Concrete數據，圖4取Balance數據。

結果分析：從圖3可以看出，GA-ELM在很少隱層節點的情況下，誤差已經很小，表明經過GA訓練得到了使ELM網絡誤差最小的輸入權值和閾值，提高了收斂速度。從圖4可以看出，在相同測試精度情況下，GA-ELM的隱層節點數比其它算法少很多，這意味著在處理固定型SLFNs時，GA-ELM比ELM、I-ELM、OS-ELM、B-ELM能獲得更加緊湊的網絡結構。簡言之，GA-ELM在解決回歸和分類問題時，可以更好地提高測試精度。

5 結語

本文提出了一種新的單隱層前饋神經網絡算法GA-ELM，與其它算法的仿真結果對比表明，無論在回歸問題還是分類問題上，GA-ELM都具有高預測精度。與其它算法不同的是，GA-ELM具有自組織、自適應、自學習性，能夠迅速搜索到最優權值和閾值，使ELM的網絡模型更加緊湊，計算代價更低，更適用于離線訓練、在線識別或預測等對精度要求較高的場合。

參考文獻：

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications [J].Neurocomputing， 2006，70（s1-3）：489-500.

[2] FENG GUORUI， LAN YUAN， ZHANG XINPENG， et al. Dynamic adjustment of hidden node parameters for extreme learning machine [J]. IEEE Transactions On Cybernetics， 2015，5（2）：279-288.

[3] HUANG GUANG-BIN， ZHOU HONGMING. Extreme learning machine for regression and multiclass classification [J]. IEEE Transactions On Systems， Man， and Cybernetics-Part B： Cybernetics， 2012，42（2）：513-529.

[4] LIN SHAOBO， LIU XIA， FANG JIAN. Is extreme learning machine feasible？a theoretical assessment（Part II）[J]. IEEE Transactions On Neural Networks And Learning Systems， 2015，26（1）：21-34.

[5] YOAN MICHE， ANTTI SORJAMAA， PATRICK BAS， et al. OP-ELM： optimally pruned extreme learning machine [J]. IEEE Transactions On Neural Networks， 2010，21（1）：158-162.

[6] ALIM SAMAT， PEIJUN DU， SICONG LIU，et al. Ensemble extreme learning machines for hyperspectral image classification [J]. IEEE Journal Of Selected Topics In Applied Earth Observations And Remote Sensing，2014， 7（4）：1060-1068.

[7] 陳紹煒，柳光峰，冶帥，等.基于蝙蝠算法優化ELM的模擬電路故障診斷研究[J].電子測量技術，2015，38（2）：138-141.

[8] 王杰，畢浩洋.一種基于粒子群優化的極限學習機[J].鄭州大學學報，2013，45（1）：100-104.

[9] 張衛輝，黃南天.基于廣義S變換和DE-ELM的電能質量擾動信號分類[J].電測與儀表，2016，53（20）：50-54.

[10] YANG CHENG-HONG， LIN YU-DA， LI-YEH CHUANG， et al. Evaluation of breast cancer susceptibility using improved genetic algorithms to generate genotype SNP barcodes [J].IEEE/ACM Transactions On Computational Blology And Bioinformatics，2013，10（2）：361-371.

[11] CHEN BILI， ZENG WENHUA， LIN YANGBIN， et al. A new local search-based multiobjective optimization algorithm[J].IEEE Transactions On Evolutionary Computation，2015，19（1）：50-73.

（責任編輯：杜能鋼）endprint