用模糊積分集成重復訓練極限學習機的數據分類方法

翟俊海，張素芳，周昭一

1(河北大學 數學與信息科學學院 河北省機器學習與計算智能重點實驗室 ， 河北 保定 071002)

2(中國氣象局氣象干部培訓學院河北分院， 河北 保定 071000)

1 引 言

由于ELM具有學習速度快，泛化能力強的特點，所以引起了機器學習和數據挖掘領域研究人員的廣泛關注，已成為這兩個領域的研究熱點.從模型的角度，ELM是針對單隱含層前饋神經網絡訓練而提出的算法，近幾年隨著深度學習的盛行，研究人員將深度學習的思想引入到了ELM中，提出了多層ELM[4]、局部感受域ELM[5]和深度ELM[6].將深度學習和ELM相結合最早出現在文獻[6]中，其主要貢獻是提出了ELM自動編碼器(ELM autoencoder，ELM-AE).其他的深度ELM模型大多都是在ELM-AE的基礎上提出的.例如，Tissera等人[7]通過約束感受域機制選擇無訓練的輸入權，提出了一種改進的ELM-AE.基于表示學習[8]，Ding等人[9]提出了一種無監督極限學習機.Zhou等人[10]通過將一個大的ELM網絡劃分成多個子ELM網絡，提出了堆疊ELM.

圖1 具有特殊結構的單隱含層前饋神經網絡Fig.1 Single-hidden layer need-forward neural networks with special structure

眾所周知，利用大數據訓練深度學習模型，可提高深度學習模型的泛化能力[11].最近幾年，從事ELM研究的人員研究了大數據ELM的訓練問題，或將ELM應用到大數據處理中.例如，He等人[12]提出了并行ELM(Parallel ELM，PELM)，并應用于求解大數據回歸問題，取得了良好的效果.在PELM的基礎上，Xin等人[13]通過將PELM中的兩階段MapReduce替換為單階段MapReduce，提出了分布式ELM(Distributed ELM，DELM)，取得了比PELM更好的泛化性能.針對非平衡大數據分類問題，基于MapReduce和集成ELM，Zhai等人[14]提出了一種有效的非平衡大數據分類方法.針對大數據應用，Akusok等人[15]開發了一套高性能的ELM工具箱.焦李成等人[16]對近七十多年神經網絡研究，包括深度網絡研究，進行了全面深入的綜述，具有很高的參考價值.

在ELM中，網絡結構選擇問題就是確定隱含層最優結點個數問題.關于這個問題，研究人員提出了一系列的解決方法.例如，Huang等人[17]提出了I-ELM (Incremental ELM)，I-ELM用逐個增加隱含層結點的方法確定最優網絡結構，直到滿足預定義的停止條件.在I-ELM中，當一個新的隱含層結點加入到網絡后，已經存在的輸出層權值保持不變.Feng等人[18]提出了EM-ELM (Error Minimized-ELM).與I-ELM不同，當一個新的隱含層結點加入到網絡后，所有的輸出層權值(包括已經存在的)都要更新.與I-ELM相比，EM-ELM具有更好的泛化性能，但是計算復雜度比I-ELM的高.基于信息判據理論，Rong等人[19]提出了P-ELM (Pruned-ELM).P-ELM以2統計量和信息增益作為啟發式度量隱含層結點的重要性，將不重要的隱含層結點去掉，保留重要的隱含層結點.用該方法處理連續值數據集時，需要對連續值屬性進行離散化，這會導致信息丟失及高計算復雜度.針對這一問題，基于相容粗糙集理論，Zhai等人提出了兩種改進的方法[20，21]，可解決上述問題.基于多響應稀疏回歸技術，Miche等人[22]提出了OP-ELM (Optimally Pruned-ELM).這些ELM網絡結構選擇方法的共性問題是計算復雜度高，其原因要么是由于迭代計算Moore-Penrose廣義逆矩陣，要么是由于迭代計算度量隱含層結點重要性的啟發式.用極限學習機重復訓練單隱含層前饋神經網絡可得到不同的網絡模型.受極限學習機這一特點的啟發，提出了一種用模糊積分集成重復訓練極限學習機的數據分類方法.提出的方法具有2個優點：1)網絡模型具有良好的多樣性;2)具有良好的泛化能力.

2 基礎知識

本節簡要介紹將要用到的基礎知識，包括極限學習機[1，2]和模糊積分[23，24].

2.1 極限學習機(Extreme Learning Machine，ELM)

ELM[1，2]是一種簡單高效的訓練具有特殊結構單隱含層前饋神經網絡的隨機化算法.給定一個包含n個樣例的訓練集Tr={(xi，yi)|xi∈Rd，yi∈Rk}，設SLFNs的輸入層、隱含層和輸出層結點的個數分別是d、m和k，SLFNs的結構可用一個三元組(d，m，k)來表示.具有結構(d，m，k)的SLFNs(如圖1所示)可用下面的公式表示.

(1)

在公式(1)中，wj和bj分別是隨機生成的輸入層權和隱含層結點偏置,βj是輸出層權.

對于訓練集Tr中的每一個樣例xi(1≤i≤n)，令SLFNs的實際輸出f(xi)等于期望輸出yi(1≤i≤n)，得到下面的公式(2).

(2)

公式(2)的矩陣表示形式為：

Hβ=Y

(3)

其中，

(4)

(5)

(6)

對于線性系統(3)，如果SLFNs的隱含層結點個數m等于訓練集Tr中的樣例數n，那么矩陣H是方陣，而且可逆.此時，用線性系統(3)可以以零誤差逼近訓練集Tr中的每一個樣例.但是，一般情況下，樣例數n遠遠大于隱含層結點數m.此時，難于得到(3)的精確解，但是可用下面優化問題的解來逼近.

(7)

上述優化問題的解由下面的公式給出

(8)

其中，H+=(HHT)-1H是H的Moore-Penrose廣義逆矩陣.

圖2給出了ELM算法的偽代碼.

圖2 ELM算法的偽代碼Fig.2 Pseudo code of ELM algorithm

用模糊積分集成基本分類器時，基本分類器的輸出必須是后驗概率.在本文中，我們用下面的軟最大化函數將SLFNs的輸出變換到[0，1]區間，變換后的結果可看作后驗概率的近似.

(9)

2.2 模糊積分

模糊積分[23，24]是一種非線性積分，可應用于分類器集成.因為模糊積分能很好地刻畫基本分類器之間的交互作用，所以與其他分類器集成工具相比，用模糊積分進行分類器集成能獲得更好的分類性能.下面介紹模糊積分理論中相關的基本概念，包括決策矩陣、模糊測度、Choquet積分等.

給定訓練集Tr={(xi，yi)|xi∈Rd，yi∈Rk}和測試集Te={(xi，yi)|xi∈Rd，yi∈Rk}，Ω={ω1，ω2，…，ωk}是類標的集合，C={C1，C2，…，Cl}是從Tr訓練出的l個分類器集合，Ci(1≤i≤l)稱為元分類器或基本分類器.對于任意的x∈Te和任意的Ci∈C，有

Ci(x)=(μi1(x)，μi2(x)，…，μik(x))

其中，μij(x)∈[0，1](1≤i≤l；1≤j≤k)表示分類器Ci將樣例x分類為第j類的隸屬度.

定義1. 給定C={C1，C2，…，Cl}，Ω={ω1，ω1，…，ωk}和Te.對于任意的x∈Te，稱下面的矩陣為決策矩陣.

(10)

矩陣DM(x)的第i行表示分類器Ci將樣例x分類為各個類的隸屬度，矩陣DM(x)的第j列表示不同的分類器將測試樣例x分類為第j類的隸屬度.

定義2. 給定C={C1，C2，…，Cl}，設P(C)是C的冪集，定義在C上的模糊測度是一個集函數：g：P(C)→[0，1]，它滿足如下條件：

1)g(?)=0，g(C)=1；

2) ?A，B?C，若A?B，則g(A)≤g(B).

如果?A，B?C，A∩B=?，下式成立，則稱g為λ模糊測度.

g(A∪B)=g(A)+g(B)+λg(A)g(B)

(11)

其中，λ>-1，且λ≠0，它的值可由下式確定.

(12)

其中，gi表示在單個分類器上的模糊測定，即下面定義3中的模糊密度.

定義3. 給定C={C1，C2，…，Cl}，?Ci(1≤i≤l)，令gi=g({Ci})，gi稱為分類器Ci的模糊密度，gi通常用下面的公式(13)確定.

(13)

其中，pi是分類器Ci在驗證集或測試集上的性能指標(如驗證精度或測試精度).所以，一旦訓練出l個基本分類器，那么它們的模糊密度即可得到.

定義4. 給定C={C1，C2，…，Cl}，g是C上的模糊測度，函數h：C→R+關于g的Choquet積分定義為：

(14)

其中，0≤h(C1)≤h(C2)≤…≤h(Cl)≤1，h(C0)=0，Ai?C，Ai={C1，C2，…，Ci}，g(A0)=0.

3 用模糊積分集成重復訓練極限學習機的數據分類方法

本節介紹用模糊積分集成重復訓練極限學習機的數據分類方法.首先介紹提出的方法的基本思想，然后介紹選擇模糊積分作為分類器集成工具的理由，最后給出算法的偽代碼.

用極限學習機訓練單隱含層前饋神經網絡時，由于輸入層權值和隱含層結點的偏置是隨機生成的，這樣重復訓練會得到不同的網絡模型.不同的網絡模型之間的差異表現為參數不同，網絡結構是相同的，即隱含層結點的個數是相同的.如果隱含層結點個數也隨機確定，那么重復訓練會得到參數不同結構也不同的網絡模型，這些網絡模型具有較大的差異，具有良好的多樣性.受極限學習機這一特點的啟發，提出了用模糊積分集成重復訓練極限學習機的數據分類方法.提出的方法包括3步：

第1步.用極限學習機重復訓練單隱含層前饋神經網絡.具體地，首先用隨機化方法生成一個區間[pd,qd]中的隨機整數m，m即為隱含層結點的個數.其中，d為數據集的維數，p和q是大于1的正整數.單隱含層前饋神經網絡的結構確定后，用ELM算法重復訓練l個基本分類器SLFNs.

第2步.用軟最大化函數(9)將SLFNs的輸出變換到[0, 1]區間，使得SLFNs的輸出是一個后驗概率分布.

第3步.用模糊積分集成訓練好的基本分類器SLFNs，并用于數據分類.

提出的算法的偽代碼如圖3所示.

下面介紹選擇模糊積分作為分類器集成工具的理由.

在分類器集成的一般框架中，有一種默認的假設：基本分類器之間是相互獨立的，或者說基本分類器之間沒有交互作用。但是，在許多實際問題中，這個假設是不成立的。實際上，在基本分類器之間存在內在的交互作用。這種交互作用可能是正交互，正交互可使基本分類器之間相互協作，共同提高。這樣集成系統能充分發揮基本分類器的優勢，克服彼此的不足，最終獲得比任何一個單個基本分類器更好的分類性能。交互作用也可能是負交互，負交互使基本分類器之間相互抑制，集成具有負交互作用的基本分類器，不僅不能提高集成系統的分類性能，還會降低分類性能。模糊積分能很好地刻畫基本分類器之間的交互作用，這也是我們選擇模糊積分作為集成工具的理由。

4 實驗結果及分析

為了描述方便，用FI-ELM表示提出的算法。若算法中的SLFNs采用固定結構，集成采用簡單的多數投票法，則相應的算法用MV-ELM表示.為了驗證本文方法FI-ELM的有效性，我們設計了兩個實驗：1)與ELM和MV-ELM在分類精度上進行了比較;2)實驗結果的統計分析.為了比較的公平性，在相同的實驗環境、相同的參數設置和相同的數據集上進行實驗比較.實驗環境是Intel(R) Core(TM) i5-3210M 2.50GHz CPU，4GB內存，Windows 10操作系統，Matlab R2013a軟件平臺.實驗所用的數據集及參數設置如表1所示.

算法2.用模糊積分集成重復訓練極限學習機的數據分類算法

圖3 提出的算法的偽代碼Fig.3 Pseudo code of the proposed algorithm

1)與ELM和MV-ELM在分類精度上的比較

在這個實驗中，ELM和MV-ELM中單隱含層前饋神經網絡隱含層結點的個數用文獻[25]中的方法確定，對于不同的數據集，隱含層結點的個數設置為不同的值，具體設置如表2所示.網絡結構確定后，用[-1, +1]區間服從均勻分布的隨機數初始輸入層權值和隱含層偏置.在ELM中，用ELM算法訓練一個單隱含層前饋神經網絡，并用于數據分類.在MV-ELM中，用ELM算法重復訓練5個單隱含層前饋神經網絡，用多數投票法進行集成，并用于數據分類.

表1 實驗所用的10個數據集的基本信息及參數設置Table 1 Basic information of 10 data sets used in the experiments and the configuration of parameters

在本文方法FI-ELM中，單隱含層前饋神經網絡隱含層結點的個數也隨機生成.具體地，在每一次重復訓練單隱含層前饋神經網絡時，首先用區間[pd,qd]中隨機生成的正整數m作為隱含層結點的個數.然后用ELM算法訓練結構為(d,m,k)的單隱含層前饋神經網絡，最后用模糊積分進行集成，并用于數據分類.與ELM和MV-ELM中的方法在分類精度上比較的實驗結果列于表3中，從列于表3的實驗結果可以看出，本文方法FI-ELM在10個數據集上的均優于ELM和MV-ELM.

表2 ELM和MV-ELM中SLFNs隱含層結點個數的設置Table 2 Selected number of hidden nodes of SLFNs in ELM and MV-ELM

表3 與ELM和MV-ELM在分類精度上的比較Table 3 Comparisons on classification accuracy with ELM and MV-ELM

2)實驗結果的統計分析

為了從統計意義上證明本文方法FI-ELM的有效性，我們用成對T-檢驗對實驗結果進行了統計分成.T-檢驗中的顯著性水平設置為0.05，對三種方法分別構造關于分類精度的10維統計量，然后用MATLAB函數ttest2(X, Y)進行成對T-檢驗的統計分析，結果在表4中給出.在表4中，第2列(P-值1)是本文方法FI-ELM與ELM實驗結果的統計分析結果；

表4 對實驗結果的統計分析Table 4 Statistical analysis on experimental results

第3列(P-值2)是本文方法FI-ELM與MV-ELM實驗結果的統計分析結果.從列于表3的P-值可以看出，從統計意義上說，本文方法FI-ELM在10個數據集上的分類性能均優于ELM和MV-ELM的分類性能，這一結論以0.95的概率成立.因此，上述結論具有可信性.

5 結 論

本文提出了一種用模糊積分集成重復訓練極限學習機的數據分類方法.利用該方法解決實際問題，可以避免網絡結構選擇問題.另外，與傳統的ELM和MV-ELM相比，本文提出的方法具有更好的分類性能.我們認為本文提出的方法在分類性能上優于ELM和MV-ELM的原因有以下3點：

1)作為分類器集成工具，模糊積分能夠很好地對基本分類器之間的交互作用進行建模，各個基本分類器之間能夠取長補短；

2)對于給定的數據集，隱含層結點的個數由一個區間內隨機整數隨機確定，這樣重復訓練的網絡具有不同的結構(結構相同的概率非常小)，從而基本分類器具有良好的多樣性；

3)對于每一個基本分類器，它用整個訓練集進行訓練，而不是用訓練集的子集進行訓練，這樣訓練集中的每一個樣例，對于每一個基本分類器都是可見的.

：

[1] Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：a new learning scheme of feedforward neural networks [C].IEEE International Joint Conference on Neural Networks (IJCNN2004)，Budapest，Hungary，2004.

[2] Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：theory and applications [J].Neuro Computing，2006，70(1-3)：489-501.

[3] Huang G B，Wang D H，Lan L.Extreme learning machines：a survey [J].International Journal of Machine Learning and Cybernetics，2011，2(2)：107-122.

[4] Tang J，Deng C，Huang G B.Extreme learning machine for multilayer perceptron [J].IEEE Transactions on Neural Networks and Learning Systems，2016，27(4)：809-821.

[5] Huang G B，Bai Z，Chi M V.Local receptive fields based extreme learning machine [J].IEEE Computational Intelligence Magazine，2015，10(2)：18-29.

[6] Kasun L L C，Zhou H，Huang G B，et al.Representational learning with ELMs for big data [J].IEEE Intelligent Systems，2013，28(6)：31-34.

[7] Tissera M D，Mcdonnell M D.Deep extreme learning machines：supervised autoencoding architecture for classification [J].Neuro Computing，2016，174(Part A)：42-49.

[8] Bengio Y，Courville A，Vincent P.Representation learning：a review and new perspectives [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8)：1798-1828.

[9] Ding S F，Zhang N，Zhang J.Unsupervised extreme learning machine with representational features [J].International Journal of Machine Learning and Cybernetics，2017，8(2)：587-595.

[10] Zhou H，Huang G B，Lin Z，et al.Stacked extreme learning machines [J].IEEE Transactions on Cybernetics，2015，45(9)：2013-2024.

[11] Chen X W，Lin X.Big data deep learning：challenges and perspectives [J].IEEE Access，2014，2：514-525.

[12] He Q，Shang T F，Zhuang F Z，et al.Parallel extreme learning machine for regression based on MapReduce [J].Neurocomputing，2013，102：52-58.

[13] Xin J C，Wang Z Q，Chen C，et al.ELM：distributed extreme learning machine with MapReduce [J].World Wide Web，2014，17(5)：1189-1204.

[14] Zhai J H，Zhang S F，Wang C X.The classification of imbalanced large data sets based on MapReduce and ensemble of ELM classifiers [J].International Journal of Machine Learning and Cybernetics，2017，8(3)：1009-1017.

[15] Akusok A，Bjork K M，Miche Y，et al.High-performance extreme learning machines：a complete toolbox for big data applications [J].IEEE Access，2015，3：1011-1025.

[16] Jiao Li-cheng，Yang Shu-yuan,Liu Fang，et al.Seventy years beyond neural networks：retropect and prospect [J].Chinese Journal of Computers，2016，39(8)：1697-1716.

[17] Huang G B，Chen L，Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes [J].IEEE Transactions on Neural Networks，2006，17(4)：879-892.

[18] Feng G R，Huang G B，Lin Q P，et al.Error minimized extreme learning machine with growth of hidden nodes and incremental learning [J].IEEE Transactions on Neural Networks，2009 20(8)：1352-1357.

[19] Rong H J，Oon Y S，Tan A H，et al.A fast pruned-extreme learning machine for classification problem [J].Neurocomputing，2008，72(1-3)：359-366.

[20] Zhai J H，Shao Q Y，Wang X Z.Improvements for P-ELM1 and P-ELM2 pruning algorithms in extreme learning machines [J].International Journal of Uncertainty，Fuzziness and Knowledge-Based Systems，2016，24(3)：327-345.

[21] Zhai J H，Shao Q Y，Wang X Z.Architecture selection of elm networks based on sensitivity of hidden nodes [J].Neural Processing Letters，2016，44(2)：471-489.

[22] Miche Y，Sorjamaa A，Bas P，et al.OP-ELM：optimally pruned extreme learning [J].IEEE Transactions on Neural Networks，2010，21(1)：158-162.

[23] Ralescu D，Adams G.The fuzzy integral [J].Journal of Mathematical Analysis and Applications，1980，75(2)：562-570.

[24] Abdallah A C B，Frigui H，Gader P.Adaptive local fusion with fuzzy integrals [J].IEEE Transactions on Fuzzy Systems，2012，20(5)：849-864.

[25] Zhai Jun-hai,Li Ta，Zhai Meng-yao，et al.Experimental research on random mapping function in ELM [J].Computer Engineering，2012，38(20)：164-168.

附中文參考文獻：

[16] 焦李成，楊淑媛，劉 芳，等.神經網絡七十年：回顧與展望[J].計算機學報，2016，39(8)：1697-1716.

[25] 翟俊海，李 塔，翟夢堯，等ELM中隨機映射作用的實驗研究[J].計算機工程，2012，38(20)：164-168.