基于去噪自編碼器的極限學習機

來杰 王曉丹 李睿 趙振沖

摘 要：針對極限學習機算法（ELM）參數隨機賦值降低算法魯棒性及性能受噪聲影響顯著的問題，將去噪自編碼器（DAE）與ELM算法相結合，提出了基于去噪自編碼器的極限學習機算法（DAE-ELM）。首先，通過去噪自編碼器產生ELM的輸入數據、輸入權值與隱含層參數;然后，以ELM求得隱含層輸出權值，完成對分類器的訓練。該算法一方面繼承了DAE的優點，自動提取的特征更具代表性與魯棒性，對于噪聲有較強的抑制作用;另一方面克服了ELM參數賦值的隨機性，增強了算法魯棒性。實驗結果表明，在不含噪聲影響下DAE-ELM相較于ELM、PCA-ELM、SAA-2算法，其分類錯誤率在MNIST數據集中至少下降了5.6%，在Fashion MNIST數據集中至少下降了3.0%，在Rectangles數據集中至少下降了2.0%，在Convex數據集中至少下降了12.7%。

關鍵詞：

極限學習機;深度學習;去噪自編碼器;特征提取;特征降維;魯棒性

中圖分類號： TP181;TP391

文獻標志碼：A

Abstract： In order to solve the problem that parameter random assignment reduces the robustness of the algorithm and the performance is significantly affected by noise of Extreme Learning Machine （ELM）， combining Denoising AutoEncoder （DAE） with ELM algorithm， a DAE based ELM （DAE-ELM） algorithm was proposed. Firstly， a denoising autoencoder was used to generate the input data， input weight and hidden layer parameters of ELM. Then， the hidden layer output was obtained through ELM to complete the training of classifier. On the one hand， the advantages of DAE were inherited by the algorithm， which means the features extracted automatically were more representative and robust and were impervious to noise. On the other hand， the randomness of parameter assignment of ELM was overcome and the robustness of the algorithm was improved. The experimental results show that， compared to ELM， Principal Component Analysis ELM （PCA-ELM）， SAA-2， the classification error rate of DAE-ELM at least decreases 5.6% on MNIST， 3.0% on Fashion MINIST， 2.0% on Rectangles and 12.7% on Convex.

Key words： Extreme Learning Machine （ELM）; deep leaning; Denoising AutoEncoder （DAE）; feature extraction; feature reduction; robustness

0 引言

作為單隱含層前饋神經網絡（Single Hidden Layer Feedforward Neural Network， SLFN）的最新研究成果，極限學習機（Extreme Learning Machine， ELM）[1]自被提出以來，憑借泛化性能優、訓練時間短等特點，引起了研究者們的密切關注。同一般SLFN方法相比較，ELM的隱含層參數均為隨機產生，無需進行反復的迭代，而且其輸出權值為求解最小二次方程所得的全局最優解，避免了陷入局部最優解的困境。Huang等[2]證明了ELM的一致逼近性和ELM可直接應用于回歸與多分類問題[3]。同時，為處理非平衡數據的學習問題，Zong等[4]通過引入類別權值，提出了加權極限學習機（Weighted ELM， W-ELM）。Liang等[5]提出的在線貫序極限學習機（Online Sequential ELM， OS-ELM），延伸ELM至在線學習問題，拓寬了其實際應用領域。目前，ELM在語音識別[6]、圖像評價[7]、電力系統[8]等部分模式識別應用領域已得到初步應用。

但是當參數完全隨機選擇時，為保證ELM的分類性能需要大量的隱含層節點[1]。對此，學者們提出可以利用構造或剪枝的方式對隱含層節點進行參數優化，以提高ELM整體性能[9-10]。Horata等[9]通過將滿足最小LOO（Leave-One-Out）誤差準則的節點加入隱含層，實現對隱含層的參數優化，提出了增長型魯棒極限學習機（Robust Incremental ELM， RI-ELM）。Rong等[10]提出的快速剪枝極限學習機（Pruned ELM， P-ELM），利用統計學原理，裁剪對分類性能影響較小的隱含層節點，以實現算法優化。但在實際應用中，此類方法對識別正確率的提升有限，這是因為基于構造或剪枝的優化方法其基本思想仍局限于傳統ELM框架。當數據維數大或存在噪聲干擾時，采用單一隱含層進行特征映射的方式并不適用于處理所有樣本。所以，如何提升ELM算法對高維含噪聲樣本的識別性能是當前亟待解決的重點問題。

近年來，深度學習在高維數據特征提取方面的突出表現，使得許多的學者嘗試將ELM與深度學習結合起來，以提升ELM算法性能。Chamara等[11]將極限學習機與自編碼器（AutoEncoder， AE）結合起來，提出的極限學習機自編碼器（ELM-AutoEncoder， ELM-AE）擁有良好的特征表達能力。基于ELM-AE，Tang等[12]提出了分層極限學習機（Hierarchical ELM， H-ELM）算法，以逐層編碼實現特征的高階表示，相較于其他多層感知器，其訓練更快速、準確率更高。同時，其他的深度極限學習機算法[13-14]也為提高ELM處理高維數據的能力做出了貢獻。

去噪自編碼器（Denoising AutoEncoder， DAE）[15]較其他自編碼器，提取的抽象特征更具代表性與魯棒性，擁有較強的抗噪能力。受深度極限學習機算法啟發，本文將DAE與ELM相結合，提出基于去噪自編碼器的極限學習機（DAE based ELM， DAE-ELM）算法，用堆疊DAE先產生ELM的輸入數據，然后產生輸入層權值及隱含層參數，克服了傳統ELM參數賦值的隨機性，增強了其魯棒性及抗噪能力。實驗結果表明，對于典型高維數據集，無論是否存在噪聲影響，DAE-ELM比傳統ELM算法和AE算法的分類性能有明顯的提升。

1.2 去噪自編碼器

DAE是對自編碼器的改進，其最大特點是在進行特征提取之前，加入了對原始樣本數據的退化過程[17]，其結構如圖2所示。

在DAE中，退化過程是指對于每一個樣本，按照一定比例將其屬性值置為0或其他值，這個比例被稱作退化率。退化過程如圖3所示（對于灰度圖像，置0意味著置黑）。

DAE加入退化過程的自然原理是人眼在看物體時，如果物體某一小部分被遮住了，人依然能將其識別出來[15]。該現象說明人所帶有的“生物”自編碼器所提取的特征更具有代表性與魯棒性，對于輸入的含有一定噪聲的樣本數據，它經過編碼、解碼后仍能得到純凈無噪的樣本。這要求自編碼器不僅有編碼功能，還要有去噪作用。然而，即使數據中含有的噪聲，AE卻只能重構含有噪聲的輸入數據。所以，對原始樣本進行適當的退化處理，再讓自編碼器重構原始樣本，如此提取的特征更本質、更抗干擾[15]。

DAE的學習過程包括退化、編碼和解碼三個階段。首先，對輸入數據按比例隨機置0進行退化，得到退化數據。然后，對退化數據完成編碼得到編碼層。最后，解碼編碼層，得到輸入數據的重構，通過調整各層參數使重構誤差函數達到最小值，以獲得輸入特征的最優抽象表示。

2 基于去噪自編碼器的極限學習機

ELM性能受樣本數據維數、噪聲影響大，且其魯棒性因參數隨機賦值而降低。而DAE所提取的特征更本質、噪聲敏感性更低，所以結合DAE與ELM，由DAE獲得ELM的輸入樣本、輸入權值與隱含層參數，一方面可以提高分類器處理高維含噪聲數據的能力，另外一方面可以提高分類器的魯棒性。

DAE-ELM的網絡結構及如圖4所示。

DAE-ELM的學習過程如下：

1）訓練第一去噪自編碼器網絡，提取出原始輸入數據的去噪抽象特征，以作為ELM的輸入數據。該網絡結構如圖4中DAE1所示，根據1.2節中所述，令DAE的輸出數據與輸入數據相同，通過反向傳播算法進行訓練。當重構誤差函數最小時，得到最優網絡參數：輸入層權值w1，隱含層偏置b1及隱含層輸出h1。h1為輸入特征的高級抽象表示，這些抽象特征剔除了輸入數據中的冗余信息，而且過濾了其中部分噪聲，且當輸入數據維度較高時，可以起到降低數據維度的作用。將h1作為ELM的輸入數據，有利于提升ELM性能。

2）訓練第二去噪自編碼器網絡，生成ELM輸入權值和隱含層參數。該網絡結構如圖4中的DAE2所示，與第一去噪自編碼器訓練相似，只是將DAE的輸出數據與輸入數據均置為第一去噪自編碼器的隱含層輸出h1。訓練完畢后，得到第二去噪自編碼器的最優網絡參數：輸入層權值w2，隱含層偏置b2及隱含層輸出h2。將其作為ELM的網絡參數，可以避免輸入層權值與隱含層參數隨機賦值所造成的性能和魯棒性下降問題。

3）訓練ELM作為整個網絡的辨別模型。ELM結構如圖5中的ELM模塊所示，其輸入數據為第一去噪自編碼器的隱含層輸出矩陣h1，即原始輸入數據的去噪抽象特征表示，其輸入層權值與隱含層輸出為第二去噪自編碼器的輸入層權值w2與隱含層輸出h2，然后根據1.1節中所述理論訓練ELM，即求解ELM隱含層輸出權值β，從而完成整個網絡的訓練。

3 實驗結果及分析

3.1 實驗環境

實驗平臺為Intel i7-7700K 4.2GHz，16GB內存和1TB硬盤的PC，實驗在Windows 7系統上用Matlab 2017（b）實現。

3.2 實驗數據

DAE-ELM算法旨在提升ELM在高維含聲噪數據下的泛化性能，在本文中采用MNIST[18]、Fashion MNIST[19]、Rectangles[20]和Convex[21]等數據集作為實驗數據，并分別加入10%高斯白噪聲與10%椒鹽噪聲到各數據集生成含噪聲的新數據集，其詳細信息如表1所示。

3.3 結果分析

為測試所提出模型的性能，設計了以下實驗（需要強調的是，本文中所有實驗結果皆為重復實驗10次后的均值）。

實驗1 網絡結構確定以及與其他ELM算法在無噪聲MNIST數據集下的性能對比分析。

實驗2 退化率對模型性能的影響分析。

實驗3 與其他算法在有噪聲和無噪聲環境下的性能對比分析。

3.3.1 網絡結構確定與性能對比分析

對于神經網絡結構，即隱含層層數、節點數的確定在目前為止暫無明確的理論指導，學者們普遍采用試錯法，按照一定準則改變網絡結構進行重復實驗，然后采用性能最優的網絡結構。因為本文需進行性能對比實驗，隱層節點數目的不同將對模型性能對比的客觀性產生影響，所以各模型網絡隱層節點數應盡可能相同。

因為DAE-ELM含有兩層隱含層，難以同時確實兩層節點數，又因為第二隱含層實為ELM的隱含層，所以本文首先根據原始ELM算法隱含層節點個數對分類性能的影響以確定DAE-ELM第二隱含層節點數，然后再根據DAE-ELM第一隱含層節點數對分類性能的影響情況，確定其節點數。最后在進行對比實驗時，觀察隱含層節點數對各模型分類性能的影響，以判別各模型性能。

首先，使用MNIST數據集中的訓練樣本訓練ELM模型，并使用測試集進行測試，觀察分類性能隨隱含層節點數的變化趨勢，其中節點個數取值范圍為{100，200，…，2000}。性能趨勢圖如圖6所示。

根據圖6不難發現，隨著隱含層節點數的增加，ELM的訓練與測試分類錯誤率都在逐步下降，且下降趨勢逐漸放緩，符合ELM的一致逼近性。但是在保證一定分類正確率的前提下，理應考慮網絡的緊湊性，減少時間與空間復雜度。在圖6中，當節點數等于1500時，分類錯誤率較低，網絡較緊湊，而且錯誤率下降趨勢已較為緩慢，所以假定隱含層節點數為1500，即DAE-ELM第二隱含層節點數為1500。

假定DAE-ELM第二隱含層節點個數為1500后，根據重復實驗的方法確定其第一隱含層節點個數。DAE-ELM的基本參數設定如表2所示，分類性能隨第一隱含層節點數變化情況如圖7所示。

由圖7可以發現，隨著第一隱含層節點數的遞增，DAE-ELM的分類錯誤率先上升后下降，而后再上升。這表明當第二隱含層節點數固定，而第一隱含層節點數逐步增加時，DAE-ELM分類性能的變化并不是一個單調的過程，存在一個或多個最優節點數，使得DAE-ELM分類錯誤率最低，如圖7中隱含層節點數為200時。

當固定DAE-ELM的第一隱含層節點數為200后，進行DAE-ELM與ELM、K-ELM（Kernel ELM）[3]、PCA-ELM（Principal Component Analysis ELM）[22]算法的性能對比分析，觀察各算法性能隨隱含層節點數增加的變化情況。其中各算法參數設定為：K-ELM中KernelParam=0.1，PCA-ELM取前200維，其累計貢獻率為96.89%，DAE-AE參數不變。不同算法的分類性能如圖8所示。

觀察圖8可以發現，DAE-ELM算法性能在數據集未添加噪聲的情況下，性能優于其他ELM算法，尤其在隱含層節點數低于1500時，性能優勢明顯。DAE-ELM分類錯誤率的降低主要有以下三點原因：1）與其他ELM相比，DAE-ELM由DAE生成ELM的輸入權值與隱含層參數，避免了算法隨機賦值的偶然性，提高了算法的魯棒性，且比K-ELM采用核函數方法優化隱含層輸出的方法更優;2）與ELM，K-ELM相比，DAE-ELM中DAE起到了特征降維的作用，有利于剔除數據中的冗余信息，將其作為輸入數據，有利于提高ELM性能;3）與PCA-ELM相比，DAE的特征降維并不是將部分特征刪除，而是發掘特征間的關聯信息，將其抽象為更高級的特征，這些高級抽象特征更能體現事物的本質，有利于降低分類錯誤率。

3.3.2 退化率影響實驗

退化率是DAE中的重要參數，它直接關系到編碼器所提取的高級抽象特征，進而影響算法性能。在本次實驗中，將著重分析不同退化率對輸入樣本、特征提取、分類性能的影響。

實驗數據為未加噪聲MNIST數據，DAE-ELM網絡結構為784-200-1500-10，退化率v={0，0.1，0.4}，其余參數與3.3.1節實驗相同（當v=0時，DAE-ELM算法即為AE-ELM[23]算法）。當v取不同值，輸入樣本、輸入權值如圖9～10所示。

由圖9可以看出，隨著退化率v的增加，經退化后的樣本所加入的噪聲越多，樣本失真越嚴重。但從圖10可以發現，當v=0.1時，輸入權值較未經過退化情況下的更清晰分明，這是因為經過退化后，為使得重構誤差函數達到最小值，DAE必須盡可能地發掘更本質、魯棒的高級抽象特征，促進其對重構數據的作用，進而降低次要特征的影響。發掘更加本質、魯棒的高級抽象特征對模型性能有促進作用。當v=0.4時，過高的退化率導致樣本失真嚴重，輸入權值更加模糊，使得提取的特征不能很好地識別不同類別樣本的差異，這對模型是不利的。所以，將模型退化率控制在合理范圍內，這對DAE-ELM模型具有重要意義。

為進一步確定合理的退化率范圍，接下來測試當其余參數不變，v={0，0.05，0.1，…，0.5}范圍內對MNIST數據集的分類性能，其測試結果如圖11所示。

從圖11可以發現，當v≤0.25時，DAE-ELM分類錯誤率處于一個震蕩過程，且v=0.1時，訓練與測試分類錯誤率均達到最低值;當v>0.25時，錯誤率明顯上升。由此可見，針對MNIST數據集，DAE-ELM中v的合理范圍為[0，0.25]，最佳取值為0.1。模型性能變化大致分為三個階段：1）當v<0.1時，分類錯誤率先上升后下降，這是因為提取高級抽象特征對于模型性能的促進作用與退化過程相比是滯后的，當v較低時，高級特征的促進作用弱于退化過程的抑制作用，隨著v的增加，促進作用增加并強于抑制作用，模型性能逐漸提高，直到v取到最優值，模型性能達到最佳。2）當0.1≤v≤0.25時，高級抽象特征的促進作用與退化過程的抑制作用不相上下，模型性能無明顯變化。3）當v>0.25時，模型性能大幅度下降，這是因為退化過程造成失真嚴重，以至于提取的特征并不能很好表示原始樣本，從而影響模型性能。所以，對樣本數據進行合理范圍內的退化有助于提升模型性能。

3.3.3 多算法性能對比分析

為驗證DAE-ELM的綜合性能，在本節實驗中，將采用對上述4個數據集及其分別添加10%高斯白噪聲與10%椒鹽噪聲后的8個數據集，共12個數據集進行DAE-ELM與其他算法的性能比較。其中ELM、PCA-ELM、SAA-2[15]、DAE-ELM網絡結構分別為：784-1500-X，784-1500-X，784-200-200-X（為重復實驗后性能最佳的結構），784-200-1500-X，其中X為類別數。各算法其余參數與實驗1中相同（SAA-2參數與DAE-ELM相同）。各算法分類錯誤率如表3所示。

由表3可以發現，當隱含層節點數較少時，絕大多數數據集下DAE-ELM的分類錯誤率皆低于其余算法，且加入噪聲對DAE-ELM性能的影響也較弱。在不含噪聲影響下，DAE-ELM相較于ELM、PCA-ELM、SAA-2算法，其分類錯誤率在MNIST數據集中至少下降了5.6%，在Fashion MNIST數據集中至少下降了3.0%，在Rectangles數據集中至少下降了2.0%，在Convex數據集中至少下降了12.7%。

性能分析如下：1）DAE-ELM性能優于ELM、PCA-ELM，是因為DAE-ELM避免了隱含層隨機賦值，且其提取特征并不是舍棄部分特征，而是將其融合為更能體現數據本質、更具魯棒性的高級抽象低維特征。2）DAE-ELM性能優于SAA-2，一方面是因為ELM具有一致逼近性，隨著隱含層節點數的增加，能逼近任意函數;另一方面是因為DAE在AE中加入的退化過程使得提取的高級抽象特征更具代表性和魯棒性。3）但在個別含噪聲數據中，PCA-ELM性能優于DAE-ELM，其原因可能是因為PCA在去掉部分維度時，將包含其中的噪聲一并去除，大幅度減少了噪聲對PCA-ELM性能的影響。

4 結語

針對ELM隱含層參數隨機賦值降低算法魯棒性以及傳統ELM處理高維含噪數據性能欠佳的問題，本文提出了基于去噪自編碼器的極限學習機（DAE-ELM）算法。首先通過堆疊的DAE分別產生ELM輸入數據、隱含層參數，然后通過ELM算法求解隱含層輸出權值，完成對網絡的訓練。實驗結果表明，不管高維數據是否含有一定噪聲，DAE-ELM算法相較傳統ELM算法與自編碼器算法，其分類錯誤率得到了較大的下降，同時提供了拓寬ELM與深度學習算法結合的思路。但DAE-ELM為保持良好的泛化能力，仍然需要一定量的隱含層節點數作為支撐，這需要今后進一步的研究加以改善。

參考文獻 （References）

[1] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine： theory and applications [J]. Neurocomputing， 2006， 70（1/2/3）： 489-501.

[2] HUANG G B， CHEN L， SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes [J]. IEEE Transactions on Neural Networks， 2006， 17（4）： 879-892.

[3] HUANG G B， ZHOU H M， DING X J， et al. Extreme learning machine for regression and multiclass classification [J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B： Cybernetics， 2012， 42（2）： 513-529.

[4] ZONG W W， HUANG G B， CHEN Y Q. Weighted extreme learning machine for imbalance learning [J]. Neurocomputing， 2013， 101： 229-242.

[5] LIANG N Y， HUANG G B， SARATCHANDRAN P， et al. A fast and accurate online sequential learning algorithm for feedforward networks [J]. IEEE Transactions on Neural Networks， 2006， 17（6）： 1411-1423.

[6] LAN Y， HU Z J， SOH Y C， et al. An extreme learning machine approach for speaker recognition [J]. Neural Computing and Applications， 2013， 22（3/4）： 417-425.

[7] 王光華，李素梅，朱丹，等.極端學習機在立體圖像質量客觀評價中的應用[J].光電子·激光，2014，25（9）：1837-1842.（WANG G H， LI S M， ZHU D， et al. Application of extreme learning machine in objective stereoscopic image quality assessment [J]. Journal of Optoelectronics·Laser， 2014， 25（9）： 1837-1842.）

[8] XU Y， DAI Y Y， DONG Z Y， et al. Extreme learning machine-based predictor for real-time frequency stability assessment of electric power systems [J]. Neural Computing and Applications， 2013， 22（3/4）： 501-508.

[9] HORATA P， CHIEWCHANWATTANA S， SUNAT K. Robust extreme learning machine [J]. Neurocomputing， 2013， 102： 31-44.

[10] RONG H J， ONG Y S， TAN A H， et al. A fast pruned-extreme learning machine for classification problem [J]. Neurocomputing， 2008， 72（1/2/3）： 359-366.

[11] CHARAMA L L， ZHOU H， HUANG G B. Representational learning with ELMs for big data [J]. IEEE Intelligent Systems， 2013， 28（6）： 31-34.

[12] TANG J X， DENG C W， HUANG G B. Extreme learning machine for multilayer perceptron [J]. IEEE Transactions on Neural Networks and Learning Systems， 2016， 27（4）： 809-821

[13] ZHU W T， MIAO J， QING L Y， et al. Hierarchical extreme learning machine for unsupervised representation learning [C]//Proceedings of the 2015 International Joint Conference on Neural Networks. Piscataway， NJ： IEEE， 2015： 1-8.

[14] YANG Y M， WU Q M J. Multilayer extreme learning machine with subnetwork nodes for representation learning [J].IEEE Transactions on Cybernetics， 2016， 46（11）： 2570-2583.

[15] VINCENT P， LAROCHELLE H， BENGIO Y， et al. Extracting and composing robust features with denoising autoencoders [C]// ICML 2008： Proceedings of the 25th International Conference on Machine Learning. New York： ACM， 2008： 1096-1103.

[16] HUANG G， HUANG G B， SONG S J， et al. Trends in extreme learning machines： a review [J]. Neural Networks， 2015， 61： 32-48.

[17] 郭旭東，李小敏，敬如雪，等.基于改進的稀疏去噪自編碼器的入侵檢測[J].計算機應用，2019，39 （3）：769-773.（GUO X D， LI X M， JING R X， et al. Intrusion detection based on improved sparse denoising autoencoder [J]. Journal of Computer Applications， 2019， 39 （3）： 769-773.）

[18] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition [J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[19] XIAO H， RASUL K， VOLLGRAF R. Fashion-MNIST： a novel image dataset for benchmarking machine learning algorithms [EB/OL]. [2018-09-15]. https：//arxiv.org/pdf/1708.07747.pdf.

[20] ERHAN D. RectanglesData [DB/OL]. [2018-09-15]. http：//www.iro.umontreal.ca/～lisa/twiki/bin/view.cgi/Public/RectanglesData.

[21] ERHAN D. Recognition of convex sets [DB/OL]. [2018-09-15]. http：//www.iro.umontreal.ca/～lisa/twiki/bin/view.cgi/Public/ConvexNonConvex.

[22] 肖冬，王繼春，潘孝禮，等.基于改進PCA-ELM方法的穿孔機導盤轉速測量[J].控制理論與應用，2010，27（1）：19-24.（XIAO D， WANG J C， PAN X L， et al. Modeling and control of guide-disk speed of rotary piercer [J]. Control Theory & Applications， 2017， 27（1）： 19-24.）

[23] 馬萌萌.基于深度學習的極限學習機算法研究[D].青島： 中國海洋大學， 2015：28-30.（MA M M. Research on Extreme learning machine algorithm based on deep learning [D]. Qingdao： Ocean University of China， 2015： 28-30.）