適用于數據分類的極限學習機優化算法

吳亞榕 王歡 李鍵紅

摘 要：針對極限學習機參數優化問題，提出量子遺傳算法優化極限學習機的方法（QGA-ELM）。在該方法中，對ELM的輸入權值和隱含層閾值采用量子比特編碼，并將其映射為QGA的染色體，QGA的適應度函數為對應ELM的分類精度;通過QGA的量子旋轉門優化出輸入權值與隱含層閾值，以此訓練出分類精度更高的ELM，從而改善ELM的泛化性能。通過ELM和QGA-ELM對數據集的仿真結果對比表明，QGA-ELM有效地提升了ELM網絡的分類精度。

關鍵詞：極限學習機;量子遺傳算法;量子旋轉門;分類精度

DOI：10. 11907/rjdk. 191561

中圖分類號：TP301

文獻標識碼：A文章編號：1672-7800（2019）006-0010-04

Abstract： In order to optimize the parameters of traditional extreme learning machine （ELM）， a new ELM optimized by quantum genetic algorithm （QGA-ELM） was proposed. In this method， the input weights and hidden layer threshold vectors of the ELM were encoded by quantum bits and mapped to chromosomes of QGA， and the fitness function of QGA is the classification accuracy of the corresponding ELM. The input weights and hidden layer threshold vectors optimized by quantum rotation gate were used to train the ELM with higher classification accuracy， thereby improving the generalization performance of ELM. Comparing the simulation results of QGA-ELM and ELM， we draw the conclusion that QGA can effectively improve the classification accuracy of ELM network.

Key Words：extreme learning machine;quantum genetic algorithm;quantum rotation gate;classification accuracy

0 引言

數據分類是當今高新技術領域最重要的研究熱點之一，其利用某些特征，對一組對象進行判別或分類。數據分類所涉及的信息往往存在高維度、影響因素多、關系復雜等特征，單靠人的思維往往難以有效地確定其規律，需要通過一定的數學方法借助計算機完成。 如何從這些復雜數據信息中發現更多、更有價值的關聯信息，找到其內在規律，建立的模型能更好地反映研究對象的實際特征，容易與先驗知識相融合，并能適應大規模數據處理要求，正逐漸成為當前數據分類的焦點。近年來，很多學者將基于神經網絡的算法應用于數據分類研究中，例如，BP神經網絡、離散HOPFIELD網絡、支持向量機、自組織網絡、模糊神經網絡和廣義神經網絡等[1-8]，取得了很多成果。由于神經網絡大多采用梯度下降方法，往往存在訓練速度慢、容易陷入局部極小值、學習率敏感性等不足，因此，探索一種訓練速度快，能夠獲得準確的最優解且具有良好泛化性能的訓練算法是提升神經網絡性能的主要目標。

極限學習機是一種訓練神經網絡的有效方法，具有學習速度快、泛化性能好等優點[9-11]。該方法通過對單隱含層前饋網絡的輸入權值和隱含層節點的閾值隨機賦值，用最小二乘法求解輸出權值矩陣，極大提高了網絡訓練速度和泛化能力。但是隨機產生的網絡輸入權值和隱含層節點閾值等參數不能保證訓練出的ELM模型達到最優，從而影響模式識別精度。量子遺傳算法（Quantum Genetic Algorithm）是一種基于量子計算原理與傳統遺傳算法[12-13]相結合的概率優化方法，它采用量子比特的概率幅表示方法對染色體進行編碼，并利用量子邏輯門對染色體進行更新，表現出優于傳統遺傳算法的搜索性能[14-18]。

為了提高ELM模型的模式識別精度，本文提出了一種基于量子遺傳算法優化的極限學習機算法。其主要創新點可以表述為：通過在極限學習機中引入遺傳算法進行優化，把經量子遺傳算法優化ELM輸入權值的問題，轉化成量子遺傳算法選擇最優染色體的過程。將QGA-ELM和ELM運用到數據分類上進行仿真實驗，結果表明QGA-ELM算法的分類精度和泛化能力均遠高于傳統的ELM算法，驗證了QGA-ELM算法的有效性。

1 極限學習機

典型的單隱含層前饋神經網絡如圖1所示，由輸入層、隱含層和輸出層組成，輸入層與隱含層、隱含層與輸出層神經元間全連接。

3.3 染色體選擇

計算出每個染色體的適應度后，對種群中每個染色體進行量子旋轉門操作，形成新一代染色體種群。當染色體進化到事先設定的最大迭代次數時，選出種群中最優染色體作為優化后ELM的輸入權值和隱含層閾值。

4 實驗及結果分析

4.1 實驗數據描述

為了對QGA-ELM算法的泛化能力和分類性能進行評估，采用4個分類數據集進行實驗。數據集皆取自UCI（Machine Learning Repository）。表1描述了4個數據集的基本信息，這4個數據集的特征數與類別數的組合具有比較典型的特征。Iris數據集的特征數與類別數取值都比較小;Wine數據集的特征數明顯高于類別數;Breast Cancer數據集是典型的二值分類數據集;Wine Quality數據集的特征數與類別數取值都比較大。

4.2 實驗參數設置

算法參數設置：種群數SP為40，最大迭代次數MAXGEN為100，變量比特長度CL為20，隱含層神經元數目HIDN為數據集樣本總量SN的50%，訓練集的樣本數PN為數據集樣本總量SN的70%，測試集的樣本數TN為數據集樣本總量SN的30%。

4.3 實驗結果分析

針對數據分類問題，最重要的算法性能評價指標是分類精度。表2給出了ELM和QGA-ELM兩種算法在4個數據集上的實驗結果。從表2中顯示的結果可以看出，通過QGA對ELM輸入權值和隱含層閾值的優化，QGA-ELM算法的分類精度要高于ELM。

根據數據集各自所具有的不同特征，ELM可被優化的空間也各有不同。QGA-ELM在各數據集上的分類精度優化曲線如圖2所示。在數據特征數和類別數較小的數據集（例如Iris）中，ELM自身的分類性能已經很好，可被優化的空間不大，QGA-ELM的分類性能較ELM的提升并不明顯。在數據特征數和數據類別數相差較大的數據集中，尤其是特征數明顯多于類別數的數據集（例如Wine和Breast Cancer），QGA-ELM的分類精度較ELM有較大提升。在隱含層神經元數保持不變的情況下，通過QGA算法的不斷優化，可以找到一組輸入權值和閾值初始化一個分類精度較高的ELM。值得一提的是，對于二值分類問題，ELM本身已經具有較好的分類性能，通過QGA的優化，可以使其分類性能得到進一步提升。 針對特征數與分類數取值都較大的數據集（例如Wine Quality），由于類別多，樣本類別間的界限比較模糊，容易導致ELM分類精度不高，誤差較大。從表2測試精度的對比結果可知，ELM在數據集Wine Quality上的分類精度較差，經過QGA的優化后，結果依然不夠理想。

由于ELM的分類性能受隱含層神經元個數影響很大，不同的神經元個數取值會導致ELM分類精度的極大差異。以數據集Wine為例，圖3給出隱含層神經元個數取值分別為樣本總量的25%、50%、75%和100%時，分類精度隨進化次數遞增而變化的曲線，R為隱含層神經元個數HIDN與數據集樣本總量SN的比值。如圖3所示，在算法初始階段，分類精度會隨著神經元個數的增加逐次遞增，神經元個數多會伴隨高分類精度出現。而在進化代數超過20后，R取值為50%的QGA-GLM的分類精度均高于其它QGA- GLM，并在較高的分類精度上繼續優化。由此可見，并不是隱含層神經元個數越多，就必然導致分類精度越高。

5 結語

常規ELM算法在進行數據分類問題時，由于其初始參數隨機設定，從而影響ELM的泛化性能和分類精度。針對上述不足，本文提出了一種基于QGA算法優化ELM輸入權值和閾值的QGA-ELM算法。在算法尋優過程中，采用改進的量子旋轉角策略，提高了搜索效率和參數選擇的多樣性，使其分類精度得到有效提升。用4個典型的數據集進行測試，結果表明，在隱含層神經元個數選擇合適的情況下，QGA-ELM對分類性能的優化非常明顯。同時，針對不同數據集所具有的各自特征，QGA-ELM對分類性能優化的程度也不盡相同。針對數據集自身特征與ELM隱含層神經元個數之間復雜的關聯關系，仍有待進一步研究。

參考文獻：

[1] HUANG W，OH S K，PEDRYCZ W. Hybrid fuzzy wavelet neural networks architecture based on polynomial neural networks and fuzzy set/relation inference-based wavelet neurons[J]. IEEE Transactions on Neural Networks and Learning Systems，2017（1）：1-11.

[2] CHUN L Y，SONG H，YANY J. Research on music classification based on MFCC and BP neural network[J]. ICIEAC-14，2014，215（s1-2）：57-68.

[3] WANG J， POLYTECHNIC S. Research on computer network security classification based on discrete Hopfield network[J]. Journal of Anhui Vocational College of Electronics & Information Technology，2018.

[4] HAO P Y，CHIANG J H，TU Y K. Hierarchically SVM classification based on support vector clustering method and its application to document categorization[J]. Expert Systems with Applications，2007，33（3）：627-635.

[5] ROUSSINOV D G. A scalable self-organizing map algorithm for textual classification： a neural network approach to thesaurus generation[J]. Communication Cognition&Artificial Intelligence Spring，1998（15）：81-112.

[6] OZBAY Y，CEYLAN R，KARLIK B. A fuzzy clustering neural network architecture for classification of ECG arrhythmias[J]. Computers in Biology & Medicine，2006，36（4）：376-388.

[7] WORKINEH A，DUGDA M，HOMAIFAR A，et al. GMDH and RBFGRNN networks for multi-class data classification[J]. International Journal of Applied Mathematics，2015，25（4）：955-960.

[8] HAYKIN S. 神經網絡與機器學習[M]. 北京：機械工業出版社，2011.

[9] HUANG G B，ZHU Q Y，SIEW C K. Extreme learning machine： theory and applications[J]. Neurocomputing，2006，70（1/3）：489-501.

[10] HUANG G B，DING X J，ZHOU H M. Extreme learning for regression and multiclass classification[J]. IEEE Transactions on Systems Man and Cybernetics-Part B： Cybernetics，2012（2）：513-529.

[11] SAVITHA R，SURESH S，SUNDARARAJAN N. Fast learning Circular Complex-valued Extreme Learning Machine （CC-ELM） for real-valued classification problems[M]. Elsevier Science Inc.，2012.

[12] VANLI N D，SAYIN M O，DELIBALTA I，et al. Sequential nonlinear learning for distributed multiagent systems via extreme learning machines[J]. IEEE Transactions on Neural Networks and Learning Systems，2016（2）：1-13.

[13] GOLDBERG D E. Genetic algorithms in search，optimization and machine learning[M]. New York：Addison-Wesley，1989.

[14] ZHU X，XIONG J. Fault diagnosis of rotation machinery based on support vector machine optimized by quantum genetic algorithm[J]. IEEE Access，2018：1.

[15] 曲志堅，陳宇航，李盤靖，等. 基于多算子協同進化的自適應并行量子遺傳算法[J]. 電子學報，2019，47（2）：266-273.

[16] HAN K H，KIM J H. Genetic quantum algorithm and its application to combinatorial optimization problem[C]. Proc Int Congress Evol Comput. IEEE Press，2000：1354-1360.

[17] HAN K H， KIM J H. Quantum-inspired evolutionary algorithm for a class of combinatorial optimization[J]. IEEE Trans Evol Comput，2002，6（6）：580-593.

[18] ZHANG Z F. Novel improved quantum genetic algorithm[J]. Comput Eng，2010，36（6）：181-183.

[19] WEI Z，YE S. An improved quantum genetic algorithm and performance analysis[C]. Proc. of the 30th Chin Control Conf. ，2011：5368-5371.

[20] 蔣璐，張軒雄. 基于自適應差分遺傳算法的BP神經網絡優化[J]. 軟件導刊，2018，17（11）：30-33.

[21] YANG J A，ZHANG Z Q. Research of quantum genetic algorithm and its application in blind source separation[J]. Chin J Electron，2003，20（1）：62-68.

[22] WEI Z，YE S. An improved quantum genetic algorithm and performance analysis[C]. Proc. of the 30th Chin Control Conf.，2011：5368-5371.

（責任編輯：孫 娟）