基于GA\\BP神經(jīng)網(wǎng)絡和多元回歸的集成算法研究

摘要：遺傳算法、BP神經(jīng)網(wǎng)絡和多元回歸是目前應用比較廣泛的數(shù)據(jù)挖掘算法，它們各俱優(yōu)點，同時也存在諸多無法避免的缺陷。該文在前三者的基礎上，提出一種BP網(wǎng)絡與多元回歸模型融合的雜合BP網(wǎng)絡，并采用遺傳算法優(yōu)化雜合BP網(wǎng)絡的初始權值，有效地避免幾種方法在單獨使用時存在的缺陷。驗證實驗結果表明：新方法所建立的模型在收斂速度、精度和泛化能力上都明顯優(yōu)于GA、BP神經(jīng)網(wǎng)絡和多元回歸，并且較當今比較熱門的ELM、SVRKM和SVM也有較顯著的改進。

關鍵詞：BP神經(jīng)網(wǎng)絡，多元回歸，遺傳算法，算法集成

Integration Algorithm Based on Genetic Algorithm， BP neural network and multiple regressions

Cheng ChenGuiping LiaoJinwei LiXiaohui Shi

（Agricultural Information Institute of Hunan Agricultural UniversityChangsha430000）

Abstract: Genetic Algorithm， BP neural network and multiple regression are used widely in data mining algorithms， each of them have their benefits. Simultaneously， they have some inevitable flaws. On the basis of previous three， I made some improvements in the structure of them. First， I propose a hybrid BP network based on the integration of BP Network and multiple regression models. Then I used the hybrid genetic algorithm to optimize the initial weights of hybrid BP network. In that way， I effectively avoid the inevitable flaws when they alone. Validation results show， in convergence speed accuracy and generalization ability， the model of new methods is better than Genetic Algorithm， BP neural network and multiple regressions. In addition， the model of new methods has significant improvements compared with ELM， SVRKM and SVM.

Key words: BP Neural Network; Multiple regression; Genetic Algorithms; Algorithm integration

中圖分類號：TP183 文獻標識碼：A

基金項目：湖南省研究生科技創(chuàng)新基金項目（CX2010B280）

作者簡介：陳誠（1986-），男，安徽蚌埠人，碩士研究生，研究方向：人工智能、信息處理。通訊作者：廖桂平（1964-），男，博士生導師，教授，主要從事農(nóng)業(yè)信息技術的研究。Email：lgpxf@yahoo.com.cn

1 引言

近年來，隨著“云”概念的普及和發(fā)展，當今社會的信息量越來越龐大，信息結構變得越來越復雜，信息的表現(xiàn)形式已經(jīng)呈現(xiàn)出從“信息庫”向“信息云”靠攏的趨勢，如何在“信息云”中發(fā)掘出準確有益的信息已經(jīng)成為現(xiàn)今研究的熱門問題，而數(shù)據(jù)挖掘技術正是解決這一問題的最佳方法之一。在面對各種復雜數(shù)據(jù)時，數(shù)據(jù)挖掘技術能夠方便快捷地挖掘出大量數(shù)據(jù)中隱含的內在規(guī)律，提煉出有用的信息，從而為決策提供可靠的依據(jù)。

遺傳算法、BP神經(jīng)網(wǎng)絡和多元回歸是數(shù)據(jù)挖掘算法中應用較廣泛的三種方法，在很長的一段時間內都是數(shù)據(jù)挖掘常用的算法。然而，隨著當今社會信息量的急劇增大、信息結構的不斷復雜化，它們的缺陷也越來越明顯：（1）遺傳算法雖然能很快的接近最優(yōu)解，但隨后會在最優(yōu)解附近左右擺動，收斂精度不高[1]。（2）BP神經(jīng)網(wǎng)絡的學習速度慢，容易陷入局部極值，在模擬線性關系時效果沒有多元線性回歸理想。（3）多元線性回歸模型的應用領域較窄，雖然處理線性關系的數(shù)據(jù)效果很好，但是在面對非線性關系的數(shù)據(jù)時效果比較差。

由于遺傳算法、BP神經(jīng)網(wǎng)絡和多元回歸存在明顯的缺陷，因此已經(jīng)逐漸呈現(xiàn)出被ELM、SVRKM和SVM這幾種當今主流方法所取代的趨勢。但是，遺傳算法、BP神經(jīng)網(wǎng)絡和多元回歸并不會真的成為過去，他們依然存在自己的巨大優(yōu)勢，這是其他方法無法具備的。本文在遺傳算法、BP神經(jīng)網(wǎng)絡和多元回歸的基礎上，結合三者的優(yōu)點，提出一種BP網(wǎng)絡與多元回歸模型融合的雜合BP網(wǎng)絡，并采用遺傳算法優(yōu)化雜合BP網(wǎng)絡的初始權值，有效地避免幾種方法在單獨使用時存在的缺陷。驗證實驗結果表明：新方法所建立的模型在收斂速度、精度和泛化能力上都明顯優(yōu)于GA、BP神經(jīng)網(wǎng)絡和多元回歸，并且較ELM、SVRKM和SVM也有較顯著的改進。

2相關知識

2.1BP神經(jīng)網(wǎng)絡

2.1.1 BP神經(jīng)網(wǎng)絡簡介

BP網(wǎng)絡是一種有隱含層的多層前饋網(wǎng)絡， 系統(tǒng)解決了多層網(wǎng)絡中隱含單元連接權的學習問題，基本原理是梯度最速下降法， 它的中心思想是調整權值使得網(wǎng)絡總誤差最小。假設輸入節(jié)點為x 、隱層節(jié)點為h 、輸出節(jié)點為y ，輸入層到隱層的權值矩陣為W 、隱層到輸出層的權值矩陣為W ，則隱層節(jié)點h 和輸出節(jié)點y 可以表示為：

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文