一種基于遺傳算法的神經網絡結構優化方法

付 琦

（山東農業工程學院，濟南 250100）

一種基于遺傳算法的神經網絡結構優化方法

付 琦

（山東農業工程學院，濟南 250100）

0 引言

近年來，人工神經網絡（ANN）提供了一種新的方法來模擬復雜而又難以定義的問題，ANN已經在智能控制、機器人、模式識別、計算機視覺、生產過程優化和信息處理等多種領域中取得了廣泛應用[1～4]。研究結果表明，如果ANN的網絡結構太大，將導致歸納性較差，反之，太小的網絡結構則會造成學習能力偏低。因此，如何能夠快速而準確地設計ANN網絡結構一直以來都是工程領域和研究領域備受關注的熱點問題[5]。ANN網絡結構優化問題就是要確定ANN網絡中隱藏層的最優數量，每一層中的神經元數量及合適的激活函數，以便盡量提高人工神經網絡的性能[6]。

ANN網絡結構優化方法有很多種，文獻[7]利用主成分分析法確定輸入層結點數，可使問題得到一定的解決，但是當樣本數據很大時，樣本集本身沒有包含全部樣本的特征，將導致預測的結果出現較大的誤差。文獻[8]利用模糊聚類法首先對樣本進行分類，然后再從每一類中按一定比例選擇學習樣本，但在分類時，究竟應將樣本數據分為幾類往往隨意性很大。文獻[9]針對小波神經網絡提出了一種基于自適應投影算法的結構優化方法，但該方法計算量較大，處理過程相對較復雜。文獻[10]針對神經網絡的結構存在冗余的問題, 提出了一種利用粗糙集優化神經網絡結構的方法，該方法以粗糙集數據分析為基礎，缺乏對決策原理的滲入闡述。

本文提出了一個新的基于數學規劃的ANN網絡結構優化方法，應用遺傳算法找到最佳的隱藏層、激活函數和矩陣的權重，并將這個問題作為一個具有非混合約束的線性規劃，最終通過遺傳算法來解決。這樣設計之后，可以調整用于學習或者訓練的ANN結構權重矩陣，得到最佳的網絡結構。本文的組織如下：第2節介紹了人工神經網絡，第3節提出了神經優化問題的架構和建模思路，第4節展示了如何通過遺傳算法來解決這個問題，第5節進行試驗驗證，第6節總結全文。

1 神經網絡結構

1.1 多層網絡結構

1969年，研究人員M. Minsky和S. Papert首次提出多層神經網絡（MLN）的概念[11]。MLN網絡在輸入和輸出層間有一或多個隱藏層，其結構如圖1所示，同一層中神經元間沒有鏈路。一般來說，每個神經元與下一層中的所有神經元相連。

如圖1所示，本質上來說，人工神經網絡屬于暗箱運算，利用一組非線性基函數將輸出與輸出聯系起來。ANN網絡的基本單元是神經元，包括簡單的同步處理元素，由生物神經系統激活。利用一組輸入數據及實際測量值得出的相應輸出數據（輸入/輸出對）來訓練ANN網絡，以便使一組輸入盡可能準確地得出一組目標輸出。許多研究已經證明，MLN網絡可有效求解多種復雜問題。

1.2 神經網絡訓練

在訓練ANN網絡時需要調整神經元間每條鏈路的權重，直到每組輸入數據計算出來的輸出與實驗數據輸出盡可能地接近。連續層中的神經元互相連接，每個神經元計算其輸入的權重之和，而輸出需要計算該值經過激活函數調整過的值。比如，該激活函數可為S形函數：

訓練過后，網絡不僅可以對學習基點再生理想的輸出，對其他輸入也可以再生理想輸出，這個過程稱為泛化。

1.3 輸入層

1.4 隱藏層

1.5 輸出層

輸出層中的神經元可收集hN隱藏層的輸出，輸出層的神經元計算如下：

2 神經網絡結構優化建模

為了對神經架構優化問題建模，神經網絡的輸出可計算如下：

其中，U=[u1,…,ui,…,uN-1]，其中向量ui的取值為0或1。

如圖2(a)所示，首個隱藏層的輸出可計算如下：

隱藏層i計算出來的輸出：

如圖2(b)所示，最后一個隱藏層計算如下：

如圖2(c)所示，神經網絡的輸出計算如下：

優化目標函數：數學規劃模型的目標函數表示計算輸出和預期輸出間的誤差：

最后約束可保證存在隱藏層：

在本文中，我們的優化目標是調整ANN網絡結構的權重矩陣，我們將上述問題表述為一種固定變量非線性規劃問題下，并通過遺傳算法對其進行解決。

3 遺傳算法求解非線性規劃模型

遺傳算法（Genetic Algorithm，GA）屬于“進化算法”概率方法，已經在通信、路由、調度等多種領域的優化問題中得到應用[12]。GA算法以選擇和變異規則為基礎。每一個解表示一個或多個染色體被編碼的一個個體，這些染色體表示問題中的變量。首先，生成由固定數量個體組成的初始種群，對選擇出來的一組個體進行繁殖操作，交換其適應度。這一步驟一直持續至到達最大數量迭代次數為止，具體步驟如下：

1）初始種群

圖2 神經網絡各層之間的計算方法

隨機產生N個初始串結構數據，每個串結構數據稱為一個個體。N個個體，構成了一個群體，這個參數N需要根據問題的規模而確定。初始種群中的個體隨機生成，其中向量“u”的變量取值0或1，權重矩陣從IR空間中隨機取值。

2）個體評估

計算交換產生的新個體的適應度，適應度用來度量種群中個體優劣（符合條件的程度）的指標值，這里的適應度就是特征組合的判據的值。這個判據的選取是GA的關鍵所在。在該步驟中，根據個體表現為各個個體相應分配一個稱為適應度的數值；從本質上來講，它取決于該個體的目標函數值。個體的適應度越大，匹配度越高。本文中的適應度如下：

其中，M是一個遠大于零數值，使“objective”目標函數值最小，等價于使適應度函數的值最大。

3）選擇

選擇的目的是為了從交換后的群體中選出優良的個體，使它們有機會作為父代為下一代繁殖子孫。采用RWS（Roulette Wheel Selection）輪盤方法作為本文的選擇方法；該方法是一種比例型選擇方法，根據個體的適應度來選擇個體，這一步驟的存在使得當前群體是所有搜索過的解之中是最優的前N個的集合。

4）變異

變異是算法中非常重要的一個步驟。該步驟中，根據種群中選擇出來的個體（父母）來生成新的個體（子嗣）。子個體構建方法如下：我們固定一個變異點，母個體在該點切開，母個體1的第1部分與母個體2的第2部分屬于子個體1，其他部分屬于子個體2。在我們采用的變異策略中選擇不同的變異點，第1個變異點指向權重矩陣，第2個針對向量U。

4 試驗結果驗證

我們在本小節將通過一些數值示例來闡述本文方法的驗證，本文采用多層網絡架構，該架構使用的激活函數為：

這里，我們采用均方根誤差（RMSE）來評估統計性能，計算方法如下：

其中，Yi表示實際數值（計算出來的），d表示預測數值，其中第ith個觀測值從1～Q計數，Q表示總觀測值的數量。

試驗結果如表2所示，可以看出，針對不同的ANN，通過本文的算法優化均可以給出最佳的網絡結構優化策略，優化后的最佳隱藏層數量比設計值降低了30%左右，平均RMSE指標小于1，從中可以看出本文中理論結果及新模型的有效性。

表1 神經網絡結構優化試驗結果

5 結論

本文針對神經網絡架構優化問題提出了一種基于遺傳算法的結構優化方法，尤其適合于求解復雜的非線性問題。經測試，該方法可確定ANN網絡中隱藏層的最優數量及最優權重矩陣，以便使預期（預測）輸出與計算輸出間的誤差最小。這些參數的確定對ANN網絡的性能具有一定影響。此外，本文方法從本質上來講非常容易實現并行化。

[1]梁捷,陳力.執行器受限空間機器人的模糊神經網絡控制[J].工程力學.2014,(11):190-197.

[2]李震宇.基于神經網絡的計算機網絡安全評價研究[J].電子制作.2014,(19):118.

[3]黃芳,吳小良.基于BP神經網絡的轉爐出鋼過程氧含量預測及優化[J].熱加工工藝.2013,(01):48-50.

[4]龔靜,陳向東,時子青.基于CS和神經網絡的傳感器網絡模式識別研究[J].傳感器與微系統.2011,(12):62-64.

[5]楊鐘瑾,史忠科.神經網絡結構優化方法[J].計算機工程與應用.2004,(25):52-54.

[6]Wang D.Fast Constructive-Covering Algorithm for neural networks and its implement in classification[J].Applied Soft Computing.2008,8 (1):166-173.

[7]陳小前,羅世彬,王振國,等.BP神經網絡應用中的前后處理過程研究[J].系統工程理論與實踐.2002,(01):65-70.

[8]何勇,項利國.基于模糊聚類的BP神經網絡模型研究及應用[J].系統工程理論與實踐.2004,(02):79-82.

[9]潘玉民,張曉宇,張全柱,等.基于量子粒子群優化的小波神經網絡預測模型[J].信息與控制.2012,(06):741-746.

[10]夏紅霞,王惠營,胡磊.基于粗糙集的神經網絡結構優化方法[J].計算機與數字工程.2010,(05):49-51.

[11]Cichoki A, Unberhuen R.Neural Network for Optimization and signal processing.

[12]李敏遠,都延麗.基于遺傳算法學習的復合神經網絡自適應溫度控制系統[J].控制理論與應用.2004,(02):242-246.

A novel method for neural network structure optimization based on genetic algorithm

FU Qi

神經網絡隱藏層數量的選擇以及權重值的確定對訓練算法的收斂性有很大影響，為了解決神經網絡（ANN）訓練過程中結構復雜的問題，提出了一種基于遺傳算法（GA）的網絡結構優化方法。試驗結果表明，在訓練樣板數量較大時，優化后的ANN能夠計算出隱藏層的最佳數量，從而提高整體的性能，具有較好的泛華能力。

神經網絡；結構優化；遺傳算法；非線性優化

付琦（1982 -），男，山東濟南人，講師，碩士，研究方向為計算機科學與技術。

book=74,ebook=406

TP18

A

1009-0134(2015)07(下)-0071-04

10.3969/j.issn.1009-0134.2015.07(下).22

2015-03-18