模糊神經網絡的優化及其應用

李浩楠　劉勇

摘 要：為了提高模糊神經網絡的泛化能力和收斂速度，以及減小誤差，提出了采用動量梯度下降算法和RMSprop優化算法模糊神經網絡的方法，研究并設計神經網絡的參數調整的自適應過程，在代價函數中加入正則項，實現參數的更新，同時保證模糊神經網絡的收斂速度，對預測輸出和實際輸出的擬合效果和誤差進行比較。將二種優化模糊神經網絡的算法應用于非線性函數逼近、Mackey-Glass混沌時間序列和水質等級評價的輸出預測中，實驗結果表明，RMSprop的預測輸出和實際輸出的誤差和擬合效果優于動量梯度下降算法。

關鍵詞：梯度下降;模糊神經網絡;正則化;優化算法

DOI：10.15938/j.jhust.2020.06.021

中圖分類號： TP273

文獻標志碼： A

文章編號： 1007-2683（2020）06-0142-08

Optimization and Application of Fuzzy Neural Network

LI Hao-nan， LIU Yong

（College of Electronic Engineering， Heilongjiang University， Harbin 150080）

Abstract：In order to improve the generalization ability， convergence speed and reduce the error of the fuzzy neural network， the method of using momentum gradient descent algorithm and RMSprop optimization algorithm to optimize the fuzzy neural network is proposed. The adaptive process of parameter adjustment of the neural network is studied and designed. Regular terms are added to the cost function to update the parameters， and the convergence speed of the fuzzy neural network is guaranteed. The fitting effect and error between the predicted output and the actual output are compared. The two optimization algorithms of fuzzy neural network are applied to output prediction of non-linear function approximation， Mackey-Glass chaotic time series and water quality grade evaluation. The experimental results show that the error and fitting effect of RMSprop′s predicted output and actual output are better than that of momentum gradient descent algorithm.

Keywords：gradient descent;fuzzy neural network;regularization;optimization algorithm

0 引 言

模糊神經網絡將模糊邏輯系統和人工神經網絡相結合，兼有良好的知識表達能力和強大的自學習能力，是神經網絡與模糊系統領域重要分支之一[1-2]。將其用于控制領域，如工業控制系統，機器人控制系統、農業控制領域等。喬俊飛等[3]提出了

一種自適應聚類方法建立起網絡的結構，賦予各參數的初值，用于水質的檢測，得到了理想的效果。朱巖[4]分析了自控溫室系統中的氣候控制問題，并對溫室環境控制系統進行了總體設計。郝琪[5]將神經網絡和模糊補償解耦控制配合使用，實現了溫室的智能控制。帥知春等[6]將模糊神經網絡用于溫室熱氧化碳的控制，克服了現有控制方法需要大量的數據傳輸、準確的數學模型等缺陷。夏江南等[7]將粒子群優化算法引入模糊神經網絡中，提高了訓練的效率。

上述研究均表明模糊神經網絡能夠結合多種特征用于控制領域，能夠改善傳統控制效率低、耗能大、周期長的問題。模糊神經網絡利用神經網絡對模糊規則進行訓練，并將訓練得到的模型表示為易于理解的模糊規則。而現有的研究表明，模糊神經網絡對控制量的模糊化過程，會造成一定的誤差，并包含了大量的模糊規則，降低了模型的可解釋性。

針對存在的不足，本文一方面對損失函數進行了改進，同時引入正則化項;另一方面，采取不同的優化算法對模糊神經網絡的參數進行優化，實現了模糊神經網絡模型結構的自適應調整，從而減小誤差，提高模型的可解釋性。動量梯度下降法和RMSprop算法是深度學習應用非常廣泛的優化算法，尤其是在計算機視覺和文本處理方面，取得了不錯的效果，但是在模糊神經網絡方面其應用較少，多數情況下，使用的標準梯度下降方法[8-9]。本文將動量（Momentum）梯度下降算法和RMSprop算法引入模糊神經網絡，對其優化結果進行對比，并利用其分別對非線性函數逼近、Mackey-Glass混沌時間序列和水質等級評價經典例子進行了參數建模，證明了2種優化算法的有效性和對比性。

1 模糊神經網絡的結構及算法

模糊神經網絡結構如圖1所示，分為5層，包括輸入層、模糊化層、規則層、歸一層和輸出層。

輸入層：輸入向量為x=[x1，x2，…，xn]，各個分量xi分別與網絡的該層節點直接相連，Net1i是輸入層的輸出;

Net1i=u1i=xi，i=1，2，…，n（1）

模糊化層：將輸入向量模糊化，其中每個節點代表一個隸屬度函數，此處隸屬度函數通常取為高斯函數，

Net2ij=uij=exp[（uij-cij）2bij2]（2）

式中，i=1，…，n，j=1，…，mi ，n是輸入向量的個數，mi是模糊規則數;cij，bij分別是高斯函數的中心和寬度;Net2ij是模糊化層的輸出。

規則層：對模糊規則的If條件語句進行描述，模糊神經網絡的輸出為每條語句的適應度值，Net3h是規則層的輸出，即：

Neth3=u1i1·u2i2…unin（3）

式中：ij=1，2，…，mj，h=1，2，…，m，m=∏nj=1mj

歸一化：對規則層的輸出進行歸一化，該層的節點數等于規則層的節點數，其歸一化公式為，Net4h是歸一化層的輸出：

Neth4=Neth3∑mh=1Neth3（4）

輸出層：采用重心法實現清晰化和去模糊化處理，所以網絡的輸出是

yk=Netk5=∑mh=1wkhNeth4=∑mh=1wkhNeth3∑mh=1Neth3（5）

式中：k=1，…，r，r是輸出層的節點數;yk是輸出層的結果。

在反向傳播的過程中，傳統經驗函數為

e=12（Yk-yk）2（6）

其中Yk為模糊神經網絡模型對數據實例的預測值，而yk是實際值。在隸屬度函數求解合并中，相似的隸屬度函數要合并到同一集合。通過加入正則項Ω，即可以實現隸屬度函數和其所在集合盡可能相似，而且使隸屬度函數集合數量盡可能少，最后訓練得到的模型中的模糊規則也較少[10]。加入正則項的損失函數為

J=e+λ*Ω（7）

Ω=∑ni=1∑mij=1（cij-1）2+∑ni=1∑mij=1bij2（8）

2 優化算法對模糊神經網絡的改進

2.1 模糊神經網絡后相傳播

建立模糊神經網絡的結構后，基于梯度下降算法對各參數進行優化學習，從而得到完整的模糊神經網絡。標準梯度下降算法存在以下缺點：

1）難以選擇合適的學習速率，如果學習速率選擇過小會造成網絡收斂太慢，但是設得太大可能使得損失函數在最小點周圍不斷搖擺而永遠達不到最小點;

2）在訓練開始時設置一個較大的學習率，然后每訓練若干個周期后按比例降低學習率，雖然這個方法有一些作用，但是由于降低學習率的周期是人為事先設定的，所以它不能很好地適應數據內在的規律;

3）難以逃脫鞍點，鞍點既不是最大點也不是最小點，在這個點附近，所有方向上的梯度都接近于0，標準梯度下降算法很難逃離它[11]。

動量梯度下降法和RMSprop優化算法均是在標準梯度下降法基礎上發展出的優化算法。

利用梯度下降法進行誤差反向傳播計算Ewkh，Ecij，Ebij[12-13]。

Ewkh=-δk5·Neth4（9）

δh4=∑rk=1δk5·wkh（10）

δh3=δh4·∑s=1s≠hNeth3（∑mh=1Neth3）2（11）

δij2=δh3·sij·e（xi-cij）2bij2（12）

當uji是第k個規則的最小值時，sij=1，否則，sij=0。

Ecij=-δij2·2（xi-cij）bij（13）

Ebij=-δij2·2（xi-cij）2bij3（14）

標準梯度下降算法中，代入式（10）～（12），模糊神經網絡的參數調整為：

wkh=wkh-α·Ewkh（15）

cij=cij-α·Ecij（16）

bij=bij-α·Ebij（17）

動量梯度下降法基本思想是計算梯度的指數加權平均數，并利用梯度來更新權重。采用動量梯度下降法對參數更新原理如下，β1是動量系數，一般為0.9，β*V是動量項，V表示為本次的梯度下降量（1-V）*dc與部分上次更新量的矢量和，再乘以學習衰減率α，便為參數更新量，與當前的變量值c、b、w相加，得到下一步的變量值：

Vdc=β1*Vdc+（1-Vdc）*dc（18）

Vdb=β1*Vdb+（1-Vdb）*db（19）

Vdw=β1*Vdw+（1-Vdw）*dw（20）

c=c+α*Vdc（21）

b=b+α*Vdb（22）

w=w+α*Vdw（23）

在上面公式中，將損失函數想象為一個碗狀，從頂部往下滾球，其中微分項dw，db是為球提供加速度，動量Vdw、Vdb是速度。小球在向下滾動時，由于有加速度存在，使得速度會很快，但是存在β1 小于1，可以認為是摩擦力，所以小球不會無限加速，這便是動量梯度下降法的本質。

為了進一步優化損失函數在更新中存在擺動幅度過大的問題，并且進一步加快函數的收斂速度，RSMprop算法對c、b、w使用了微分平方加權平均數。采用RSMprop優化算法對參數更新如下公式：

Sdc=β2*Sdc+（1-β2）*dc2（24）

Sdb=β2*Sdb+（1-β2）*db2（25）

Sdw=β2*Sdw+（1-β2）*dw2（26）

c=c+α*dcSdc+ε（27）

b=b+α*dbSdb+ε（28）

w=w+α*dwSdw+ε（29）

在上述的公式中Sdc、Sdb和Sdw分別是損失函數在前t-1輪迭代過程中累積的梯度動量，β2是梯度累積的一個指數。所不同的是，RMSProp算法對梯度計算了微分平方加權平均數，然后使用平方根進行梯度更新。這種做法用來修正擺動幅度，消除擺動幅度過大的方向，使得各個維度的擺動幅度都基本一致。另一方面也使得網絡函數收斂更快。為了防止分母為零，使用了一個很小的數值ε來進行平滑，一般取值為10-8。

在動量梯度下降和RMSprop梯度下降中的dc=Ec、db=Eb、dw=Ew，在高等數學它們是近似關系。

2.2 優化的模糊神經網絡具體流程

為評定模糊神經網絡的性能，采用均方根誤差（root mean squared error，RMSE）作為其評定指標：

RMSE=∑rk=1J2r（30）

根據以上對模糊神經網絡參數的學習，其具體流程為以下4步。

步驟1 初始化參數。學習率α=0.09，動量梯度下降中β1=0.9，RMSprop梯度下降中β2=0.999，隸屬度函數中心c、寬度b，輸出層權值。

步驟2 在模糊神經網絡的訓練階段，由式（1）～（5）計算出輸出值yk，式（8）算出正則項。式（9）～（17）為梯度下降過程，從而得到參數變化量（即一階導數）。

步驟3 式（9）～（17）是標準梯度下降計算參數的更新值;式（18）～（23）是動量梯度下降計算參數的更新值;式（24）～（29）是RMSprop梯度下降計算參數的更新值。

步驟4 判斷誤差是否滿足條件或是否滿足最大迭代數，若滿足則停止計算，否則，跳轉到步驟2繼續執行步驟。

3 仿真實驗

為驗證2種梯度下降算法對模糊神經網絡的參數模型的優化能力，將其應用于污水處理過程關鍵水質參數預測和Mackey-Glass混沌時間序列預測經典案例中，以及非線性函數的逼近中，在測試誤差和收斂速度方面，將優化后的模糊神經網絡與他人優化算法進行對比。

3.1 非線性函數的逼近

選取式（31）給出的非線性函數：

y=0.6sin（πx）+0.3sin（3πx）（31）

式中x∈[-1，1]，在該定義域內隨機產生200組數據，其中100組數據作為訓練數據，另外100組數據作為測試數據，分別利用動量梯度下降和RMSprop對模糊神經網絡進行優化逼近。仿真結果如圖2～5所示。

圖2為兩種優化算法對非線性函數RMSE迭代的結果，隨著迭代次數的增加，RMSE的值趨向于零，但是RMSProp的起始值遠小于動量梯度下降。圖3為動量梯度下降優化的預測輸出與實際輸出的擬合程度，可以看出，在前一部分樣本里其擬合效果非常差，后一部分的擬合效果相對較好。圖4為RMSprop優化算法的預測輸出和實際輸出的擬合程度，由圖可以看出，二者的擬合效果好于動量梯度下降的優化。圖5為動量梯度下降和RMSprop優化模糊神經網絡得預測輸出和實際輸出之間的誤差，RMSprop優化算法的誤差分布在零的附近，且小于0.03，而動量梯度下降的誤差比較大，即便是后一部分的誤差較小，但是也大于RMSprop優化后的誤差。所以，可以得出RMSprop更適合優化模糊神經網絡。

3.2 Mackey-Glass混沌時間序列

Mackey-Glass混沌時間序列模型：

x（t+1）=1+ax（t-τ）1+x10（t-τ）-bx（t）（32）

其中a=0.2，b=0.1，τ=17，x的初始向量為x0=0.1，選擇250組樣本作為訓練樣本，250組樣本作為測試樣本。

仿真結果如圖6～9所示，圖6為動量梯度下降法和RSMprop優化算法對Mackey-Glass混沌時間序列訓練的RMSE，在其他條件一致的情況下，RSMprop的收斂速度和動量梯度下降相差不多，甚至在10代以前，RSMprop的收斂速度更快，而且RSMprop由更小的誤差開始迭代下降。圖7和圖8分別為動量梯度下降的輸出和實際輸出的擬合圖與RSMprop優化算法的輸出與實際輸出的擬合圖，由圖可以看出動量梯度下降的擬合效果較差，而RSMprop的擬合效果較好。圖9為動量梯度下降和RMSprop的誤差對比圖，動量梯度下降的誤差遠遠大于RMSprop。

表1為基于不同網絡對Mackey-Glass時間序列的訓練RMSE結果。對比試驗選取基于支持向量回歸的局部遞歸模糊神經網絡（locally recurrent fuzzy neuralnetwork with support vector regression，LRFNN-SVR）[14]、基于功能鏈接的文化協同粒子群模糊神經網絡（functional-link-based neural fuzzy net-work with cultural cooperative particle swarmoptimization，FLNFN-CCPSO）[15]、快速在線自組織簡約模糊神經網絡（fast and accurate online self-organizing scheme for parsimonious fuzzy neu-ral networks，FAOS-PFNN）[16]、基于小波變換-模糊馬爾科夫鏈算法的遞歸模糊神經網絡（wavelettransform fuzzy markov chain RFNN，WTFMC-RFNN）[17]和遞歸模糊神經網絡（recurrent fuzzy neural network，RFNN）進行了比較，可以看出RMSprop的均方差更小、更加適用于對模糊神經網絡的梯度下降。

3.3 水質評價模型

將動量梯度下降和RMSprop優化后的模糊神經網絡模型應用于經典的水質評價模型，在matlab中進行仿真。

仿真結果如圖10～13所示。圖10為水質評價模糊的訓練樣本RMSE的迭代效果，動量梯度下降優化算法隨著迭代次數的增加基本保持穩定，甚至略有下降，且絕對值在增加。RMSprop優化算法隨著迭代逐漸趨于零，其迭代效果好于動量梯度下降算法。圖11為動量梯度下降的預測輸出與實際輸出的擬合圖，由圖可以看出，其擬合效果比較差。圖12為RMSprop優化的預測輸出和實際輸出的擬合情況，擬合效果遠好于動量梯度下降算法。圖13為兩種優化算法的預測輸出和實際輸出的誤差對比，動量梯度下降優化模糊神經網絡的誤差比較大，而RMSprop優化的誤差遠小于動量梯度下降，更適合優化模糊神經網絡。

表2為基于不同網絡對水質等級的訓練RMSE結果，對比試驗選取了遞歸模糊神經網絡（recurrent fuzzy neural network，RFNN）、小波變換遞歸模糊神經網絡（wavelet-based recurrent fuzzy neural network，WRFNN）[18]、高階遞歸神經模糊系統（high-order recurrent neuro-fuzzy system，HO-RNFS）[19]、有監督學習的TSK型 遞歸 模 糊 網 絡（TSK-type recurrent fuzzy net-work with supervised learning，TRFN-S）[20]，可以發現基于RMSprop優化算法的精度更高，更適合模糊神經網絡的梯度優化。

4 結 論

為了提高模糊神經網絡的收斂速度和泛化能力，本文提出了將動量梯度下降和RMSprop優化算法應用到模糊神經網絡中，在保證收斂速度的前提下，對參數進行調整，提高神經網絡的自適應能力。通過非線性函數逼近、Mackey-Glass混沌時間序列和水質等級評價的建模，對動量梯度下降和RMSprop的擬合程度、預測輸出與實際輸出之間的誤差進行仿真輸出，得到下面的結論：

1）提出了利用動量梯度下降和RMSprop對模糊神經網絡進行參數優化。

2）相對動量梯度下降，RMSprop優化算法的擬合效果更好，誤差更小，更適合對模糊神經網絡進行優化，同時證明了網絡的有效性。

參考文獻：

[1] 喬俊飛，丁海旭，李文靜.基于WTFMC算法的遞歸模糊神經網絡結構設計[J/OL].自動化學報：1-12[2019-10-11].https：//doi.org/10.16383/j.aas.c180847.

QIAO Junfei， DING Haixun， LI Wenjing.Structure Design of Recurrent Fuzzy Neural Network Based onWTFMC Algorithm[J/OL].Acta Automatica Sinica：1-12[2019-10-11].https：//doi.org/10.16383/j.aas.c180847.

[2] 武俊峰，艾嶺.一種基于改進聚類算法的模糊模型辨識[J].哈爾濱理工大學學報，2010，15（3）：1.

WU Junfei， AI Ling. Fuzzy Model Identification Based on Improved Clustering Algorithm[J]. Journal of Harbin University of Science and Technology，2010，15（3）：1.

[3] 喬俊飛，王會東.模糊神經網絡的結構自組織算法及應用[J].控制理論與應用，2008（4）：703.

QIAO Junfei， WANG Huidong. Structure Self Organizing Algorithm of Fuzzy Neural Network and Its Application[J].Control Theory & Applications，2008（4）：703.

[4] 朱巖. 基于模糊神經網絡的溫室自動控制研究[D].天津：河北工業大學，2005.

[5] 郝琪. 智能溫室遠程控制系統研究與設計[D].秦皇島：燕山大學，2011.

[6] 帥知春，林偉.基于模糊神經網絡的溫室二氧化碳控制[J].現代計算機，2006（9）：7.

SUAI Zhichun，LIN Wei.Greenhouse Carbon Dioxide Control Based on Fuzzy Neural Network[J].Modern Computer，2006（9）：7.

[7] 夏江南，王杜娟，王延章，等.基于結構自適應模糊神經網絡的前列腺癌診斷方法[J].系統工程理論與實踐，2018，38（5）：1331.

XIA Jiangnan，WANG Dujuan，WANG Yanzhang，et al. Prostate Cancer Diagnosis Method Based on Structure Adaptive Fuzzy Neural Network[J].Systems Engineering-Theory & Practice，2018，38（5）：1331.

[8] 鄧子云.基于有動量和自適應lr梯度下降法BP神經網絡的城市用電量預測技術[J].江蘇科技信息，2018，35（3）：32.

DEGN Ziyun. Urban Electricity Consumption Forecasting Technology Based on Momentum and Adaptive LR Gradient Descent BP Neural Network[J]. Jiangsu Science & Technology Information，2018，35（3）：32.

[9] 沈卉卉，李宏偉.基于動量方法的受限玻爾茲曼機的一種有效算法[J].電子學報，2019，47（1）：176.

SHEN Huihui，LI Hongwei. An Efficient Algorithm for Constrained Boltzmann Machine Based on Momentum Method[J]. Acta Electronica Sinica，2019，47（1）：176.

[10]黃磊，杜昌順.融合群稀疏與排他性稀疏正則項的神經網絡壓縮情感分析方法[J].北京化工大學學報（自然科學版），2019，46（2）：103.

HUANG Lei， DU Changshun. Neural Network Compressed Sentiment Analysis Method Combining Group Sparsity and Exclusive Sparse Regularities[J]. Journal of Beijing University of Chemical Technology（Natural Science Edition），2019，46（2）：103.

[11]沈海龍，趙穎，邵新慧.一種求解鞍點問題的PGSS方法[J].東北師大學報（自然科學版），2019，51（3）：46.

SHEN Hailong，ZHAO Ying，SHAO Xinhui. A PGSS Method for Solving Saddle Point Problem[J]. Journal of Northeast Normal University（Natural Science Edition），2019，51（3）：46.

[12]常永虎，李虎陽.基于梯度的優化算法研究[J].現代計算機，2019（17）：3.

CHANG Yonghu，LI Huyang. Research on Gradient Based Optimization Algorithm[J]. Modern Computer，2019（17）：3.

[13]彭章友，夏海琴.無源雷達目標跟蹤的線性回歸-梯度下降算法[J].電子測量技術，2019，42（15）：1.

PENG Zhangyou，XIA Haiqin. Linear Regression Gradient Descent Algorithm for Passive Radar Target Tracking[J]. Electronic Measurement Technology，2019，42（15）：1.

[14]LIN C J， CHEN C H， LIN C T. AHybrid of Cooperative Particle Swarm Optimization and Cultural Algorithm for Neural Fuzzy Networks and Its Prediction Applications[J]. IEEE Transactionson Systems， Man， and Cybernetics， Part C （Applications and Reviews）， 2009， 39（1）：55.

[15]WANG N， ER M J， MENG X. A Fast AndAccurate Online Self-Organizing Scheme for Parsimonious Fuzzy Neural Networks[J].Neurocomputing， 2009， 72（16/18）：3818.

[16]孫冬璞，譚潔瓊.一種快速全局中心模糊聚類方法[J].哈爾濱理工大學學報，2019，24（4）：110.

SUN Dongpu，TAN Jieqiong. A Fast Global Center Fuzzy Clustering Method[J]. Journal of Harbin University of Science and Technology，2019，24（4）：110.

[17]LIN C J， CHIN C C. Prediction and Identification Using Wavelet-Based Recurrent Fuzzy Neural Networks[J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cyber-netics）， 2004， 34（5）：2144.

[18]THEOCHARIS J B. A Highorder Recurrent Neurofuzzy System With Internal Dynamics：Application to the Adap-Tive Noise Cancellation[J]. Fuzzy Sets and Systems， 2006，157（4）：471.

[19]JUANG C F. A TSK-typeRecurrent Fuzzy Network for Dynamic Systems Processing By Neural Network and Genetic Algorithms[J]. Fuzzy Systems IEEE Transactions on， 2002，10（2）：155.

[20]JUANG C F， HSIEH C D. A Locally RecurrentFuzzy Neural Network with Support Vector Regression for Dynamic System Modeling[J]. IEEE Transactions on Fuzzy Systems，2010， 18（2）：261.

（編輯：溫澤宇）

收稿日期： 2019-05-07

基金項目： 國家自然科學基金（61501176）;黑龍江省自然科學基金（F2018025）.

作者簡介：

李浩楠（1994—），男，碩士研究生.

通信作者：

劉 勇（1970—），男，副教授，碩士研究生導師，E-mail：liuyong@hlju.edu.cn.